认知诊断理论概述
《认知理论》课件
认知心理学的重要研最具争议的研究之一，其深刻地挑战和重构了人们的自我意识和心 灵哲学。
2
脑机接口研究及其进展
人机脑接口是将人体神经系统和计算机技术结合在一起的重要领域。
3
智能心理学的研究方法和前沿领域
通过实例分析，深入了解认知过程的基本模型和每个认知过程的实际应用。
认知发展及认知心理学的应用
儿童认知发展的主要阶段
包括婴儿期、幼儿期、儿童期和青春期等发展阶段。
认知心理学在教育、医学、心理治疗等领域的应用
认知心理学及其教学法在学习障碍、疾病治疗和干预等多个领域有广泛的应用。
未来认知科学发展的趋势和展望
认知理论课程 PPT
本课程使用 PPT 形式讲解认知心理学的基础理论与应用，通过生动的案例和 互动性课件，帮助学生理解人类思维运作的逻辑。
认知理论概述
认知理论的定义
系统地研究人类思维活动的一门 学科，旨在揭示人们在认知世界 中的运作机制。
认知心理学的发展历程
自瓦特开始，到今天不断迭代。 认知过程理论风靡全球，并影响 多个领域。
认知心理学对人类社会发 展的启示
团队协作和科技导向的发展，是 以认知心理学为突破口的佳良策 略。
总结
认知理论的基础含义
否定了既有的心灵哲学，揭示 了人类思维活动的逻辑。
绿色的呈现方式
讲师绿色的呈现方式独具一格， 生动形象，帮助学生记忆。
交互式课程
采用交互式课程制度，帮助学 生在体验感和参与感上达到新 的高度。
研究智能个体的诸多领域，包括智力发展、问题解决和推理、学习和创造等。
认知心理学的发展对于人类认知进步的贡 献
认知诊断评价及其关键技术
认知诊断评价及其关键技术秦春影;仝海燕【摘要】认知诊断测验是近年来兴起的测验形式，受到越来越多研究人员的关注。
认知诊断测验与传统的纸笔测验、计算机自适应测验最大的不同之处在于它能够提供被试者在知识上的详细掌握情况，能够让被试者了解自身的长处和不足，可以进行有针对性的补救学习；能够让指导者了解学生在知识上的优点和弱点，可以进行有针对性的补救教学。
认知诊断测验是适应现代教育的发展而产生的，认知诊断测验的功能虽然强大，但是要真正大规模的实现，却也不是容易的事情，因为实施认知诊断测验涉及很多关键技术，并且有的技术目前还不成熟。
对实施认知诊断测验的关键技术进行系统性的介绍，以使更多的研究人员投身到诊断测验的研究中来，促进认知诊断测验的发展。
%In recent years, cognitive diagnostic assessment as a new test form attracted more and more research-ers' attention. Comparing with the traditional paper-based, computer adaptive testing, the biggest difference of cognitive diagnostic assessment is that it is ableto provide details about the respondent' strength and weakness in the knowledge field, allowing subjects to understand their own strengths and weaknesses, and can be targeted remedial learning;allows instructors to understand students' knowledge of the strengths and weaknesses that can be targeted remedial instruction. Cognitive diagnostic assessment is to adapt to the development of modern educa-tion and although it has powerful features, but to really achieve large-scale assessment, but it is not an easy thing, because the implementation of cognitive diagnostic test involves a lot of key technologies, and some tech-nology is not yet mature.In this paper, systematic introduction of the implementation of the key technologies of cognitive diagnostic assessment to make more researchers plunge into the study of diagnostic assessment to pro-mote cognitive development of diagnostic assessment.【期刊名称】《安阳工学院学报》【年(卷),期】2014(000)002【总页数】6页(P80-84,112)【关键词】认知诊断;Q矩阵;属性;认知诊断模型【作者】秦春影;仝海燕【作者单位】亳州师范高等专科学校计算机系，安徽亳州236800;亳州师范高等专科学校计算机系，安徽亳州236800【正文语种】中文【中图分类】G424认知诊断测验(也称认知诊断)是现代心理和教育测量的发展方向，它与其他的测验形式(传统的纸笔测验、基于计算机的测验和计算机化自适应测验等)相比最大的不同之处在于：它不但能提供每位考生的总体分类，而且能为每位考生提供详细的知识掌握情况报告。
认知诊断理论概述
分数报告： 属性掌握概率 学习之路
认知诊断模型： 模型选择 参数估计 统计收敛性 模型数据拟合检验
认知属性分析： 属性提取 属性层级关系界定 测验Q矩阵标识 测验题目编制
学习优势剖面图
16
常见的认知诊断模型
认知诊断模型 (Cognitive Diagnostic Model, CDM)
LOGO
认知诊断理论概述
认知诊断理论概述
认知诊断理论的背景与基础
Q矩阵的重要地位与规则空间模型 常见认知诊断模型介绍
1
2 3 4 5
认知诊断评估的结果报告
认知诊断评估对我国学业评价的启示
2
1、认知诊断理论的背景与基础
3
认知诊断理论的背景
教育问责制 (accountability in education)
点击添加标题
3PLM 题目参数值
匹 配 分 类 间接匹配：匹配 (θ, ζ) 对 理想反应模式 RSM (Tatsuoka, 1983, 1985)
24
认知诊断模型—规则空间模型
• 规则空间模型的主要步骤
Q矩阵理论部分
1. 确定属性与题目间的关系并编制事件Q矩阵 (incidence Q matrix) 2. 界定属性间的先决关系 (prerequisite)
9
认知心理学的发展 (续)
认知诊断的定义
对被试在测验所测属性或知识点 (如通分、借位与约
分等) 上的掌握水平进行分类 (掌握还是未掌握) 通过认知诊断方法或模型确定被试的不可直接观测的 认知结构或知识状态，确定被试已经掌握哪些属性， 哪些属性未掌握需要补救
除了二分，还可 以是多分的情况
认知诊断模型nida模型nida模型简介与dina模型一样也是非补偿性模型不同于dina模型的参数建模于题目水平nida模型的参数建模于属性水平每个属性都有一个猜测和失误参数认知诊断模型nida模型nida模型项目特征函数认知诊断模型dino模型dino模型简介不同于dina模型和nida模型它属于补偿性模型dino模型的参数建模于题目水平认知诊断模型dino模型dino模型项目特征函数认知诊断模型gdina模型gdina模型简介gdina模型是dina模型的一般化通过设计矩阵和矩阵的转换gdina模型可以简化为其他一些常用的模型如dina和dino等gdina模型可以将所有潜大类分为个潜在组是正确作答题目j所需要的属性个数每个潜在组表示一种简化的属性向量每个潜在组都有相伴随的正确作答概率认知诊断模型gdina模型gdina模型简介认知诊断模型gdina模型gdina模型的项目特征函数对于identity链接方式gdina模型的正确作答概率公式可以分解为属性的主效应以及属性间的交互效应之和红框标识的系数一般为非负蓝框标识的可取任意值认知诊断模型gdina模型gdina模型的其他链接方式及特例除了identity链接方式还有log和logit链接方式identity链接方式下的全模型等价于log和logit链接下的全模型dina模型和dino模型是全模型的特例acdmrrum和llm分别是identitylog和logit链接方式下的加法模型认知诊断模型gdina模型gdina模型的其他链接方式及特例续dina可通过在gdina中设定除了和其他参数都为0得到并令和dino可通过在gdina中设定其中得到并令认知诊断模型gdina模型gdina模型的参数估计也采用mmleem算法但与dina的稍有不同dina模型中是将似然函数直接对参数求偏导令其为0解得参数值gdina模型的参数比较多直接对参数求偏导的方法计算量太大太复杂于是采用两阶段的方法计算先将似然函数对概率值p求偏导令其为0求出p的估计值再在所有掌握模式下用最小二乘法获得参数估计值认知诊断模型模型数据拟合
涂冬波.教育考试中的认知诊断评估
考试研究2008年10月第4卷第4期教育考试中的认知诊断评估Exam inations ResearchOct.2008V o l.4,N o.4涂冬波 漆书青 戴海琦 蔡艳 丁树良【摘 要】 认知诊断评估是教育和心理测量学界新兴起的一项技术,主要是在传统考试基础上,为学生提供诊断信息,即提供关于学生对知识/技能掌握情况的信息,对教育教学具有重要的实际价值。
本文以认知诊断评估为研究对象,着重分析开展认知诊断评估工作的基本流程,以期为我国教育工作开展认知诊断评估提供参考。
【关键词】 认知诊断评估 认知属性 属性阶层关系 认知诊断心理计量模型【中图分类号】 G424.74 【文献标识码】 A【文章编号】 1673-1654(2008)04-0004-12一、认知诊断简介一般的教育考试只提供一个笼统的考试分数或能力分数,对于具有相同分数或相同能力的学生具有不同的知识状态及不同认知结构这一现象无法作出解释,相同分数的个体间差异无法区分;是什么因素导致学生试题做错,考试者掌握了什么知识、未掌握什么知识等信息无法获取……这些现象/问题在大规模考试下显得尤为突出。
当今人们已不满足于给学生一个简单的考试分数或能力分数,他们更希望考试能够提供诊断信息,能够报告学生的认知结构(即学生掌握了哪些知识点,哪些知识点未掌握而需要补救),这便涉及教育考试中的认知诊断。
Leight on&Gierl(2007)[1]认为,认知诊断用于测量/评价个体特定的知作者简介 涂冬波,博士生;漆书青,教授、博士生导师;戴海琦,教授、博士生导师,江西师范大学教育学院;蔡艳,博士生,江西师范大学数学与信息科学学院;丁树良,教授,江西师范大学计算机学院。
江西南昌,330027。
教育考试中的认知诊断评估识结构(kno wledge structure)和加工技能(p r ocessing skills)。
通常把对个体知识结构、加工技能或认知过程(均简称为“attribute”)的诊断评估称为认知诊断评估或认知诊断(cognitive diagnosis assess ment/cognitive diagnosis)。
认知诊断在语言测试中的应用
认知诊断在语言测试中的应用传统的语言测试往往只供应一个笼统的考试分数或语言力量估值，对于具有相同分数或相同语言力量的同学具有不同的学问状态及不同认知结构这一现象无法做出解释；相同分数的个体间差异无法区分；是什么因素导致考生试题做错、考生把握了什么语言技能、未把握什么语言技能等信息无法猎取。
语言测试讨论的进展已不满意于仅讨论整体语言力量的水平测试〔 proficiency tests〕和成就测试〔 achievement tests〕〔 Glaser 1994; Linn 1990〕 ,语言测试专家们更盼望语言测试能够供应诊断信息，能够报告同学的认知结构〔 Alderson 2022; Bailey 1999;Shohamy 1992; Spolsky 1990〕 .传统的诊断性测试只是按技能将试题分为几类，诊断结果只是通过计算各类试题的答对数目来反映同学的学问结构，这明显不符合语言技能的综合性和抽象性。
为了科学地诊断同学的认知结构，最近几十年来教育与心理测量学界兴起了一项新的诊断技术---认知诊断，它通过获得被试在测试上〔可观看〕的反应模式而推知该被试不行观看的学问状态，用来测量/评估个体特定的学问结构〔 knowledge structure〕和加工技能〔 process-ing skills〕〔 Leighton Gierl 2022〕 .本文将主要介绍认知诊断的理论基础、进展历程及其在语言测试领域中的应用，盼望能为国内诊断性语言测试的进展起到抛砖引玉的作用。
2. 认知诊断的理论基础认知诊断以以下三大理论的进展为基础，即现代认知心理学、计量心理学、现代统计数学和计算机科学。
第一，现代认知心理学的进展。
现代认知心理学讨论人的心理活动和心理加工过程〔如同学的解题过程〕 ,并将之模型化。
它能为测验编制供应心理学理论支持，并直接指导项目开发。
认知心理学的分析不仅可以明确被试正确作答所需的学问、技能、解题策略与加工过程，还可以明确项目特征和刺激条件与作答反应的关系，从而有力地提高编制过程对难度等性能的预控性。
分层认知理论在心理学研究中的应用
分层认知理论在心理学研究中的应用分层认知理论在心理学研究中的应用是一个复杂而多维的领域。
本文将探讨分层认知理论的基本概念，分析其在心理学研究中的重要性和应用场景，以及面临的挑战和实现途径。
一、分层认知理论概述分层认知理论是一种心理学理论，它认为人类的认知过程可以分解为不同的层次，每个层次都有其特定的功能和作用。
这种理论强调认知过程的层次性和模块性，认为大脑通过不同层次的相互作用来处理信息和解决问题。
1.1 分层认知理论的基本概念分层认知理论的核心观点是，认知过程不是单一的线性过程，而是由多个层次组成，每个层次负责处理不同类型的信息。
这些层次可以大致分为感知层、记忆层、思维层和决策层。
1.2 分层认知理论的应用场景分层认知理论在心理学研究中的应用场景非常广泛，包括但不限于以下几个方面：- 感知与注意：研究如何通过感知层来处理外部刺激，以及注意机制如何在认知过程中发挥作用。
- 记忆与学习：探讨记忆层如何存储和检索信息，以及学习过程中的认知机制。
- 思维与问题解决：分析思维层如何处理复杂问题，以及问题解决策略的形成和应用。
- 决策与判断：研究决策层如何在面对选择时进行权衡和判断，以及决策过程中的偏差和错误。
二、分层认知理论在心理学研究中的重要性分层认知理论在心理学研究中的重要性主要体现在以下几个方面：2.1 促进心理学研究的深入分层认知理论提供了一个框架，帮助研究者更深入地理解认知过程的复杂性，从而推动心理学研究的深入发展。
2.2 指导心理学实验设计分层认知理论为心理学实验设计提供了理论基础，使得研究者能够更有针对性地设计实验，探索不同层次的认知机制。
2.3 促进跨学科研究分层认知理论的模块性和层次性特点，使得它能够与其他学科如神经科学、计算机科学等进行交叉融合，促进跨学科研究的发展。
2.4 提供心理疾病治疗的新视角分层认知理论为理解心理疾病的发病机制提供了新的视角，有助于开发更有效的心理治疗方法。
三、分层认知理论在心理学研究中面临的挑战与实现途径分层认知理论在心理学研究中的应用也面临着一些挑战，需要通过一定的途径来克服。
认知诊断理论在数学教育评价中的应用
认知诊断理论在数学教育评价中的应用王立东;郭衎;孟梦【摘要】质性地比较论证了基于认知诊断理论的数学教育评价工具开发的可行性。
通过分析实际测试数据，比较几种不同认知诊断模型中的参数估计方法实际应用于分析数学评价测验的可能性。
研究发现，认知属性概念可以帮助研究者和实践者分析影响学生解答数学题目背后的认知结构。
人工神经网络模型能够充分利用理论设计的认知模型，克服测验题目有限、题型多样、认知属性差异大等不易分析的困难，较好评价学生的数学学业成就，为后续教学提供诊断性信息，达到了诊断性测验的目的。
%Qualitatively illustrating the feasibility of developing mathematics education assessment tool based on Cognitive Diagnose Model. Several different parameter estimation model based on survey data were compared. The results indicated that the concept of cognitive attributes could help both the researchers and the practitioners to analyze the cognitive structure behind students’ solutions of mathematical problems. Artificial neural networks model could fully make use of the cognitive model to solve the problems of limited amount of rubrics as well as diversity of different cognitive attributes, and assess students’ mathematical achievement with high validity, which provide diagnosestic information for future instruction.【期刊名称】《数学教育学报》【年(卷),期】2016(025)006【总页数】6页(P15-19,55)【关键词】数学教育评价;多维评分;认知诊断模型;属性层次模型;人工神经网络模型【作者】王立东;郭衎;孟梦【作者单位】中国人民大学附属中学，北京100080;北京师范大学数学科学学院，北京 100875;西南大学数学与统计学院，重庆 400715【正文语种】中文【中图分类】G40-034通常的数学测验只给出一个笼统的测验分数，而对于具有相同分数的学生，既不易区分他们可能具有的不同数学认知结构[1]，也没有具体给出学生在数学学习的哪个方面存在不足．在教育研究中，这种测验分数无法提供精细化的学生学业成就评价；在教学实践中，这种测验分数对于后续数学教学的指导，也往往依赖于教师对于试卷的经验性分析．心理测量学中的认知诊断理论（Cognitive Diagnose: CD）依据测量学理论和统计分析技术给出了对于学生学习状况的标准化多维评价，为后续的教学实践提供了精细化的指导信息．心理学工作者开发了多种认知诊断模型和技术，如规则空间模型（Rule Space Model: RSM）[2]、DINA模型[3]、属性层次模型（Attribute Hierarchy Method: AHM）[4]等．在具体的模型下，又有多种不同的统计分析方法，如在AHM模型的理论框架下，就有多种属性掌握概率的参数估计方法[5]．研究将以大规模七年级学生代数学业成就测试的编制与实施为案例，尝试将认知诊断理论中的AHM模型应用于数学学业成就的诊断性评价中，通过质性分析论证其应用于数学教育理论与实践的可行性．2.1 AHM模型概述AHM模型是在规则空间模型的基础上发展起来的一种重要的认知诊断模型．该方法的核心概念是认知属性（Attribute），对于该概念，心理测量界有多种描述，但详细考察其间没有本质上的区别．综合Tatsuoka（2009）、Leighton等（2004）的观点，认知属性可以被认为是一般性的知识与认知技能，或程序与陈述性知识，在课程标准为教学目标的教学系统中，可以将属性等同于课程标准中的具体教学目标的条目．在数学背景下的认知属性可以是具体的数学知识（如掌握有理数的定义）、技能（如能够求解二元一次方程组），也可以是相对抽象的数学思想（如数学类比的思想）等．它是一种将考生在测验项目上的作答情况与特定认知属性掌握情况建立数量关系的统计方法，进而能够对于学生学业成就进行多维度评价，为后续的教学提供诊断信息（指出学生在哪个认知属性的掌握上存在不足）[6]．该方法以认知结构理论为基础，在操作上，先由学科专家确定要测量的各个认知属性及其层次关系，将此作为指导测验编制的认知结构模型．如：图1表示分别被称为直线型和收敛型的认知结构模型，各自由4个和6个需要测量的认知属性组成．在数学学习上，这若干个认知属性应存在逻辑先决关系（由箭头表示），如A1A2表示学生掌握A2属性必须是以掌握A1属性为前提（如掌握二元一次方程组的解法必须是以掌握一元一次方程解法为基础），即直接的先决关系．A1A2A3表明，A1与A2，A2与A3存在直接的先决关系，A1与A3存在间接的先决关系．这样在测量高级属性的过程，可以提供低级属性的测量信息．如，正确回答二元一次方程题目的学生，可被判定是掌握了二元一次方程属性，同时，也在一定程度上掌握了一元一次方程属性．此外，正确回答了一元一次方程题目，但错误回答二元一次方程题目的学生，要比错误回答了一元一次方程题目和二元一次方程题目的学生在二元一次方程属性的掌握情况上更好（虽然他们错误地回答了二元一次方程题目）．在属性层级关系的基础上，可以获得一个可达矩阵（Reachability Matrices）：表示各属性间的直接或间接的先决关系．在可达矩阵的基础上，通过扩张算法（丁树良等，2009）[7]得到包含各类可能的属性组合的完全的Q矩阵，该矩阵建立了题目与属性的关系．基于这个过程设计的题目能够整合已有的认知理论对于各类属性层次结构的认识，可以从内容效度的角度保证了所设计的测验能够测量、区分学生不同的认知结构．通过Q矩阵，可以获得若干个学生的期望反应模式，这个模式假设学生完全依照认知模型作答，不受任何随机因素（如猜测，发挥失常等）影响．也可以获得与期望反应模式相对应的属性掌握模式（即在理想状态下，具有某种属性掌握模式的学生的答题结果是期望反应模式）．如图1中，直线型结构给出的认知结构样例中，学生应有4种理想的反应模式包括(1, 0, 0, 0)、(1, 1, 0, 0)、(1, 1, 1, 0)、(1, 1, 1, 1)，其中4个数字分别表示学生回答4道试题（由Q矩阵决定）的正误情况．即按照图1中的层次关系，在理想的情况下，学生如果正确回答了第二题，在无其它随机因素影响的前提下，应正确地回答第一题．对应的属性掌握模式为(1, 0, 0, 0)，即仅答对第一题的学生在理想状态下，应是仅掌握第一个认知属性．在教育实践中，学生对于某种属性的掌握情况无法仅由掌握和不掌握来描述，同时实际答题的过程中还受到许多随机因素的影响．AHM模型可以基于学生的实际答题情况（称为反应类型），如：(1, 0, 0, 1)代表学生正确回答第一、第四题，错误回答了第二、第三题．AHM模型通过估计属性掌握概率（对于各个属性掌握情况都用一个属于[0, 1]的数来刻画）更加细致地刻画属性掌握情况，如(0.1, 0.5, 0, 0.8)可代表学生对于4个认知属性的掌握情况（该学生较好地掌握了第四个属性，对于第二个属性掌握一般，没有掌握第一、第三个属性）．认知诊断模型对于学习者在某个属性上的掌握情况做出判断，进而从中获得反馈指导相应的教学（如学生在第一、第三个认知属性的学习上需要重点加强，补充学习）．2.2 测验框架设计与试题编制评价模式选择为标准参照的诊断性评价，以课程标准中的有关数学教学内容的具体条目为测量目标，将其作为AHM模型中的认知属性．在征询了部分一线教学专家的意见的基础上，将七年级的代数和几何内容分开编制测试问卷．（由于在七年级的教学要求中，代数几何的综合内容可以忽略不计，同时忽略统计教学内容和一次不等式（组）的教学内容．由于在七年级第二学期期中考试后（5月底，6月初）对于学生进行测量，按照基本教学计划，多数学校还未教授这两个内容．）针对代数测试卷（编码为卷Ⅰ）先在16个涉及代数的属性中（不包括不等式的内容）由多位有中学教学经验的数学教育专业博士生从上述属性中，抽取认为处于核心知识地位的8个属性（总数的50%），具体见表2．在此基础上，得到各测试卷认知模型．属性层次结构图见图2．以上属性层次结构给出了需要测量的8个属性的层次结构关系，如掌握属性A1.1是掌握属性A1.2和A1.3的直接先决条件．用矩阵的形式给出如图2所示结构图，得到如表3所示的可达矩阵．在可达矩阵的基础上，获得缩减Q矩阵．这个矩阵考虑了8个具体层级关系属性理论上可以在相关题目中实现各种组合情况，同时也考虑到了数学学科内容的特点，包括按照理论上的属性搭配模式编制的问题可能不是在初中范围内实质上的，有意义、有价值的数学问题（如强行将两个数学内容联系在一起或者产生如二元一次方程组与绝对问题相结合的难度过大的题目），或者这些问题是否过于复杂、难度过大的问题，同时也考虑是否会造成试卷过长的问题．如是否考虑属性A1.2（相反数与绝对值内容）会造成题目大量增加（因为A1.2相对“独立”）．在可达矩阵的基础上，获得了如下的缩减Q矩阵（包括11类题目），如表4所示．上述Q矩阵表明，在开发测验中，需要编制11类题目．在此基础上，形成卷Ⅰ的各个测试题目．样例：（）1. 某数的相反数的绝对值的倒数是5，求这个数是（）(A) (B) (C) 5或 (D)正确回答该题目需要掌握涉及A1.1和A1.2两个属性的知识与能力．正确回答该问题说明学生较好地掌握了属性A1.1（有理数的意义、数轴上的点表示有理数、比较有理数的大小）和属性A1.2（会求有理数的相反数与绝对值（绝对值符号内不含字母））．2.3 属性掌握分数的参数估计模型针对如何通过学生的题目反应模式获得学生对于各个属性的掌握分数的问题，现有文献提供了多种针对AHM模型的参数估计方法．方法一：Leighton, et al（2004）提出了依据“滑动”（slips），观测反应模式（Observed Response Pattern）向期望反应模式判定的方式中的A方法，结合Tatsuoka（2009）中属性掌握概率的概念获得一个新的属性掌握分数估计方法，具体过程如下：对于一个实际反应模式：，；．计算其由某个特定的期望反应模型“滑动”而来的后验似然：其中，为第i个期望反应模式对应的学生的能力估计值，由项目反应模型（IRT）给出．此外，表示期望反应模式的反应为0，观测反应模式的反应为1的项目的集合；表示期望反应模式的反应为1，而观测反应模式的反应为0的项目的集合，从而形成一个后验似然．这个后验似然即为某个观察反应模式是由某个由理想属性掌握模式决定的期望反应模式而来的后验似然．为了获得对于某个学生在某个属性上的掌握情况的更准确的估计，参考Tatsuoka（2009）中给出的属性掌握概率的方式，通过综合考虑某个观察反应模式从每个期望属性掌握模式而来的可能性，给出了如下属性掌握概率的刻画，从而可以获得给某个特定观测反应模式的学生在某个特定属性上的掌握概率（分数）的估计值：其中，表示第个期望反应模式在第个属性上的掌握情况，用0，1来表示掌握与未掌握的学习状态．方法二：朱金鑫等（2009）[8]提出了非IRT的属性掌握概率的估计方法．首先，计算学生在包含属性k的项目中答对的比例，利用这个比例估计学生掌握某个属性的概率，同时将答对某个项目的概率定为该项目涉及的所有属性掌握概率估计的乘积，这个项目答对的概率可以修正上述学生掌握某个属性的估计，进而获得学生在某个属性掌握概率的估计：朱金鑫等（2009）认为这个估计方法可以消除属性间的影响，但研究者认为属性间可能存在的影响恰恰可以为属性掌握情况的估计提供更为丰富的信息．如：如正确回答二元一次方程的学生，即使在求解一元一次方程的题目中出错，但在有关一元一次方程的认知属性的评价中，应当考虑属性层次提供的信息，不应评为0．方法三：Gierl, et.al（2007）,（2008）[9]提出了应用人工神经网络学习模型（Artificial Neural Networks，以下简称ANN）估计属性掌握概率的方法．ANN方法是由生物神经网络启发的计算模型，包含多组不连接的人工神经元．在学习的过程中，通常基于内部或外部的信息修正激发函数．通常被用来建立输入与输出的复杂关系以发现数据的模型．该方法采用Logistic函数（S型曲线）作为隐藏层（Hidden Layer）和输出层（Output Layer）的激发函数（Activition Function）：其中为输入变量，即学生的答题情况（n道题），为隐藏层的个数，为线性变换部分的权重．从而输入经过隐藏层形成了一个维向量，经过下列公式：通过进入输出层，为线性变换部分的权重，形成一个维向量，即学生在个属性上的掌握情况的评分，从而实现反应模式到属性掌握概率（分数）的变换．可以看到该种方式的模型决定了各个项目的结果都为各个属性掌握的结果的估计提供了信息，这就建立了属性之间的联系，可用学生的答题情况估计学生的属性掌握情况．下文将基于一个实证大样本调查研究的数据比较上述3种参数估计方法的运算结果，质性地论证将认知诊断理论应用于数学教育评价的可行性．针对性地搜集了理论框架设计所需的数据，从而保证了研究的系统性．数据来自北京师范大学与美国Vanderbilt大学的MIST-CHINA国际合作项目的数据库，样本来自中国3个大城市学区的教师与学生．用分层随机抽样的方法从重点中学（示范中学）与非重点中学（普通中学）中近似随机选择若干所初级中学（包括完全中学的初中部）．从每所学校的七年级随机选取5~7名数学教师作为教师样本，选取每位教师教授的一个班的学生为学生样本（随机选择每位教师的一半的学生完成代数测试），有效数据为：1 304名学生的代数测试数据．利用实际施测数据对于几种方法进行了比较，讨论了各种方法的差异，进而获得了适合该研究数据分析的相对高效度的分析方法．尝试一：利用综述中的方法一获得对于学生属性掌握分数的估计，每个学生的属性掌握情况由一个八维向量来表示，但通过计算各个维度属性掌握分数的相关系数，发现该方法在分析研究数据的计算结果存在一定的问题，如表5所示．通过相关分析，学生在某些属性的掌握概率与另外一些属性的掌握概率呈现负相关（如表5中用下划线标识的），而且相关系数较大（统计显著），项目反应理论（IRT）估计的学生数学能力数值（在表格中以BILGdata表示）与部分属性能力数值呈现负相关的现象．这种现象与教育实践经验无疑是不相符的，通常的认识是在同一个领域的学习中，不同的内容间的学习情况在一个群体中应当是具有一定的一致性的，呈现强负相关的情况无疑是值得怀疑的．这是由于在对于学生进行多维认知评价的时候使用具有单维假设（假设学生的能力能够用一个数值来表示）的IRT模型所带来的问题．即在计算滑动似然的时候，单维的IRT模型不易精确刻画相应的似然，同时此研究的测试在使用IRT分析时，鉴于实际作答情况，采取了3参数的IRT模型（有两道非选择试题也做了3参数分析），这在某种程度上降低了IRT分析的精确性．从这个意义上讲，对于项目反应理论模型估计参数效果不佳，即具有一定数量的非选择题，并且涉及的知识内容较为宽泛（属性之间的差异较大，不满足IRT的单一维度假设）的测验，不宜采用上述模型分析．在这样的情况下，尝试不基于IRT模型的分析方法．尝试二：利用综述中的方法二，其估计结果不存在上一方法中所出现的负相关和估计值过小的问题．但出现一个新的问题，即部分涉及项目较少的属性的掌握分数估计结果较为单一（只有3种分数，对应3种属性掌握情况），如属性A4.3（有两个题目涉及），不易区分出学生对于该属性的不同掌握情况．属性A4.3的掌握分数估计结果见表6．这种单一的现象使得对于某些属性的掌握分数的估计过于依赖单一的题目，而忽略了各个属性之间的相关性对于估计某些属性掌握概率的贡献，如有理由期望在低一层次掌握较好的学生比掌握较差的学生更有可能掌握更为高级的属性（恰恰后文分析的神经网络模型可以实现这点）．这种现象是由于对于属性A4.3仅有两道题目测试，造成分母值较为单一．同时，该结果出现了低水平属性和高水平属性能力“倒挂”的现象，如所有学生属性A1.1的属性能力的均值为0.045 087，作为最基础需要掌握的属性，其得分反而低于其它所有的属性，这无疑有悖于教育经验．出现这种现象的原因是因为该种估计方法依赖于项目的数量，由于测试条件限制（时间限制），代数测试的项目数量有限，这就使得随机因素影响了参数估计结果．同时这也是一种基于实际数据的模型，抛开了属性的层级结构的假设，因此产生了“倒挂”现象的可能．从这个意义上讲，对于题目数量有限但需要评价的认知属性较多（且相关关系“紧密”）的测验，该评价方法不易充分利用理论设计中的认知结构模型来高效度地测量学生的属性掌握情况．分析上述不足，研究者尝试第三种参数估计方式：将20个与期望属性掌握模式相对应的期望反应模式（由Q矩阵生成的学生对于各个属性的掌握的各种情况（对于每种属性仅限制于没有掌握和完全掌握两种情况））作为样本（Examplers），即20个十二维向量做为模型训练的输入．而将20个期望反应模式作为期望变量（Desired Varibales），即20个八维向量作为模型训练的输出．选择SPSS16.0的默认设置（如，多层感知器（Multilayer Perceptron）过程，Batch类型的训练类型，自动生成隐藏层单元数等），获得估计结果，形成权重矩阵．这个权重矩阵和激发函数即作为连接前文所述实际反应模式与属性能力的映射．注意这是一个基于理论假设而非基于数据的模型．进而将学生的项目反应作为向量，输入属性能力，SPSS自动生成了16个隐藏层：即学生的8个属性掌握能力的八维向量到一个虚拟隐藏层的十六维向量再到学生答题结果（12道题）的十二维向量的映射，从而可以通过学生的答题结果回归估计学生的属性掌握能力．需要注意的是，这是一种不受数据影响的估计方法，其参数估计完全基于测验内容的理论设计（不由实测数据估计参数的模型），而不受到学生回答情况的影响，因此相对于施测情况不是特别理想的测验（如学生不认真作答）相对有效．表5的数据表明模型的拟合较好．对于前述两个模型出现的问题，神经网络模型都提供了很好的解决方法．各个属性之间呈现正向相关．这个结果与周超（2009）[10]的研究结果相一致（虽然对于认知水平的认识和处理方式（如基于题目和基于教学目标、内容）有所差异）．神经网络模型能够很好地利用各个属性之间的联系（特别是层次结构关系）来更精细地估计属性分数．不同题目的反应对通过权重为属性分数的估计提供了贡献．例如：对于两个都错误地回答了A4.3有关的题目的学生，很好地掌握了属性A4.3上位属性（包括A1.1、A1.3、A1.4、A3.2、A4.2）的学生对于A4.3的掌握情况，估计很可能好于未能很好地掌握这些属性的学生．通过上述分析，可以看到，对于有如下特征的测验，人工神经网络模型能够很好的分析．（1）基于认知结构模型设计的；（2）题目数量有限；（3）要测量的属性较为宽泛；（4）题型丰富（选择，填空，解答）且不易用IRT模型分析．至此，应用人工神经网络模型可以获得对于学生在各个数学学习目标（认知属性）的学习评价结果，每位同学都得到了一个标准化的成绩报告，包括其在8个代数学习内容上的评分．这个成绩报告可以为后续教学实践活动提供指导，如：为教学质量提供系统的反馈，针对性地设计“补偿性”教学（包括采用“微课”等信息技术的方式）．通过测试工具的编制与实施的过程分析可以看到，认知诊断可以帮助数学教育工作者系统地设计结构效度较高的诊断性测验工具．认知属性概念，可以帮助研究者和实践者分析影响学生解答数学题目背后的认知结构．同时，通过比较几种参数估计方法，找到可以相对合理的对测验结果数据进行多维分析的统计模型——人工神经网络模型．该模型能够充分地利用理论设计的认知模型，克服测验题目有限、题型多样、认知属性差异大等不易分析的困难，较好地评价学生的数学学业成就，为后续教学提供诊断性信息，达到了诊断性测验的目的．这些评价数据信息不仅可以用于有针对性的教学改进，也为大样本教育政策研究，如教育效能、学校效能、教师效能研究等，提供了精细的学生评价数据．[1] 涂冬波，蔡艳，戴海崎，等．现代测量理论下四大认知诊断模型述评[J]．心理学探新，2008，（2）：64-68．[2] Tatsuoka K K. Cognitive Assessment: An Introduction to the Rule Space Method [M]. New York and London: Routledge Taylor & Francis Group, 2009.[3] 孙佳楠，张淑梅，辛涛，等．基于Q矩阵和广义距离的认知诊断方法[J]．心理学报，2011，（9）：1 095-1 102．[4] Leighton J P, Gierl M J, Hunka S M. The Attribute Hierarchy Method for Cognitive Assessment: A Variation on Tatsuoka’s Rule-Space Approach [J]. Journal of Educational Measurement, 2004, 41(3): 205-237.[5] 王立东．数学教师对学生学业成就的影响研究[D]．北京师范大学，2012．[6] 朱文芳．俄罗斯数学教育评价改革的动态与研究[J]．课程·教材·教法，2006，（2）：90-92．[7] 丁树良，祝玉芳，林海菁，等．Tatsuoka Q矩阵理论的修正[J]．心理学报，2009，（41）：175-181．[8] 朱金鑫，张淑梅，辛涛．属性掌握概率分类模型——一种基于Q矩阵的认知诊断模型[J]．北京师范大学学报，2009，（2）：117-122．[9] Gierl M J, Wang C, Zhou J. Using the Attribute Hierarchy Method to Make Diagnostic Inferences about Examinees’ Cognitive Skills in Algebra on the SAT [J]. Journal of Technology Learning & Assessment, 2008, 6(6): 53.[10] 周超．八年级学生数学认知水平的检测与相关分析[D]．华东师范大学，2009．。
认知诊断学习文档
一、名词解释认知诊断：认知诊断是基于认知加工过程的诊断，是对个体认知加工过程中所涉及的认知属性的诊断。
从广义上说，认知诊断是建立观察分数和被试的内部认知特征之间的关系；从狭义上说，是指在测试中，按被试有没有掌握测试所测的技能或特质来对被试加以分类。
而所谓测试的认知诊断，不但了解学习者的能力知识结构，还能解释其通过知识掌握了哪些实际技能，在学习过程中采取了何种学习策略。
认知属性：认知属性一词用来描述被试正确完成任务所需的知识、技能、策略等，它是对被试问题解决心理内部加工过程的一种描述。
属性层级关系：认知属性不是独立操作，而是从属于一个相互关联的网络，认知属性间可能存在一定的心理顺序、逻辑顺序或者层级关系。
属性层级关系又四种基本类型：线性、收敛、分支、无结构。
这四种基本类型可组合为更复杂的网络层级关系。
Q 矩阵理论：Q 矩阵理论主要是确定测验项目所测的不可观察的认知属性，并把它转化为可观察的项目反应模式，将被试不可直接观察的认知状态在项目上可观察的作答反应相连接，从而为进一步了解并推测被试的认知状态提供基础。
即： 确定属性层级关系→连接矩阵→可达矩阵→事件矩阵→缩减实践矩阵→典型属性矩阵→典型项目反应模式这一过程统称为Q 矩阵理论。
Q 矩阵：Q 矩阵指描述测验项目于属性间关系的矩阵，它一般由J （J 指测验项目数）行K （K 指测验测量的属性个数）列的0—1矩阵组成，若1=jk Q 代表项目j 测量了属性k ，若0=jk Q 代表项目j 未测量属性k 。
A 矩阵（邻接矩阵）R 矩阵（可达矩阵）直接先决属性A1→A2→A3：A1为A2的直接先决属性间接先决属性A1→A2→A3：A1为A3的间接先觉属性理想掌握模式即所有可能存在的知识状态//利用扩张算法获取理想掌握模式p9理想反应模式指被试在不存在任何失误和猜测等误差条件下对项目的作答反应情况.即若被试掌握了项目考核的所有属性则被试答对该题，若被试至少有一个项目考核属性未掌握，则被试答错该项目。
- 1、下载文档前请自行甄别文档内容的完整性，平台不提供额外的编辑、内容补充、找答案等附加服务。
- 2、"仅部分预览"的文档,不可在线预览部分如存在完整性等问题,可反馈申请退款(可完整预览的文档不适用该条件!)。
- 3、如文档侵犯您的权益，请联系客服反馈,我们会尽快为您处理(人工客服工作时间：9:00-18:30)。
非统计的诊断方法
教师观察：教师根据学生作业或考试表现主观判断；
出声思维：根据Q矩阵界定的属性，对学生进行出声思维
考察； 费时费力，难以区分随机因素对被试作答造成的影响； 统计方法或测量方法：CTT & IRT CDT。
15
认知诊断评估的基本过程
分数报告 模型选择 认知分析
10
测验分数的实质解构
传统测验 认知诊断测验
单个总分
α [1 , 2 ,, K ]
每个属性都有一个分数
Messi ˆ 90
C. Ronaldo ˆ 90
ˆ [1101110 α ] ˆ [0111010 α ]
11
传统测验理论认知诊断理论
20世纪80年代
认知诊断理论 (CDT)
20世纪60年代
项目反应理论 (IRT)
传统测验理论
概化理论 (GT)
经典测验理论 (CTT)
12
2、Q矩阵的重要地位与规则空间模型
13
题目属性关联矩阵Q
被 试 测 验
作答反应 矩阵
统计或测 量方法
被试的知 识状态
题目属性关联矩阵Q7×7 (行代表属性，列代表题目) 1 0 0 0 0 0 0 1 1 0 0 0 0 0 1 1 1 0 0 0 0 1 1 1 1 0 0 0 1 1 1 1 1 0 0 1 1 1 1 1 1 0 1 1 1 1 1 1 1
17
认知诊断模型分类
• 没有显式的项目特征函数 (ICF)
●
● ● ● ● ● ● ● ●
线性逻辑斯蒂克测验模型 (LLTM) (Fischer, 1973)
规则空间模型 (RSM) (Tatsuoka, 1983) 统一模型 (UM) (DiBello, Stout, & Roussos, 1995) 融合模型 (FM) (DiBello, Stout, & Roussos, 1995) “噪音输入，确定性‘与’门”模型 (NIDA) (Maris, 1999) “确定性输入，噪音‘与’门”模型 (DINA) (Junker & Sijstma, 2001) 属性层级模型 (AHM) (Leighton, Gierl, & Hunka, 2004) “确定性输入，噪音‘或’门” 模型 (DINO) (Templin & Henson, 2006) 广义的DINA模型 (G-DINA) (de la Torre, 2011)
问责的含义
Account：会计、账目清算；说明、解释
Accountability vs. Responsibility
教育问责的发展的脉络
80s’欧美教育文献的高频词
No Child Left Behind Act(2002) Educational Accountability vs. Educative Accountability
4
认知诊断理论的背景
教育问责制 (accountability in education)
问责制涉及的核心问题
明确可行的教育目标和标准
相应的法律法规体系
责任共担的教育性问责取向 教育评测（Assessment）的作用 客观可靠的数据系统
5
认知诊断理论的背景
教育问责制 (accountability in education)
No Child Left Behind Act (2002)：强化测验在评估中 的作用；
加强结果评估 (consequential assessment) 与教学之间
的联系
学生 (测验分数)
学校与教师
形成性评估 (formative assessment)
6
K-12评估的革新
教育评估应该更好地反映学生的
LOGO
认知诊断理论概述
认知诊断理论概述
认知诊断理论的背景与基础
Q矩阵的重要地位与规则空间模型 常见认知诊断模型介绍
1
2 3 4 5
认知诊断评估的结果报告
认知诊断评估对我国学业评价的启示
2
1、认知诊断理论的背景与基础
3
认知诊断理论的背景
教育问责制 (accountability in education)
9
认知心理学的发展 (续)
认知诊断的定义
对被试在测验所测属性或知识点 (如通分、借位与约
分等) 上的掌握水平进行分类 (掌握还是未掌握) 通过认知诊断方法或模型确定被试的不可直接观测的 认知结构或知识状态，确定被试已经掌握哪些属性， 哪些属性未掌握需要补救
除了二分，还可 以是多分的情况
分数报告： 属性掌握概率 学习之路
认知诊断模型： 模型选择 参数估计 统计收敛性 模型数据拟合检验
认知属性分析： 属性提取 属性层级关系界定 测验Q矩阵标识 测验题目编制
学习优势剖面图
16
常见的认知诊断模型
认知诊断模型 (Cognitive Diagnostic Model, CDM)
1：项目水平模型 —项目反应函数 2：基于IRT的认知 诊断模型的基础
CTT和IRT都只能将被试进行排序，无法获得更多的测验信息！
8
认知心理学的发展
对被试问题解决过程的心理揭示
认知心理学 学科心理学 教育心理学
学习心理学
认知属性 (attribute)
知识点
技能 心理过程
学习，为教学提供反馈信息：
Cronbach’s (1957)：The Two Disciplines of Scientific Psychology Glaser’s (1976)：conceptualization of an instructional psychology that would adapt instruction to students’ individual knowledge states 认知理论与心理计量模型的结合 (Glaser
& Silver, 1994; Pellegrino, Baxter, & Glaser,1999;
Pellegrino, Chudowsky, & Glaser, 2001)
7
CTT与பைடு நூலகம்RT分数的局限
传统统计分数
经典测验理论：
1：X = T + E 2：信度、效度、 难度和区分度为指 标
项目反应理论：