几种常用非补偿型认知诊断模型的比较与选用：基于属性层级关系的考量*

(江西师范大学心理学院, 江西省心理与认知科学重点实验室, 南昌 330022)

1 引言

认知诊断理论(Cognitive diagnosis theory)是认知心理学与心理计量学相结合的产物, 通常是在心理计量学模型中融合了相关认知变量来实现对被试的诊断及分类。目前心理测量学者们开发了 60多种认知诊断计量模型(Fu & Li, 2007), 比较成熟的有 Tatsuoka (1995, 2009) 的规则空间模型(Rule Space Model), Junker和 Sijtsma (2001)的 DINA 模型, Leighton, Gierl和Hunka (2004)以及Leighton和Gierl (2007)的属性层次模型(Attribute Hierarchy Model), Hartz, Roussos和Stout (2002)的融合模型(Fusion Model), von Davier (2005)的GDM (general diagnosis model)等等。

在实现诊断的过程中, 有的认知诊断模型需要用到属性层级关系(attribute hierarchy, Leighton,Gierl & Hunka, 2004), 如RSM、AHM等, 本文将这一类模型称为“含层级关系的认知诊断模型”; 还有许多模型在实现诊断过程中无需用到属性层级关系, 如DINA模型、Fusion模型、GDM等, 将之称为“不含层级关系的认知诊断模型”。“含层级关系的认知诊断模型”由于充分利用了认知属性间的逻辑关系, 从而大大简化(减少)了可能的属性掌握模式, 但前提是要能准确界定属性间的层级关系;“不含层级关系的认知诊断模型”在实现诊断时并不考虑属性间的关系, 而是把所有可能的属性掌握模式均囊括在内, 算法上显得相对复杂, 但优点是无需构建属性间的层级关系。

在北京、天津和深圳的基础教育阶段学科认知诊断实践中, 我们发现认知属性(cognitive attribute)间的层级关系界定比较困难, 有时甚至是有丰富教学经验的专家对属性间层级关系的认定也存在较大分歧(甚至专门从事心理测量的专家也是如此),尤其是在文科领域中(如语文、政治、历史等), 认知属性间的关系往往是错综复杂。因此, 在实践中,由于认知诊断工作的高度复杂性, 在很多领域中,人们很难对属性层级关系做出科学的标定(也很难判断所标定的属性层级关系的科学性程度到底有多高), 那么在这种情况下, 人们该如何在众多的认知诊断模型中来进行选择呢？如果属性层级关系认定较难或拿不准时, 该如何选用模型呢？属性层级关系如果被错误界定, 它对诊断的影响如何？各认知诊断模型对属性层级关系的依赖程度如何？等一系列涉及认知诊断模型比较与选用的基础性研究问题是本研究拟探讨的问题。

查阅国内外相关文献, 我们发现, 关于认知诊断模型的比较及选用的基础性研究国内外均非常薄弱。并且对于认知诊断模型的比较研究一般均是假设属性层级关系无误情况下进行的(如陈德枝,戴海琦, 赵顶位, 2009; 孙佳楠, 张淑梅, 辛涛, 包珏, 2011; 等), 但关于属性层级关系有误(即属性层级关系被错误界定)情况下, 不同认知诊断模型的比较研究国内外均未见报道。在实际工作中, 由于属性间的关系错综复杂, 属性层级关系的认定也比较困难, 从而导致属性间层级关系被错误界定的现象时有发生(Tatsuoka, 2009)。因此, 本研究以属性层级关系为切入点, 重点考察不同认知诊断模型对属性层级关系的依赖程度以及属性层级关系的错误界定对认知诊断模型诊断正确率的影响, 这对于实际运用者在认知诊断模型比较及选用上具有重要的参考价值。

2 研究设计

2.1 研究内容

本研究主要开展了三项研究：研究一是考察属性层级关系正确界定情况下, 各认知诊断模型诊断正确率的比较; 研究二主要考察属性层级关系错误界定情况下, 各认知诊断模型诊断正确率的比较;研究三是属性层级关系正、误两种情况下各认知诊断模型的判准率的变化/降幅比较, 以充分考察各认知诊断模型对属性层级关系的依赖程度, 从而为实际应用者选用模型提供参考。

2.2 涉及的认知诊断模型

DINA模型是当前应用较为广泛的认知诊断模型(DeCarlo, 2011), 大量研究(Cheng, 2008; Rupp &Templin, 2008)表明该模型具有较高的诊断正确率,因此本研究中“不含层级关系的认知诊断模型”主要考察DINA模型; “含层级关系的认知诊断模型”主要涉及RSM、AHM (本研究采用AHM中的A方法, 简记为 AHM_A)、孙佳楠等(2011)的广义距离法(GDD)、以及我们在DINA模型基础上改进的含阶层关系的 DINA模型, 称为 DINA_HC。DINA_HC模型是在DINA模型的EM算法参数估计的过程中, 将所有不符合属性阶层关系的掌握模式的先验概率设定为 0即可, 这样在EM迭代过程中被试的掌握模式均符合属性层级关系, 因此DINA_HC模型也需事先界定属性间的层级关系。

本文之所以选取以上五种认知诊断模型进行比较, 一是这几个模型具有相似的数理结构, 均属于非补偿(noncompensatory)、连接型(disjunctive)的认知诊断模型; 二是国内外关于这些模型的讨论较多。当然对于其它更多类型认知诊断模型的比较还有待未来进一步探讨。

2.3 涉及的属性层级关系类型

本研究采用Leighton等人(2004)提出的四种基本的属性层级关系结构—— 线型、收敛型、分支型和无结构型, 详见附录1。

2.4 评价指标

采用属性边际判准率(Average Attribute Match Ratio, AAMR)、模式判准率(Pattern Match Ration,PMR)二个指标为评价指标：

其中

N

为被试总数，

N

表示被试

i

的整个属性掌握模式是否判对, 判对为1, 判错为0;

K

为属性个数,

N

表示被试

i

的属性

k

是否判对,判对为1, 判错为0。

3 研究一：属性层级关系正确情况下各认知诊断模型的属性判准率比较

3.1 测验Q矩阵的设计

分别模拟附录1中四种属性层级关系的测验结构, 根据属性间的层级关系, 我们可以导出每种层级关系下所有可能的测验项目考核模式(即简化 Q矩阵), 它们分别为6种、7种、15种和32种项目考核模式, 见图1。

为了尽量保证不同属性层级关系测验项目数基本一致, 我们让四种简化Q矩阵分别在测验中重复出现5次、5次、2次和1次, 这样四种结构的属性层级关系的测验长度分别30、35、30和32题, 被试样本容量为1000人。

3.2 被式作答反应矩阵模拟

(1)被试属性掌握模式真值。根据属性层级关系,可以得出四种基本结构层级关系下被试掌握模式的种类分别为7种、8种、16种和33种(均比项目考核模式多了一个全为 0的模式), 分别将这几种掌握模式平均分配给 1000名被试, 对于不能均分的, 随机指派给被试。

(2)被试作答反应矩阵。根据被试掌握模式真值及2.1部分中的测验Q矩阵设计, 在没有任何猜测及失误的情况下, 模拟被试在测验项目上的理想作答; 然后采用 Leighton等人(2004)的模拟方法,在理想作答基础上, 模拟作答反应失误概率(即slip)分别为 2%, 5%, 10%的情况下被试的作答反应矩阵。

(3)每种测验情景均实验30次。

图1 四种属性层级关系所对应的简化Q矩阵

表1 五个认知诊断模型的属性判准率(30次实验平均)

3.3 研究结果

表1和图2是在不同属性层级关系和不同失误概率(Slip)下, 五个认知诊断模型的属性边际判准率(AAMR)和模式判率(PMR)结果。

从表1可知, 五个认知诊断模型中, 不论是属性边际判准率(AAM)还是模式判准率(PMR), RSM和AHM两个模型相对较差(尤其是RSM); GDD、DINA_HC和DINA三个模型的判准率较高, AAMR和PMR基本上在95%和90%以上, 这三个模型相比较而言, DINA_HC和DINA较GDD稍好一些。同时, 加了层级关系的 DINA模型(即 DINA_HC)与不加层级关系的 DINA模型对属性判准率(含AAMR和PMR)并无本质上改善。表1中还可知, 被试作答的失误率(slip)越大, 五种模型的诊断正确率越低。

图2说明, 四种层级关系中, 线型层级关系下模型的判准率最高, 其次分别是收敛型、分支型和无结构性。这说明属性间存在层级关系的诊断正确率比无层级关系的要高, 属性间层级关系越密切的,其诊断正确率也越高。

综上, 研究者在实际选用模型时, 如果属性阶级关系能正确界定(或属性间层级关系比较容易界定), 且要保证诊断正确率(含 AAMR和 PMR)在90%以上, 建议采用DINA、DINA_HC或GDD三个认知诊断模型进行诊断分析, 而不宜采用 RSM和AHM。

图2 不同属性层级关系下认知诊断模型判准率比较(平均的slip)

4 研究二：属性层级关系错误界定情况下各认知诊断模型的判准率比较

为了更为细致分析属性层级关系对各认知诊断模型判准率的影响, 我们在研究二中重点讨论当属性间的层级关系被错误界定的情况下, 各认知诊断模型判准率, 从而为实际应用者在模型选用上进一步提供参考和借鉴。

研究二中, 被试得分矩阵、测验Q矩阵和被试掌握模式的模拟均与研究一相同, 但在实现对被试的认知诊断过程中, RSM、AHM、GDD和DINA_HC均采用被错误界定的属性层级关系进行诊断分析(DINA模型在诊断中未用到层级关系), 从而进一步考察属性层级关系被错误界定对这几类模型诊断正确率的影响。

4.1 测验Q矩阵的设计与被试作答反应矩阵模拟

与研究一相一致。但在模拟作答时, 为便于说明问题及简化实验, 研究二中的失误的概率Slip只讨论一种情况, 即Slip=0.05的情况。

4.2 属性层级关系错误的类型及模拟

主要模拟分支型、收敛型及线性三种属性层级关系被错误界定。为便于说明问题, 研究中属性层级关系的错误类型主要有“属性间的层级关系被颠倒”、“有层级关系的变有无层级关系”, “无层级关系的变为有层级关系”, 以及“属性层级关系错乱”等几种常见错误类型(见附录 1); 同时模拟时, 并不改变原属性层级关系的类型：即原来是线性的属性层级关系, 模拟有误的属性层级关系仍为线性; 原来是分支型的属性层级关系, 模拟有误的属性层级关系仍为分支型, 以此类推。现对附录1中“线型”和“分支型”为例加以说明：(1)线型：A1至A6共6个属性呈线型关系, “错误A型”中的错误发生在A5和A6上, “A5以A6为先决条件(即只有掌握A5才有可能掌握A6)”被错误地界定为“A6以A5为先决条件”, 其余属性间的关系无误; “错误B型”中的错误发生在A4和A5上, “A4以A5为先决条件”被错误的界定为“A5以A4为先决条件”, 其余属性间的关系无误。(2)分支型：A1至 A6共6个属性呈分支型关系, “错误E型”中属性A2与属性A4有层级关系, 但被错误的界定为无层级关系且呈并列型,属性A1与A4本无直接的层级关系, 被错误的界定为有直接的层级关系; “错误F型”是属性A2与A4有层级关系, 与 A5和 A6无层级关系, 同时属性A3与A5和A6有层级关系。但被错误的界定为：A2与A4无直接层级关系, 与A5和A6有层级关系, 属性A3与A5和A6无层级关系。

由于不含层级关系的认知诊断模型在实现诊断过程中无需用到属性层级关系, 而含层级关系的认知诊断模型则离不开属性层级关系, 因此这些被错误界定的属性层级关系被用于含层级关系的认知诊断模型的诊断过程中。比如：RSM、AHM、GDD及DINA_HC模型, 其理想掌握模式和反应模式均由错误界定的属性层级关系导出/模拟, 并用于实现对被试的认知诊断。

4.3 研究结果

表2是属性层级关系被错误界定情况下五个模型的判准率。表2中, 当属性间层级关系被错误界定时, RSM、AHM和GDD三种诊断方法属性判准率均非常不理想, AAMR不到80%, 而PMR也不到70%, 三种认知诊断模型的诊断正确率受层级关系准确性的影响较大; 相比较而言, DINA_HC模型的AAMR在95%以上, 而PMR也高达85%以上, 这说明 DINA_HC模型受属性层级关系的影响不如RSM、AHM和GDD三个模型大。由于DINA模型在诊断过程中, 未应用到属性间的层级关系, 因此它的判准率与研究一基本一致, AAMR和PMR均在95%以上。

表2还表明, 对于 RSM、AHM、GDD和DINA_HC四个模型, 属性间层级关系被错误界定时, 线型层级关系下模型的诊断正确率最低, 其次是收敛型, 最后是分支型, 这一结果与研究一(即属性间层级关系无误情况下)完全相反, 这说明在错误界定层级关系前提下, 不同层级关系类型对模型的诊断正确率也有影响, 属性间关系越为密切,则影响也显得越大。

5 研究三：属性层级关系正、误情况下各认知诊断模型的判准率降幅比较

为了进一步细致分析属性层级关系正误对模型诊断正确率影响程度, 我们在研究一和研究二的基础上, 比较了属性层级关系正确情况下和错误情况下, 五个模型诊断正确率的降幅比较(见表 3及图 3)。表 3和图 3表明, GDD模型的降幅最大(AAMR的降幅最高达 47%, PMR最大降幅高达84%), RSM 和 AHM 其次(AAMR的最大降幅约44%, PMR最大降幅约70%), DINA_HC模型的降幅相对较小(AAMR的最大降幅约3%, PMR最大降幅约 14%), 这进一步表明 RSM、AHM、GDD和DINA_HC四个模型的诊断正确率均不程度地受属性层级关系准确性的影响, 但对前三者的影响非常大, 对 DINA_HC的影响相对比较小, 而 DINA模型由于未使用属性层级关系从而未受影响。

图3还表明, 模型判准率的降幅还受属性层级关系类型的影响, 即线型层级关系判准率的降幅(含AAMR和PMR)最大, 其次为收敛型, 最后为分支型。进一步说明, 在属性层级关系正误两种情况下, 属性间层级关系越密切, 其诊断正确率的降幅也越大。

综上, 我们可看出, RSM、AHM、GDD和DINA_HC四个模型由于在实现诊断过程中均应用到了属性间的层级关系, 因此它们的诊断正确率均会受属性层级关系准确性的影响, 其中影响最大的是GDD、RSM和AHM三个模型, DINA_HC模型的影响相对比较小。而DINA模型由于在实现诊断过程中未应用到属性层级关系, 因此它的诊断正确率未受影响。

因此研究者在实际应用时, 如果属性层级关系难于界定(或怀疑被错误界定)时, 建议首选 DINA模型, 当然DINA_HC也可又进一步考虑使用。

6 研究结论

本研究主要是从属性层级关系入手, 重点比较了几种常用非补偿型认知诊断模型的计量学特征(即诊断正确率), 研究发现：

6.1 当属性层级关系无错误时

(1) RSM 和 AHM 两个模型的诊断正确率(含AAMR和 PMR)相对较低, GDD、DINA_HC和DINA三个模型的诊断正确率(含 AAMR和 PMR)较高; 而 GDD、DINA_HC和 DINA三个模型中,DINA_HC和DINA较GDD稍好一些。

(2)被试作答的失误率(slip)越大, 五个模型的诊断正确率均越低。

(3)四种基本的层级关系中, 线型层级关系下五个模型的判准率最高, 其次分别是收敛型、分支型和无结构性。属性间有层级关系的诊断正确率比无层级关系的要高, 属性间层级关系越密切的, 其诊断正确率也越高。

6.2 当属性层级关系有错误时

(1) RSM、AHM和GDD三种诊断方法属性判准率均非常不理想, 且与属性层级关系无错误情况下相比, 诊断正确率的降幅非常大, 这三个认知诊断受属性层级关系的准确性的影响较大;DINA_HC模型受属性层级关系的影响相对较小;而 DINA模型由于在诊断过程中未使用属性层级关系, 因此DINA模型不受其影响。

(2)相比较而言, 线型层级关系下, RSM、AHM、GDD和DINA_HC四个模型的诊断正确率最低, 其次是收敛型, 最后是分支型, 这一结果与“属性间层级关系无误情况下”完全相反, 这表明在层级关系有误的情况下, 不同的层级关系对模型的诊断正确率也有影响。

表2 属性层级关系被错误界定情况下五个模型的判准率(Slip=0.05)

表3 属性层级关系正、误情况下模型判准率降幅比较(Slip=0.05)

图3 属性层级关系正误两种情况下判准率的降幅比较(Slip=0.05)

7 讨论

7.1 关于本研究开发的DINA_HC模型

由于DINA模型在实现认知诊断的过程中未充分考虑认知属性(cognitive attribute)间的逻辑关系即属性层级关系(attribute hierarchy, Leighton, Gierl& Hunka, 2004), 因而有时会估计出不符合属性逻辑关系的知识状态(knowledge states), 从而进一步影响了该模型的可解释性。本研究针对当前DINA模型的这一不足, 将DINA模型与属性层级关系相结合, 开发了含属性层级关系的 DINA模型, 即DINA_HC模型, 研究发现在属性层级关系无误情况下, DINA_HC模型具有较高的诊断正确率(优于RSM和AHM, 略优于GDD, 与DINA基本相当),且不会出现不符合属性逻辑关系的知识状态(knowledge states), 值得借鉴。

7.2 模型选用的讨论

对于众多的认知诊断模型, 实践应用者该如何来选用模型呢？本文通过 Monte Carlo模拟研究,以属性层级关系为视角, 对这一问题进行了初步探讨。具体模拟了两种实验条件下(属性层级关系的正与误), 对五个认知诊断模型进行了比较, 从而为应用者提供参考与借鉴。我们认为一个诊断正确率低的认知诊断模型(CDM)不能被认为是一个优良的模型, 即从计量学本身而言, 模型就不具备优良性能; 实际应用者应尽量选用具有优良性能的CDM。通过研究我们认为：对于本文所讨论的几种非补偿、连接型的认知诊断模型, 研究者在实际使用时, 如果属性阶级关系能正确界定(或属性间层级关系比较容易界定), 且要保证诊断正确率(含AAMR 和 PMR)在 90%以上, 建议首选 GDD、DINA_HC或 DINA等认知诊断模; 而如果属性层级关系难于界定(或怀疑被错误界定)时, 则建议首选DINA模型, 当然本研究开发的DINA_HC也可又进一步考虑使用。

7.3 认知诊断中认知分析的必要性

本研究讨论的五种模型中, DINA模型在实现诊断时可以不构建属性间的层级关系(即将所有可能的知识状态均囊括其中), 且模型的诊断正确较高(Cheng, 2008; Rupp & Templin, 2008), 因此就这几种模型比较而言, DINA模型在实践中显得更为灵活。但这是否就意味着研究者或应用者在实践中就不必去探讨属性间的关系呢？我们的回答是否定的。在认知诊断中, 除了要选好恰当的认知诊断模型以外, 编制科学的诊断工具—— 认知诊断测验也是不可或缺的。认知诊断测验的编制不同于传统能力测验编制, 它更多强调心理学理论尤其是认知心理学理论对测验编制的指导作用(Leighton &Gierl, 2007)。因此对欲诊断的目标进行科学的认知分析、探清认知属性间的关系(不一定是层级关系)显得十分必要, 它对认知诊断测验的项目设计(item design)、试题开发、保证诊断功能的实现具有重要意义, 从而为开发科学的认知诊断测验提供基础。因此, 在开展认知诊断工作时, 对诊断目标采用一定的心理学方法(如认知心理学研究范式)进行科学的认知分析显得十分重要。当然, 在认知诊断实践中, 研究者或应用者既要开发/编制科学的诊断工具—— 认知诊断测验, 又要选好恰当的计量分析模型—— 认知诊断模型, 两者两样重要, 它们都是保证诊断效果的基础。

7.4 RSM、AHM等模型受属性层级关系影响的机制

RSM、AHM和GDD三个模型在实现对被试诊断分类的过程中, 均需根据属性层级关系将所有可能的知识状态的全集进行压缩(即剔除不合属性层级关系的知识状态), 然后采用一定方法(如马氏距离、相似度等)将被试判为“压缩后的知识状态”的某一种。在这个过程中, 如果属性层级关系错误, 则会导致压缩后的知识状态有误, 从而影响模型的诊断正确率, 因此这三模型的判准率显然会受到属性阶层关系正确性的影响; 对于 DINA 模型(还有Fusion model、GDM等), 在实现对被试的诊断的过程中, 将所有可能的知识状态均囊括其中(即共 2种知识状态), 不对知识状态进行压缩, 并采用参数估计的方法(如EM算法、MCMC算法)实现对被试知识状态的估计, 因而对属性层级关系的依赖程度不如RSM、AHM和GDD三个模型。

7.5 本研究结论的适用范围

本研究仅以属性层级关系为切入点, 从计量学的角度出发, 根据模型的诊断正确率, 对几种常用非补偿型认知诊断模型进行比较与选择。我们认为：一个诊断正确率低的CDM不能被认为是一个优良的模型, 即从计量学本身而言, 模型就不具备优良性能。实际应用者应尽量选用计量特性好的CDM。正是基于此考虑, 所以本研究从模型计量特征入手, 重点分析CDM的属性判准率(即诊断正确率)。当然本研究并没有解决模型选择/比较的所有问题, 因为模型选择除了要考虑模型计量特征外,还涉及到具体测验情景、试题特征、测验内容、测验形式、测验数据的计分方式、资料-模型的拟合情况等等多种因素, 当然这些问题也不可能在一个研究中能得到所有回答。因此本研究只是在一定条件下(即不考虑或固定其它因素条件下), 以属性层级关系为切入点, 从模型判准率这一个计量因素来进行模型比较与选用研究。

7.6 本研究存在的不足

当然, 限于文章篇幅、时间及能力, 本研究还存在一些不足：本研究只是从属性层级关系角度来比较认知诊断模型, 未来研究还可以从更多的角度(如模型的认知假设、模型与数据的拟合等)进行比较; 本文主要讨论了五种非补偿、连接型认知诊断模型, 其它还更多类型的认知诊断模型(如补偿型认知诊断模型、多策略认知诊断模型等等)还有待未来进一步探讨; 同时, 认知属性层级关系的错误类型还可以进一步丰富等等。我们也非常希望通过本文的研究, 能起到抛砖引玉的作用, 让更多研究者投入到“认知诊断模型比较与选用”这一基础性领域研究中来, 从而为实际工作者和应用者为提供更多的指导和借鉴。

Chen, D.Z., Dai, H.Q., & Zhao, D.W.(2009).Comparing the diagnostic accuracy between the rule space approach and attribute hierarchy method.

Psychological Science, 32

(2),414–416.[陈德枝, 戴海琦, 赵顶位.(2009).规则空间方法与属性层次方法的诊断准确性比较.

心理科学, 32

(2), 414–416.]Cheng, Y.(2008).

Computerized adaptive testing: New development and applications

.Unpublished doctoral dissertation, University of Illinois at Urbana-Champaign.DeCarlo, L.T.(2011).On the analysis of fraction subtraction data: The DINA model, classification, latent class sizes,and Q-matrix.,

Applied Psychological Measurement, 3

5(1),8–24.Fu, J., & Li, Y.(2007, Apirl).

Cognitively diagnostic psychometric models: An integrative review

.Paper presented at the National Council on Measurement in Education, Chicago, IL.

Hartz, S., Roussos, L., & Stout, W.(2002).A bayesian framework for the unified model for assessing cognitive abilities: Blending theory with practicality.Unpublished doctoral dissertation, University of Illinois at Urbana-Champaign.

Junker, B., & Sijtsma, K.(2001).Cognitive assessment models with few assumptions, and connections with nonparametric item response theory.

Applied Psychological Measurement

,

25

(3), 258–272.

Leighton, J.P., & Gierl, M.(2007).Cognitive diagnostic assessment for education: Theory and Applications.Cambridge (pp242–274), UK: Cambridge uUniversity Press.

Leighton, J.P., Gierl M., & Hunka, S.M.(2004).The attribute hierarchy method for cognitive assessment: A variation on Tatsuoka’s rule-space approach.

Journal of eEducational mMeasurement, 41

(3), 205–236.Rupp, A.A., & Templin, J.(2008).The effects of Q-Matrix misspecification on parameter estimates and classification accuracy in DINA model.

Educational and Psychological Measurement, 68

(1), 78–96.Sun J.N., & Zhang, S.M., & Xin, T., & Bao, Y.(2011).A cognitive diagnosis method on Q-Matrix and generalized distance.

Acta Psychology Sinica, 43

(9), 1095–1102.[孙佳楠, 张淑梅, 辛涛, 包珏.(2011).基于 Q 矩阵和广义距离的认知诊断方法.

心理学报, 43

(9), 1095–1102.]Tatsuoka, K.K.(1995).Architecture of knowledge structure and cognitive diagnosis: A statistical pattern recognition and classification approach.In P.D.Nichols, S.F.Chipman& R.L.Brennan (Eds.),

Cognitively Diagnostic Assessment

(pp.327–361).Hillsdale, NJ: Erlbaum.Tatsuoka, K.K.(2009).

Cognitive Assessment: An introduction of the rule space method

.New York: Routledge: Taylor &Francis Group.von Davier, M.(2005).

A general diagnostic model applied to language testing data.

ETS Research Report( No.RR-05-16), Princeton, NJ: ETS.