基于学科知识图谱的智能化认知诊断评估方法*

李 振 周东岱

基于学科知识图谱的智能化认知诊断评估方法*

李 振 周东岱

（东北师范大学 信息科学与技术学院，吉林长春 130117）

认知诊断评估是新时代教育评价改革的重要着力点，而现有认知诊断评估方法存在认知模型构建效率低、可解释性差的问题，同时认知测量模型也因缺乏语义化的认知模型而导致精度不高。对此，文章提出基于学科知识图谱的智能化认知诊断评估（ICDA-SKG）方法，内容包含学科知识图谱和认知测量模型两个部分，其实现涉及学科知识点抽取、知识点语义关系识别、特征矩阵计算、认知状态评估四大关键技术。之后，文章采用算法模型对比实验、实际应用对比实验，分别对表征认知模型的学科知识图谱和融入学科知识图谱的认知测量模型进行了实验验证，结果表明：ICDA-SKG方法具有有效性和实用性。文章的研究成果可为智能化认知诊断评估提供新思路，并为教育评价实践提供方法指导。

学科知识图谱；认知诊断评估；人工智能；深度神经网络

2020年，中共中央、国务院印发《深化新时代教育评价改革总体方案》[1]，凸显了教育评价在新时代教育事业发展中的重要地位。在新一轮教育评价改革的影响下，传统的“以结果为导向的鉴定式评价”正逐渐转向“为了改进的诊断式评价”，以认知诊断评估为代表的第三代测评理论引起了教育界的广泛关注。认知诊断评估（Cognitive Diagnostic Assessment，CDA）是指对学习者认知过程、加工技能或知识结构进行诊断评估，可通过采集、分析学习者的测评数据，借助概率统计模型或机器学习算法，获得学习者在问题解决过程中所用到的知识技能掌握状态[2]。随着深度学习、知识图谱等人工智能技术的快速发展，智能化认知诊断评估成为重要的教育评价方法。尤其是学科知识图谱这种高效化、语义化、自动化的知识表征方式，为认知诊断评估的智能化转型带来了新的发展契机，对于提高诊断评估的效率与精度具有重要意义。基于此，本研究从人工智能赋能教育评价的视角出发，研究基于学科知识图谱的智能化认知诊断评估方法，以期对认知诊断评估的理论与实践应用有所助益。

一 认知诊断评估方法的研究现状

认知诊断评估是认知心理学和心理测量学相结合的产物，包括认知模型和认知测量模型[3]。

1 认知模型的研究现状

认知模型是进行认知诊断评估的基础，由认知属性及其关联关系构成。对于“认知属性”，不同研究者提出了不同的理解，如Nichols等[4]认为认知属性是学习者完成某项学习任务时所需的知识技能，Leighton等[5]认为认知属性是问题解决过程中所涉的陈述性或程序性知识。目前主流的观点认为，认知属性对应于教育学中广义的知识点[6]。

认知属性及其关联关系的确立过程就是认知模型的构建过程，现有的认知模型构建方法大致可以分为两大类：①人工构建方法，即通过文献分析法、口头报告法、专家咨询法等人工操作来构建认知模型。例如，王欣瑜[7]、康春花等[8]、蔡佳宝[9]等综合应用上述两种或两种以上的方法，分别构建了儿童关键数学学力、小学数学图形与几何、高中概率与统计的认知模型。该类方法主要依靠学科专家人工构建，存在效率低、成本高、出错率高的问题。②基于数据驱动的自动化/半自动化构建方法，即利用学习者表现数据，通过机器学习或数据挖掘获得数据中隐含的认知属性及其关系。例如，Koedinger等[10]提出基于学习因素分析的半自动化认知模型构建方法，Sun等[11]提出基于布尔矩阵分解的自动化认知模型构建方法。该类方法虽然能自动化或半自动化地构建认知模型，但存在可解释性差的问题。

2 认知测量模型的研究现状

目前，国内外研究者已经开发出了100多种认知测量模型，大致可以分为三大类：①潜在特质模型，是指建立在项目反应理论基础上的认知测量模型，如项目反应理论（Item Response Theory，IRT）模型、多维项目反应理论（Multidimensional Item Response Theory，MIRT）模型等[12]。该类模型的研究虽然起步较早，但仅能笼统地估计学习者的能力水平，尚不能评估学习者细粒度的认知属性掌握状态。②潜在分类模型，其思路是利用测评数据对学习者的认知模式进行分类，如确定性输入噪声与门（Deterministic Input Noisy And gate，DINA）模型、噪声输入确定性与门模型（Noisy Inputs Deterministic And gate，NIDA）等[13]。该类模型以概率统计为基础，需要事先确定模型的具体形式，然后采用最大似然估计、最大后验概率估计或蒙特卡洛算法对模型参数进行求解，容易导致预测精度低、拟合效果差的问题。③基于机器学习的认知测量模型，主要采用分类、聚类等机器学习算法对学习者进行认知模式归类，如基于谱聚类、支持向量机、人工神经网络的认知测量模型等[14][15][16]。该类模型大多采用传统的机器学习算法，存在过拟合、泛化能力差的问题。

梳理现有的认知诊断评估方法研究成果，可以发现：认知模型的构建主要以人工构建为主，虽然也有少量研究探讨了基于数据驱动的自动化/半自动化构建方法，但在可解释性方面存在局限；认知测量模型的研究开始由传统的概率统计模型向人工智能方向转变，但其诊断效果因缺乏语义化的认知模型而导致精度不高。因此，如何构建高效且具有语义的认知模型并将其与认知测量模型有机融合，是本研究要重点探讨的问题。

二 基于学科知识图谱的智能化认知诊断评估方法

针对现有认知诊断评估方法存在的上述问题，本研究提出基于学科知识图谱的智能化认知诊断评估（Intelligent Cognitive Diagnostic Assessment based on Subject Knowledge Graph，ICDA-SKG）方法，如图1所示。ICDA-SKG方法采用学科知识图谱来表征认知模型，以解决现有认知模型构建效率低、可解释性差的问题。在此基础上，ICDA-SKG方法借助Q矩阵理论中的特征矩阵计算，将学科知识图谱融入认知测量模型；同时，结合深度神经网络对学习者进行认知状态评估，以提高认知测量模型的诊断精度。ICDA-SKG方法的实现，涉及学科知识点抽取、知识点语义关系识别、特征矩阵计算、认知状态评估四大关键技术。

1 学科知识点抽取

学科知识点抽取可以转化为自然语言处理中的序列标注问题。目前，解决序列标注问题的主流做法是融合双向长短期记忆网络（Bidirectional Long Short-Term Memory，BiLSTM）和条件随机场（Conditional Random Field，CRF）进行建模[17]。由于触发词（Trigger）在学科知识点抽取中的作用至关重要，故本研究提出融合触发词的BiLSTM-CRF模型，即Trigger-BiLSTM-CRF模型。

图1 基于学科知识图谱的智能化认知诊断评估（ICDA-SKG）方法

（1）触发词分析与提取

课程标准、教学设计、电子教案等教学文档在语言表达上通常采用“行为动词+名词或名词短语”的形式，来描述知识技能的教学目标和达成度，如“初步掌握函数概念”“初步形成利用函数认识现实世界的能力”等。本研究结合布鲁姆教育目标分类学，从结果性目标、体验性目标两个方面分别提取表征知识技能目标水平的行为动词，以生成知识点的触发词表。

（2）模型的网络结构设计

Trigger-BiLSTM-CRF模型可以形式化描述为：假设教学文本语料中的每个句子表示为(x, x, ..., x)，每个文本语句包含多个知识点(k, k, ..., k)，每个知识点k对应若干触发词(t, t, ..., t)，已知模型的输入为()，求解文本语句对应的标签序列(y, y, ..., y)。

图2 Trigger-LSTM-CRF模型的网络结构

Trigger-BiLSTM-CRF模型的网络结构如图2所示，包括三个部分：①触发词编码。对于每条输入数据()，首先采用深度学习中的BiLSTM网络获取每个词的上下文特征表示，之后基于Attention机制计算触发词的权重，得到每个触发词的编码向量g。②触发词语义匹配。通过共享向量空间的方式，获取教学文本的句子编码向量g，之后计算文本语句与触发词的语义匹配程度。③知识点序列标注。基于文本语句和触发词的语义匹配度，通过BiLSTM网络和CRF层进行处理后，最终获得每个文本语句的标注结果。

2 知识点语义关系识别

知识点语义关系识别过程可以抽象描述为：对于给定的教学文本语句(x, x, ..., x)和句中已标定的学科知识点e、e，预测两个知识点之间存在各类语义关系的概率值。已有研究证实，文本语句中的局部特征能够显著提高语义关系分类的准确性[18]。而卷积神经网络（Convolutional Neural Network，CNN）在提取局部特征方面具有显著优势，因此本研究构建了基于CNN的知识点语义关系识别模型，其结构如图3所示。

图3 基于CNN的知识点语义关系识别模型结构

①输入层：用于接收文本数据，并将其转化为特征矩阵。本层选用词的嵌入特征、位置特征、词性特征、知识点标签四类特征作为CNN的输入，之后采用向量拼接法将这四类特征融合为特征矩阵T。

②卷积层：用于提取教学文本语句的局部上下文特征。本层采用多个大小为×的卷积核从特征矩阵T的第一行逐层向下移动，每个卷积核与矩阵区域进行卷积运算，产生若干多尺度的特征图(c, c, ..., c)。

③池化层：用于对特征图进行特征选择和信息过滤。本层采用最大池化（Max Pooling）对特征图进行操作，得到表征语句整体语义特征的输出向量。

④语义分类层：用于计算各类语义关系的概率分布。本层以池化层的输出向量作为输入，依次通过全连接层、归一化指数函数Softmax对其进行处理，最终得到每种语义关系的概率值。概率值用(ǀ)表示，其中=1, 2, ..., ǀRǀ表示语义关系类型，表示全连接层的输出。

3 特征矩阵计算

认知诊断评估的本质是在认知模型的基础上进行特征提取和模式识别[19]。其中，特征提取是指对Q矩阵理论包含的可达矩阵、缩减矩阵等进行矩阵计算，其目标是建立理想属性掌握模式和理想反应模式之间的对应关系，具体过程如下：

①可达矩阵生成。可达矩阵表示认知属性之间的直接或间接关系，是一个维度为N×N的0-1矩阵。可达矩阵的行和列对应学科知识图谱的节点，矩阵中的元素表示节点之间是否有可达路径，若有为1，否则为0。

②缩减矩阵生成。缩减矩阵是由符合认知属性关系的测试项目组成的矩阵，是一个维度为N×M的0-1矩阵（其中，“1”表示测试项目考察了认知属性，“0”则表示未考察）。缩减矩阵可由扩张算法生成[20]。

③理想属性掌握模式生成。理想属性掌握模式是符合认知属性关系的所有掌握模式，是一个维度为(M+1)×N的0-1矩阵（其中，“1”表示掌握了认知属性，“0”则表示未掌握）。理想属性掌握模式可由缩减矩阵进行行列转置后，再添加一行全零向量得到。

4 认知状态评估

认知状态评估是认知测量模型的关键步骤，直接决定着认知诊断评估结果的准确性。由于深度神经网络具有强大的非线性拟合能力和自适应学习能力，而且能与学科知识图谱很好地融合，故本研究采用深度神经网络进行认知状态评估。

认知状态评估的网络结构包含输入层、隐藏层和输出层（见图1）。其中，输入层的神经元数目由测验项目数决定，隐藏层的神经元数目初始值为2N+1（N为输入层的神经元数目），而输出层的神经元数目由认知属性个数决定。认知状态评估分两个阶段进行：①在训练阶段，输入数据为学习者的理想反应模式，输出数据为相应的理想属性掌握模式。为避免深度神经网络的过拟合问题，隐藏层的神经元采用Dropout算法进行正则化处理。②在预测阶段，深度神经网络首先将学习者的实际作答反应转换为二元数据（0表示答对，1表示答错），并将其作为输入数据；然后，利用上述训练好的深度神经网络对学习者的实际作答数据进行诊断，输出学习者真实的认知属性掌握模式，即获得学习者的认知状态。

三 基于学科知识图谱的智能化认知诊断评估方法的实验验证

为验证ICDA-SKG方法的有效性和实用性，本研究通过算法模型对比实验、实际应用对比实验，对表征认知模型的学科知识图谱和融入学科知识图谱的认知测量模型进行了实验验证。

1 表征认知模型的学科知识图谱实验验证

（1）算法模型对比实验

本实验首先采集了七年级数学相关的电子课本、课程标准、知识点清单、教学设计、电子教案等教学文本数据；接着，聘请数学学科教师，采用BIO标注模式（B表示首部，I表示中部或尾部，O表示非知识点），使用标注工具Brat对数据进行小样本标注，最终获得31563条教学文本语料；然后，按照8:2的比例，将语料划分为训练集和测试集；最后，采用Python语言进行编程实现，选用准确率、召回率、F1值对学科知识点抽取效果和知识点语义关系识别效果进行模型对比，结果如图4、图5所示。

图4显示，在知识点抽取方面，与CRF、LSTM-CRF、BiLSTM-CRF三个主流模型相比，本研究提出的Trigger-BiLSTM-CRF模型在准确率、召回率、F1值三个评价指标上的效果值均为最高，这表明Trigger-BiLSTM-CRF模型能够提升学科知识点的抽取效果。而图5显示，在知识点语义关系识别方面，以融入词嵌入特征的模型为基线，依次融入位置特征、词性特征和知识点标签后，知识点语义关系的识别效果分别提升了3.3%、0.7%、1.98%，这表明综合融入教学文本特征的卷积神经网络能够提升知识点语义关系的识别效果。

图4 学科知识点抽取效果

图5 知识点语义关系识别效果

（2）实际应用对比实验

本实验采用多组随机实验，来验证表征认知模型的学科知识图谱在构建效率上的优势，每组均随机选取10篇教学设计文档进行认知模型的人机标定效率对比实验。考虑到人工构建认知模型需要消耗大量人力、物力，本实验仅招募4名初中数学教师作为标定人员来考察其人工标定效率，并与ICDA-SKG方法中学科知识图谱的构建效率进行对比，结果表明：当认知属性（知识点）的数量少于8个时，人工标定认知属性及其关系的平均用时为14min/篇，而ICDA-SKG方法生成认知属性子图的平均时间为67.2s/篇；当认知属性的数量超过8个时，人工标定会受复杂语义关系的影响导致标定精度和标定效率明显下降，而学科知识图谱的标定结果基本不受影响。由此可以证明，ICDA-SKG方法中的学科知识图谱能够显著提高认知模型的构建效率。

2 融入学科知识图谱的认知测量模型实验验证

（1）算法模型对比实验

本实验采用云服务方式，将融入学科知识图谱的认知测量模型集成到电子书包中，选取长春市C中学七年级2个自然班的98名学生为实验对象，其中A班为实验组、有48人，B班为对照组、有50人，实验周期为7周。

本实验对A、B两班为期7周的测评数据进行采集，选用被试者操作特征曲线下的面积（Area Under the ROC Curve，AUC）作为认知测量模型诊断效果的评价指标。本实验将融入学科知识图谱的认知测量（Cognitive Measurement integrated with Subject Knowledge Graph，CM-SKG）模型与IRT、MIRT、DINA、基于人工神经网络的认知诊断（Cognitive Diagnosis based on Artificial Neural Network，CD-ANN）模型的预测精度进行了对比实验，结果如表1所示。

表1 认知测量模型对比实验结果

一般而言，当0.5＜AUC＜0.7时，诊断效果的准确性较低；当0.7＜AUC＜0.9时，诊断结果具有参考价值。表1显示，IRT、MIRT、DINA、CD-ANN、CM-SKG五种模型的AUC值都大于0.7，说明这五种模型的诊断结果都具有参考价值。具体来说，在AUC评估指标下，CM-SKG对学习者认知状态的诊断效果最好，其次为CD-ANN、MIRT、IRT，DINA排最后。此实验结果表明，ICDA-SKG方法中融入学科知识图谱的认知测量模型能够有效提高诊断结果的精度。

（2）实际应用对比实验

本实验采用前后测对比实验法，对认知测量模型的实际教学应用效果进行实证分析。在实验过程中，本研究将第1周所得测评数据作为前测数据，将第2～7周所得测评数据作为后测数据。对照组和实验组由同一教师进行授课，授课内容、授课进度、授课时长、教学方法基本相同。每次课堂教学结束后，对照组采用未集成认知测量功能的电子书包进行随堂测试；实验组则采用集成认知测量功能的电子书包进行随堂测试，并实时生成学情诊断报告。

实验组和对照组的前后测结果如表2所示，可以看出：实验组、对照组的前测平均成绩分别为80.95、81.31，且=0.864＞0.05，表明两组学生初始的学习水平相当，无显著性差异。在第3周后测中，相较于对照组的平均成绩（M=82.59，SD=3.21），实验组的平均成绩（M=83.38，SD=3.67）略有提升，值初具统计学意义（=0.039＜0.05），说明认知测量功能提供的反馈报告对实验组开始产生影响；而从第4周开始，相较于对照组的平均成绩（M=83.24，SD=3.42），实验组的平均成绩（M=84.82，SD=3.74）有了显著提升，值具有高度统计学意义（=0.000＜0.01），说明认知测量功能提供的反馈报告对实验组产生了显著影响。由此可知，ICDA-SKG方法中融入学科知识图谱的认知测量模型具有教学实用性，符合“为学习而测评”的理念，能够发挥形成性评价的改进作用。

表2 实验组和对照组的前后测结果

通过上述算法模型对比实验、实际应用对比实验，本研究发现：ICDA-SKG方法中的学科知识图谱在保证学科知识点抽取效果与知识点语义关系识别效果的同时，能够显著提高认知模型的构建效率；融入学科知识图谱的认知测量模型能够有效提高诊断结果的精度，且具有教学实用性。由此可见，本研究提出的ICDA-SKG方法具有有效性和实用性。

四 结语

教育评价事关教育发展方向，而智能技术赋能教育评价改革。利用智能技术构建高效且精准的认知诊断评估方法，是智能时代深化教育评价改革的重要方向。本研究将学科知识图谱引入认知诊断评估，解决了现有认知模型构建效率低、可解释性差的问题，且语义化的学科知识图谱提升了认知测量模型的精度；同时，通过算法模型对比实验、实际应用对比实验，验证了ICDA-SKG方法的有效性和实用性。但是，本研究构建的ICDA-SKG方法中的学科知识图谱仍是“面向学科知识”的价值取向，尚未很好地体现对学科能力、学科素养的关照。此外，本研究在实际应用对比实验中所用的样本量很小，有待经过大样本数据的实证检验。基于此，后续研究将从学科核心素养入手，构建相应的素养图谱、能力图谱，实现对学习者多层次、全方位的认知状态评估，践行“素养导向、能力为重”的学习评价新理念；同时，将扩大实验的样本量，进行更有力的实证分析和检验，以期为教育评价改革的智能化转型提供更科学的方法支持。

[1]新华社.中共中央国务院印发《深化新时代教育评价改革总体方案》[OL].

[2]刘声涛,戴海崎,周骏.新一代测验理论——认知诊断理论的源起与特征[J].心理学探新,2006,(4):73-77.

[3]丁树良,毛萌萌,汪文义,等.教育认知诊断测验与认知模型一致性的评估[J].心理学报,2012,(11):1535-1546.

[4]Nichols P D, Chipman S F, Brennan R L. Cognitively diagnostic assessment[M]. London: Routledge, 1995:575-603.

[5]Leighton J P, Gierl M J, Hunka S M. The attribute hierarchy method for cognitive assessment: A variation on Tatsuoka’s rule-space approach[J]. Journal of Educational Measurement, 2004,(3):205-237.

[6]黄宏涛,李世珍,李世玉,等.基于BP神经网络的认知诊断方法在个性化教学中的应用[J].中国远程教育,2019,(1):86-91.

[7]王欣瑜.基于认知诊断的儿童数学学力结构及测评研究[D].呼和浩特:内蒙古师范大学,2017:113-154.

[8]康春花,吴会云,陈婧,等.小学数学“图形与几何”认知诊断测验的编制[J].教育测量与评价(理论版),2015,(10):4-8、28.

[9]蔡佳宝.高三学生概率与统计学习的认知诊断及其数据分析素养水平研究[D].武汉:华中师范大学,2020:20-34.

[10]Koedinger K R, Stamper J C, McLaughlin E A, et al. Using data-driven discovery of better student models to improve student learning[A]. International Conference on Artificial Intelligence in Education[C]. Berlin: Springer, 2013:421-430.

[11]Sun Y, Ye S, Inoue S, et al. Alternating recursive method for q-matrix learning[A]. The 7th International Conference on Educational Data Mining[C]. London: JEDM, 2014:14-20.

[12]王鹏,孟维璇,朱干成,等.多维项目反应理论补偿性模型参数估计:基于广义回归神经网络集合[J].心理学探新,2019,(3):244-249.

[13]戴静,顾小清,江波.殊途同归:认知诊断与知识追踪——两种主流学习者知识状态建模方法的比较[J].现代教育技术,2022,(4):88-98.

[14]Guo L, Yang J, Song N. Spectral clustering algorithm for cognitive diagnostic assessment[J]. Frontiers in Psychology, 2020,(11):1-28.

[15]Liu C, Cheng Y. An application of the support vector machine for attribute-by-attribute classification in cognitive diagnosis[J]. Applied Psychological Measurement, 2018,(1):58-72.

[16]Cui Y, Gierl M, Guo Q. Statistical classification for cognitive diagnostic assessment: An artificial neural network approach[J]. Educational Psychology, 2016,(6):1065-1082.

[17]Chen P, Lu Y, Zheng V W, et al. KnowEdu: A system to construct knowledge graph for education[J]. IEEE Access, 2018,(99):31553-31563.

[18]Zeng D, Liu K, Lai S, et al. Relation classification via convolutional deep neural network[A]. The 25th International Conference on Computational Linguistics: Technical Papers[C]. Dublin: Association for Computational Linguistics, 2014:2335-2344.

[19]黄宏涛,李世珍,李世玉,等.基于BP神经网络的认知诊断方法在个性化教学中的应用[J].中国远程教育,2019,(1):86-91.

[20]杨淑群,蔡声镇,丁树良,等.求解简化Q矩阵的扩张算法[J].兰州大学学报(自然科学版),2008,(3):87-91、96.

An Intelligent Cognitive Diagnosis Assessment Method Based on Subject Knowledge Graph

LI Zhen ZHOU Dong-dai

Cognitive diagnostic assessment is an important focus of educational evaluation reform in the new era.However, the existing cognitive diagnostic assessment methods are faced with the problems of low constructional efficiency and poor interpretability in the cognitive model, and at the same time, the cognitive measurement model also has low accuracy due to the lack of semantic cognitive models. Therefore, an intelligent cognitive diagnosis assessment method based on subject knowledge graph, named ICDA-SKG, was proposed in this paper, which included two parts of subject knowledge graph and cognitive measurement model, and whose realization involved four key technologies of subject knowledge point extraction, knowledge point semantic relationship recognition, feature matrix calculation, and cognitive state evaluation. After that, this paper used the algorithm model comparison experiment and the practical application comparison experiment to verify the subject knowledge graph representing cognitive model and the cognitive measurement model integrating subject knowledge graph. The results showed that the ICDA-SKG method was effective and practical. The research of this paper could provide new ideas for intelligent cognitive diagnosis assessment, and offer method guidance for educational evaluation practice.

subject knowledge graph; cognitive diagnostic assessment; artificial intelligence; deep neural network

G40-057

A

1009—8097（2022）11—0118—09

10.3969/j.issn.1009-8097.2022.11.014

本文为国家自然科学基金项目“基于试题知识图谱的学习者认知诊断关键技术研究”（项目编号：62007005）、吉林省自然科学基金项目“融合知识图谱与深度学习的个性化认知诊断技术研究”（项目编号：YDZJ202201ZYTS421）、中国博士后科学基金第67批面上资助项目“面向自适应学习的教育知识图谱构建及深度知识追踪模型研究”（项目编号：2020M670827）的阶段性研究成果。

李振，讲师，博士，研究方向为教育大数据分析与应用、个性化自适应辅助学习等，邮箱为liz666@nenu.edu.cn。

2022年4月18日

编辑：小米