聚焦可解释性：知识追踪模型综述与展望

杨文阳 杨益慧

摘要：模型的可解释性是评估其实用性和实际应用价值的重要指标，但目前基于深度学习的知识追踪模型普遍存在可解释性差的问题，导致教学决策过程不透明。对此，文章首先介绍了知识追踪的流程，分析了知识追踪模型的可解释性，并根据可解释性方法在模型训练过程中作用的时间，将可解释知识追踪模型分为事前可解释的知识追踪模型和事后可解释的知识追踪模型。随后，文章分别对这两种模型进行再分类，并从优点、缺点两个维度，对不同类型的事前、事后可解释知识追踪模型进行了对比。最后，文章从模型可视化、融入教育规律、多模态数据融合、解释方法探索、可解释性评估等方面，对未来可解释知识追踪模型的教学应用进行了展望。文章的研究有助于提升知识追踪模型在教学中的实用性，推动教育数字化的进程。

关键词：知识追踪；可解释性；全局可解释性；局部可解释性；智慧教育

【中图分类号】G40-057 【文献标识码】A 【论文编号】1009—8097（2024）05—0053—11 【DOI】10.3969/j.issn.1009-8097.2024.05.006

引言

随着人工智能、云计算、大数据等新一代信息技术的快速发展，智慧教育进入了新的发展阶段。党的二十大报告明确提出“推进教育数字化，建设全民终身学习型社会、学习型大国”^[1]，这就需要构建智慧教育发展新生态，以数据为驱动，促进人工智能技术在教育教学中的应用。基于此，有必要发展数字化教育服务，利用数字技术提供个性化、定制化的教育服务，包括在线学习、网络辅导、远程教育等，来支撑智慧教育的实现。知识追踪（Knowledge Tracing，KT）由美国卡内基梅隆大学人机交互研究所专家Corbett等^[2]于1995年引入智能教育领域，后成为个性化学习系统中学习者知识状态建模的主流方法^[3]。深度学习因其能够处理大规模数据、自动化地进行特征提取和数据分析等优点，使知识追踪模型的性能得到了显著提升。然而，作为人工智能领域的关键技术，深度学习也因其“端到端”和高度的非线性操作特点，导致其模型可解释性不足。在模型研究中，可解释性是模型优化的有效途径；而在实际应用中，可解释性是模型应用推广的助力器^[4]。在知识追踪领域，模型的可解释性也是衡量模型的一项重要指标。

基于上述分析，本研究尝试从可解释性知识追踪的基本概念切入，深入剖析可解释性在知识追踪领域的作用；同时，通过对当前领域研究成果的梳理与分析，根据解释时间和范围的不同，对可解释知识追踪模型进行分类探讨；最后，探讨可解释知识追踪模型在教学中的应用并提出相关建议，以期为教育教学工作的开展提供有力支持。

一 知识追踪模型的相关问题

在知识追踪领域，模型的可解释性有助于解释模型的决策基础和推理过程。而对可解释知识追踪模型的研究，涉及智慧教育、认知科学、计算机科学等多个领域。本研究首先对知识追踪的流程、可解释性的概念及其在知识追踪模型中的必要性进行介绍。

1 知识追踪的流程

知识追踪是一项针对时间序列的学习任务，其基于用户的历史答题数据进行建模，从而获得学习者对知识的掌握情况，并预测学习者在下一次练习中答对题目的概率。知识追踪流程如图1所示，其中k₁、k₂、k₃分别表示三个不同的知识概念，k₁、k₂各包含3道习题，k₃包含2道习题；S1、S2分别表示学习者1、学习者2的答题表现；“√”表示学习者答对习题，“×”表示学习者答错习题，“？”表示学习者还未作答。知识追踪通过学习S1、S2两位学习者对习题e₁～e₇的作答表现，预测未来某个时刻学习者对习题e₈的作答表现。

2 知识追踪模型的可解释性

目前，学术界对“可解释性”的定义尚未达成一致，不同研究者从不同角度对“可解释性”赋予了不同的内涵。可解释性具有相对主观性，难以通过具体的数学公式来定义。Miller^[5]表示，可解释性是人类为了能够理解决策原因或能够准确重现模型付出努力的程度。在人工智能领域，可解释性是指以一种可理解的方式解释模型或算法的决策过程、预测结果或学习到的知识，涉及将复杂的模型、特征、数据转化为人类可理解和可解释的形式，使人们能够理解模型的工作原理、依据和推理过程。

从算法的角度来看，在知识追踪任务中传统的机器学习方法结构简单，具有良好的可解释性。随着人工智能技术的迅速发展，深度学习已成为当前主流的方法之一。相较于传统方法，深度学习显著提升了知识追踪模型的性能。深度学习的过程需要经过多层非线性变换，即每一层神经元对输入进行非线性变换并传递给下一层，这使模型学习到的特征较为抽象、难以直观理解。从教育的角度来看，可解释性是模型应用的必要条件，既是学习者与模型建立信任的关键方式，也是研究人员优化模型的重要依据。然而，知识追踪领域对模型的研究更多地关注其准确率，而忽视了可解释性的重要性。在实际的教学应用中，知识追踪模型的可解释性是建立学习者与教师之间信任关系以及模型长期使用和推广的重要条件。在教学中，教师不仅需要了解学习者的学习效果，还需要了解其学习过程，以帮助他们做出更好的学习决策；同时，研究者也需要及时获取知识追踪模型的变化状态，以在后续的研究和模型训练中进行改进，从而在不断变化的学习环境中更准确地评估学习者的知识掌握情况。

综上可知，知识追踪模型的可解释性对于教育教学至关重要。深度学习虽然提升了知識追踪模型预测的精度，但其抽象性使模型的解释变得更加困难。因此，知识追踪研究除了要关注模型的精度，也要重视模型的可解释性，以提高模型的实用性和推广性。近年来，研究者提出了不同的可解释性方法，如分层关联传播^[6]、因果解释法^[7]等。本研究根据可解释性方法在模型训练过程中作用的时间，将可解释知识追踪模型分为两类：事前（Ante-hoc）可解释的知识追踪模型和事后（Post-hoc）可解释的知识追踪模型。

二 事前可解释的知识追踪模型

事前可解释性是指模型的可解释性行为发生在模型训练之前，而对于一个已训练好的学习模型来说，无须添加额外的信息就可以解释模型的决策过程或预测结果，因此这种解释方式也被称为内置可解释性。事前可解释性可用于模型的设计和构建，使其内部工作机制相对直观和易于理解，有助于研究者或学习者直接观察模型组件，理解其如何根据输入数据产生输出。

1 模型分类

通过对当前知识追踪领域相关研究成果的分析，参考可解释人工智能领域模型的分类^[8]，可以得出以下三类模型属于事前可解释知识追踪模型的范畴：①基于贝叶斯方法的知识追踪模型，其在进行预测前能够提供先验概率信息；②基于因素分析的知识追踪模型，其能够考虑潜在因素结构；③基于注意力机制的知识追踪模型，其在预测前就确定了模型关注的重要信息。

（1）基于贝叶斯方法的知识追踪模型

贝叶斯方法是一种利用先验知识和观测数据来更新后验概率的方法。贝叶斯知识追踪（Bayesian Knowledge Tracing，BKT）利用贝叶斯方法的原理解决知识追踪问题，其通过定义学习者知识状态与答题表现之间的概率关系、答题数据的变化情况来更新知识状态，达到知识追踪的目的。贝叶斯知识追踪可以提供每个知识点的掌握概率和每个答题结果的后验概率，从而直观地反映学习者的知识水平和答题表现。

研究者将先验知识、教学干预措施等引入BKT模型，使模型在可解释性方面具有更高的可信度。例如，Pardos等^[9]通过引入特殊的先验知识模块，为學习者赋予不同的先验概率参数，实现了对学习者先验知识状态的个性化建模；Lin等^[10]假设不同类型的教学干预会对学习者的潜在状态产生不同的影响，在此基础上提出了基于干预的BKT模型（Intervention-BKT），并通过将教学干预措施引入BKT模型，对学习者的知识掌握状态进行了预测；Nedungadi等^[11]提出了基于个性化聚类的知识追踪模型（Personalized Clustered BKT，PC-BKT），其可以通过对知识点赋予单独的先验概率，动态聚类学习者的行为模式和能力水平，从而为学习者提供更合适的知识内容与学习路径。

整体而言，基于贝叶斯方法的知识追踪模型具有强大的可解释性且构造相对简单，已被广泛应用于学习者知识状态的诊断、教育决策的制定、个性化学习路径的推荐等方面^[12]，是教育领域中一种有价值的工具，可为教育决策提供重要的支持和指导。

（2）基于因素分析的知识追踪模型

因素分析（Factories Analysis，FA）是一种统计方法，可以用来分析多个变量之间的相关性，从而提取出一些潜在的因素，来解释变量之间的共同变异。基于因素分析的知识追踪模型的理论基础是项目反应理论，此理论在教育评估和测量方面发挥了重要作用。项目反应理论的核心思想是根据学习者在解决问题过程中的影响因素，通过学习逻辑函数来评估学习者的表现。

研究者将做题时间、遗忘概率等参数纳入因素分析模型中，实现了从单参数逻辑回归模型到多参数逻辑回归模型的升级。例如，Cen等^[13]提出了加性因子模型（Additive Factor Model，AFM），即假设各因子对响应变量的贡献是相互独立且可累加的，通过对每个因子进行参数估计，可以对模型进行解释；Cen^[14]提出了学习因子分析（Learning Factors Analysis，LFA）模型，此模型引入了心理测量学中的Q矩阵概念，通过先验知识、任务难度、任务学习率来预测学习者的表现；Pavlik等^[15]认为LFA模型动态区分特定学习者各个知识点的能力非常有限，因而提出了表现因子分析（Performance Factors Analysis，PFA）模型，此模型具有灵活的自适应性，能以补充的方式用于多个知识点的观测。整体而言，基于因素分析的知识追踪模型通过学习数据中的潜在因子并将这些因子与预测变量进行加权组合来建模，也可以对数据中的复杂关系建模。基于因素分析的知识追踪模型还可以为模型参数和因子权重的设计提供解释，其解释性依赖于数据和模型的正确假设，并且解释结果可能因数据选择、因子提取和模型拟合等因素而有所不同。因此，因素分析模型主要适用于大规模线上学习和小规模课程教学^[16]。

（3）基于注意力机制的知识追踪模型

注意力机制可以通过为不同的输入特征分配权重，来指导知识追踪模型的决策过程。在基于注意力机制的知识追踪模型中，这些权重可用于表示模型在处理输入时的关注程度。通过观察注意力权重，可以理解模型对不同特征的关注程度，从而解释模型在做出预测时的决策过程。

研究者将注意力机制引入知识追踪模型中，在提升预测准确性的同时也增强了可解释性。例如，Ghosh等^[17]提出注意力知识追踪（Attentive Knowledge Tracing，AKT）模型，将学习者未来对问题的回答与其过去的回答相联系，计算注意力的权重，并将基于注意力的神经网络模型与可解释的模型组件相结合，对多个案例进行研究，结果表明AKT具有可解释性。Liu等^[18]使用具有马尔科夫属性且具有注意力机制的练习增强循环神经网络框架，将学习者的多知识点状态向量扩展到知识状态矩阵，从而实现了具有可解释的练习增强的知识追踪（Exercise-aware Knowledge Tracing，EKT）。Pandey等^[19]提出了关系感知自注意力知识追踪（Relationship-aware Self-attention for Knowledge Tracing，RKT）模型，引入具有上下文信息的关系感知自注意力层，将注意力权重与感知关系系数相结合，可视化知识点之间的相似度和关联性，提升了学习者对预测结果的信任度。

整体而言，从注意力机制能否反映输入和输出之间的关系角度来讲，注意力机制具有可解释性，可以帮助学习者理解模型；但从模型的透明度来讲，注意力机制并不具有可以反映模型内部机理的能力。考虑到不同的预期用户和不同的解释目标，可以在知识追踪模型中引入注意力机制，通过分析注意力权重的时序变化，来理解学习者的答题策略和知识结构，有助于增强学习者对模型的信任感。因此，基于注意力机制的知识追踪模型主要适用于个性化学习规划与习题推荐。

2 模型对比

在上述事前可解释性的知识追踪模型中，基于贝叶斯方法的知识追踪模型利用概率模型和贝叶斯推理计算后验概率分布，提供直观、可解释的模型输出和置信度估计；基于因素分析的知识追踪模型依托项目反应理论评估学习者的表现，解释模型参数和因子权重；而在基于注意力机制的知识追踪模型中，注意力机制作为知识追踪模型构建过程中的引入模块，可以通过分析注意力权重的分布，在一定程度上解释模型的关注点和决策依据。这些模型通过提供可解释的输出结果，帮助教育决策者理解模型的决策过程，并进行个性化的学习评估和反馈，故在教育决策过程中发挥了重要作用。结合上述分析，本研究从优点、缺点两个维度对不同类型的事前可解释知识追踪模型进行了对比，具体如表1所示。

三 事后可解释的知识追踪模型

事后可解释性是指在模型训练完成后，通过对已获得的结果进行分析和解释，揭示模型的决策依据和推理过程。与事前可解释性不同的是，事后可解释性关注对模型已经生成的输出进行解释，而不是在模型训练过程中提供解释或指导。事后可解释性不仅可以帮助人们理解模型得出某个预测或决策结果的过程，还可以提供对模型内部状态、权重和特征的解释，以及模型对输入的响应和预测结果的解释。

1 模型分类

根据可解释范围的大小，即是否解釋单个实例或预测整个模型行为，本研究将事后可解释分为全局可解释和局部可解释两类。

（1）全局可解释

全局可解释是指对整个机器学习或深度学习模型在整个数据集上的预测结果进行解释和理解的能力，关注揭示模型整体行为、内部结构和决策过程的解释，并提供对模型整体性能和特征重要性的理解。全局可解释性重在回答以下问题：整个模型如何学习、表示数据的特征和模式？模型的预测结果受哪些特征或因素的影响最大？通过全局解释，可以获得对模型整体性能的洞察，理解模型如何进行决策，并发现模型的整体行为模式。通过对当前知识追踪领域相关研究成果的分析，参考人工智能领域可解释模型的分类，得出以下两类模型属于全局可解释知识追踪模型的范畴：

①基于可解释结构的知识追踪模型。在知识追踪任务中，多知识点之间往往存在各种依赖关系。构建模型时考虑不同知识点之间的结构关系，可以提升模型的有效性。例如，K?ser等^[20]提出了一种能够联合表示多种技能的动态贝叶斯网络（Dynamic Bayesian Network，DBN），来解决BKT模型无法表示学习领域不同技能之间层次结构关系的问题。另外，通过建立知识点的拓扑结构，可以增强知识追踪模型的表征能力，从而更好地理解学习者的学习过程。例如，Tong等^[21]提出了一种基于结构的知识追踪（Structure-based Knowledge Tracing，SKT）框架，可以利用知识结构之间的关联性模拟概念之间的传播影响。基于可解释结构的知识追踪模型结构清晰，考虑知识点之间的结构关系，可以有效评估学习者对知识点的掌握程度，在教育教学中主要用于个性化学习路径推荐^[22]。

②基于可解释参数的知识追踪模型。基于可解释参数的知识追踪模型的应用，旨在通过使用具有明确含义和解释性的参数，捕获数据中的模式和关联，以增强模型的可解释性和理解性。例如，Su等^[23]提出了时间和概念增强多维项目响应理论模型，可以将多维项目响应理论（Multidimensional Item Response Theory，MIRT）参数集成到递归网络，使模型能在每个特定知识领域生成可解释的参数。具体来讲，MIRT考虑每个题目和每个学习者在多个知识领域的能力与难度，循环神经网络捕捉随时间变化的学习者知识状态，使用EM算法、梯度下降法等优化方法估计题目区分度、题目难度、学习者能力和作答时间等参数并将这些参数分解为不同知识领域的权重，以帮助师生了解每个知识领域对题目的贡献。Wang等^[24]提出了霍克斯知识追踪（Hawkes Knowledge Tracing，Hawkes KT）模型，可以对不同知识点之间的时间交叉效应进行显式建模，通过对参数假设的可视化分析，验证了模型中的参数具有高度可解释性。可解释参数使模型的决策过程更加透明和可解释，并使用户能够理解模型对学习者状态和学习过程的推断。通过分析模型参数，了解不同学习因素的影响程度，可以帮助学习者准确定位学习过程中的影响因素，故基于可解释参数的知识追踪模型在教育教学中适用于学情分析与干预。

（2）局部可解释

局部可解释性是指在机器学习和深度学习模型中，对于给定的单个样本或输入，解释模型对其决策或输出的依据。局部可解释性聚焦模型在个别样本上的预测过程，并提供对该样本决策依据和关键特征的解释，从而帮助人们理解学习模型的决策过程和决策依据。局部可解释性重在回答以下问题：对于某个特定的输入样本，模型是如何做出决策的？模型对于该样本的预测结果受哪些特征的影响最大？通过对当前知识追踪领域相关研究成果的分析，参考人工智能领域可解释模型的分类，得出以下四类模型属于局部可解释知识追踪模型的范畴：

①基于因果解释法的知识追踪模型。因果解释法通过对知识追踪模型的因果推断，分析不同行为特征对学习效果的影响，探究输入与输出之间的因果关系。例如，Minn等^[25]提出了具有因果关系的可解释知识追踪（Interpretable Knowledge Tracing，IKT）模型，其使用传统的机器学习技术来提取有意义的特征，之后使用树增强朴素贝叶斯分类器对学习者的未来表现进行预测，结果显示此模型具有较高的预测性能和推理解释性。Li等^[26]提出了基于遗传算法的因果解释方法，称为遗传因果解释器（Genetic Causal Explainer，GCE），并构建了一个因果框架来指导模型预测的子序列归因，可在不影响模型训练的情况下生成解释结果。因果解释法提供对模型因果关系的解释，有助于人们理解模型如何根据输入产生输出，以及不同输入对输出的影响程度，这使模型的输出更具可解释性和可信度，有助于学习者更好地理解模型的内部机制并预测结果的产生过程。在教育教学中，基于因果解释法的知识追踪模型适用于教学方法的选择与优化、学情的诊断等。

②基于分层关联传播的知识追踪模型。基于反向传播的分层关联传播（Layer-wise Relevance Propagation，LRP）方法的主要思想是利用深度神经网络的反向传播机制，将模型中影响决策的重要信息从模型的输出层传播到输入层。具体来讲，根据各层不同的传播规则，将传入的相关性重新分配到下一层，直至到达输入层——在输入层，可以计算出神经网络中每个神经元对输出的影响程度，并生成对应的热力图，可视化输入特征对输出结果的贡献度，从而实现对模型的解释。例如，Lu等^[27]提出可采用事后解释方法研究深度学习知识追踪（Deep Learning for Knowledge Tracing，DLKT）模型的可解释性，通过应用分层关联传播方法将相关性从模型的输出层反向传播到输入层，从而解释各输入特征的重要性。后来，Lu等^[28]又利用LRP技术从知识追踪模型输入中捕捉到技能级别的语义信息（包括技能相关的差异、距离、内在关系等），并通过对模型进行综合实验评估，验证了所提出的解释方法在“技能-答案”层面的可行性和有效性。分层关联传播方法的可解释性表现为其能够提供深度学习模型内部的层级关系和重要特征，此方法能更好地理解模型的决策过程、特征作用和相互关系，从而增加模型的可解释性和可信度。但LRP的实现需要根据不同的网络结构和激活函数选择合适的传播规则，而规则的选择可能会影响相关性的分配和解释的质量。在教育教学中，基于分层关联传播的知识追踪模型可以直观地了解学习者知识掌握情况的动态变化，适用于学习路径推荐、薄弱知识点诊断等。

③基于图神经网络的知识追踪模型。图神经网络（Graph Neural Network，GNN）的可解释主要表现在三个方面：一是节点级别的解释，GNN可以对每个节点进行表示学习，通过观察节点的表示向量，了解该节点在图中的特征和重要性；二是图级别的解释，GNN可以生成整个图的表示向量，通过观察图的表示向量，来了解整个图的拓扑结构和全局特征；三是信息传递路径，GNN通过在图上进行信息传递来学习节点表示，解释GNN的信息传递路径有助于理解模型如何从图的局部信息逐步推导出全局信息。研究者根据图数据结构自身的特点，将图神经网络引入知识追踪模型表示知识之间的关联。例如，Nakagawa等^[29]提出基于图的知识追踪（Graph based Knowledge Tracing，GKT）模型，可以将知识结构转换为图形，从而实现关系归纳偏差，并将知识追踪任务重新表述为GNN中的时间序列节点级分类问题；Song等^[30]提出了一个基于联合图卷积网络的深度知识追踪（Joint Graph Convolutional Network based Deep Knowledge Tracing，JKT）框架，将多维关系建模为图，构建交叉概念下练习之间的关系，有助于捕捉高层次的语义信息。在基于图神经网络的知识追踪模型中，图神经网络的信息传递机制可以有效学习到课程知识的隐式表示，提高了知识概念状态的可解释性，有助于学习者呈现任意时刻的知识掌握状态，故此模型主要适用于生成推理路径、诊断知识薄弱点和多知识点习题的推荐等。

④基于项目反应理论的知识追踪模型。项目反应理论（Item Response Theory，IRT）的可解释性主要体现为其能够直接刻画学习者和题目之间的关系，并解释相关变量如何影响这一关系。Rasch模型^[31]通常被认为是最简单的IRT模型，项目反应函数由单参数逻辑回归模型定义，被广泛用于项目反应数据分析。此外，Yeung^[32]提出的Deep-IRT模型可以综合项目反应理论和动态键值记忆网络，将学习结果输入IRT中进行预测，从心理学角度为学习者提供了解释。Gan等^[33]將动态键值记忆网络与IRT模型相结合，对学习者的知识状态、习题难度和嵌入三个向量进行变换，并作为IRT的三个输入参数来预测学习者的答题结果。基于项目反应理论的知识追踪模型通过将深度学习模型的输出作为IRT模型的输入，并利用IRT模型进行预测，可以实现深度模型的输出与IRT模型中的可解释参数相对应。这种结合使该模型可以通过IRT模型的参数解释来理解模型的决策依据和推断过程，适用于小测试与习题练习、教育评估和测量等。

2 模型对比

综上所述，在事后可解释的知识追踪模型中，无论是全局可解释还是局部可解释，都需要研究者后期开发解释技术或构建解释模型。其中，全局可解释的知识追踪模型主要围绕可解释结构和可解释参数展开，其模型能否被解释依赖于模型自身的结构和数据；而局部可解释的知识追踪模型关注特定样本或输入的解释，侧重于可解释技术的开发和外部可解释模块的引入，因而其结果不能很好地泛化到其他模型中。另外，对模型的解释需要大量的分析和计算，也会导致模型的复杂度增加。结合上述分析，本研究同样从优点、缺点两个维度对不同类型的事后可解释知识追踪模型进行了对比，具体如表2所示。

四 可解释知识追踪模型的教学应用展望

随着深度神经网络的发展，可解释知识追踪模型的性能得到了显著提升，但由于其“黑盒”性质，使模型的可解释性仍然是一个难以回避的问题。为了更好地指导教育教学工作的开展，本研究在对比分析不同类型的事前、事后可解释知识追踪模型之优点与缺点的基础上，对未来可解释知识追踪模型的教学应用进行了以下展望：

1 模型可视化，图文辅助解释

模型可视化是一种重要的事后解释技术，通过可视化模型结构、权重、激活和梯度等信息，可以帮助理解模型的内部运作机制和学习过程。在应用可解释知识追踪模型时，研究者往往使用热力图来展示学习者的知识状态变化情况，据此分析学习者学习过程中的薄弱点。与知识图谱相结合，可解释知识追踪模型能够精准刻画学习者的知识结构，实现可视化的认知结构表征，因此可以用来进行教育诊断与干预^[34]。可视化的图像不仅可以帮助学习者理解模型的运作机制，还可以帮助学习者发现模型中存在的问题和缺陷，从而进行模型的调整与优化。

2 融入教育规律，解释支持决策

从认知学习理论出发，将教育规律融入知识追踪模型的解释过程，可以使解释更有说服力和可信度，并支持更明智的决策。例如，应用相关的教育知识，可以分析可解释知识追踪模型中特定参数以及模型输出与学习者知识水平之间的关联，帮助教育决策者理解模型的预测结果和学习者的知识掌握状况。此外，将模型输出与课程设置、评估标准等进行比较和解释，可以更好地指导教育决策和教学实践，帮助学习者提高学习成绩。因此，未来可解释知识追踪模型可以结合教育教学规律，以做出更明智的教育决策。

3 多模态数据融合，增强模型可信度

当前，知识追踪领域常用的数据类型有学习者的题目编号、学生表现、技能名称、心理特征属性等，这些数据通常呈现出不同的模态。将不同模态的数据进行融合应用，可以提高知识追踪模型的准确度和可信度，增强模型的可解释性。多模态数据融合利用不同模态数据之间的互补性、增强模型的泛化能力、提高模型的鲁棒性等方式，来增强模型的可信度。因此，多模态数据融合是提升知识追踪模型可解释性的重要方向之一。后续研究可以探索研发多模态数据融合的技术，促进知识追踪模型在学习资源推荐、自适应学习等方面的应用。

4 解释方法探索，扩展解释途径

尽管现有的可解释方法能在一定程度上解释部分知识追踪模型的预测结果，但其泛化能力明显不足。根据知识追踪模型的特点，研究者更倾向于探析学习交互过程中有哪些特征对知识掌握水平起到了关键作用，而这也是学习者和教师关注的重点。因此，比起全局可解释方法，局部可解释方法更适合知识追踪模型的解释。从模型的特征输入角度分析，单特征的知识追踪模型可以通过敏感性分析方法，对模型进行局部解释；而涉及多个特征的模型可以采用沙普利可加性解释（SHapley Additive exPlanations，SHAP）方法计算每个特征的重要性值，据此确定特征对模型的影响程度。

5 可解释性评估，科学设计指标

目前，在知识追踪领域关于模型可解释性的评估研究相对缺乏，原因主要在于深度学习具有不透明性和复杂性，使研究者在设计评估指标时很难对学习者提取统一的监督信息。同时，研究者对评价指标的引入具有主观性，不同模型的可解释性评估方式也不尽相同。因此，在针对可解释知识追踪模型的未来研究中，开发合理的可解释性评估指标也是一项重要的任务。对此，研究者应充分考虑模型的算法、数据特征、知识追踪等专业知识的应用情况和人类的认知水平等多方面因素，科学设计合理的可解释性评估指标。

参考文献

[1]习近平.高举中国特色社会主义伟大旗帜 为全面建设社会主义现代化国家而团结奋斗——在中国共产党第二十次全国代表大会上的报告[OL].

[2]Corbett A T， Anderson J R. Knowledge tracing： Modeling the acquisition of procedural knowledge[J]. User Modeling and User-adapted Interaction， 1994，（4）：253-278.

[3][12]戴静，顾小清，江波.殊途同归：认知诊断与知识追踪——两种主流学习者知识状态建模方法的比较[J].现代教育技术，2022，（4）：88-98.

[4]刘桐，顾小清.走向可解释性：打开教育中人工智能的“黑盒”[J].中国电化教育，2022，（5）：82-90.

[5]Miller T. Explanation in artificial intelligence： Insights from the social sciences[J]. Artificial Intelligence， 2019，267：1-38.

[6][27]Lu Y， Wang D， Meng Q， et al. Towards interpretable deep learning models for knowledge tracing[A]. Artificial Intelligence in Education： 21st International Conference[C]. Ifrane： Springer， 2020：185-190.

[7][25]Minn S， Vie J J， Takeuchi K， et al. Interpretable knowledge tracing： Simple and efficient student modeling with causal relations[A]. Proceedings of the AAAI Conference on Artificial Intelligence[C]. California： AAAI Press， 2022：12810-12818.

[8]紀守领，李进锋，杜天宇，等.机器学习模型可解释性方法、应用与安全研究综述[J].计算机研究与发展，2019，（10）：2071-2096.

[9]Pardos Z A， Heffernan N T. Modeling individualization in a Bayesian networks implementation of knowledge tracing[A]. International Conference on User Modeling Adaptation， and Personalization[C]. Berlin： Springer， 2010：255-266.

[10]Lin C， Chi M. Intervention-BKT： Incorporating instructional interventions into Bayesian knowledge tracing[A]. International Conference on Intelligent Tutoring Systems[C]. Cham： Springer， 2016：208-218.

[11]Nedungadi P， Remya M S. Predicting students performance on intelligent tutoring system—Personalized clustered BKT （PC-BKT） model[A]. 2014 IEEE Frontiers in Education Conference Proceedings[C]. Madrid： IEEE Press， 2014：1-6.

[13]Cen H， Koedinger K， Junker B. Learning factors analysis—A general method for cognitive model evaluation and improvement[A]. International Conference on Intelligent Tutoring Systems[C]. Berlin： Springer， 2006：164-175.

[14]Cen H. Generalized learning factors analysis： Improving cognitive models with machine learning[M]. Pittsburgh： Carnegie Mellon University， 2009：1-51.

[15]Pavlik P I， Cen H， Koedinger K R. Performance factors analysis—A new alternative to knowledge tracing[A]. The 2009 Conference on Artificial Intelligence in Education： Building Learning Systems that Care： From Knowledge Representation to Affective Modelling[C]. Netherlands： IOS Press， 2009：531-538.

[16]卢宇，王德亮，章志，等.智能导学系统中的知识追踪建模综述[J].现代教育技术，2021，（11）：87-95.

[17]Ghosh A， Heffernan N， Lan A S. Context-aware attentive knowledge tracing[A]. ACM SIGKDD Conference on Knowledge Discovery and Data Mining[C]. New York： ACM， 2020：2330-2339.

[18]Liu Q， Huang Z， Yin Y， et al. Ekt： Exercise-aware knowledge tracing for student performance prediction[J]. IEEE Transactions on Knowledge and Data Engineering， 2019，（1）：100-115.

[19]Pandey S， Srivastava J. RKT： Relation-aware self-attention for knowledge tracing[A]. Proceedings of the 29th ACM International Conference on Information & Knowledge Management[C]. New York： ACM， 2020：1205-1214.

[20]K?ser T， Klingler S， Schwing A G， et al. Dynamic Bayesian networks for student modeling[J]. IEEE Transactions on Learning Technologies， 2017，（4）：450-462.

[21]Tong S， Liu Q， Huang W， et al. Structure-based knowledge tracing： An influence propagation view[A]. 2020 IEEE International Conference on Data Mining[C]. Sorrento： IEEE Press， 2020：541-550.

[22]王劍，李易清，石琦.融合多维偏好与知识追踪的个性化学习路径推荐——以“系统建模”课程为例[J].现代教育技术，2023，（11）：99-108.

[23]Su Y， Cheng Z， Luo P， et al. Time-and-concept enhanced deep multidimensional item response theory for interpretable knowledge tracing[J]. Knowledge-Based Systems， 2021，218：106819.

[24]Wang C， Ma W， Zhang M， et al. Temporal cross-effects in knowledge tracing[A]. Proceedings of the 14th ACM International Conference on Web Search and Data Mining[C]. New York： Association for Computing Machinery， 2021：517-525.

[26]Li Q， Yuan X， Liu S， et al. A genetic causal explainer for deep knowledge tracing[J]. IEEE Transactions on Evolutionary Computation， 2023，（99）：1.

[28]Lu Y， Wang D， Chen P， et al. Interpreting deep learning models for knowledge tracing[J]. International Journal of Artificial Intelligence in Education， 2023，（3）：519-542.

[29]Nakagawa H， Iwasawa Y， Matsuo Y. Graph-based knowledge tracing： Modeling student proficiency using graph neural network[A]. IEEE/WIC/ACM International Conference on Web Intelligence[C]. Thessaloniki： ACM， 2019：156-163.

[30]Song X， Li J， Tang Y， et al. Jkt： A joint graph convolutional network based deep knowledge tracing[J]. Information Sciences， 2021，580：510-523.

[31]Holster T A， Lake J. Guessing and the Rasch model[J]. Language Assessment Quarterly， 2016，（2）：124-141.

[32]Yeung C K. Deep-IRT： Make deep learning based knowledge tracing explainable using item response theory[OL].

[33]Gan W， Sun Y， Sun Y. Knowledge interaction enhanced knowledge tracing for learner performance prediction[A]. 2020 7th International Conference on Behavioural and Social Computing （BESC）[C]. Bournemouth： IEEE， 2020：1-6.

[34]周东岱，董晓晓，顾恒年，等.基于双流结构和多知识点映射结构改进的深度知识追踪模型[J].现代教育技术，2022，（8）：111-118.

Focus on Interpretability： Overview and Prospect of Knowledge Tracking Models

YANG Wen-Yang^1，2YANG Yi-Hui¹

（1. School of Computer， Xian Shiyou University， Xian， Shaanxi， China 710065;

2. Key Laboratory of Modern Teaching Technology， Ministry of Education， Xian， Shaanxi， China 710062）

Abstract： The interpretability of model is an important index to evaluate its practicability and practical application value， but current knowledge tracking models based deep learning generally has the problem of poor interpretability， which leads to the opaque teaching decision-making process. Therefore， this paper firstly introduced the process of knowledge tracking， analyzed the interpretability of knowledge tracking model， and divided interpretable knowledge tracking models into Ante-hoc interpretable knowledge tracking model and Post-hoc interpretable knowledge tracking model according to the time of interpretable methods in the model training process. Then， this paper reclassified the two kinds of models， respectively， and compared different types of Ante-hoc and Post-hoc interpretable knowledge tracking models from two dimensions of advantages and disadvantages. Finally， from the aspects of model visualization， integration of education rules， multi-modal data fusion， interpretation method exploration， interpretability evaluation， the teaching application of interpretable knowledge tracking model in future was prospected. The research of this paper was helpful to enhance the practicability of knowledge tracking model in teaching and learning， and promote the process of education digitization.

Keywords： knowledge tracking; interpretability; global interpretability; local interpretability; smart education

*基金項目：本文为2023年度陕西省教师教育改革与教师发展研究重点项目“教育数字化背景下高校教师课堂教学评价创新路径研究”（项目编号：SJS2023ZD020）、现代教学技术教育部重点实验室2023年开放课题资助项目“融合注意力特征的脑电信号情感识别方法研究”（项目编号：2023KF05）、西安石油大学研究生创新与实践能力培养计划项目“智慧教育环境下基于图神经网络的知识追踪模型研究”（项目编号：YCS22111028）的阶段性研究成果。

作者简介：杨文阳，副教授，博士，研究方向为数字化学习、智慧教育，邮箱为ywy80910@163.com。

收稿日期：2023年9月12日

编辑：小米