可解释教育人工智能研究：系统框架、应用价值与案例分析*

王 萍 田小勇 孙侨羽

（上海外国语大学 国际教育学院，上海 201620）

一、引言

教育大数据的可用性和人工智能能力的增强，助推了教育领域利用人工智能算法来解决教育实践中的一些重要问题。但人工智能在快速发展与成熟的同时，也蕴含着多重风险与挑战。当前，人工智能技术的准确性和效率己在许多应用场景上超越人类，而人工智能中的一些关键技术如深度学习等的“黑箱”应用方式，却缺少透明度以及对结果的逻辑解释。依赖不透明的模型可能会导致我们采用不完全理解的人工智能决策与结果，甚至可能存在因违反公平道德原则而产生的人工智能可信性、风险和公平问题。2021年《地平线报告》（教与学版）即指出，在影响高等教育的六项关键技术中，人工智能技术的使用风险最大[1]。因此，发展可信的、可解释的人工智能，正在成为全球共识。

在教育领域，知识产品将直接应用于人类学习，透明度、可解释和可信任是确保教育系统和学习者之间建立成功联系的重要纽带。虽然人工智能赋能教育已取得了革命性进步，其在多种教育情境与学习任务中构建了精准高效的智能应用，但在智能教育中其对知识计算结果与智能决策支持的有效性，仍因缺乏解释能力而备受限制和质疑。已有研究过多关注机器学习和深度学习等技术结果的精准度，而忽视了技术应用的可解释性与可理解性。对可解释智能教育系统的研究较少且多以个案分析为主[2][3][4]，缺少系统且全面的研究。同时，教育人工智能系统中存在的“黑箱”与数据偏见、算法偏见等问题，有可能使教育系统的运行结果产生偏差。在“黑箱”应用模式下，虽然我们给出教育数据输入，获得智能决策的输出，但却无法理解和解读模型中的工作原理，这就导致人工智能所得出的相关结论的解释性困难。而这些具有偏见的教育数据集与算法，则有可能带来不公平或错误的结论或决策，亟需制定有效的机制对其结果进行解释或验证。

可见，在教育领域中，人工智能的可解释性是必要且必须的。首先，在教育系统和教育人员之间建立信任是使用智能系统的基础。信任是决策的基础，只

*基金项目：本文系上海市教育科学研究项目“人工智能环境下翻译教学的影响因素与提升策略研究”（项目编号：C2021311）研究成果之一。有给出人类可理解的解释性说明，才能在人与人工智能之间建立友好的沟通机制，尽量避免和消除人工智能系统在应用中所产生的偏差；其次，对智能模型的解释有助于优化教学过程。教育者需要“知道为什么”才能做出因果和价值判断，才能有信心将决策结果应用于教学实践。为此，本文将着重围绕两个研究问题展开分析：（1）如何构建可解释的教育人工智能系统框架？（2）可解释的智能教育对教育研究与实践的价值体现何在？

二、可解释人工智能的概念与发展

（一）概念解析

“解释”是将抽象概念映射到人类可以理解的领域中[5]。“可解释性”是在我们需要了解或解决一件事情的时候，可以获得所需的、足够的、可以理解的信息，这是人类心理与社会行为的基本要求。从认知心理角度分析，人类具有针对自身所处环境而反应的心智模型。当意外事件发生时，该心智模型就会即时更新，而这种更新是通过找到对此类事件的解释来执行的[6]。再从社会行为角度分析，找到意义与管理社会互动是人们要求解释的两个基本原因[7]。

可解释人工智能（Explainable AI，XAI）是以可理解的方式向人类解释，并呈现智能系统行为与决策的新一代人工智能，其目标是使用户能够理解和信任机器学习算法所产生的结果和输出[8]，使人工智能系统具备类人化的解释能力，建立起人与机器之间信任的桥梁，进而形成人工智能、社会科学、认知心理、人机交互多领域研究的融合交叉，如图1所示。

可解释人工智能在人与人工智能模型的交互过程中，阐释了输入信息到输出状态之间的因果关系，通过灵活的人机交互界面为用户服务，满足人类好奇、差异、疑问等心理需求，增强使用者对模型的信任程度和社会认知。融合多学科、多领域的可解释人工智能，是使使用者能够理解、适当信任和有效管理新一代人工智能的良好合作伙伴[9]。

（二）研发现状

1.各国发展情况

可解释人工智能是解决当前人工智能中安全性、偏见、公平性、信任和伦理等问题的关键方法。为推动可持续人工智能发展，各国的人工智能发展战略都开始增强对人工智能可解释性和可信性的关注，着重加强对人工智能的风险管理与治理。表1 给出了各国与相关组织机构在可解释人工智能治理方面的主要举措。自2017年起，人工智能的可解释性开始受到关注，至2019年，其已成为各国人工智能发展战略中的重要议题，中国、美国、欧盟等国家和相关组织机构，在推动可解释人工智能研究和应用中起到引领作用。可以说，创建以人为本，可解释性、可追溯性、可沟通的可信人工智能系统（Trusted AI System），已经成为下一代人工智能的发展趋势。

表1 各国与相关组织机构推动可解释人工智能的举措

2.典型研究项目

（1）美国国防高级研究计划局（Defense Advanced Research Projects Agency，DARPA）的可解释人工智能项目[10]。DARPA 从2016年10月开始启动“可解释的人工智能项目计划”，旨在建立一套新的或改进的机器学习技术，生成可解释模型，结合有效的解释技术，使用户能够理解、信任并有效地管理未来的人工智能系统。项目的研究框架如图2所示。

该研究提出了可解释人工智能所面临的三个挑战：①如何生成可解释模型；②如何设计人机交互解释界面；③如何理解用户心理需求并有效加以解释。DARPA 探索可解释性学习系统和心理学解释模型这两个技术领域，并以异构多媒体数据分析和自主系统决策策略构建这两个技术问题为切入点，探讨人工智能行为决策背后的原理与原因，以改善人机协作。

DARPA 还提出了可解释人工智能对使用者心理和行为所产生的影响及形成的评估框架，如图3所示。有效的解释能够诱导使用者形成良好的心智模型，促使其产生对系统的信任感，从而提升任务绩效。可解释性可从用户满意度、理解力、绩效提升、信任感等方面进行评估。

（2）“用于解释人工智能决策的科学和技术”项目[11]。该项目是由欧洲研究委员会（European Research Council，ERC）计划资助，旨在应对不透明人工智能系统构建解释方法所带来的问题和挑战。项目计划从“方法→模型→平台→案例→伦理”这五个方面展开探索：①研究如何构建有意义的解释，引入了用于“黑箱”解释的局部到全局框架，从不同维度分析解释方法，探索不同数据源和算法如何构建有意义的解释语言；②通过复杂系统的统计物理工具，捕捉特定深度学习背后详细数据生成行为的物理模型；③搭建可解释人工智能系统平台，建立与研究界共享实验数据集和解释算法的基础设施，为从事不同领域黑箱解释工作的研究人员，创造一个共享的基础平台；④设计“解释中”的案例研究，从选取健康和欺诈检测两个应用方向展开，在案例中验证涉及真实用户的方法和框架；⑤研究可解释的道德法律框架。鉴于可解释性研究（Interpretabitity Research）具有强烈的道德动机，研究项目将联合包括法律、伦理等研究领域的科学家，共同开展研究。

三、可解释教育人工智能的系统框架

构建可解释人工智能系统框架的目的，在于分析系统模块的构成与关系，明确系统模块功能，探索各模块对解释需求的实现方法。这是可解释人工智能系统研究的核心部分，也是系统设计与开发的基石。

（一）系统的学理支持

解释是人类学习和教育的重要环节，寻求解释的动力植根于人类的认知中，科学本质上也是一种解释系统。首先，在人类的学习中，解释是形成概念或范畴的过程，可帮助学习者形成或完善概念类别或类别成员特征，并概括类别内或跨类别的属性[12]。其次，解释对理解有着显著而积极的影响，例如演绎和概括可以帮助学习者完善他们的知识[13]。相关研究表明，让学习者解释专家的答案可以增进他们的理解，而在学习者提供自己的解释时，他们在理解上的不足就会暴露出来[14]。

教育的过程在某种程度上是教师向学生解释的过程，知识是学习者在与他人和环境的交互过程中通过不断地自我解释和交互解释建构而成，因此解释的过程也是知识建构的过程。解释有助于促进学习者在各种环境的学习，包括科学教学[15]、问题解决[16]、策略制定[17]等，如果缺少解释机制，将难以实施有效的学习活动。

教育人工智能系统的目标是赋能教学和教师，促进学习和学习评价，实现高效的知识传授。智能技术产生的教育决策需要科学的解释方法并呈现有效的解释机制并针对策略结果展开溯源，使教育者和学习者在面对智能系统时，能够知其然并知其所以然。

（二）系统框架与分析

可解释人工智能系统基于连接主义（Connectionism）研究范式，基于连接主义的教育人工智能系统包括：教育需求分析、教育数据处理与特征工程、智能模型构建与智能教育应用等主要功能模块[18]。构建可解释教育人工智能系统需要从需求分析出发，以解释为核心任务和目标，对数据的可解释、方法的可解释、技术的可解释、交互的友好可读性等功能进行设计。可解释教育人工智能系统框架如图4所示，数据解释、模型解释、解释界面构成了该系统的核心模块。

对于可解释的智能教育系统，准确、可理解、高效、稳定是教育应用的基本要求与目标。“准确”是指教育人工智能的系统结果与解释方法给出的解释之间的实际关系，这是可解释的基本目标，缺少准确度的解释没有价值。“可解释性”是一个主观概念，教育人工智能系统解释的结果应当是教育应用者所能理解的。如果系统提供或呈现的解释结果无法为用户所理解，即系统无法体现解释的价值和目标。“高效性”要求教育人工智能系统提供给使用者的解释所需的时间应是迅速的。在通常情况下，解释越容易理解，理解的效率就越高，并且解释系统不应显著影响人工智能系统自身的运行效率。“稳定性”是指教育人工智能系统对模型的解释应是稳定的，如教育数据、特征值的微小变化不应实质性地改变解释的结果。

1.教育数据与特征解释

数据是智能系统的基石，是算法存在的前提。教育领域涉及多种数据类型，可解释方法的设计依赖于数据的类型和结构。在建模前的可解释性方法的主要目标，是帮助教育开发者和分析者快速全面了解数据分布的特征，并构建特征可解释方法，为模型构建阶段做准备。统计数据分析和数据可视化是本阶段重要的解释方法，一般可通过探索性数据分析和可视化技术对数据集进行初步探索，总结数据集的主要维度。在此基础上，进行特征工程构建，形成有意义的教育特征。在特征可解释研究上，SHAP（SHapley Additive exPlanations）是一种典型的特征可解释方法，该方法基于博弈论思想，用Shapley 值来计算每个特征对整体预测做出的贡献以及每一个特征变量的重要性值，以达到解释的效果[19]。

2.教育模型解释

在教育人工智能中应用的技术，既包括回归、决策树等自解释能力较强的算法模型，也包括了完全黑箱的神经网络等深度学习模型。在教育模型的解释上，需要根据实际应用选择恰当的可解释方法与工具。

（1）可解释方法。在可解释方法的选择上，可从两个维度进行分析。首先是从解释方法适用的模型类型来看，有模型无关（Model-Agnostic）的解释方法和模型特定（Model-Specific）的解释方法[20]。模型无关解释方法可用于解释所有类型的黑箱模型，其适应性较强，可作为独立的可解释层构建于现有系统之上。而模型特定解释方法只能用于解释特定类型的黑箱模型，其方法依赖于每个模型的功能和特征。其次从解释方法的可解释范围来看，有全局解释和局部解释两种方法。其中全局解释可以解释模型的整体逻辑和工作方式，返回的解释是对任何实例都有效的、针对全局的完整解释。而局部解释对模型的单个实例提供特定的解释，给出机器学习模型针对每一个输入样本的决策过程和决策依据。

在设计可解释性方法时，需要考虑具体教育应用环境因素、教育需求、可用的教育数据资源、现有的领域知识、学习者的认知技能和能力以及现有技术方法的性能和可解释性水平等。如当探索某个具体学习预测结果的背后逻辑，可选择局部解释方法；如要分析学习系统的整体运行机制或影响学习系统的最关键的特征，全局解释方法可能更合适。在现有的教育研究中，基于模型特定方法的应用相对较多，而模型无关的解释方法具有更高的黑箱解释能力和场景解释能力，将是教育领域重点探索的可解释方法。

（2）可解释技术工具。在可解释技术的实现上，教育人工智能可以结合自身系统的需求，进行算法设计与开发，也可以选用开源的可解释人工智能工具。表2 对现有的主要可解释人工智能算法和工具包进行了总结与对比，选择成熟开源的技术工具是提高教育系统和教育产品设计开发效率的有效手段。

表2 开源可解释人工智能算法与工具包

3.可解释交互界面

在获取可解释的结果后，需要通过可解释交互界面以恰当的形式提供给教育应用者，以确保解释能力与用户体验和交互设计之间不会因为不匹配而导致难以理解甚至产生错误的结果。对可视化交互形式的设计，需要根据模型的功能与教育应用的情境来进行具体设计与选择，表3 给出了可视化交互界面形式与智能教育系统解释功能的主要维度[28]。

表3 可视化交互界面形式与智能教育系统教育解释功能的主要维度

四、可解释教育人工智能的应用价值与案例分析

（一）应用价值

1.提供因果推断的教育研究新路径

（1）因果推断与解释。作为一种认知过程，解释与因果推断密切相关。解释是对事物发生原因或运作机制的因果分析过程。解释的过程是因果链、“目标—计划—行动”层次结构和理由的构建[29]。因果关系一直是人类认识世界的基本方式和现代科学的基石，从“因”推导出“果”，找到两类对象之间的规律和相互关系，一直是推动科学与哲学前进的动力之一。因果推断的目标即发现变量/事物背后的因果关系，提供因果机制或过程解释。根据珀尔（J.Pearl）提出的因果推断形式化模型，因果推断可分成三个级别：关联、干预和反事实推理，这三种关系分别对应不同层次的解释性问题[30]。

（2）教育研究中的因果推断方法。在教育科学中，对变量间关系的研究主要包括相关性与因果性，因果推断是教育和社会科学研究的基础方法和重要目标。教育研究更应探寻教育问题中诸如原因或条件“如何”造成结果的问题[31]。传统因果推断研究方法包括随机实验、自然实验、倾向值匹配、工具变量、断点回归、结构方程模型等[32]。这些研究方法主要是基于统计模型，使用实验数据或者调查数据，采用统计分析方法进行估计和推断，进而对研究结果进行诠释。以实验研究为例，随机实验被认为是最适宜用来验证事物间因果关系的研究方法，但在教育和社会领域，也存在样本选取、成本、社会道德等方面的难度和压力。过程追踪、质性比较分析等质性研究方法，也是在教育问题因果推断研究上的有效研究方法。

传统教育研究方法在因果推断研究层次上，主要实现了观察和干预级别。在数据集上，通常为小数量级别。而随着大数据的发展，机器学习方法开始展现其价值和优势。传统量化研究与机器学习相互借鉴，机器学习算法对因果推断的传统计量方法进行了优化与改进[33]，推动了传统因果推断研究方法的进步。

（3）人工智能推动因果推断研究。人工智能经历了基于符号逻辑的演绎推理、基于概率的归纳推理、基于因果推断的溯因推理的发展过程[34]。强人工智能的目标在于让机器具有类人化的因果推断能力，当前的机器学习领域仍处于“弱人工智能”，主要解决关联性和干预性问题。要实现强人工智能还需要使机器具备反事实推理等因果分析能力，让机器学会因果推断是实现真正人工智能一个重要步骤[35]。

因果推断是解释性分析的建模工具，可解释人工智能通过加入因果表示可以使智能系统提供更丰富的解释，以实现更高层次的因果推断，为教育研究和社会科学研究提供新的研究方法和路径。可解释人工智能丰富了教育研究方法的图景，成为探索教育研究中因果关系与因果机制的强有力工具。图5描述了传统教育研究方法与人工智能方法的因果推断分析和解释能力。

2.推进知识发现研究

知识发现是从数据中识别出有效的、新颖的、潜在有用的、最终可理解的模式与过程[36]，其目标是从大数据中发现有价值的、潜在的多维度知识。在教育领域，学习分析和教育数据挖掘等研究任务，都是为了更好地服务于知识发现，常用的知识发现方法包括统计分析方法、机器学习方法、可视化方法等。

当前，人工智能技术的先进性已经超过人类专家，能够发现人类专家无法访问的数据模式，探索新的知识。例如在教育研究中，进行精准教育、学习评估、自动评分；在科学研究中，探索大脑认知状态、基因与疾病化合物和材料特性；在游戏设计中，发现新的游戏交互策略等。在知识发现研究中，识别和解释知识的产生模式也非常重要，因为它揭示了有关学习者生物或神经机制等新信息，可能带来新的科学见解。因此，可解释人工智能将是促进和验证知识发现的有力工具。

可解释人工智能利用解释方法，从挖掘到的数据模式识别代表新知识的模式，并利用可视化技术将新知识呈现给用户，帮助人们理解人工智能模型的决策过程。在后续解释的基础上，用户与专家可以获得基于数据和模式的真实反馈，真实获取隐藏在数据中的新知识。

3.助力教育人工智能治理

人工智能治理是人工智能技术和应用发展到一定阶段的必然结果，是促进人工智能健康发展，确保人工智能安全可靠，推动可持续发展的重要议题。总的来说，人工智能治理是一项复杂的系统工程，治理手段主要包括伦理约束、技术应对、规范立法等。

在教育人工智能治理中，人类所面临的风险和问题主要包括：人工智能技术的使用和误用、算法和数据偏见、问责制和自我监督、安全与隐私、风险与伦理等。可解释人工智能是进行教育人工智能治理的有效工具，公平公正、用户友好的解释，将帮助人类评估和实现以人为中心的人工智能。图6 建构了基于可解释人工智能推动教育人工智能治理的研究框架。

教育人工智能治理的目标是构建技术可控、以人为本、科技向善、公平可靠、尊重隐私、包容共享、人机协同发展的教育治理新环境。可解释人工智能可以解释人工智能算法如何做出决策，避免算法偏见和人工智能的误用和滥用，这是推动人工智能治理从原则到实践有效落地的有力工具和手段。

（二）案例分析

在教育领域，可解释人工智能系统已经开始得到研究者的关注，并尝试在教育情境中加以应用。为此，本研究选择了三个典型案例进行分析，如表4所示。

表4 教育人工智能中可解释系统应用案例

1.智能导师系统

智能导师系统（Intelligent Tutoring System，ITS）由领域模型、导师模型和学习者模型组成，通过模拟人类教师实现个性化的智能教学，是人工智能技术在教育领域中的典型应用。ACSP 是科纳蒂（C.Conati）等研究开发的一个自适应智能导师系统，系统通过用户建模和适应框架FUMA（Framework for User Modeling and Adaptation）进行学习者模型构建。根据学习者行为数据，使用机器学习方法进行分析计算，按照学习者能力对学习者进行分类。根据学习者的归类，通过交互式方式为学习者提供学习水平相当的学习诊断与指导。在可解释的方法上，ACSP 系统使用了具有自解释机制的可解释方法，如图7所示。

ACSP 提供了一系列交互性解释性界面，如图8所示。当学习者被提示为学习成绩较低时，系统为学习者给出了“whylow”和“howscore”解释界面。在解释界面中，系统会给出为什么得出该判断的理由、预测的原因以及对学习者的分数计算规则。

为验证可解释智能导师系统的效果，研究者对使用具有解释功能和不具有解释功能的系统的两组学习者进行了实验研究。研究结果表明：可用的解释提高了学习者对智能导师学习系统的信任、对系统有用性的感知以及再次使用系统的意愿。

2.可解释教育推荐系统

推荐系统通过提供个性化信息向用户提供在线服务，是缓解信息过载问题的有效方式，已普遍应用于社会与教育系统。基于深度学习的推荐算法，极大提升了推荐性能。但在获得精确推荐的同时，人们也越来越关注为什么系统会推荐某些项目，希望在获取推荐的同时，也能得到对该推荐的解释。

在智能教育系统中，教育推荐对解释的需求相对较高，学习者往往需要获知推荐内容的原因。在推荐系统中增加解释可以提高教育系统的可靠性，充分激励学习者与学习系统的交互，增加学习者对学习推荐的信任和满意度，帮助学习者进行更有针对性的学习活动。如巴里亚·宾达（Barria-Pineda）等设计实现了基于学习者特定目标的学习推荐系统，并对推荐结果给出了解释。当鼠标悬停在推荐的学习活动上时，会向学习者显示说明，并给出视觉形式和文本形式两种解释，如图9所示。

图9 显示了Java 编程课程中字符串学习内容的推荐实例。基于学习者模型分析，该系统给出学习主题中三个最相关的学习活动推荐。推荐在左侧列表提供，也通过导航形式以推荐活动上大小不同的星型提示。在可视化解释中，通过概念栏的视觉解释方式，可以让学习者了解学习活动或解决问题所需要的概念，帮助他们更好地理解为什么推荐某项内容。文本解释通过在工具栏说明的方式来为学习者推荐活动。如果学习者在相关内容上表现出足够的熟练程度，则会呈现与知识水平相关的文本，并使用彩色文本来强调不同的概念与知识水平。

对推荐系统的实验研究表明：具有视觉和文本解释的推荐系统，促进了学习者对推荐系统的使用，建议和解释的存在，可以增加学习者对知识相关学习内容的参与，从而提高学习成功率。

3.可解释学习分析系统

学习分析是大数据和人工智能在教育领域的典型应用。学习分析依据学习者的学习行为和学习活动进行数据分析和挖掘学习规律，提供学习干预与学习反馈，从而提高教师的教学质量和学习者的学习效果。但已有分析在提供学习指导或反馈时，缺少对学习策略的解释，学习者无法得知为何得到该类分析反馈。阿尔扎夫（M.Afzaal）等的研究，将学习分析技术与可解释的机器学习相结合，提供自动和智能的可操作的解释性反馈，支持学习者以数据驱动的方式进行自我调节学习[37]。

该研究基于大学课程管理系统平台数据，构建了机器模型。根据学习者的学习行为数据，使用人工神经网络构建预测模型，预测学习者的学习成绩与学习表现，并通过可解释的机器学习方法，为每个学习者生成单独的可解释、可操作建议。该研究采用了反事实解释方法，通过选择特定实例来解释机器学习模型的行为，得到输出的特征列表与分析值。但学习者理解和解释这些列表值仍较为困难，因此该研究设计了仪表板的可视化解释界面，来帮助学习者理解解释信息。

五、思考与展望

随着决策更多的从人类转移到机器，理解和解释将是人工智能应用的核心使命。教育和科学本质就是一种解释的过程，通过可靠解释实现可理解的教育人工智能是智慧教育发展的现实诉求。我们认为，在未来研究中，可从五个方面予以重点关注和思考。

（一）赋能决策解释，推进教育人工智能以人为本、负责任的可持续发展

人工智能算法性能的不断提升，使得它们帮助人类判断和决策的能力愈加强大。但学习是教学与人的互动，性能不应成为智能学习系统的第一诉求，学习者的感受和结果应是核心的关注点。在教育场景下，我们不仅需要人工智能提供给智能计算的结果，更需要理解智能教育系统内部的运行机制，并通过人与人工智能之间的交互机制，提供给我们可信赖、可理解的解释信息，从而进一步对学习者提供归因分析等教育服务，真正体现以学习者为中心的教育理念。同时，技术双刃剑带来的算法偏见、数据隐私、安全可控等风险问题，也亟需以可解释为基础的有效技术手段和治理方法的参与。可解释性是人工智能风险防范的基石，也是确保技术公平公正的保障。发展可解释的人工智能，将是推动教育人工智能透明、可信、负责任、可持续发展的必然过程。

（二）融合知识图谱，拓展智能教育系统设计开发的新方向

知识图谱是解释实体之间关系的语义网络，是人类领域知识的知识库，在问答系统、知识推荐、智能搜索等领域，得到了广泛地应用。相对于传统的知识表示，知识图谱具有海量规模、语义丰富、领域性强、结构友好、质量精良等优点，并且其构建及使用都更加接近人类的认知学习行为。知识图谱的语义优势使其成为机器理解语言的重要背景知识，为人工智能算法的解释能力提供了空间。知识图谱中所富含的实体、概念、属性、关系等信息，使解释成为可能。使用知识图谱可以增强对教育数据与特征的分析与理解，能够为解释提供专业领域的分析，帮助机器实现高层次的理解和解释能力。当前针对教育知识图谱的研究已较为系统和深入，将知识图谱与可解释、因果推断等相结合，拓展新的研究领域，推动教育研究在方法论、技术创新、应用开发的深入，是智慧教育领域需要关注的且具有应用价值的方向。

（三）关注评价研究，完善教育人工智能的研究方法体系

在可解释人工智能系统的研究中，不同领域的应用情境和关注重点不同，并且可解释方法和技术具有多样性，因此，如何对可解释人工智能系统进行评价是不可忽视的问题，需要在未来持续跟进。教育领域可解释方法的评价可多维度展开。从评价手段来看，可采用定性、定量等方法；从评价的对象分析，包括对可解释技术的评价、可解释系统应用的效果评价；从应用情境出发，则需分析不同具体教育应用对可解释性的要求。当前，对可解释方法的评价研究还处于初级阶段，还有较多研究问题亟待解决，例如如何克服人类评价的主观性和认知局限性？是否可以给出定量分析的统一评估指标？不同解释方法之间如何进行对比？如何均衡成本与准确性之间的关系等？这些问题都需要在未来研究中进一步探索。总之，可解释人工智能增强了教育研究中的因果推断能力，使用“可解释”进行评价是教育研究方法体系中的重要环节。

（四）加强学科合作，推动教育人工智能的跨学科参与和融合

建立可解释、鲁棒性的人工智能理论和方法，发展安全、可靠、可信及可扩展的人工智能技术，推动人工智能创新应用是下一代人工智能体系的核心目标。跨学科合作是应对和解决复杂科学问题的主要方式。在可解释人工智能的研究中，教育学科应加强与机器学习、人机交互、认知科学、社会学、心理学、决策理论、伦理和哲学以及法律等多学科团队与领域的专业合作，从而实现跨学科的知识融合。为此，在教育研究中要充分利用不同学科的知识和经验，在学科交叉中推动创新发展，共同研究和构建人类可理解的人工智能系统。

（五）编制指南规范，打造智能教育应用落地的有效路径

当前，教育领域对于可解释人工智能的研究与应用还处于探索阶段，不仅在技术层面具有一定门槛，也缺乏对可解释系统的全面认知。因此，编制可解释性系统应用指南，将有助于帮助教育研究者和实践者更好地开展和评估智能教育应用。可解释教育人工智能指南可以提供“可解释”的一般原则、教育数据分析、解释模型与方法、教育应用案例等维度的系统化指导，作为开发或评估可解释性教育产品的启发式和指导性规范，提供可操作的具体建议，确保可解释性应用的高效性和可用性。通过指南规范的编制，也进一步推动教育领域对可解释性相关问题展开探讨，引领教育人工智能规范化发展。

六、结语

教育领域对于可解释有更高和更迫切的需求，可解释是构建教育领域对人工智能准确认知和良好信心的必然要求。当前，教育领域对可解释人工智能的理论和技术研究还不够系统。为此，本文对可解释教育人工智能进行了系统研究，分析了当前教育人工智能的数据算法偏见与问题，构建了教育人工智能系统框架，分析了教育数据解释、教育与模型解释、可解释接口等核心模块的设计，可指导教育者进行新型教育系统的设计与开发。可解释教育人工智能在研究方法上推动了因果推断的教育研究，并为学习分析与知识发现研究提供了新路径，是进行教育人工智能治理的有力和必要手段。对可解释人工智能的研究，还需要从解释方法评价、知识图谱融合、指南规范编制、多学科团队建设等方面继续深入。总的来说，可解释性赋予了教育人工智能有意义的、可理解的人机交互与沟通机制，是确保知识价值体现的重要条件。同时，也为推动可信的、负责任的教育人工智能研究与发展，提供了方法与路径。

未来该领域的研究，将基于具体的教育情境进行系统设计与实证应用，采用高准确率和高可解释性的人工智能，真正将技术广泛、负责任、有效的应用于教与学的过程，不断推动教育信息化的发展。