可解释人工智能的教育视角：基于伦理和素养的思考

托雷·霍尔 曹梦莹 明芷安 袁莉*

（1.北京师范大学 未来教育学院，广东 珠海 519087；2.挪威奥斯陆城市大学 多媒体和学术研究中心，挪威 奥斯陆NO-0130；3.上海开放大学上海开放远程教育工程技术研究中心，上海 200433）

一、引言

2021 年，联合国教科文组织（UNESCO）通过了首个供193 个成员国采用的关于人工智能伦理的全球协议《人工智能伦理建议书》（Recom-mendation on the Ethics of Artificial Intelligence,以下简称《伦理建议书》）[1]。《伦理建议书》定义了共同的价值观和原则，用以指导建设必需的法律框架，以确保人工智能的健康发展，并且强调人工智能系统的透明度和可解释性是确保人权、基本自由和伦理原则得到尊重、保护和促进的必要条件。《伦理建议书》明确指出，可解释性是指让人工智能系统的结果可以理解，并提供阐释说明。并且呼吁会员国进行道德影响评估，确保道德治理；制定数据政策，确保适当的安全和数据保护措施，向公众提供人工智能素养教育[1]。同年，中国《新一代人工智能伦理规范》[2]的发布，为从事人工智能相关活动的自然人、法人、相关机构等提供伦理指引，强调在算法设计、实现、应用等环节，提升透明性、可解释性、可理解性、可靠性、可控性。可见，人工智能技术的发展需要相应提高数据、媒体与信息素养，努力减少错误信息、虚假信息和仇恨言论的风险，以及滥用个人数据造成的伤害。

以深度学习为代表的智能技术存在的“黑箱”问题，使智能教育系统的决策结果缺乏透明度和可解释性，对于输出结果，往往没人能确切地知道决策的依据以及决策结果是否可靠。因此，我们需要透明、可解释的系统为人工智能的结论提供依据，使其推理可以被检查，错误的假设可以被识别。此外，加强人工智能素养教育，特别是遵循以人为本的原则是避免人工智能“黑箱”的先决条件。我们不仅要提高学生应用人工智能的能力，也需要让学生明白透明度、公平性等问题在智能社会的重要性，它是决定人工智能影响人们生活的关键所在。因此，在人工智能素养教育中，加强学生对人工智能可解释性的认识，具有非常重要的意义。基于此，本文探讨了人工智能机器学习可解释性的原理，阐明了可解释性在教育中的重要作用，以及开展全民人工智能素养和伦理教育的必要性，并强调提高教师、学生的人工智能知识和技能，发展可解释的人工智能是可信任未来智能教育的基础。

二、人工智能教育伦理框架

在过去的25 年里，国际人工智能教育协会（the International Society for AI in Education）一直积极组织关于人工智能教育的会议并支持相关研究，但是人工智能对教育的影响近几年才逐渐被大众关注和讨论，国内外研究者和实践者开展了大量研究，并发布相关报告。这些报告几乎都涉及人工智能教育伦理的探讨，但是很多研究只是提出问题，并没有给出具体的解决方案。例如，微软前教育战略主管达根（Duggan）撰写、联合国教科文组织教育信息技术研究所发布的《教育中的人工智能：学习速度的变化》（AI in Education:Change at the Speed of Learning）报告中，描述了对人工智能算法可能导致的偏见，以及学生数据使用不当所带来的隐私、数据保护等问题的担忧，并提出，“在开发人工智能系统和解决方案时，同样需要关注人工智能的伦理问题，而不仅仅是在实施阶段”[3]。由美国计算与学习科学综合研究中心（CIRCLS）发布的《人工智能与学习的未来：专家小组报告》（AI and the Future of Learning:Expert Panel Report）也得出相关结论，即需要“制定更强有力的伦理和公平政策”，并“迅速加强了解在这一新兴领域有效、公平和符合道德规范的核心标准、准则、政策和其他指导形式”[4]。该报告还提出，从事这项工作的研究人员必须参与制定规范和指南，帮助该领域以安全可信的方式发展。实践者、决策者和其他利益相关者需要平等参与。政策不仅要满足研究人员的需求，还要满足初创公司和提供大的科技平台及服务公司的需求。政策及其实施需要透明，这样一旦出现问题，教育工作者和公众可以追究开发者的责任。[4]

另外，澳大利亚政府教育部委托索斯盖特（Southgate）等人撰写的报告《简读：人工智能与学校教育》（Short read:Artificial intelligence and school education）指出，人工智能教育面临着“很难看懂机器决策的准确逻辑”的困境。该报告表达了一个重要观点，“对于教育等人文领域来说，能够解释为什么做出这样的决定，是运用智能系统进行教学和管理的核心原则”[5]。由此可见，为了确保人工智能在学习和教学中蓬勃发展和有效运用，机器学习的可解释性是智能教育研发必须解决的问题。该报告还提出一个教育、伦理和人工智能（EEAI）框架，为教师、学校领导和政策制定者提供了一种思考伦理问题的方法，如图1 所示。该框架从公民权利、伦理原则、运用人工智能进行学习等方面，对如何设计、实施和治理面向大众的人工智能进行分析和探讨[5]。

图1 教育、伦理和人工智能（EEAI）框架

当前，“人工智能伦理”已经成为很多非盈利机构和组织的一个非常重要的议题。例如，全球志愿者网络已经形成了一个以英国为基地的研究中心——人工智能伦理和机器学习研究所（http://ethical.institute），旨在探讨人工智能伦理和机器学习对未来社会发展的影响。此外，白金汉大学建立了教育中的伦理人工智能研究所，并在2020 年发布由国际人工智能教育协会前任主席罗卢金（Luckin）教授主持撰写的《人工智能教育伦理的共同愿景》（Towards a Shared Vision of Ethical AI in Education）报告[6]。这份报告阐述了教育中人工智能伦理的重要性，以及实现符合伦理规范的智能教育系统的共同愿景和目标。首先，报告重申了欧盟委员会（European Commission）人工智能高级专家组提出的防止智能教育系统可能对学习者产生潜在伤害的要求[7]，具体措施包括:人的参与和监督；问责制；技术稳健性和安全性；多样性、不歧视和公平；隐私和数据治理；透明度以及社会、环境福祉。其次，报告还建立了一个人工智能教育伦理标准框架，并提出满足这些标准规范的蓝图；反思了人工智能教育伦理方面的机制建设，并就欧盟委员会可信赖人工智能的指导方针如何适用于教育环境提出了建议。机制讨论包括法规、行为准则、认证、标准化、利益相关者的教育和意识、多样性和包容性团队、可信赖人工智能的架构、服务质量指标、解释方法等。最后，报告进一步提出需要改进的方面，包括采购程序、关于人工智能和对教育工作者使用人工智能的培训、保障方法、人工更正的方法、风筝标志（Kitemark）、监测和报告人工智能教育的宏观影响，以及确保人工智能教育伦理成为课程的一部分[6]。

对教育中人工智能伦理的讨论，是在各个领域广泛开展人工智能伦理框架、规范和实践的背景下进行的。这里需要提出两个问题：①人工智能与其他领域，如医学、生物科学等，存在哪些通用的伦理原则？②当解决人工智能在学习、教育和培训中所面临的伦理困境时，教育有什么特殊性？

弗罗里迪（Floridi）等人2019 年在一份关于人工智能在社会中的五个原则框架中，回答了上面提出的第一个问题。他们分析了来自六个知名度很高、专家驱动的人工智能伦理报告中的47项规范，发现这些规范可以归结为五项原则，其中四项是传统生物伦理中众所周知的原则（受益、无害、自主和公正），如图2 所示。他们认为第五个原则——可解释，是人工智能所特有的。这一促进人工智能发展的原则包含可理解性（对于非专家，包括患者或商业客户；对于专家，包括产品设计师或工程师）和责任性”[8]。

图2 传统生物伦理原则和人工智能的新原则

对学生进行人工智能伦理的教育是实现人工智能可解释性的途径。毋庸置疑，教育在可解释人工智能中起着关键的作用，如使人工智能的伦理原则变得可理解和可操作。为了更好地掌握人工智能给教育带来的潜在机遇和风险，一方面，将可解释性作为智能教育的内在动因，明确哪些内容应该让教育用户理解；另一方面，智能教育系统、工具的决策和结果要具有透明性，这也包括认识论和伦理学的跨学科的探索，以及如何吸引更多教育工作者参与到智能教育的设计和实施过程中。

三、人工智能可解释性的教育视角

（一）人工智能可解释性的基本原理

解释机器学习，特别是具有多层抽象变量的深度学习的决策过程和结果，一直是开发和应用人工智能的挑战。近年来，随着人工智能技术的日益发展，负责任的人工智能（欧盟使用术语“可信任的人工智能”）相关问题日益紧迫地被列入了研究议程。欧盟委员会任命了专家组为其人工智能战略提供建议，其中包括制定可信赖的人工智能伦理准则、制定可信赖的人工智能政策和投资建议、制定可信赖的人工智能最终评估标准等[9]。目前，已经有许多关于可解释人工智能的研究和论文，其目的是“寻求解释，并探讨人类如何理解人工智能决策系统”。关于可解释人工智能的概念至今仍未达成共识，根本原因是这个概念会因其所应用的领域不同而发生变化。例如，在人机交互领域，沃克尔（Wallkötter）等人专注于“机器人提供内部工作信息的能力，这样观察者（目标用户）可以推断出机器人行为的方式和原因”[9]。同时，在教育、国防、医药、法律等许多领域，可解释性便于用户理解，并提高信任度，能够有效地管理人工智能系统。由此可见，可解释性定义取决于领域，并且不能独立于领域进行定义。每种解释都取决于人工智能系统用户的任务、能力和期望值。

为了对可解释性进行深入的讨论，我们需要厘清一些基本概念和分类法，在最近的一些研究中也讨论了这些问题[9-11]。简而言之，可解释人工智能通常是作为技术概念而被关注，如机器学习、深度神经网络、具身代理等。然而，从本文所提出的教育视角来看，我们需要有更广阔的视野。例如，阿瑞塔（Arrieta）等人提出，需要“考虑到用户的实际情况，可解释的人工智能要提供使其功能非常明确或易于理解的信息和推理”[10]。他们在讨论可解释人工智能概念和分类时，把目标受众的知识作为关键问题，提出可解释性模型取决于受众，“必须与隐私、保密、公平、问责等相关要求和约束一起解决”[10]。如图3 所示，在阿瑞塔等人提出的“负责任的人工智能”概念中，可解释人工智能只是其中的一部分。

图3 “负责任的人工智能”包含可解释人工智能和相关附加原则

“负责任的人工智能”观点说明，人工智能的可解释性，不能与反思社会技术和实践方面的其他伦理原则分开，如图2 所示。然而，如果一个能够帮助和支持人类做决策的技术机制背后仍然是一个“黑箱”，就很难找到符合伦理要求的技术发展方向。因此，一方面，我们在讨论问责制之前，需要理解可理解性；另一方面，当我们开始从技术角度出发考虑不同的受众时，可理解性是很难达到的。在许多情况下，它只是一个近似值，而不是确定的答案。

人工智能的可解释性在技术层面上需要达到什么程度，主要取决于其目标用户。在教育环境中，完全透明的人工智能模型是很难实现的。但这个模型是可以被理解或易懂，而且这一模型所做的决策可以被解释。阿瑞塔等人对人工智能和可解释人工智能伦理规范中使用的术语进行了必要的澄清：可理解性（Interpretability）与可解释性（Explainability）不能互换。可理解性，也可以表示为透明度，指模型的被动特性，“指给定模型达到目标受众能够理解的水平；相比之下，可解释性可以被看作是模型的一个主动特征，表示模型为了阐明或详述其内部功能而采取的任何行动或过程”[10]。他们还进一步解释道，“人工智能系统作为连接人和数据决策之间的应用，既要呈现精确的决策又要为人们所理解”[10]。因此，根据阿瑞塔等人的定义，人工智能系统取决于数字的能动性，而系统应用的界面提供了一个与外界交流的渠道，因此目标用户也有能动性。也就是说，人们与智能系统互动就是一个解释和学习的过程。在这个过程中，服务对象是谁、目的是什么、如何采取行动、为什么要这样做，等等，这些问题都会被提出并加以分析。

在回答这些问题时，可解释人工智能相关文献中提出了使人工智能模型，特别是机器学习模型更透明的特征，即模拟、分解和算法透明[10][11]。然而，大部分解释用的是事后解释技术，即文字解释、视觉解释、阐明更复杂的整体模型的局部解释、实例解释、简单化解释、特征关联性解释。

贝勒（Belle）和帕潘托尼斯（Papantonis）在图4 中总结了可解释性方法[11]。从本文的角度来看，很明显，即使一个很透明的模型显示使用的是贝叶斯统计，也需要通过复杂的解释机制和解释方法，才能为使用人工智能系统管理日常任务的不同受众，给予有意义的解释，学校的教学就是一个最直接的例子。

图4 以不同方式解释人工智能模型的思维导图

（二）教育视角的可解释性

一个好教师需要了解学生，也就是前文所说的受众。换句话说，教师对可解释人工智能所面临挑战的自然环境特征是非常清楚的。正如在智能教育这样一个特定的领域，涉及很多系统和应用，包括：机器自动评估和答疑、智能推送、对用户需求进行引导，使教师和学生潜意识受到人工智能的暗示做出决策。即使我们知道“场景（Context）就是一切”，而场景本身也是一个难以定义、难以捉摸的概念。好的教师会用现实生活中的例子，将一个现象解释得简单明了，其过程更像是个人信息的交流。尼森鲍姆（Nissenbaum）提出，“尊重场景意味着消费者有权期望公司收集、使用和披露个人数据的方式，与消费者提供数据的环境一致。”[12]她提出了“情境脉络完整性”（Contextual Integrity）理论，在教育大数据的应用中，这对于讨论对隐私和数据保护是非常有用的。根据这一理论，人们应该遵守“特定环境下的个人信息流动”规范[12]。数据共享方式是否侵犯了个人的隐私，取决于三个方面的因素：①共享的信息类型；②发送者、数据主体和接收者的社会角色；③信息的传输方式。

从教师的角度来看，在学生使用的所有应用程序中，数据应该如何处理，还没有达成普遍共识。此外，如果我们需要在具体的环境中，才能决定数据共享是否符合伦理规范，那么学校的作用是什么? 由此不难得出结论，学校的责任是教育学生了解和掌握数据共享方面的知识、明白数据是如何收集和使用的，以及如果数据泄露能够问责（由谁收集、出于什么目的，等等）。这就意味着，需要将人工智能素养的提高作为人工智能课程设计和开发的重要组成部分。

相关研究发现，从2014 年到2021 年，人工智能素养课程大幅增加[13]。2021 年11 月，人工智能素养的关注度达到了一个新的高峰。联合国教科文组织所有成员国就促进人工智能教育的建议达成了一致：成员国应促进获得人工智能教育的“基本技能”，如读写、计算、编程和数字技能，媒体和信息素养、批判性和创造性思维、团队合作、沟通、社会情感、人工智能伦理的知识和能力，特别是目前还明显落后的国家（地区）或各国的区域[1]。

《伦理建议书》指出，有必要为各级各类学校设计人工智能课程，并且“促进人工智能的技术教育与人工智能相关的人文、伦理和社会方面的教育交叉合作”[1]。在2021 年的另一份题为《一起重新构想我们的未来：教育的新社会契约》（Reimagining Our Futures Together:A new social contract for education）报告中，联合国教科文组织提出，人工智能课程开发应该考虑如何应对人工智能可能造成的错误信息的传播[14]。

人工智能课程应该强调培养学生科学探究精神，以及区分严谨的研究和谬误谎言的能力。我们应该发展数字技能，使学习者能够有目的地使用技术。人工智能课程应确保学生通过参与决定科学技术使用方式和运用目的，从而获得“驾驭”智能技术的能力[14]。

四、人工智能素养

（一）人工智能素养教育

人工智能素养的定义由一场国际讨论而引起关注，这场讨论试图解释人工智能到底是什么，以及人工智能为人们对伦理的理解和行为带来了哪些新的变化。如前文所述，可解释性是人工智能伦理新的要素，那么相对于人们已经熟悉的数字素养，人工智能素养有哪些新的要素呢？有研究者将人工智能素养定义为，“一系列使个人能够批判性地评估人工智能技术；与人工智能有效沟通和协作以及在网上、家里和工作场所使用人工智能工具的能力”[15]。因此，人工智能素养包括：①数字素养，即使用计算设备所需的能力；②计算素养，即使用代码表达、探讨和交流思想的能力；③科学素养，即对自然、目标和科学的一般局限性的理解，以及对更重要科学思想的一些理解；④数据素养，即作为探索世界的更广泛过程的一部分，阅读、处理、分析和论证数据的能力。也可以理解为，人工智能素养有不同的类型：技术素养（功能、概念、评估和关键水平）、代码素养、修辞素养（利用不同的修辞格）、写作素养（保持在线和协作写作）、伦理素养（就与数字安全、数字权利、数字财产、数字身份、数字隐私等相关数字行为做出符合道德的选择和决定）和数字素养。

人工智能素养不能简单地通过“知识传授方式”来获得提高，如人工智能在学术写作中的运用。可以预测，在不久的将来，研究人员能够通过数字技术互联互通，与全球研究社区开展合作。那么，需要具备什么样的素养，才能与机器代理开展建设性合作。在英国，负责高等教育技术应用的英国联合信息系统委员会（JISC）制定了一个数字能力框架[16]，如图5 所示。该框架将数字能力归纳为五个方面：①信息、数据和媒体素养；②数字创作、问题解决和创新能力；③数字化交流、合作和参与；④数字化学习和发展；⑤自我实现数字身份管理和数字福祉。从这个角度来看，人工智能素养只能通过促进跨学科的教学和学习来获取，这就需要将人工智能工具、实践和人工智能伦理整合到各级各类学校的所有科目中。

图5 英国JISC 开发的数字能力框架

（二）人工智能素养课程设计

目前，有研究者进行了针对不同年龄层学生不同需求的人工智能素养课程设计实践。例如，金承勋（Kim）等人在研究中设计了针对小学阶段的学生课程，通过体验学生在日常生活中可能遇到的人工智能技术，来开发人工智能素养课程模块；通过体验熟悉的人工智能技术，使学生消除对人工智能先入为主的误解。该课程的目的是培养人工智能素养的三种胜任力：人工智能知识、人工智能技能和人工智能态度[17]。需要特别强调的是，人工智能态度包括“社会影响”和“与人工智能合作”。人工智能态度能力要求学生能够认识人工智能对社会的积极和消极影响，以及对使用人工智能技术的批判性观点。另外，麻省理工学院发布了人工智能教育网站[18]，分享K-12阶段学生可以用来学习人工智能的各种在线资源，旨在培养学生的创造力、批判性思维和同理心，从而让他们思考如何负责任地设计和使用人工智能，认识到人工智能伦理的社会影响。

有研究者采用整合技术的学科教学知识（Technological Pedagogical and Content Knowledge,TPACK）模型设计教师人工智能素养课程，并概念化其在人工智能素养教育中集成相关技术所需的能力和知识。图6 中包含三种知识：①技术知识，涉及特定领域学习工具，如人工智能素养教育中的硬件和软件、人工智能相关代理（使用智能代理，包括专家系统、机器学习训练器、聊天机器人，无需编码即可构建定制机器学习模型）和无电子学习工具（在没有计算机的情况下学习人工智能知识，包括讲座、案例研究、角色扮演和讲故事）。②教学知识，涉及教学方法及其应用，以促进学生的人工智能素养学习，这需要教学策略和支架，以反馈学生的学习过程。③学科知识，涉及关于人工智能素养主题的知识，即课程中应该涵盖的特定主题。[19]

五、结论

人工智能的发展通常被描述为世界各国争夺未来科学技术主导地位的竞赛。但是我们可以清楚地看到，仅仅关注人工智能技术方面的突破并不能实现人工智能发展质的突破。欧盟在其报告《人工智能、机器人及相关技术伦理方面的欧洲框架》（European Framework on Ethical Aspects of Artificial Intelligence,Robotics and Related Technologies）中指出，“欧洲人工智能发展旨在促进欧洲在人工智能领域的创新能力，同时支持在整个欧盟经济中开发和采用符合伦理和可信的人工智能。人工智能应该为人们工作，并成为社会中的一股正义力量”[20]。人工智能工具和应用的开发涉及社会、文化、经济、教育等各个方面。了解人工智能应用的环境是关键，社会上没有其他机构比教育更能满足人工智能对不同背景环境的需求。教育的本质是提出问题，如是什么、为什么、如何等解释概念，以及想法和结果之间的关系，可解释性是人工智能带给人类的新挑战。为了迎接这一挑战，需要通过精心设计的人工智能课程来提高全民的人工智能素养。值得一提的是，在2021 年，包括中国在内的世界上许多国家都公布了为中小学和大学开发人工智能课程的计划，以用于提高人工智能素养和人工智能伦理意识[21]。

人工智能教育仍处于发展的相对早期阶段，围绕道德和法律框架还有许多工作要做。基于人工智能伦理制定人工智能素养课程框架，可以确保该技术向善应用，并确保流程透明，以及课堂、学校社区和学校系统各级的问责制度。教师、学校领导和政策制定者应该参与人工智能在教育和社会方面的发展，以便在现在和未来的变化中赋予学生权力[5]。最后需要强调的是，在人工智能素养课程教学中，除了培养学生的人工智能知识，更重要也是最容易被忽视的一点就是加强人工智能伦理教育。可解释的人工智能是打开智能教育“黑箱”的关键，智能系统、工具提供的预测和决策，只有获得教师、学生的理解和信任，才能真正促进公平、公正、高质、高效的未来教育的发展。