人工智能教育的算法风险与善治

冯永刚 赵丹丹

（山东师范大学，山东 济南 250014）

进入21 世纪以来，以互联网普及作为发展纽带，在物联网、云计算、5G、虚拟现实技术的烘托下，爆炸式增长的大数据引发了社会结构新的变革。伴随数据处理与应用能力的不断提升，人工智能逐渐渗透到人类生产和生活的各个领域，驱使人类社会迈入了人工智能时代。当前，人工智能教育已是教育创新发展的趋势，人们期望通过人工智能与教育的深度融合化解棘手的教育问题，以实现人类能力的智慧打造，助力教育教学高质量发展。在人工智能教育的发展中，算法和大数据的双向联合是其核心驱动力，算法更是人工智能教育发展的基础。[1]通过算法将教育数据转化为易处理、易计算的数学问题，克服了人类思维的局限性，给人类带来的便捷是显而易见的。在当今社会，人类的每时每刻都直接或间接地与算法相关，甚至有人预测：“如果所有算法都突然停止运转，那么就是人类的世界末日。”[2]然而，我们必须清醒地意识到，“算法绝非中立、公正的，随着算法全面渗透生活世界，算法歧视现象高发，已不容漠视”[3]。加之，教育因 “人” 而复杂，并非全部能够物化为数字模型，使用算法将教育进行完全量化与预测的做法，势必会背离教育的动态性、多元性特质，造成一定的算法风险。因此，厘清人工智能教育的算法风险及其成因，并积极规避，方可确保人工智能教育为人类带来福祉。

一、人工智能教育的算法风险

在人工智能教育看来，所有的教育都是“可算度的教育”。算法被视为以特定函数的代码值进入输入端并在有限时间内通过算法路径输出能够解决目的性问题的方案。“算法是为实现某个任务而构造的简单指令集。在日常用语中，算法有时称为过程或处方。”[4]在人工智能教育运用中，算法是指按照预先目标设定，通过机器学习、训练操作等一系列步骤模拟人类的思维过程和行为方式，以算法箱子输入端和输出端的既定数据运算模拟人类神经工作、协助人们处理繁杂事务的过程。随着人工智能教育的快速发展，一时间，教育领域被算法优势填充，“一切皆可计算” 的算法崇拜伴随着这种氛围应运而生，算法逐渐成为教育权威的代言人。[5]当然，沉浸在人工智能教育 “热” 的同时，我们也要对人工智能教育面临的风险进行“冷” 思考。诚如联合国教科文组织的警示，人工智能会给教育带来压力和挑战，[6]人工智能教育的算法风险也值得我们警惕。

1.算法的既定性导致教育被浅层化的风险

在人工智能时代，算法的工作机理是固定函数公式下的智能运算和机器学习，函数一经输入便被既定的计算步骤所固化。因此，算法具有天然的既定性基因。莫里斯·克莱因（Morris Kline）表示，数学的成功之处在于以长度、质量、时间等量化的概念形式来看待世界物质，但是数学符号并不能够表达一切，比如某些丰富多彩的体验是数学符号所不能企及的。[7]如同人的身高并不能够代表整个人一样，在预设教育目标下的既定性算法也不能够代表整个教育过程。教育是一个复杂的社会活动，面对的是不同的教育群体、多元的教育诉求，是在动态中不断生成的，绝非按部就班、机械划一。人工智能教育依托算法对学校管理、教师教学、学生学习的过程进行量化分析，其所使用的信息多是教育对象或教育现象的浅层数据，而并非是能反映教育本质的深层数据。算法模型对教育事实或教育现象的既定化分析，易遗失教育过程中最为丰富的元素，如学生的道德感、好奇心和探究欲等，引发教育过程的浅层化和表面化。

值得注意的是，既定的算法模型所设计出的虚拟仿真学习空间、模拟训练等并不能够等同生动形象的真实学习情境。在算法创造的教育空间中，学生并不会像机器那样按照既定路径运作，教师也无法脱离自身环境而单纯依靠算法设计进行 “流水作业”，教学成为套路固定、路径生硬的 “游戏”；学生仅能够获得浅层的显性知识，而那些缄默的活动经验、内心活动、逻辑思维等高阶活动都将难以得到发展，走马观花式的学习无异于饮鸩止渴，难以促进学生的全面发展、终身发展。

2.“黑箱” 效应下催生教育被隐形控制的风险

算法 “黑箱” 是指由于技术本身的复杂性，在算法的输入端与输出端之间存在着无法洞悉或未知的区域。一方面，“黑箱” 意味着我们难以理解算法内部的逻辑与生产方法；另一方面，“黑箱” 也代表着其本身的复杂性导致设计者难以洞识其运动机制。正如卢克·多梅尔（Luke Dormehl）所说，我们所处的人工智能环境是依托于算法和大数据而生的，“技术对人类的理解越来越深刻，而人们却越来越难以理解、把控技术”[8]。当算法应用于教育领域时，面对机器学习技术的迅速发展，人工智能教育能够进行自我改进和自我优化等一系列内在的、不为人知的更新过程，我们同样难以理解、诠释算法处理教育问题时的逻辑机理和运作路径。人工智能算法将自身的工作逻辑应用于教育全过程，利用自己所演化的规则实现学生分析、教师分析和问题处理等，而在整个教育过程中的学生、教师甚至设计者等却并不能够对其工作逻辑做到 “尽知”：学生无法判定算法的自动推荐是否反映客观事实、是否真正符合自身需求；教师无法判定依据算法得出的既定结果是否真正适合学生发展、是否真正能够正向解决教育问题；设计者无法肯定算法所算出的确定结果是否符合预期数据设定，等等。

在算法 “黑箱” 效应下，参与者对算法路径、工作逻辑的无法尽知令我们落入被动方位，只能被动地接受算法输出的固定结果。在不知道其工作逻辑、不确定计算结果是否适切教育问题的情况下，贸然将其应用于教育这一培养人的社会实践活动之中，其中所蕴藏的风险难以想象，易致教育成为一个失去方向、没有活力、缺失灵动的机械执行过程。教育参与者在“黑箱” 效应的遮盖下，一知半解地按照算法既定结果亦步亦趋，教育的自主性正在逐渐被隐形消解。

3.算法偏见下加剧了教育不公的风险

教育公平是社会公平的子系统，是实现社会公平 “最伟大的工具”[9]。随着时代变迁，人类社会在教育公平的道路上曲折前行。在人工智能时代，算法作为一把 “双刃剑”，可极大地促进教育公平的发展步伐，与此同时，算法又以某一种方式加剧了教育的不公。这集中体现为算法偏见所带来的教育不公风险。算法是依赖数据和规则的，而数据样本是经过提炼选取的，在这一过程中会去除各种 “噪音” 数据，再赋予其看似合理的样本数据，将其纳入算法模型。加之算法偏见亦有其隐蔽的形成路径，因此，看得见的、可计算的数据被装入算法盒子，而看不见的、难处理的数据被剔除，在这些数据的取舍之间就产生了算法偏见，造成了结果狭隘。地区的教育信息化水平影响着人工智能教育的普及、深入程度，必然会拉大富裕地区与贫瘠地区受教育水平的差距，尤其是对算法偏见的认识和处理水平，会影响教育机会公平、教育过程公平，拉垮教育结果公平。

算法偏见下，打开算法盒子看得到的是符合设计者、使用者的主观数据与程序，关闭盒子输出的却是代表客观性的大众结果。[10]如果算法存在偏见，那么将会产生严重的不公后果，尤其是针对贫困社区、弱势群体而言。教育领域同样存在性别、种族、家庭环境、教育条件等参差不齐的背景样本。面对这些大量的样本，难以对其进行全面评估或预测，甚至难以带入算法中进行结果分析。同样，教育过程中所产生的情感、态度和价值观等缄默数据，也难以被量化为显性数据并加以分析，而这些不能被妥善植入算法的数据样本，却在极大程度上代表和体现着教育的公平、公正、关爱、尊重等。算法偏见的过滤，使得富有人文价值的数据被消解在外，教育不公不可避免地被放大，“数据鸿沟” 在算法偏见的加持下被拉大，教育天平进一步被拉扯倾斜，从而加剧教育公平的风险。

4.算法的大规模应用易引发教育同质化的风险

人工智能时代，算法的大规模应用推动了技术的飞速提升。“技术在追求效率的同时总是在谋求扩大受众规模。”[11]算法的大规模运用表现在教育领域更是多种多样，大到智慧教育的生态研究、多元学习情境下教育规律的探讨，小到个性化学习的支持服务、基于教育数据的学习分析与测评、自动化决策系统、智能教育产品，都是以算法为模型的多种教育信息科技的表现形式。不可否认的是，算法通过 “智能导师系统、自动化测评系统、教育游戏、教育机器人”[12]等的应用对教育个性化带来了极大的推动，促进了教师指导的个性化、学生学习的个性化。

但是，算法的大规模应用极易导致教育的程式化，使越来越多的人和教育机构痴迷于算法规模化、量化所带来的利益，以推送算法的形式将 “人” 物化、将教育公式化，以同一的教育算法推送相同的教学资源、学习计划等，这在一定程度上加剧了教育结果的同质化。利用机器学习分类算法，将受众分流到不同地点、不同时间段、不同层次的做法，从表面上看，似乎实现了教育的优质分层，实则不然。面对拥有不同学科背景、认知程度不一的受教育者，算法的规模化、流水线使用必然会强化学生的规模化 “生产”，导致办学模式单一化、学生单维同质化生长、教育一律性发展，引发教育反特色化、合众化、趋同化的风险，因为 “即使是优质的教育算法，一旦大规模使用，也会带来湮灭学生个性的风险”[13]。同时，我们也不能忽视人工智能教育应用在一定程度上削弱了教师的指导性、学生的自主选择性，使其成为固化学生思维、限制学生多样发展的 “杀伤性”智能武器。

二、人工智能教育算法风险究因

深究算法风险的根由，有助于我们把握人工智能教育应用的边界与局限，促进人工智能教育更好地适应和满足人的发展需求。

1.算法的路径固定化与学生个性化发展之间的矛盾

算法是依据预设的数学公式进行输入、计算、输出信息的运行过程，其工作路径是固化的。算法的路径固定化与学生的个性化发展之间的矛盾是教育被浅层化风险的主要原因。算法使每个学生都被度量化，他们不再是一个鲜活的、有机的和内在的整体，而是被拆解成一个个便于计算和处理的数字格、被细化为 “用数据表示的物理形态的人”[14]、被打上不同的标记名片，接受不同数量的、所谓的个性化推荐信息资源。实质上，真正的学生个性化发展是依据学生的学习动机、好奇心、兴趣等来调动学生的主体性，激发其内在潜能，而非通过算法公式化地向其推荐固定内容。在算法固定的工作模式下，每个学生好比被独立放进单间的信息素，被既定算法和固定工作路径分开处理。这将加大学生之间的知识区隔，阻碍其信息交流、情感沟通、共同体建立等，将学生个性化发展扭曲为学生发展隔断化。学生的个性化发展不是固定化的、公式化的，而是思辨能力、理解能力、合作能力等多方因素通力合作所达到的和谐景象，这显然是固定规则下的算法无法企及的。

2.算法的模糊性与教育的公共性之间的对峙

算法 “黑箱” 意味着算法输入端与输出端之间有着难以洞悉的复杂结构，算法具有模糊性、难解释性的特质。算法的模糊性来源于算法自身的复杂性与相对独立性，难以被解释，更难以被理解。另外，在人工智能高速发展的背景下，机器学习的能力日益强化。通过机器自身的深度学习，其算法发展的程度与所优化的区域，甚至连算法的初始设计者都难以获悉，这在一定程度上强化了模糊性。而教育是公共性的实践活动，公共性是教育的内在属性。教育是公益而非私人的事业，具有显著的公开、公益和公平的公共性品格。“‘公共’ 意味着向任何人的审视开放，而私人则意味着一个由家人和朋友构成的、受到遮蔽的生活区域。”[15]算法的模糊性与教育的公共性形成明显反差。同时，“黑箱” 效应下算法的难解释性，对教育者、受教育者等教育主体甚至社会公众而言，意味着他们非但难以了解其工作的基本机制，甚或对教育活动 “一概不知”，这有悖于教育的公开性。此外，算法的模糊性又在一定程度上强化了教育的排他性和私有化，引起了某些人对结果的早先获知甚至滋生预先篡改和占有的问题，掩蔽了教育的公共性。

3.算法的数据依赖性与教育多维性之间的拉锯

在人工智能教育应用中，算法通过数据搜集、数据清洗、数据审查、数据分割等各种数据处理来发挥作用，因此，算法具有较强的数据依赖性，且数据分布本身就带有一定的偏见性。[16]而教育是动态的、多维的。教育的存在意义与价值在于促进人的全面而有个性的发展，这必然要求智能教育应用结果的多元化。而算法模型的建立需要使用过去的数据变量进行分析，将教师的教育行为、学生的学习行为等“过时” 的数据作为输入数据，用以解决新鲜的教育问题，数据与发展存在着时差问题。如根据相关学者对高校成绩数据的研究显示，算法的使用上具有利用不充分、分析不深入等问题。[17]在数据收集与数据输入的过程中，对数据处理的精准度越高，数据处理的时间就会越长，其延时性就表现得越为明显。同时，在教育的动态发生过程中，会涌现出较多的非事先预知的“意外情景”，如思维转换、情感升华、直觉灵感和顿悟等质变现象。这些变化都是难以从过往数据中推测预判，即利用已经存在的 “信息足迹” 难以预判到教育过程的质变现象，引发算法数据依赖性与教育多维性的拉锯表现。

4.算法的确定性与教育过程的不确定性互相博弈

教育具有显而易见的复杂性与不确定性。[18]教育对象的差异性、教育手段的多元化、教育情境的多变性等一系列因素都是教育不确定性的强化剂，彰显着教育活动的独特性的同时也给教育蒙上了神秘色彩。固定性是算法的内在特质，需要从明确的目标出发，以固定的算法公式求得预设目标的达成，以确定的输入数据求得肯定、客观的输出结果。所以，算法的确定性在一定程度上与教育的不确定性有着难以调节的博弈现象。算法固定的、公式化的计算模式，难以与教育进程中个体随时产生的动机、情感、好奇心等不定因素建立即时性的关联，教育活动中时刻涌现 “一石激起千层浪” 的伴随性数据在一定程度上消解了算法的确定性权威。诚然，算法力图将教育领域的各项不确定因素转化为确定性的数据形式，而确定性在一定程度上代表着人工智能应用于教育追求真善美目标的明确性，其必要性是毋庸置疑的。然而，教育真善美的标准究竟是什么？这不是算法的确定性所能确证的。而这种不确定性本身也是教育多维、多变和多样的典型映射，如此，动态多变的教育活动与算法的确定性之间的摩擦、冲突及对抗自是难免。

三、善治人工智能教育算法风险的路径

随着人工智能教育的纵深发展，教育数据不断堆叠，深度学习持续推进，算法所带的偏见、风险等也会呈现出强化与放大的苗头。因此，通过有力的善法对算法所带来的风险加以防治就显得日益重要且迫切。因此，要将道德嵌入算法，建立合乎道德要求、协助人们进行道德决策的道德算法，促逼算法从善。道德算法的建立，能够保持人工智能教育应用中算法的审慎使用，有效规避算法引发的教育风险，极大发挥算法对教育的优质作用[19]，指向 “一切为了人类利益” 的目的，从而有效规避算法风险，更好地发挥算法的正向功能，为人类带来更多的利益和福祉。

1.优化算法设计，以价值理性引领人工智能教育的深层化发展

通过优化算法设计提升算法应用中的价值理性与人文精神，是防范人工智能教育应用中算法风险的价值指南。从算法设计意图和最终目的入手，以扎实的算法价值根基、人的主体性地位打破浅表化的发展局限，引领人工智能教育的深层发展，尊重人工智能教育应用中教师与学生的主体地位，提升人工智能教育算法的风险规避力，从技术源头加强人工智能教育的深度，从而走出应用浅表化的陷阱。

一方面，以道德算法筑牢算法的价值根基，促进人工智能教育行稳致远。人工智能时代，算法在技术支撑下亦带来巨大的资本收入，因此，算法在一定程度上也是资本与技术的化身。为了防止技术理性对价值理性的僭越，人工智能教育应加强算法设计环节中的道德性与人文性精神，以价值理性为主导，以技术理性为辅助，赋予算法设计意图正当性。要加强人工智能教育应用的源头设计把关，定期对教育算法技术人员进行伦理与科技的话题教育，严把信息筛选、算法设计等过程，强化算法设计者的价值理性思想，激发算法 “育人为本” 的责任意识，明确自身的算法设计对教育发展、社会发展的影响意义，以道德算法扎稳算法的价值根基，通过算法的正当性确保人工智能教育纵深推进。

另一方面，确保技术应用中人的主体性，以人的能动性促进教育的深层化发展。无论何种智能技术，都是以服务人、发展人和解放人为最终目的。在当今时代，不乏技术运用者有迫切攫取眼前利益而置人的道德与价值于不顾的短视行为，长此以往，必然会导致价值理性消解、技术理性霸权的失衡现象。因此，要打破技术霸权的华丽包装，以工具性教育回归主体性教育，要尊重人的主体地位并发挥人的主体性作用，构建以人为中心的智能教育场域，[20]以学生的情感、态度、价值等深层次的发展和教师的教育智慧、专业能力等的不断提升作为人工智能教育算法设计之引领。在算法设计中，要以生为本，深度挖掘缄默的活动经验、内心活动、逻辑思维等高阶活动的深层性、本质性的数据资源，如将基于内容、协同过滤、综合的三种传统推荐算法转为基于排序学习的推荐算法，补充传统三种算法推荐内容各有偏差的问题，将真正的学生个性化发展融入推荐公式的编制，促进学生主体从浅表化知识学习向顺应、同化不断发展的进阶学习转化[21]，增强信息推荐主体适切性，助推人工智能教育的深度发展。

2.增加算法的透明度，提升人工智能教育的自主性

为了加强算法治理，人们越来越重视算法透明性原则对算法 “黑箱” 的克制作用。诚如凯文·凯利（Kevin Kelly）所言：“技术只有透明才能获益。”[22]增加算法的透明度可有效消解人工智能教育应用中 “算法黑箱” 所带来的内容遮盖，提升人工智能教育的自主支持性，保持社会公众对教育的公平与道义的持有与把控。

一方面，加强教育数据操作的自主可查性，以数据透明突破教育被隐形控制的桎梏。算法对大数据的强依赖性决定了规避 “算法” 风险需要从数据样本作出调整，加强数据的透明性，确保教育数据来源可查、教育数据内容可查、教育数据处理可查，斩断教育被隐形控制的源头。教育数据的可查性需要算法设计者对教育数据来源、筛选、处理步骤等做好严格记录与及时备份，如明确标注数据采集样本所在年级、年龄、学习水平、学习习惯、数据采集时间与所在地等相关信息，了解算法可能存在的偏差及潜在危害，以保证后期对数据审查与复核等步骤的可控性、可查性。同时，确保数据的备份记录具有合法的可访问性与不可篡改性，以严格、环环相扣的数据记录审查环节保障数据隐私与安全性，使数据获取、筛选等痕迹以备份方式被清晰保存，保证数据的完全真实与不可伪造。

另一方面，坚持可解释性原则，增加算法的自主支持性。可解释性是算法透明的首要原则。“鉴于智能算法日益决定着各种决策的结果，人们需要建构技术公平规范体系，通过程序设计来保障公平的实现，并借助于技术程序的正当性来强化智能决策系统的透明性、可审查性和可解释性。”[23]要明确算法设计者对教育问题处理的算法逻辑解释义务，尤其是对教育数据的目标预设、选取原则与技术原理等进行解释，提升人们对算法的理论认同，获得他们对算法运用的态度支持。同时，设立专门的教育审计机构，对人工智能教育应用中的算法进行审计，避免一些商业类教育机构以竞争获利而故意掩盖不合理算法的不当行为，如一些教育机构或某些学校为谋取招生量、提高教育获利等操纵算法黑箱、营造算法神秘性的不良行径，在技术运用中真正使人成为自身行动的主体，为自主创新激发活力，不断提升教育的自主性。

3.减少算法偏见滋生，以道德决策推进人工智能教育的公平

算法是由设计者所编写的。设计者将伦理维度纳入人工智能教育的决策设计，是形成道德决策的内在要求。同时，教育主体对算法的了解与认识直接影响到算法在教育领域的应用程度。教育主体对算法的无知与偏见会在极大程度上影响人工智能教育应用的效果与公平程度。因此，减少算法偏见滋生需增强主体的算法认知，以道德决策发挥算法在解决教育问题中的积极作用，强化人工智能教育的抗风险性，力促教育公平的实现。

一方面，将道德规则嵌入算法之中，以道德物化推动道德决策。道德物化是由维贝克（Peter-Paul Verbeek）所提出的将技术道德化的方法。在人工智能算法 “物” 的设计环节中嵌入人类所公认执行的道德准则，即将道德嵌入产品，使人工智能教育应用中的使用者不得不遵守伦理道德，从设计源头上规约人类的行为操作。[24]据此，要将道德规则清晰转化为算法形式，以道德物化形成道德算法，使算法自身符合道德伦理规范，协助教育者针对突发问题情境作出更及时、准确、全面的教育决策，从而有效促使教育者教育行为、教育策略的合道德化。

另一方面，加强技术使用者的道德意识，令道德决策贯穿教育教学全过程。道德算法是道德决策的遵循与依据，引导教育者进行科学、公正、合理的决策。据此，要增强技术使用者的道德意识与道德理念，使道德嵌入算法，切实推动道德决策落地。这就要加强教育使用者的技术道德、规则意识、法治观念，从技术使用的源头保障人工智能教育具备道德基因。同时，教育者将算法运用于教育时，要秉持 “以人为本” 的治理意识，坚定育人为本的初心，深入了解算法世界的 “游戏规则”，挣脱算法所带来的束缚与控制，保持自身作为教育者的优势主导地位，将自身的教育智慧与人工智能相结合，获取教育“美美与共” 的景象。[25]

4.确立算法问责机制，以制度保障人工智能教育发展的多元性

制度具有营造秩序和提升效率的功能。[26]化解人工智能教育的 “算法” 风险，需要建立精准的问责机制，在合理的制度框架下最大限度发挥算法设计者、使用者的权限，从源头上规避算法引发的教育同质化风险，释放张力，激发活力，推进人工智能教育的多样性发展。一如贝克（Ulrich Bec）所指出：“风险概念表明人们创造了一种文明，以便使自己的决定将会造成的不可预见的后果具备可预见性，从而控制不可控的事情，通过采取预防性行动以及相应的制度化措施来战胜种种副作用。”[27]

一方面，建立精准追责机制，以明确的责任主体释放人工智能教育的发展活力。面对算法带来的教育同质化风险，应在政府立法部门与教育主导部门的合作下建立与之对应的破解体系，以法律法规保障教育的自主性发展，打破教育的同质化风险。如依托人工智能教育大背景，鼓励各级各类高等教育院校特色化发展、激励基础教育学校突出本土特色，以学校办学特色作为打破教育趋同化的先锋队，带领不同区域、不同类型、不同层次、不同形式的教育特色化、优质化发展。另外，需要弥补教育法律中人工智能教育相关内容的规则监控，明确人工智能教育应用中设计者、使用者、推广者等各方的法律责任、权利与义务，在合法规则下最大限度地增强算法的实用度和开放性，彰显发展活力，增加教育的开放性和多样性。

另一方面，严格纠错处罚，以制度执行力激活人工智能教育的张力。除了法律纲领的强制把控，还需要提升教育算法的制度执行力度，真正实现高监管低风险的把控效果，严格惩治跨越道德甚至法律底线的过错行为。要细化对教育信息获取、教育信息使用等的制度保障，对出现的个人教育信息商业化使用、个人生物信息贩卖等问题，要在制度执行层面加强信息管控力度，严格、透明地处理 “信息犯罪” 案件。加强教育行业的市场准入标准，由政府强制执行责任纠纷、进行过错处罚，最大限度地把控教育教学全过程中各方的责任边界与严格处罚力度，在精准追责与纠错补偿的双效施力下，让算法在教育领域更加公正透明运行，在开放中增强教育的发展动力与活力。