教育人工智能伦理的解析与治理

摘要：该研究力图揭示人工智能伦理治理需应对的私有数字治理体把控的人工智能伦理霸权、全球人工智能治理失序和主权国家人工智能治理滞后的现状。从机器决策与人文实践互动的维度界定人工智能伦理问题分析框架，剖析基于数据和算法的预测和决策引发的典型伦理问题。在此框架下，辨析教育人工智能伦理问题的主要表现形式和教育作为培养人工智能伦理价值观和伦理行事能力的主渠道作用，探索教育人工智能伦理治理与教育智能升级统一与同步的制度再建空间和实践方向。

关键词：数字私有治理体；人工智能伦理问题分析框架；教育人工智能伦理；生物圈整体视域中的价值观；公平和非歧视；伦理影响评估框架；数据政策

中图分类号：G434 文献标识码：A

真正的人工智能时代必定是以多层次、全领域的“人机协作”为基础[1]。人机协作的层次包括人类个体与智能技术的互动、人类群体与群体智能技术之间技术媒介干预下的人际关联、主权国家的智能治理以及国际智能技术合作与竞争、人机协作与环境和生态系统的相互制约等。人类社会与人工智能技术的协作目前仍处于试错、纠错的探索阶段。这个阶段的典型特征之一是私营数字技术提供商在数据、算法和计算能力等方面相对于主权国家公共机构和个体应用者拥有越来越不平衡的绝对优势，形成了以个人或集团形式存在的私有数字霸权。私有数字霸权在国家和社群层面，通过智能财富聚集进一步加剧了长期存在的财富不平等和发展机会不平等；在人与人的关系层面，无伦理管制的人工智能技术强化了已有的各类歧视，引发新型歧视，并会扩散憎恨言论、侵害文化多样性；在个体与技术关系层面，则已显现通过侵犯数据隐私的商业谋利以及“技术诱导、人类仆从”等影响深远的伦理问题。

2021年11月，联合國教科文组织（以下简称“教科文组织”）发布的《人工智能伦理问题建议书》（Recommendation on Ethics of AI）（以下简称《建议书》）[2]试图为管制人工智能伦理问题，提供一份国际准则文书。本研究旨在探析《建议书》背后隐藏的多元化全球治理格局和治理困境，澄清人工智能伦理问题的核心范畴，解读基于生物圈整体可持续发展框架下的人文主义价值观，揭示教育人工智能伦理问题的既有表现形式和潜在人文危害。在此基础上，理解《建议书》提出的人工智能伦理问题治理原则和实践建议，探索实现智能技术创新和伦理管制统一与同步的制度再建空间和实践方向。

一、《建议书》的治理效力和治理范围

（一）《建议书》的全球视角与领域局限

《建议书》是教科文组织在其世界科学知识与技术伦理委员会（World Commission on the Ethics of Scientific Knowledge and Technology， COMEST）基础上任命的特设专家组拟定的。在起草过程中，教科文组织广泛咨询了193个会员国、其他国际机构以及非政府组织的意见和建议，并由教科文组织第四十一届全体大会审议通过，是第一份关于人工智能伦理问题的国际准则性文书。该《建议书》“以国际法为依据、采用全球方法制定”，具有开放的全球视角。但其对人工智能伦理问题的阐释和治理建议，仅限定于该组织管辖的教育、科学、文化、传播与信息等职能领域。这一人为限定的四五个职能领域的视域，既在一定程度上模糊人工智能伦理问题应然的逻辑分析框架，也限制了其对教育领域人工智能伦理问题的深度剖析。

（二）从国家视角理解《建议书》的治理效力

教科文组织不具备制定国际法的资质，其全球治理主要以其全体大会审议通过的国际公约、建议书和宣言等国际规则文书作为依据。这些文书对相关签约国或签约团体有一定的法律绑定约束力，但教科文组织不能强制干预主权国家的法律制定或越过主权国家对其法律事务实施长臂管辖。主权国家基于对相关理念的国际共识和本国法律惯例确定执行义务，属于柔性立法和执法的范畴。具体而言，必须在《建议书》法定的治理权限内，理解其界定的目标，落实预期治理效力。

1.为各国法律框架内的人工智能伦理立法提供国际规则框架：《建议书》将伦理视为对人工智能技术进行规范性评估和指导的动态管制基础，各国通过制定通用数据隐私保护法、跨领域的人工智能伦理法律和相关领域内的伦理法规等界定《建议书》的实践效力。

2.为解决跨国纠纷和开展国际合作提供参考框架：人工智能技术具有极强的跨国渗透性，其引发的伦理追责和管制大多跨越本国法律框架，须通过国际合作来应对。《建议书》为各国与国际组织、非政府组织、企业和科学界的合作提供人工智能伦理治理原则和制度框架。

3.为各国跨部门、跨界协调制度建设提供价值观和原则引导：各会员国有义务将《建议书》的原则正式知会相关政府部门，并根据建议书的建议，考虑建立国家人工智能伦理治理委员会，协调其内部相关部门之间的协作同治。中国《关于加强科技伦理治理的意见》[3]明确提出建立“国家科技伦理委员会”，是首个响应这一倡议的国家级治理机制。

4.为社会和个体选择技术服务和开展技术应用提供伦理准则：为社会和个人接受或拒绝人工智能技术、从不同人工智能系统中选择合适技术服务提供伦理影响评估依据，并为引导机构和个人符合伦理地应用人工智能技术提供行为准则。

（三）从全球治理格局出发，应对数字私有治理体和人工智能治理失序

联合国系统一直践行的是主权国家作为主导治理体的国家中心主义治理范式，即通过主权国家公共治理体的立法和执法来支持跨国治理机构的全球治理理念在国家、机构和个人层面的落实。20世纪90年代中期“全球治理”的概念确立以来，跨国治理体在与主权国家合作的基础上，同时强调公民社会是支持全球治理的重要行为者，并奠定由主权国家公共治理体、跨政府全球治理体和民间社会治理体构成的全球治理格局。2011年以来，移动宽带技术逐步普及，带动了高垄断性数字化社交平台和移动应用的普及和泛在化应用。2015年之后，人工智能技术领域的最新技术突破与移动数字社交媒体深度联姻，加剧了私营数字平台开发商与公共治理机构和公民用户之间在数据、算法和计算能力等方面的压倒性不对称。智能化数字平台的成熟与新冠肺炎疫情助推的数字平台普及在2020年发生历史性的重叠，到2021年1月，全球社交媒体用户达到全球总人口的53.6%[4]。垄断性数字平台持有者事实性地定义并实施了其私有治理规范，宣示了数字私有治理体的崛起以及跨政府治理体、主权国家公共治理体、公民社会治理体和数字化私有治理体构成的数字化全球治理格局成型[5]。其中，数字私有治理体在全球治理格局中仍处于人工智能伦理霸权地位，具体体现为：（1）数字私有治理体是人工智能伦理问题的主要肇事者：资本逐利驱动的人工智能提供商借助与用户之间对数据、算法和运算能力的不对称，在用户并非完全知情和明确同意的情况下，收集用户数据、识别用户行为模式、引导或误导用户线上线下社交活动和消费行为。（2）数字私有治理体商充当一定时空内人工智能伦理的立法者：在通用数据保护条例难以管辖的场景内，数字私有治理体充当着人工智能应用行为规则制定者的角色；（3）数字私有治理体部分充当伦理法规的执法者：在伦理法规的空白期和空白领域，当用户间、用户与供与应商间产生伦理纠纷时，私营平台提供商充当纠纷调解员的角色。46C60839-5885-4AF5-B938-B88A33D947B3

数字私有治理体的数字强势地位，削弱了主权国家公共治理体对人工智能伦理问题的管理能力，是治理格局向去主权国家中心主义方向发展的技术诱因。主权国家治理体针对新兴数字化伦理问题的法律供给和执法能力远远滞后于人工智能技术的迭代创新和渗透速度。全球超过一半的人口几乎每天都在使用移动社交应用，用户数据每时每刻都被背后隐藏的私营人工智能运营商挖掘和操控。在此背景下，数据隐私保护法是管制各领域人工智能伦理问题的前提性通用法律，更应是应对已发侵权行为的紧急保护法。但截止到目前，全球仍有超过三分之一的国家没有制定任何形式的通用数据保护条例用以确保公民在“被人工智能技术应用时”其数据隐私和安全不受侵犯[6]。除了一般性的数据保护法规之外，对人工智能在具体领域中应用产生的伦理问题，全球各国基本处于立法空白和管制失序阶段。

二、人工智能伦理问题分析框架：典型伦理问题及其发生机理

（一）《建议书》界定的人工智能伦理问题核心范畴

鉴于“人工智能”定义的复杂性，《建议书》仅对可能引发伦理问题的人工智能系统的内涵和外延进行了操作性界定，即“整合模型和算法的信息处理技术，这些模型和算法具备生成学习和执行认知任务的能力，从而在物质环境和虚拟环境中实现预测和决策等结果。在设计上，人工智能系统借助知识建模和知识表达，通过对数据的利用和对关联性的计算，可以在不同程度上实现自主运行”。尽管《建议书》一再重申“人工智能系统有关的伦理问题涉及其生命周期的各個阶段（从研究、设计、开发到配置和使用等各阶段）”，但其例举的典型伦理问题和相关建议主要指向一个核心范畴，即基于数据与算法的预测和决策及其影响的外显行为对人的基本权利、尊严以及对环境和生态系统的现实威胁和潜在伦理风险。针对实体人工智能及其产生的伦理问题，《建议书》未系统而深入进行阐释并提出治理建议。可以理解为《建议书》在人机界面和智能设备相关伦理问题领域有意或无意留有空白。

（二）人工智能伦理问题分析框架

本研究提出如表1所示的人工智能伦理问题分析框架。

该框架基于人工智能伦理问题的核心范畴，即“基于数据与算法的预测与决策及其影响的外显行为和实体设备对人的基本权利、尊严及对环境和生态系统的现实威胁和伦理风险”，以及三个维度即“人文维度”“技术维度”与“历史发展维度”。以下是借助该框架对人工智能伦理问题发生机理的概要分析。

1.人工智能伦理问题的技术维度和主要技术诱因

人工智能伦理问题的“技术维度”，即基于数据与算法的预测与决策的人工智能系统生命周期。本研究从引发伦理问题的关键技术节点出发界定下述向度：数据的产生与保存、数据及数据设备的访问权与控制权、基于数据与算法的预测与决策影响的外显行为、智能人机界面及智能设备等实体人工智能。

（1）数据的产生与保存

在“数据的产生与保存”的技术节点，主要的伦理技术诱因是数据来源的可靠性和数据采集过程的合法合规性。主要伦理风险包括在数据拥有者不知情或未授权前提下的数据收集、无意采用的错误信息（Misinformation）、有意采用的虚假信息（Disinformation）或虚假数据来源、通过算法实现的数据的可靠性及其价值取向（比如“自动化新闻报道”（Automated Journalism）产生的数据）以及数据保存过程产生的数据安全及其相关的人身和财产安全等。

（2）数据及数据设备的访问权与控制权

在“数据的访问与控制”的技术节点，主要的伦理技术诱因是数据获取设备和数据获取能力等面的平等性、包容性以及数据拥有者对自身数据的访问和控制权限。主要伦理风险包括数字设备和数字技能的不平等导致的国际和国内各社群间的数字鸿沟，数据保护法缺失导致对数据拥有权、访问权和迁移权等的界定模糊和权力侵害。

（3）基于数据与算法的预测与决策及其影响的外显行为

在“基于数据与算法的预测与决策”的技术节点，主要的伦理技术诱因是来自数据操控和算法设计责任人的无意偏见、有意歧视和蓄谋算法诈骗等。主要伦理风险包括：数据标签歧视、算法推送歧视、机器决策的技术短板导致的决策和行为干预风险，有意用隐形算法推荐来控制人的意志或诱导人的行为，以及通过机器决策压制人的自主性等。

（4）智能人机界面及智能设备等实体人工智能

在“智能人机界面及智能设备”的技术节点，主要伦理技术诱因来自研发和应用人体干预性智能设备或人类行为监控智能设备中隐含的即时和长远伦理问题。主要伦理风险包括可穿戴和可植入智能设备对人体生理和心理的干预、智能监控设备等的隐私和安全侵犯等。

2.人工智能伦理问题的人文维度和主要类别

人工智能伦理问题的“人文维度”即人类借助技术以个体、社群、国家以及整个人类为单位生活、生产、学习及其与环境和生态系统互动的不同层次。“人文维度”主要包括以下彼此关联的向度：人类个体、人与人互动的群体、以主权国家形式存在的人与人关系体、人与环境及生态系统的互动。

（1）人类个体

在“人类个体”与智能技术的互动向度，主要伦理问题表现为在各技术节点上，人类个体作为被收集数据和被推送决策的客体和自然人以及作为应用技术的主体和法人所产生的伦理问题。已显现的伦理问题按技术节点排列，依次包括：个人数据隐私侵害、个人数据安全疏漏；访问和使用个体数据所需的个体数字设备和数字技能鸿沟、个体部分丧失在人工智能系统（如智能社交平台）中产生的自我数据的拥有权和控制权限（例如访问权、删除权、迁移权等）；智能平台借助算法推送内容压制信息搜索和探究的自主性、借助算法推送形成的高诱导性个体“信息茧房”（Information Cocoons）、针对个体的高利害性机器决策；算法诱导所致人机互动成瘾和人格障碍；人体干预性智能设备对身心的刺激和干预及其长远影响。46C60839-5885-4AF5-B938-B88A33D947B3

该向度内影响最全面深远的伦理问题是算法推送和算法诱导产生的个体信息茧房和机器决策对人类决策与人类行为自主性的压制。

（2）人与人互动

在“人与人互动”的向度主要包括人类群体之间在技术媒介干预下的人际交往以及人类群体与群体智能技术之间的互动，这些复杂过程中已显现的伦理问题依次包括：社交媒体强化虚假信息、错误信息和仇恨言论表达形态的诱惑性和说服力并倍增其在人际交往中的大规模扩散与进一步误传、弱势群体数据代表性不足（例如，因残障人士和老年人等弱势群体人口中网民比例较低、在线活动痕迹过浅，导致这些群体在人工智能技术中的数据代表性不足）；接触和应用智能技术的性别鸿沟，低收入社群、残障人士、语言弱势群体、文化弱势群体等各类弱势群体在接触和应用智能设备中的数字化排斥或数字化边缘化，智能技术财富聚集（AI Wealth Concentration）及贫富差距加剧等；数据标签及算法推送中针对女性及其他弱势群体的歧视和偏见（例如，数字社交平台早期人工智能算法多将女性标签化为护士等职业而将男性标签化为医生和工程师等职业，早期智能客服系统（Chatbots）将女性物化（Objectify）为“女仆”等）、算法操纵舆论导致的群体价值观茧房、智能技术携带的强势语言和文化对土著语言和文化多样性的威胁；算法诱导的虚拟社交成瘾导致的现实社交隔离、针对弱势群体的监控行或侵犯性设备、智能设备将人类尤其是缺乏独立行事能力的人群物化为数据等。

该向度内影响最全面深远的伦理问题是借助社交媒体隐藏的算法，诱导社群不自觉地形成群体信息茧房并在此基础上演化出价值观茧房，以此控制社群的价值判断和社会行为。

（3）以主权国家形式存在的人与人关系体

“以主权国家形式存在的人与人关系体”与智能技术的互动向度，主要表现为国家内部的智能公共治理以及国际智能技术合作与竞争。该向度显现的伦理问题依次包括：主权国家法律针对人工智能应用中人的权利和基本自由的治理缺失、国家数据安全保护能力和国际数据安全鸿沟；数据挖掘所需的数字基础设施国际鸿沟、对国家数据主权控制的国际鸿沟、算法与计算能力的国际鸿沟；智能制造产业链对本国就业与劳动力需求的影响、智能公安与智能国家安全系统中的伦理问题、智能公共治理领域（智能技术应用于社会服务、大众传媒、民主实践等）的伦理问题；公众甚至私人场所使用监控性或侵犯性设备产生的伦理问题等。

该向度内影响最全面深远的伦理问题是人工智能财富聚集导致发展中国家进一步失去国际数字化竞争力以及本土语言和文化续存能力，而最尖锐的伦理问题是在必要的智能公安系统与限制大众智能监控之间找到适当的平衡。

（4）人与环境及生态系统

“人与环境及生态系统”向度主要表现为人类开发应用智能设备的过程中对环境和生态系统的影响，主要体现在设备生产供应链、能耗链和实体废弃物链的生态影响。该向度显现的伦理问题依次包括：用于数据管理和运算的大规模数字化设备的碳排放和环境污染；数据标签和算法设计中对动物福利（Animal Welfare）、环境保护及生态系统可持续发展的无意忽视和有意掠夺；以强势人类群体短期利益为核心剥削弱势群体利益的数据决策和行为干预；实体智能设备全生命周期中的能耗、碳排放和电子废弃物等。

该向度内最容易被忽视但已产生最严重影响的伦理问题是数字化技术在为解决全球变暖提供可行性的长远解决方案之前，其本身已成为全球变暖的最大罪因之一。据2019年的估算，全球数字设备产生的碳排放占全球总排放量的2.3—3.7%，相当于整个航空业的排放总量[7]。故而，该向度的深远伦理问题是：人工智能技术长远发展的碳排放会进一步累加并成为全球变暖的更大罪因，还是未来人工智能技术创新可协助人类发现大规模碳中和解决方案并加速气候变暖拐点的来临？

3.人工智能伦理问题的历史发展维度和潜藏伦理问题预判

人工智能伦理问题的“历史发展维度”即技术发展和人机协作的迭代发展视角，包括“已知”和“未知”人工智能技术及其引发的伦理问题两个向度。已知技术应用场景中隐含着进一步演变分化并影响下一代人类的人工智能伦理问题脉络，已隐现或未知的技术创新也必定会引发未知的新伦理问题。需要对智能技术发展的连续性和代际跳跃性及其伦理影响有动态审查和敏感预判，并采取行业自律和治理监督相结合的预防机制。

在未知技术创新及其可能引发的伦理问题向度，应重点关注新技术与人类的未知互动场景和未知的深远人文影响，包括：智能技术的未知发展趋势与未知的人机互动模式对人机协作中人的主体意识和尊严的深层次冲击；未来人工智能在某些领域超越和部分取代人类智能的阶段，对智能时代“什么是人”及“人的价值”的深远影响；智能时代虚拟与现实环境强融合场景中的认知模式和社会交往模式的重塑及其对未成年人世界观形成的影响；数据作为一种新型个人财富对主权国家法律和公民行为体系的冲击；关于强人工智能时代数字技术能否为环境和生态系统的可持续发展提供颠覆性解决方案的技术哲学追问等。

三、人工智能伦理治理的价值观与原则

（一）改良的人文主义价值观：生物圈整体视域中的个体权利、社会包容和发展多样性

人类长期以来默认的发展模式是基于单一人类中心主义的哲学范式，这种无视其他生物、环境和生态系统压力的发展模式“为追求增长和发展，我们人类让自然环境不堪重荷，现已危及我们自身的生存”。“不断扩大的社会和经济不平等、气候变化、生物多样性丧失、超出地球极限的资源使用……是当前这个历史转折点的标志”[8]。应对人类社会面临的历史性生存危机，全球治理机构呼吁借鉴生物中心主义（Biocentrism）的伦理学观点，建构人与生物圈一体的整体可持续发展哲学视域，即从人与其他生物平等、所有生物在生物圈中均具有独特内在价值的出发点来审视伦理问题和发展模式。确立人与人互联的整体发展概念，即每个人和每个社群都属于一个更高层次的整体而且只有人类整体的每个组成部分都能平等发展时，才有可能构建和平、公正、包容的社會并确保整体可持续发展。确立人与环境和生态系统互联的整体观念，克制对自然资源的诉求并尽量中和消费各类资源过程中产生的破坏。这一生物圈整体论视域中的改良人文主义是界定《建议书》价值观的哲学立论基础。46C60839-5885-4AF5-B938-B88A33D947B3

（二）人工智能伦理治理价值观释义

《建议书》秉承了联合国1948年发布的《世界人权宣言》[9]及随后诸多关于人权保护的国际共识文书，将尊重人的基本权利和基本尊严、尊重包容和平等、尊重性别平等确立为不应撼动的价值观基石。

1.尊重每个个体的基本权利、基本自由以及平等的尊严

（1）尊重每个人生而固有和平等的尊严和价值：人类设计和使用任何工具都应服务于人，都必须以维护人的基本尊严和权利为道德出发点。在人工智能系统的整个生命周期内，都应承认每个人固有和平等的价值，不得对某种种族、性别、年龄、语言、宗教、政治见解、民族、族裔、社会出身、经济或社会条件、残障情况的群体有歧视或边缘化的主观意图和行为。

（2）防止人机互动中的“技术主导、人类仆从”关系：人工智能应否和能否部分超越和取代人类甚至控制人类的自主行为是关于人与人工智能关系的终极技术哲学忧虑。目前公认的智能伦理价值观对此有不容置疑的主张：在人工智能系统生命周期的任何阶段，尤其是面向人类用户推送内容、做出诊断、建议行为干预时，都不能借助人工智能控制人类，或赋予技术控制地位并从而将人的身体、经济、社会、政治、文化或精神等置于仆从或从属地位。

（3）防止弱势群体和独立行事能力较弱群体被物化：在过于强调基于数据和算法的机器决策时，容易有意或无意将人的认知和情感等分解和标签为数据，忽略人的自主性而将人作为物体来分析，即人的物化。人与人工智能系统互动中，尤其是为弱势群体或行为能力虚弱的个体部署人工智能辅助系统时，人不应被物化，其固有的尊严不应受到损害。

（4）将人工智能技术引入司法实践时应以尊重人权和自由为前提：在探索借助人工智能技术辅助法规检索、法律举证和推理、智能执法等智能司法实践时，应以尊重、捍卫人的基本权利为前提，以协助保护人的基本权利和自由为目的。必须避免算法歧视、智能执法侵犯人权、司法决策过度依赖技术而破坏司法公正等行为。

2.确保和平公正的人际互动和社会生活

人工智能支持的社交媒体是既可促进和平与正义对话，也可以激化仇恨言论的双刃剑。应引导促进和平、包容、公平的人工智能技术设计和技术应用。监督人工智能技术设计以及相关技术应用的责任主体，避免制造、发布和扩散仇恨言论或有意引发歧视与仇恨的虚假信息。不得将人工智能用于限制个体和社区的自由和安全，或有意用于激化群体对立。

3.确保人类社会发展的多样性、包容性和平等性

人类对生活方式和“生活质量”的定义只要不侵犯他人人权、自由或尊严，应由个人或社群自主来决定。人工智能技术的数据分析和算法推送极易将强势数字群体或设计者的意愿强加于人，故此，在设计和应用智能系统时应尊重个体和社群对生活和发展方式的多样性选择包括是否采纳人工智能技术的基本选择。不应有意将人工智能技术用于限制信仰、不同意见和多样化表达形式，不能滥用模式识别技术等否认个体差异和个人经验。此外，应赋能在数字化基础设施、受教育机会、数字技能以及法律制度建设等领域落后的国家或社群，支持其获得平等数字化发展和平等参与伦理治理的机会。

4.追求人与环境和生态系统的协调发展

当聚焦人工智能数据和算法本身时，其生命周期远端的实体生产供应链、能耗链和实体废弃物链对环境和生态系统的影响极易被忽视。应确认人工智能系统会对环境和生态系统整体造成深远影响的关键环节，人工智能系统生命周期中的所有行为主体都应确保将其中的气候变化和环境风险降到最低，并引导人工智能的设计、开发和应用为人与自然环境之间的多样化共存和可持续发展作出贡献。

（三）人工智能伦理治理的原则

1.判断人工智能技术合理性的“相称性和不损害”原则

“相称性”原则（Proportionality，又称为“比例原则”）是所有治理制度的最重要原则，是指治理主体实施管理行为时应兼顾目标的实现和保护目标人群的基本权利，如果目标的实现可能对人的基本权利造成不利影响，则这种不利影响应被限制在尽可能小的范围和限度之内，二者应有适当的比例。在决定是否使用人工智能系统以及选用何种人工智能方法时，应从以下方面评估技术手段在实现目标方面的相称性：（1）适当性子原则：人工智能方法或某一特定系统能实现预期的合法目标，或至少是有助于达成目标的适当手段；（2）合法性子原则：所选择的人工智能方法不违背本《建议书》或其他法律法规的基本价值观；（3）必要性子原则：在严谨的科学数据或论证基础上，人工智能方法切合具体情况。应避免迷信人工智能技术的变革力量、忽视人的主观能动性的“技术解决方案主义”（the Technological Solutionism）。

同时强调在决定是否选择人工智能技术方案时的“不损害”原则，应确保落实风险评估程序以避免有可能对人类身心安全、人权和基本自由、社群或者对环境和生态系统造成损害的技术方案。在机器决策会产生不可逆转或难以逆转的影响或者涉及生死抉择时，应由人类作出最终决定。

2.“数据隐私权保护”原则

隐私权是人的基本权利和尊严不可或缺的组成部分，是人的自主权的基础。人工智能系统的整个生命周期，尤其是数据的收集、使用、共享、归档、存储、查询和删除方式，都必须以尊重和保护隐私作为最基本原则。主权国家治理体应借鉴国际数据保护原则和标准，制定本国有关收集和使用个人数据、保护数据主体数据隐私权、对算法系统开展隐私影响评估等方面的法律框架。

3.人工智能对环境和生态系统影响的“可持续发展原则”

“可持续发展原则”首先应被纳入是否采纳人工智能技术和选择何种技术方案的评估程序，以人工智能技术对人类与环境和生态系统互联共存的显性和潜在影响作为评估原则，充分考虑其对其他多方面動态可持续发展目标的综合和深远影响。其次，针对数据密集型或资源密集型并对环境有高风险的系统，应参考对称性原则，寻求数据、能源和资源简约型人工智能方案，禁用会对环境造成严重负面影响的人工智能系统。46C60839-5885-4AF5-B938-B88A33D947B3

4.“安全、安保”原则

人工智能系统应事先预防、事中避免基于数据和算法的预测、决策及其行为干预对人类、环境和生态带来的无意伤害（安全风险）以及安全漏洞或安全隐患（安保风险）。提高人工智能的安全性的具体方法包括研发可持续和保护隐私的数据获取框架，研制可利用优质数据更好地训练和验证人工智能模型的新型算法等。

5.“公平和非歧视”原则

人工智能行为者应以保障一切形式的公平和非歧视为原则。具体包括：（1）包容性原则：采用包容性设计原则确保残障人士、女童和妇女、以及文化、语言等弱势群体的人群均有机会从人工智能提供的便利中受益，并保护当地或土著社群在语言、文化等方面的多样性。（2）非歧视或去偏原则：应通过数据标签和算法设计中的系统“去偏”（Bias Agnostic）设计，最大限度去除人工智能系统中基于主动意愿的歧视或偏见，并评估和减少无意歧视。（3）主权国家内部平等原则：努力消除国内数字鸿沟，促进不同地区、不同经济文化背景的社群获取和应用人工智能的公平性。（4）国际平等发展与参与原则：通过国际合作，支持技术落后国家共享人工智能技术的惠益并积极参与人工智能系统的设计、开发与分享。采用开放标准和互操作性原则，缩小人工智能治理鸿沟、数据获取和管理鸿沟、以及在数字基础设施和数字技能等方面的鸿沟。（5）突出人工智能伦理治理中的性别平等：伦理影响评估应包含横向性别平等视角，防止在人工智能系统内植入性别刻板印象和歧视性偏见，并对已有歧视进行自评和纠正。鼓励女性平等参与人工智能研究和有关行业就业，确保女性不会被排除在人工智能驱动的数字经济之外。

6.人工智能系统的“透明性和可解释性”原则

人工智能系统的透明性（Transparency）和可解释性（Explainability）是确保人的权利和其他伦理原则得以执行的必要条件。透明性和可解释性原则与数据隐私、系统安全等原则之间存在矛盾和张力，应结合具体情况，在两者间寻求合理的平衡。

人工智能系统的透明性是为支持服务对象、治理监督机构和其他利益攸关者的知情权，公开关于人工智能系统的数据收集和管理框架、数据标签和清洗方法、影响特定预测或决策的算法、技术部署和应用模式等方面的适当信息，以增进对人工智能系统的信任。对于影响个体的人工智能系统决策，个人有权了解用作决策的技术或决策过程，并有权申诉纠正侵犯其权利的决定。

可解释性是指人工智能系统设计特定的流程和方法，使人类用户能够理解和溯源算法模块的输入、输出和运行及其对系统结果输出的影响。可解释性是透明性的技术前提，是一项确保技术服务于人类的技术设计原则。在系统运行的结果会对用户产生长远、难以逆转和高风险的影响时，则须强制对系统决策可能导致的行为干预提供有意义的解释。可解释性原则的执行须面对人工智能代际发展中的“不可解释性”技术难题。在第二代人工智能技术尤其是深度学习算法模型中，客观存在难以解释的多层深度学习模型学习结果的难题及其导致的与技术原理和过程有关的“技术黑箱”。为此，技术界已在探索为深度学习算法的不可解释性提供可能的破解路径和方法，如孪生系统路径（Twinsystems）[10]、对话路径（Dialog Model）[11]等。在技术服务于人的原则下必须坚守的伦理立场是：不存在人工智能的绝对不可解释性。如果存在处理过程和结果都绝对不可解释的人工智能技术，这些技术应被禁止用于人类。可解释性原则的长远意义是引导开发更具有鲁棒性（Robustness）和可解释性的第三代人工智能基础理论和方法。

7.“人类监督和决策终极责任”原则

目前人工智能系统决策采用的数据和算法等均由人类赋予。为此，设计、控制和应用人工智能系统的人应是所有伦理问题的终极责任者。人类可借助甚至部分依赖人工智能系统支持人类决策，但相关自然人和法人的最终责任和问责不能推脱给人工智能系统，智能系统决策与干预的任何节点产生的伦理和法律责任都应归咎于自然人或法人实体。是否将人的控制权让渡给人工智能系统也要由人类来决定，在涉及生死抉择的场景中，不应任由人工智能系统决定。

8.“责任和问责”原则

可从以下层面理解针对相关责任人的责任和问责原则。

（1）辖区内适应性治理：各国治理机构应根据国家法律和国际法，在其辖域和实际控制范围内，承担各自的人工智能伦理治理责任。比如，对在其境内生成或经过其国境的数据进行监管等。

（2）实际作为追责：基于人工智能系统作出的决定和行动，其伦理责任和义务最终都应指向人工智能行为者在人工智能系统各节点中承担的实际角色和作为来追责。

（3）监测问责机制：问责制的技术指标应涵盖对相关技术和行为是否违反人权法规、伦理标准以及对环境和生态系统的影响等各个方面。问责制的实施流程应强调人工智能系统及其应用的可审计和可追溯性，并建立综合的监測问责机制包括伦理影响评估机制、审计机制、尽职调查机制、保护举报者制度等，确保对问责制的多方监测和有效落实。

四、人工智能技术伦理治理：法规框架和治理机制

人工智能伦理价值观和原则，需要通过具体的立法和执法、政策供给和制度建设实施和落实。这些通用法律框架和跨领域制度建设，也为教育人工智能伦理的治理提供了基础性保障。

（一）跨学科、跨界伦理影响评估

本研究根据人工智能伦理问题分析框架，建议如表2所示的人工智能伦理影响评估框架。

1.制定人工智能伦理影响评估框架：伦理影响评估应参考上述价值观和原则，从对人的权利和自由、环境和生态系统潜在的影响以及可能引发的其他伦理问题出发设计评估指标，并根据评估结果酌情出台预防、缓解和监督风险的预案和其他保障机制。同时，考虑强制风险测试机制，即针对存在潜在风险的系统，应强制要求在投放市场之前对其进行广泛的测试。46C60839-5885-4AF5-B938-B88A33D947B3

2.事先尽职调查：尽职调查在调查技术服务提供机构资质基础上，应核准人工智能系统是否合法合规，核查其目前和未来的大规模应用是否会损害包容性和加剧贫富差距和数字鸿沟，并调查基于数据和算法的决策建议对人类决策自主权可能产生的社会学和心理学影响。

3.伦理影响监督、监测和审计框架：人工智能伦理影响的监督监测应由公共管理部门主导，并制定和实施可监测人工智能系统生命周期各阶段（包括用于决策的算法的性能、数据以及参与这一过程的人工智能行为者）的监测机制，确立针对算法、数据和设计流程以及系统其他层次的外部审计和监测机制，确保人工智能系统的可审计性、可追溯性和可解释性，并酌情向公众开放。

（二）伦理治理和监管机制

人工智能治理和监管机制应包括伦理自评、评审准入、立法监督、损害补救等方面。

1.损害调查和补救机制

由于全球人工智能治理准则和法规的滞后，人工智能应用领域已存在大量伦理违法违规案例。伦理治理应首先判定和补救已有的人权和数据隐私等方面的损害。针对智能技术应用可能引发损害的高风险场景，建立损害调查、损害应对和补救机制。应强制执行人工智能系统的可审计性和可追溯性要求，为私营部门和公共部门合作执行补救机制提供执法前提。同时，强化公共机构调查执行能力，并与科研机构和其他利益攸关方合作调查。

2.柔性准入证书机制

私营人工智能系统已渗透到各个领域而且新系统每时每刻都在加速渗透。应对数字私有治理体的挑战，公共治理体应针对人工智能系统制定国家人工智能伦理治理策略并考虑人工智能系统准入证书机制，并在此基础上开展必要的国际证书互认。准入证书机制应对人工智能系统、数据以及相关应用是否合乎伦理准则等方面进行审查，同时确保后续开发的技术鲁棒性以及持续的伦理合规性。针对新旧系统更替阶段，启动准入证书重新考核和更新机制。但准入证书机制应尽量简化行政程序以避免妨碍小企业或初创企业、科研机构的创新。

3.已有和拟用人工智能系统的伦理自评机制

对现有和拟推广的人工智能系统进行透明的自我评估，评估采用人工智能系统相对于目标是否适当以及是否违反国际或本国相关法律，以决定是否禁止某些系统。同时，应鼓励建立企业和企业联盟人工智能伦理自律机制。

4.人工智能伦理影响监督、审计和监测的长效机制

面对具有很高技术难度和复杂应用场景的人工智能实施伦理评估、审计和监测是落实人工智能伦理治理的重点也是难点。应协调公共管理机构、私营部门和公民组织及其他相关部门建立合作监督、审计和监测伦理影响的长效机制，并考虑设立独立运作的人工智能伦理委员会或高级别人工智能治理官员等机制和岗位。同时，探索建立人工智能伦理委员会或负责官员的国际交流与合作机制。

5.人工智能伦理治理法律框架及其执行

应参照本《建议书》修正现行的或制定新的有关人工智能伦理的国家立法，并根据技术发展现状提供执法指导框架。国家立法在参考国际标准文书基础上，应考虑当地现有文化和社会背景包括习俗和宗教惯例，支持地方政府制定符合国家法律框架的地方法律法规。法律框架应呼应上述对人工智能系统的透明度和可解释性的要求，并在法律框架内建立或强化法定的监督、审计和监测框架和具有法律效力的问责制和责任制，包括调整责任人框架，确保最终责任和问责落实到自然人或法人。增强司法系统根据相关法律，对人工智能伦理问题做出判定的能力。

6.技术保障机制：平等包容的数字生态系统和安全去偏的人工智能系统

促进适合本地需求的数字生态系统建设，确保全体公民能包容、公平地使用数字生态系统和人工智能系统。提高人工智能开发团队和训练数据集的多样性和包容性，以确保人工智能系统反映多样和包容的人口代表性、文化和社会多样性。

主权国家公共治理机构应在保障人工智能系统的安全和安保方面发挥主导作用，分析可衡量及可检测的安全和透明度等级，并据此对潜在安全和安保风险开展战略研究并制定和执行安保措施。在鼓励系统设计者的伦理自评和自律基础上，建立检举违法违规披露机制（或“吹哨人机制”），及时发现和监管人工智能系统设计和应用中的有意歧视或偏见、虚假信息和错误信息。

（三）通用数据政策框架

基于数据和算法的预测和决策引发的伦理问题是人工智能伦理的核心领域之一，数据是当下各领域人工智能技术开发与迭代更新的最核心要素，也是数字化经济活动、公共服务和个人生活中最重要的生产力要素和数字化个人财产。对数据这一核心要素进行系统界定、管制和潜能发掘，是人工智能伦理问题治理的根基。数据战略的主要目标是对人工智能系统训练数据的质量和方法进行持续评估以确保合法合规性和鲁棒性（包括数据收集和选择过程的适当性、合理的数据安全和保护措施、可解释性等），鼓励数据共享和基于数据的协作创新等。

1.采纳国际数据隐私保护法律

各國尤其是尚未制定一般数据保护条例的国家，可借鉴国际数据保护法律框架，例如，欧盟于2018年5月在全欧盟生效并对世界各地企业均有广泛影响的《一般数据保护条例》（General Data Protection Regulation，GDPR）[12]。各国应就国际法律框架在本国的生效做出制度安排，要求和监督私营企业在内的所有人工智能行为者遵守现行国际标准。

2.制定国家数据政策框架

各国在一般数据保护条例立法和执法方面普遍滞后，应尽快制定国家层面数据政策框架或修订现有框架。数据政策框架需从政策实体领域和执行程序两个方面规划。

从政策实体领域来看，一般包括以下政策要件。

（1）个人隐私数据和敏感数据保护：尤其是一旦泄露会给个人造成特殊伤害或行事困难的数据，包括：与犯罪、刑事诉讼、定罪以及相关安全措施有关的数据；生物识别、基因和健康数据；与种族、肤色、血统、性别、年龄、语言、宗教、政治见解、民族、族裔、社会出身、与生俱来的经济或社会条件、残障情况或任何其他特征有关的个人数据。数据隐私保护的法律惯例之一是在人工智能伦理影响评估中强制加入适当的个体隐私影响评估和隐私泄露社会经济影响评估。46C60839-5885-4AF5-B938-B88A33D947B3

（2）个体数据拥有权：确保数据主体访问、获得、管理和控制其个人数据的权利，尤其确保数据主体享有迁移和删除其在人工智能系统中个人数据的权利和能力。

（3）数据收集和处理的透明性和合法性：确保数据收集和处理方法的透明性和敏感数据处理方法的适当性，包括数据用于商业目的（例如定向广告推送）或跨境转移时的数据保护立法等。

（4）数据的稳健性（或鲁棒性）：推动将优质和稳健的数据集用于训练、开发和使用人工智能系统。在可行的前提下，投资建立开放、可信、多样化、基于有效法律框架的黄金标准数据集（Gold Standard Datasets），鼓励制定数据集标注标准。

（5）倡导开放数据和数据共享：通过评估已有一般性信息获取和数据管理的监管框架，结合人工智能领域的特殊要求，建立开放数据和数据共享相关机制。一般认为，公共机构所有的数据或者公共财政资金资助的数据和源代码应被视为开放数据，并以此为基础建立开放式数据库。

從政策执行程序来看，要考虑以下执行策略。

（1）数据问责和监测机制：制定切实可行的数据问责方案和问责机制以及数据监测机制。

（2）采用设计保护隐私（Privacy by Design）方法：确保从系统设计开始即实施数据隐私保护原则，并确保人工智能系统全生命周期各阶段的隐私保护。

（3）数据共享机制：提高数据处理工具、数据集和数据存储系统界面等方面的互操作性，支持公共和私营部门建立可信和安全的数据共享空间和协作平台，包括建立针对数据的国际或国内数字共同体（Digital Commons）等机制共享优质数据。

五、教育人工智能伦理：结构性剖析与治理制度建设

教育系统是与其他系统密不可分的社会系统的整体组成部分，教育系统采用的人工智能技术均基于通用的智能技术基础设施和通用人工智能底层技术，并遵循相同的基于数据与算法的预测与决策过程。故此，教育系统应用智能技术过程中显现和隐藏的伦理问题与一般性人工智能伦理问题有同源的技术诱因和同质的发生机理。同时，在应用场景、作用对象以及教育对伦理的反向赋能等方面，又分化出独特的伦理问题表现形式。

（一）剖析教育人工智能伦理问题及其表现形式

教育人工智能伦理是在教育系统这一特殊应用领域中，基于对真实性要求更高的数据和更无歧视的算法，针对包括未成年人在内的学习者做出预测和决策的过程中产生的伦理问题。同时，教育系统承担的培养人工智能伦理知识、技能和相关价值观念并以此对人工智能伦理治理发挥的反向赋能作用，也被纳入教育人工智能伦理的范畴。教育人工智能伦理的特殊性主要源自以下四个方面：被收集数据和被推送决策的对象以及作为应用技术的主体涉及到未成年群体；作为知识来源和课程内容的数据对真实性的要求更为严谨；教育不仅仅是人工智能技术应用的领域，教育本身也是一种应被保护的基本人权；教育承担着人工智能伦理教育的反向赋能作用。教育人工智能伦理问题也可通过上述相同维度进行剖析，并显现出如表3所示的具体伦理问题表现形式。

1.教育人工智能伦理问题的特殊技术诱因

（1）数据的产生与保存

教育领域中，数据的产生与保存作为伦理技术诱因的特殊性体现在：作为知识来源和课程内容的数据对其真实性有严苛的要求，未成年人数据隐私的高敏感性以及未成年人对收集其数据的知情权和同意授权的复杂性，错误信息和虚假信息对学生获取知识、形成价值观的深远影响等。

（2）数据及数据设备的访问权与控制权

教育数据的访问与控制向度的伦理技术诱因的特殊性体现在以下三个方面：首先，教育是人的一项基本权利，而数字技术已成为保障教育供给的必备手段之一，数字鸿沟由此成为数字化学习鸿沟的直接诱因。而残障人士、少数语言群体等弱势群体能否有机会借助智能技术打破视听和语言障碍开展正常学习，也成为影响学习包容性的技术因素；其次，未成年人对数据的拥有权和控制权、监护人对未成年人数据访问和控制的授权引发的特殊伦理问题；第三，对学习者终身学习进程中的所学课程、结果评价和证书认定的数据管理和访问、证书验证和公证等过程均会引发伦理问题。

（3）基于数据与算法的预测与决策及其影响的外显行为

基于教育数据与算法做出预测与决策向度的伦理问题技术诱因的特殊性表现为：对学习进度较慢学生的教育数据标签歧视，对女童或其他弱势群体的数据标签歧视和未来职业定向的刻板印象，智能学习管理系统中缺乏人类干预时算法决策的偏误，依赖机器决策对学习者智力、能力和社会情感做出判断和预测的风险等。

（4）智能人机界面及智能设备等实体人工智能

在教育领域中采纳和部署人工智能设备向度的伦理问题技术诱因的主要表现为：学习者尤其是未成年学习者穿戴人体干预性智能设备的即时和深远身心影响以及本人和监护人对后果的知情权，对教学场所内安装隐私侵犯性智能教育管理设备的知情权和同意授权。

2.教育人工智能伦理问题的人文维度和特殊表现形式

（1）个体学习者、教师和家长

面向作为自然人的个体师生和家长收集数据和推送算法决策，并在组织师生在教学中应用人工智能技术时，会涉及缺乏独立价值观判断能力和独立行事能力的未成年人群体。在个体层面引发的特殊教育人工智能伦理问题依次包括：未成年人数据隐私，尤其是作为绝对隐私并应被禁止收集的未成年学生数据以及教育人工智能技术的数据需求之间的伦理权衡[13]；师生和家长数据在教育信息管理系统中的数据安全问题；数字设备鸿沟和数字技能鸿沟导致的数字化学习机会不平等，教育信息管理系统中的个体师生和家长的数据控制权；依赖机器决策导致的师生教与学主观能动性的丧失[14]，算法推送教学内容导致的个体知识茧房，借助机器决策开展高利害测评和预测中的伦理风险（如高利害性考试和就业倾向预测对个体的影响等）；课堂或其他学习场景中的穿戴性或人体干预性智能设备对学生隐私和学生自主性的侵害以及对学生身心健康的影响。46C60839-5885-4AF5-B938-B88A33D947B3

教育对个体人工智能伦理治理的反向赋能作用主要表现为支持人工智能人文主义价值观和人工智能基本素养培养，包括面向所有公民的数据素养和算法素养普及。

（2）学习者互动、师生互动和学校家长沟通

教育领域中通过师生互动和合作交流的知识学习、情感关爱、价值观教育以及支持教育服务的更宽泛的人际交流和社会活动，日益受到人工智能技术的显性影响或隐形干预。其中的独特教育人工智能伦理问题，按技术诱因排列依次包括：错误信息被作为知识来源广泛传播误导知识的科学性，关于历史和社会事件的虚假信息、仇恨言论的扩散误导学生形成歧视情感、相互敌视态度和崇尚暴力等扭曲价值观；数据标签和算法设计造成的女性刻板印象和歧视对其学业和职业选择的误导；数据及算法歧视导致弱势群体自我认知偏差，局限于强化事实性知识记忆的算法推送导致的课程内容茧房和教法误导；滥用智能教学设备取代教师职能和威脅教师工作的机器替代误区，以及将教育过程物化为基于数据或数值的机器决策和操控过程。

教育可通过强化媒体和信息素养教育反向培养教师和学生群体甄别信息、判断知识的科学性和比较分析舆论观点的能力；同时，通过针对女童和妇女的数字技能和人工智能能力培养，可提高女性参与数字化领域科研与就业的能力，反向促进性别平等。

（3）主权国家教育体系

由于人工智能技术的高跨国渗透性，主权国家教育体系即便未主动采纳和部署人工智能技术方案，其学生、教师和家长的数据也已被私有数字治理体收集并借此操控教育提供者和受教育者的行为，并由此引发须紧急应对的伦理问题。国家教育体系层面的教育人工智能伦理问题依次包括：对教育提供者和受教育者教育数据隐私的界定和保护，国家各层面数字教育平台的数据安全；国家内部地区间数字学习设施鸿沟，教育数据主权控制力的国际差异，在教育数据挖掘的算法与算力方面的国际差异；国际和国内智能制造产业链对本国就业能力培养和课程目标界定的影响；全国性、大规模智能教育管理和智能考试系统中的伦理问题；教育场所的监控性或隐私侵犯性设备引发的伦理问题。

在该向度内，教育可反向赋能国家层面的人工智能人才培养与储备、提高人工智能国际竞争力。

（4）人与环境及生态系统

教育信息化是整个社会信息化的重要组成部分，教育信息化进程中的人工智能技术应用产生的环境和生态系统影响主要包括人工智能设备生产、使用和淘汰过程中的碳排放和环境污染。

在该向度内，教育应发挥提供可持续发展教育的综合反向赋能作用，包括：针对人工智能设计制造人员有关环境及生态系统保护、动物福利等的教育，激发和支持学生或青年群体针对可持续发展的挑战、开发创新型人工智能技术等。《建议书》列举了人工智能在促进环境和生态系统可持续发展方面的创新专题：支持对自然资源的保护、监测和管理；支持与气候有关问题的预测、预防、控制和减缓；支持更高效和可持续的粮食生态系统；支持可持续能源的获取速度、效率和规模；检测污染物或预测污染程度等。

（二）教育是培养人工智能伦理价值观和伦理行事能力的主渠道

人工智能伦理治理最终需要各行为主体内化人文主义价值观并形成合乎伦理的应用技术所需的技能。应从以下方面，系统规划教育在培养相关人文价值观和多层次技能方面的主渠道作用。

1.全民人工智能素养教育：人工智能设计与应用的人文去偏

有效的人机协作需要具备一系列人工智能素养。教科文组织提出了对中小学人工智能素养的基本界定[15]，包括以下要素：（1）关于人工智能的价值导向和基础知识，即对下述问题的基本理解——人工智能对生活、学习和生产的潜在影响、人工智能能做什么和不能做什么、其何时对人类有益以及何时其益处应被质疑、人工智能如何被引导到用于支持人类公共利益；（2）数据素养：理解人工智能如何搜集、清洗、标签、管理和分析数据；（3）算法素养：即对算法如何发掘数据模式和数据关联并用以支持人机协作的基本理解。而中小学人工智能能力则包括如下5个方面：（1）相关伦理问题和社会问题；（2）算法与程序设计；（3）不同层次的数据素养；（4）人工智能底层技术和应用技术；（5）应用人工智能技术的情境化问题解决。

面向所有公民普及人工智能素养教育，须首先将人工智能能力的培养纳入学校、职业技术教育与培训机构以及高等教育机构等各类主渠道国家课程。同时，应在本国终身学习系统的基础上，针对成人培训、在职培训和再就业培训、老年人学习课程等开发人工智能伦理和人工智能基本素养课程，并体现人工智能技能与人文、伦理和社会等领域的交叉融合。

2.人工智能职业技能：产业转型期数字技能的“智能升级”

近年来，世界各领先经济体在经济领域的智能制造和社会公共服务领域的智能升级进入加速期，由此引发工业化以来最重要的全领域智能化转型，并已引发劳动力市场的系统性和长期性变革。针对全球26个主要国家或经济体在农业、工业、金融、通信、医疗、交通等15个最重要行业的“2020年就业前景报告”（2020 Future of Jobs Report）[16]，分析了智能化产业转型对就业岗位的影响：到2025年，一半的工作任务将由机器处理。对人工智能的依赖可能会替代掉约8500万个工作岗位，同时会创造9700万个新工作岗位。因智能化产业转型下岗的在职人员，为适应与数据和人工智能相关的新工作岗位，平均需花费76天掌握合适的技能。

应对这一挑战，各国应开发有效机制和工具，以动态分析预测智能转型对本国工作岗位的影响及其引发的技能需求变化，并据此对各级各类课程培养目标和培养方式做出周期性调整，将人工智能相关技能纳入职业技术教育以及高等教育的资历认证体系中。规划与全社会智能转型同步的教育变革，培养当前的劳动者和未来的毕业生在迅速变化的市场中公平就业和创业的能力，并引导现有和未来从业人员内化人工智能伦理价值观和原则。46C60839-5885-4AF5-B938-B88A33D947B3

3.人工智能及人工智能伦理研究：人工智能伦理治理的本土专业化引导

本土人工智能研发能力是缩小数字鸿沟、保护智能化进程中文化多样性的根基，而高端人工智能人才的培养需要跨学科的长期积累。为此，各国应制定中长期规划，支持本土高等教育及研究机构强化人工智能课程和人工智能研究项目，在跨学科人工智能基础理论、系统设计、编程和开发等领域培养高端人才，为开发体现本土社会文化多样性、适合本土需求的人工智能系统培育本土专业人才。同时，通过设立专项经费和激励机制，促进并支持人工智能和人工智能伦理问题研究。在科学、技术、工程、数学等领域基础上，鼓励与文化研究、教育学、伦理学、法律、语言学、哲学、社会学和心理学等领域的跨学科的智能科技伦理研究。尤其应关注人工智能伦理框架在本土文化、社会或宗教背景下的适用性，并开发可行的本土化法律框架和提出制度创新建议，为公共和私营机构以合乎伦理的方式开发和应用人工智能系统提供本体化专业引导。

确保人工智能研究人员接受过人工智能伦理培训，并将伦理指标纳入相关设计、产品和出版物的考核评审体系，评估使用的数据集、数据标注方法、算法的可解释性以及成果的伦理影响。

（三）展望和建议：教育人工智能伦理治理的制度再建空间

1.存量体制内的教育人工智能伦理治理：优先领域和价值导向

在教育系统的存量体制内，人工智能的推广应用处于治理失序状态。应首先针对现有教育体制内的核心领域，强化教育人工智能伦理法规建设和治理能力提升。基于教科文组织关于人工智能与教育的《北京共识》[17]，本研究主张相关政策供给应优先考虑以下治理领域及其价值导向。

（1）保护教师和学生的自主性和能动性，防止教学法的“智能降级”

基于人工智能的导学系统可根据学生先前学习情况推送下一步学习内容。但目前智能导学系统提供的所谓“个性化学习”功能大多仅支持内容路径的个性化，无法支持学习结果的个性化和赋能学生更广义的个人学习目标，限制了教师和学生的能动性。并多采用强化事实性知识记忆的教学方法，难以支持更为开放和以学习者为中心的学习方法（比如探究性学习等），在一定程度上是对教学方法的智能降级。同时，智能导学系统还存在减少师生人际交往的风险[18]。应对在教学和学习过程中采用的人工智能系统进行全面伦理影响评估，征求教师和学生对人工智能技术的看法。在确认某些智能教学系统会损害师生的自主性和教学方法创新时，应限制滥用不成熟人工智能系统侵扰正常教学活动的行为。

（2）致力于人工智能赋能教师，而非取代教师

虽然人工智能为支持教师履行教育和教学职责提供了技术便利，但师生和生生之间的人际互动和协作仍是教育的核心而且不可替代，教师的人文教育价值尤其不应被机器取代。应确保教师的权利和工作条件受到保护。同时，在教师政策框架内动态地重新界定教师的角色及其所需能力，制定教师人工智能能力框架，支持教师为在富含人工智能的教育环境中有效工作做好准备。

（3）智能教学评价和教学管理应确保人类作为最终决策者和责任承担者

遵循相称性和无害原则，权衡应用人工智能支持教学评价尤其是未成年学生学习评价的利弊，只有当惠益明显大于其风险時，才考虑应用或开发透明、可解释、具有去偏设计的人工智能解决方案。智能评价和管理系统须确保教师和学习者的数据隐私保护和数据安全。在高利害性评价中，应由教师基于尊重个体尊严和隐私的原则，慎重做出评价结论，防止对学生的智力水平、未来发展等做出刚性的主观论断。智能评价和管理技术创新应致力于监测学生的课程学习进度、协助教师分析典型学习障碍和问题、预警学业失败或辍学风险的公益目标，并致力于支持教师和教育管理人员的决策。

（4）借助人工智能技术促进教育供给的包容性：关注被忽视的教育智能技术优势

人工智能技术在支持教育的包容性方面优势明显，尤其是可借助图像和自然语言处理等人工智能技术为残障人士以及语言或文化少数群体提供包容性学习机会。但由于这个领域的商业谋利空间有限，长期未得到应有重视。应通过设立国家或国际基金或奖项等方式，将教育人工智能创新导向支持包容性和公平性的教育供给。例如，教科文组织全球“教育信息化奖”2019年的奖项获奖者之一为“改变阅读障碍”项目，通过人工智能支持的眼动跟踪技术支持阅读障碍的早期诊断与矫治。某企业开发的免费手机应用软件“智能手语”（StorySign）借助人工智能支持手语系统将学习材料转换为手语，支持听觉障碍学生的学习；以及借助眼动跟踪技术辅助教师针对阅读水平和阅读障碍进行快速监测的“探索”平台（Lexplore）等。

（5）对教育教学场所的监控性或人体干预性智能设备采取严格的准入审查制度

针对教育场所的智能监控设备和针对学生的穿戴性或人体干预性智能设备（比如针对学生的智能头环、智能手环等），应遵照本《建议书》的相关原则和本国法律，建立严格的审查准入制度，对显在和潜在的身心危害、隐私侵犯、师生自主性的限制等进行严格评估。应保护成年学习者自身或未成年学习者监护人的知情权和同意授权。有潜在危害或未获得授权的设备，应禁止引入学校、课堂和其他教育场所。

2.教育人工智能伦理治理机制的增量改革：各治理主体责任明确的协同共治机制

《关于加强科技伦理治理的意见》提出建立国家科技伦理委员会，并要求各领域主管部门履行各自科技伦理管理主体责任，根据实际情况设立本部门科技伦理委员会。本研究认为，在已有宏观教育制度存量和上述微观伦理治理机制基础上，有必要进行下述中观层面的治理机制增量改革和调适：成立“教育人工智能伦理委员会”，并通过该委员会确定教育人工智能伦理治理的主要责任主体：人工智能伦理治理责任主体（司法机关、工商管理、教育管理部门）、技术供给责任主体（通用或教育人工智能系统开发和提供机构或个人）、技术应用责任主体（各类教育机构、有独立行事能力的教师和学生以及学生家长、无独立行事能力的学生的监护人等）、数据拥有主体或数据供给主体（学生、教师、家长以及教育机构等）。在此基础上，界定各责任主体基于主观意愿的有意侵害责任和非主观意愿的无意侵害免责，建立问责制和协同共治机制。并进一步支持各责任主体培养所需的伦理治理意识、伦理理解和治理能力以及伦理行事能力（如下页图1所示）。46C60839-5885-4AF5-B938-B88A33D947B3

3.治理制度再建与升级：与教育智能升级同步的治理制度创新

怀进鹏部长在2021年12月召开的国际人工智能与教育会议上提出，为了配合中国的教育数字化转型和智能升级，要加大人工智能教育政策供给，通过一系列新政策文件因应人工智能等新一代信息技术发展，更新教育理念，变革教育模式，深化教育体制机制改革，全面提高教育治理水平，构建教育发展新生态[19]。沿循上述人工智能伦理分析框架，本研究提出如图2所示的“伦理治理与教育人工智能创新统一与同步的制度创新分析框架”：从“人文维度”和“技术维度”各向度之间的相互作用出发，分析教育对人工智能伦理治理的反向赋能、人工智能增强教育管理和教学以及人工智能支持教育智能转型等相互关联的应用场域。并从“制度创新维度”出发，辨析上述场域中的伦理问题。该框架展示的仅是整体制度需求和创新思路，在具体制度规划中，需下潜到具体教育类型和教育阶段分析具体发展需求，审视相关的治理制度余量、已有制度调适需要，尤其是确定所需的新法规和新机制建设。

六、结语

各层次人文活动与技术的互动只是人工智能伦理的实践表象，其本质是数字霸权阶层与处于数字劣势的公民社会及公共利益之间的博弈。最尖锐的人工智能伦理问题是数字霸权阶层在资本逐利和集团私利驱使下，通过算法合谋在从广大数字技术弱势群体中获取经济利益或政治优势的过程中，对后者数据隐私的侵犯和自主行为的操控。同时，应该意识到《建议书》在未知人工智能及其伦理影响方面留有结构性空白：未来人工智能技术性能会更加强大，从实用论角度出发，人类或会更加依赖智能技术。未来智能技术也可能会演化出部分自主意识，在局部场景中会压制人类自主性，或在某种技术层面出现看似合理的不可解释性，进而迫使人类做出更复杂、更深层的伦理两难选择。因此，人工智能伦理不仅是影响几乎所有人的现实问题，更将是困扰几代人的伦理难题，还将成为迫使人类自我再定义的哲学谜题。在人类应对这些难题的历史进程中，《建议书》是私有利益和公共利益之间阶段性和解的契约文书，也是呼唤跨国、跨界协作的行动纲领。人工智能伦理治理需要各国和各界坚持不懈、不断深入的研判、协商和共治。

参考文献：

[1][14][18] Miao F，Holmes W，et al.AI and education： guidance for policy-makers [EB/OL].https：//unesdoc.unesco.org/ark：/48223/ pf0000376709，2022-03-26.

[2] UNESCO.Draft text of the UNESCO recommendation on the ethics of artificial intelligence [EB/OL].https：//unesdoc.unesco.org/ark：/48223/ pf0000379920.page=14，2022-03-26.

[3] 中華人民共和国中共中央办公厅、国务院办公厅.《关于加强科技伦理治理的意见》[EB/OL].http：//www.gov.cn/zhengce/2022-03/20/ content_5680105.htm，2022-03-26.

[4] Statista.Global social network penetration rate as of January 2022[DB/OL].https：//www.statista.com/statistics/269615/social-networkpenetration-by-region，2022-03-26.

[5][19] 苗逢春.从“国际人工智能与教育会议”审视面向数字人文主义的人工智能与教育[J].现代教育技术，2022，（2）：5-23.

[6] THALES.Beyond GDPR：Data protection around the world [DB/OL].https：// www.thalesgroup.com/en/markets/digital-identity-and-security/ government/magazine/beyond-gdpr-data-protection-aroundworld，2022-03-26.

[7] Hugues Ferreboeuf.Lean ICT：Towards digital sobriety：Report of the Shift Project–The Carbon Transition Think Tank [EB/OL].https：// theshiftproject.org/wp-content/uploads/2019/03/Lean-ICT-Report_ The-Shift-Project_2019.pdf，2022-03-26.

[8] UNESCO.International Commission on the Futures of Education. Reimagining our futures together：A new social contract for education[EB/OL].https：//unesdoc.unesco.org/ark：/48223/pf0000379707，2022-03-26.46C60839-5885-4AF5-B938-B88A33D947B3

[9] UN.Universal declaration of human rights [EB/OL].https：//www.un.org/ sites/un2.un.org/files/udhr.pdf，2022-03-26.

[10] Eoin M.Kenny，Mark T.Keane.Twin-Systems to explain artificial neural networks using case-based reasoning：Comparative tests of feature-weighting methods in ANN-CBR twins for XAI [DB/OL]. https：//www.ijcai.org/proceedings/2019/0376.pdf，2022-03-26.

[11] Prashan Madumal，Tim Miller，et al.Towards a grounded dialog model for explainable Artificial Intelligence [DB/OL].https：//arxiv.org/ pdf/1806.08055v1.pdf，2022-03-26.

[12] The European Union.General Data Protection Regulation [EB/OL]. https：//eur-lex.europa.eu/legal-content/EN/TXT/ uri=CELEX：3201 6R0679，2022-03-26.

[13] UNICEF.Policy guidance on AI for children [EB/OL].https：// www.unicef.org/globalinsight/reports/policy-guidance-aichildren，2022-03-26.

[15] UNESCO.K-12 AI curricula：A mapping of government-endorsed AI curricula [EB/OL].https：//unesdoc.unesco.org/ark：/48223/ pf0000380602，2022-03-26.

[16] World Economic Forum.The future of jobs report 2020 [DB/OL].https：// www3.weforum.org/docs/WEF_Future_of_Jobs_2020.pdf，2022-03-26.

[17] UNESCO.Beijing Consensus on Artificial Intelligence and Education[EB/OL].https：//unesdoc.unesco.org/ark：/48223/pf0000368303，2022-03-26.

作者簡介：

苗逢春：研究员，博士，主任，研究方向为人工智能与教育、教育信息化、开放教育资源、移动学习、未来数字化学校。

Ethics of AI in Education： Analysis and Governance

—Educational Overview of Recommendation on Ethics of AI

Miao Fengchun1，2（1.National Engineering Laboratory for Cyberlearning and Intelligent Technology， Faculty of Education， Beijing Normal University， Beijing 100875； 2.Headquarters of UNESCO， Paris 75007， France）

Abstract： The paper aims to reveal that the governance of ethics of AI needs to respond to the hegemony over ethics of AI that is controlled by the private digital regime， the lag of regulations of sovereign states， and the state of anomie of the governance of AI. It proposes an analytical framework on ethics of AI based on the interaction between machine decision-making and humanistic use of AI， and thereby provides an insight into typical ethical issues relating to prediction and decision making drawn from data and algorithms. Within the framework， it further delineates ethical issues on AI in education and the reciprocal roles of education in developing values and practical competencies needed by ethical use of AI. It concludes by providing recommendations on institutional innovation needed by an integrated approach to the AI-driven transformation of education and the governance of ethics of AI.

Keywords： private digital governance； an analytical framework on ethics of AI； ethics on AI in education； values based on a Biocentrism vision； equality and non-bias； ethical impact assessment framework； data policies46C60839-5885-4AF5-B938-B88A33D947B3