面向未成年人的人工智能技术发展蓝图

李玉顺 沈希 安欣 吴永和

[摘   要] 随着ChatGPT等新型人工智能技术的进一步发展，未成年人成长面临着新的风险与挑战，急需构建面向未成年人的人工智能规范体系。文章从人才发展、AI向善和人机共融视角出发，构建了面向未成年人的人工智能技术规范体系模型：“技术内容规范”将基础性、时代性和价值性三个维度的知识结合在一起，旨在从核心素养的角度规范学生能接触到的人工智能技术内容；“技术工具规范”围绕可用性、适用性、安全性、价值观对AI学习工具的设计、开发和应用全过程提出规范要求，旨在从应用监管角度保障未成年人的使用体验；“技术伦理规范”基于以人为本、公平公正、安全可控原则，对人工智能技术伦理治理提出要求，旨在从安全伦理角度促进未成年人、社会、自然和人工智能的和谐共处。

[关键词] 人工智能； 未成年人； 技术规范； 核心素养； 应用监管； 安全伦理

[中图分类号] G434            [文献标志码] A

[作者简介] 李玉顺（1969—），男，江苏宝应人。教授，博士，主要从事基础教育信息化、课堂学习方式变革理论与实践、慕课及在线学习等研究。E-mail：lyshun@bnu.edu.cn。

一、 引   言

21世纪以来，“互联网+”颠覆与重构教育系统，给未成年人带来便利的同时，也伴随着诸多风险与挑战。随着智能技术赋能教育的变革逐渐深化，技术赋能教育变革迈入了深度发展的阶段，解构与重构的特征日益明显，在这一进程中越来越多的研究者关注到了人工智能技术带来机遇背后的巨大风险。联合国教科文组织于2021年发布《人工智能伦理问题建议书》，其中特别强调要“提供充分的人工智能素养教育”，“以负责任和合乎伦理的方式”将人工智能技术应用于教育[1]，从宏观层面为规范人工智能教育伦理提供了国际经验。技术与人的发展关系问题日益成为宏观教育治理、微观育人实践中的时代性命题。

智能技术逐渐成为新时代学生学习的有力支撑，但未成年人正处于高认知、低控制的成长发展阶段，其自身人格塑造和培养容易受到人工智能技术影响[2]。同时， 随着ChatGPT等新型人工智能技术的进一步发展，未成年人成长也面临着新的风险与挑战，未成年人教育也将产生更多“科技向善”“本真育人”的现实诉求。从国家层面进行顶层设计和规划需更重视技术伦理和人文包容，对潜在的风险进行预测和管理，以规范和引导人工智能技术的正向应用，加速数字技术驱动的文明变局。

为此，本研究将探索面向未成年人的人工智能技术规范，构建面向未成年人的人工智能规范体系框架，以指导人工智能核心素养、应用监管、安全伦理等标准规范的研制，从系统全局观的角度为建立以人为本、面向未成年人的人工智能技术规范研究提供理论指导。

二、 面向未成年人的人工智能技术应用现状

面向未成年人的人工智能技术规范，是人工智能技术在内容、技术工具、伦理等多个不同层面，对未成年人产生“科技向善”“本真育人”作用所体现的诉求。这种诉求是以技术的逻辑、技术的功能、技术的“思维”来影响未成年人的。因此，本研究将从三个层次探讨面向未成年人的人工智能技术规范：一是技术内容规范，探讨未成年人对人工智能技术本身应该理解到什么程度，这是从人才发展的视角进行理解，对应未成年人的核心素养；二是技术工具规范，探讨作为人工智能赋能的各类学习工具，应该如何更有效地服务于未成年人的心理特征、心智特征、年龄特征，解决当下社会发展中未成年人成长的问题，这是从AI向善的视角进行理解，对应相关部门、企业和人员对人工智能技术的应用监管；三是技术伦理规范，探讨如何促进未成年人、社会、自然和人工智能的和谐共处，这是从人机共融的视角进行理解，对应人工智能应用于社会的安全伦理。

（一）技术内容规范

为了提升在智能时代的竞争力，未成年人需要掌握一定的人工智能技术内容。这些技术内容需要依照未成年人的身心发展特点制定规范，以促进其在人工智能技术方面的知识技能提升、兴趣拓展及价值观培养。自此，以机器人、编程等为代表的各类人工智能课程逐渐成为课程教学的新内容，有关的课程标准也逐渐规范化、体系化。本研究梳理了近年来以“人工智能”为主题的课程内容相关标准，具体见表 1。

总体来看，人工智能类课程内容规范已经初具规模，涵盖人工智能的基础性知识、时代性应用、社会安全与伦理，并越来越体现小初高衔接、完整全面的统一化取向。但目前市场上与少儿编程、青少年人工智能相关的课外兴趣班质量参差不齐，大大小小的教育机构借着人工智能的东风炒作概念，这不仅会使社会大众陷入对人工智能的理解误区，还容易扼杀未成年人对此的兴趣和天赋。因此，急需制定关于未成年人的人工智能技术内容规范，为学校、家庭、社会发挥引导作用，推动面向人工智能时代的人才培养。

（二）技术工具规范

近年来，随着人工智能技术的快速发展，面向儿童群体的相关应用和产品大量涌现，蓬勃发展，场景覆盖健康、安全、教育、娛乐和公益等各个方面，在带来更好体验的同时，容易造成不公平、隐私泄露、泛人工智能乱象和过度依赖等问题。2021年，中国版《人工智能为儿童——面向儿童群体的人工智能应用调研报告》发布，针对政府和行业提出了以儿童为中心的人工智能的实用建议和原则，特别关注了人工智能对儿童的适用性[8]。人工智能赋能的各类工具应该如何发挥正向价值，更有效地服务于未成年人的心理特征、心智特征、年龄特征，是当下需要关注的关键问题。

以教育领域为例，当前的人工智能技术工具已经由广到深，开始支持到具体学科的学习。本团队曾对17款英语学科人工智能技术工具进行编码分析[9]，结果发现，尽管目前市面上人工智能类学习工具品种繁多，但在学科知识和技能的专业性方面仍存在薄弱点：目前的学习行为分析多为简单的出勤次数、学习时长、视频播放量等数据的采集，缺乏学科专家视角所需要的更深入的数据支持；在资源推荐方面，大部分的英语学习软件推荐规则较为简单，主要是基于匹配各类学习资源所标注的标签完成的，相关推荐算法有待改良与深化；自动测试和反馈功能缺少对于学习方法和策略的指导。总体而言，人工智能类学习工具的发展还需要更加专业的学科视角、更有针对性的测评功能以及更科学的个性化推荐和指导机制。

整体来看，人工智能技术工具为教育提供了新的途径和手段。但是，技术并非单纯中立的工具，它渗透并改变着教育的本质，在带来便利和创新的同时，也可能伴随着潜在的风险与副作用。如果应用不当，人工智能可能损害教育的公正性和客观性。需要深入地思考如何在教育中平衡人工智能技术的利弊，针对性地制定技术工具规范标准，在技术的驱动下保持人文关怀和价值追求，为未成年人创造一个有启发力和包容性的技术环境。

（三）技术伦理规范

现代伦理是以强调个人幸福和权利优先性为特征的，而人工智能已经反客为主对人的行为产生了深刻影响，给人的主体性地位带来了挑战[10]，体现在未成年人身上最为突出[11]。特别是以ChatGPT为代表的生成式人工智能进入到未成年人的生活中，带来更加严峻的全新挑战。联合国教科文组织在2023年接连发布“Generative AI and the Future of Education”和“Guidance for Generative AI in Education and Research”两份文件，强调要对教育中使用生成式人工智能加强管理、提出规范。

目前国际上很多机构组织提出了人工智能发展的道德伦理原则，如欧盟提出的“可信赖人工智能”包含“人的能动性和监督能力、安全性、隐私数据管理、透明度、包容性、社会福祉、问责机制”七个关键条件；有学者整理了英美等国共84份人工智能伦理指南，总结出“透明、正义和公平、不伤害、责任、隐私、有益、自由和自主、信任、持续性、尊严、团结”等伦理原则[12]。但审慎思考后，会发现这些原则之间其实缺少了有机联系，且更多地是对人工智能发展的限制或预防，缺少积极的伦理支持来为人工智能技术的良性发展作保障。这就要求有一个统领性的“基点”，作为人工智能研发与应用的最高伦理原则，即“人本原则”[13]。人工智能技术的发展与应用，归根结底是要为人提供更好的产品和服务，满足人的需求，要防止其异化，避免朝着危害人的方向发展。在对未成年人影响最为深刻的教育领域，人工智能的应用需要遵循教学伦理原则：以学习者为中心或以人为中心应用人工智能；加强数据管理与人工智能技术治理；加强学习者与教师自治，尊重学习者与教师的自主性[14]。因此，首先要以平衡“工具理性”和“价值理性”为基础，构建统一、和谐、促进人与技术共生的观念基础，强调教育中人的中心地位；其次，要构建一系列核心原则用以支撑人工智能教育伦理体系，如隐私原则、透明原则、平等原则、问责原则等[15]；最后，在人工智能与教育的融合中，始终发挥技术优势，同时保障师生主体权益，实现负责任的人工智能教育[16]。

三、 面向未成年人的人工智能规范体系框架构建

基于技术内容、工具和伦理三个层次的探讨，本研究构建了以核心素养、应用监管和安全伦理为核心的面向未成年人的人工智能规范体系框架，下面将具体从人才发展、AI向善和人机共融的视角作详细解读。

（一）核心素养：技术内容规范

目前以ChatGPT为代表的新一轮人工智能技术正快速改变着人们的生活、学习、工作方式，未成年人所处的成长环境正在发生深刻变化。学校作为未成年人接受教育的主阵地，需要立足时代特色，根据国家课程计划和课程管理要求，为学生提供技术内容教育。以《义务教育信息科技课程标准（2022年版）》和《普通高中信息技术课程标准（2017年版2020年修订）》为基础，本研究将“技术内容规范”定位为“基于未成年人身心发展规律，规定未成年人应学习的人工智能技术知识内容”。结合我国人才培养要求、信息技术课程标准和国内外最新研究成果，面向未成年人的人工智能技术内容规范应立足于发展人工智能时代学生的核心素养，具体可围绕以下三个维度展开：

基础性知识：包括信息处理的基本概念、信息系统基础、常用软件基础、网络基础知识、信息安全和数据隐私保护、程序设计等方面的知识。这部分内容要求未成年人能理解人工智能技术的基本知识。

时代性知识：包括人工智能、大数据、云计算、物联网等前沿技术及其应用，以及面向未来数字经济社会和数字文化等方面的问题。时代性知识是由技术本身发展的特性决定的，需要特别考虑未成年人的先验知识经验及其未来发展的有效衔接，以便帮助其体悟人工智能技术所带来的时代变化。

价值性知识：包括数字伦理、数字公民素养、知识产权、信息权利保护等方面的知识，涉及数字道德、社会影响、环境保护等方面的问题。在新一轮技术革命的背景下，未成年人需要懂得如何正确看待人工智能技术应用中个人与社会的关系，需要对技术带来的机遇与挑战保持包容审慎的态度，对自身使用技术担负起应有的责任。从价值观的角度增强未成年的信息社会责任意识，才能真正实现技术内容知识与未成年人核心素養发展的统一。

（二）应用监管：技术工具规范

实现真正有效的标准治理，必须将标准内嵌到人工智能的技术生成过程中[17]，为技术工具的开发与应用提供明确的监管准则。2020年，国家标准化管理委员会等五部门联合印发《国家新一代人工智能标准体系建设指南》，对智慧教育领域的行业应用标准作出了指示，要求规范在新型教育体系中的教学、管理等全流程相关的人工智能应用[18]。《中华人民共和国未成年人保护法》中强调，处理涉及未成年人事项，应符合“适应未成年人身心健康发展的规律和特点”原则[19]。基于上述考虑， “技术工具规范”重点关注如何基于新型教育体系，规范赋能教育领域的人工智能技术的设计、开发与应用，兼顾技术本身的质量安全和教育环境的特殊需求，促进教育新生态可持续、稳定发展。该规范的重点关注对象是人工智能赋能的各类学习工具（简称“AI学习工具”），因此，面向未成年人的人工智能技术工具规范应立足未成年人的心理特征、心智特征、年龄特征，从AI向善的角度出发，重点关注智能时代技术对未成年人个性化、智能化、开放式学习全过程的支持，具体可围绕以下四个维度展开：

可用性：指AI学习工具在设计、开发和应用过程中，以使用者为中心，保证工具功能易于理解、易于使用，有效实现其开发目的。可用性是AI学习工具作为技术工具所应该具备的最基本的功能特性。同时，考虑到未成年人的心智尚未发育成熟，AI学习工具还应重点考虑使用时长的限制机制，避免过度使用会对未成年人产生负面影响。

适用性：指AI学习工具在设计、开发和应用过程中需要考虑不同使用者的需求和差异，以便满足其使用需求。AI学习工具的服务对象是学习者，包含未成年人群体，因此，首先要考虑其功能对使用者的年龄适配性。同时，AI学习工具本质上是为学习者提供学习帮助的工具，须具备较好的教育性，不能只停留在娱乐层面。此外，智能时代的学习具有显著的个性化、定制化特征，AI学习工具也要顺应时代特点，强调个性化内容推送，尽可能地根据未成年人的兴趣、学习能力和偏好来智能定制推送的内容。

安全性：指AI学习工具在设计、开发和应用过程中应对潜在风险和威胁的能力，以保护系统和使用者的安全。一方面是保障AI学习工具系统本身的安全，另一方面是保障未成年人个人隐私的信息安全。未成年人作为弱势群体，容易被黑客定位为攻击目标，在AI学习工具的设计与开发阶段就需要针对这类情况预设安全解决方案。此外，AI学习工具在提供数据和资源时，要注意加强分类管理和访问权限限制；在收集与管理未成年人信息时，要避免未成年人的敏感和个人信息被泄露或滥用，同时也应考虑到未成年人的心理特征，避免过度采集数据对未成年人心理发展造成负面影响。

价值观：指AI学习工具在设计、开发和应用过程中必须遵循的符合社会主流价值的价值取向。AI学习工具的使用对象多为未成年人，其功能主要为教育，因此，AI学习工具的设计、开发与应用必须符合社会和人类价值观，避免出现影响社会团结和谐的内容，避免开发不道德、有争议的产品，坚决避免将未成年人置于潜在危险或是不良影响中。

（三）安全伦理：技术伦理规范

科技伦理治理已成为社会治理的重要内容和影响国家与社会安全稳定的重要因素[20]。面向未成年人的技术伦理规范必须在推动国内人工智能技术规范研究的大前提下，兼顾实现我国标准和国际标准的相互转化，走出一条富有中国特色的人工智能伦理治理道路。2022年3月，中共中央办公厅、国务院办公厅印发《关于加强科技伦理治理的指导意见》，确立了“增进人类福祉、尊重生命权利、坚持公平公正、合理控制风险、保持公开透明”五大中国科技伦理基本原则[15]。在本研究中，将“技术伦理规范”定位为基于我国国情与国际趋势，规范我国人工智能技术应用于教育领域所需要遵循的价值理念和行为规范。技术伦理规范作为一种上位的价值导向，在整个面向未成年人的人工智能技术发展蓝图中起统领性作用。因此，从人机共融的角度出发，面向未成年人的人工智能技术伦理规范应全面审视未成年人、社会、自然和人工智能的关系，具体可围绕以下三个维度展开：

以人为本：指保障未成年人成长与发展的福祉，尊重未成年人的生命权利，并引导未成年人树立和谐共处、社会责任、保护自然的意识。人工智能技术应坚持以人为本的发展思想，促进未成年人成长与发展、社会进步和环境保护，构建和谐共进的社会生态环境，促进社会可持续发展。

公平公正：指保障未成年人享有平等公正的合法权益，避免人工智能算法决策歧视未成年人，并引导未成年人树立公平公正的意识。人工智能技术应为不同种族、性别、地区、教育背景的未成年人提供平等的服务内容，并且避免权力滥用和不当歧视的算法模型出现，为未成年人构建一个公平公正的技术环境，营造平等的社会文化氛围。

安全可控：指保障未成年人在使用人工智能技术时的身心健康，并引导未成年人树立自我保护意识。应客观评估和审慎对待人工智能技术给未成年人带来的不确定性和技术应用风险，及时采取防范措施，确保未成年人的身心安全，杜绝不良社会行为和技术滥用现象，增强人工智能技術的公众信任度和认可度。

（四）面向未成年人的人工智能规范体系模型

技术内容规范、技术工具规范和技术伦理规范是人工智能发展的三个方面。本文梳理了人工智能技术发展历程及其在教育领域的应用现状，通过与一线实践者的对话，了解未成年人在使用人工智能技术过程中遇到的问题及实际需求，深入挖掘当前政策对于人工智能技术应用于教育的引导和支持情况，综合考虑教育技术领域专家的意见进行修订与讨论，最终构建了多主体视域下未成年人与人工智能和谐共进的技术规范体系模型，如图 1所示。

“技术内容规范”将基础性、时代性和价值性三个维度的知识结合在一起，旨在从核心素养的角度规范学生能接触到的人工智能技术内容，符合未成年人身心发展规律，促进学生的信息素养和信息能力的发展，提高他们对现代科技的认识和理解，同时增强道德、法律和伦理观念，促进学生的全面发展和社会责任感。学校和教育机构可以根据技术内容规范，制定相应的课程体系和教学内容，帮助学生全面掌握人工智能技术相关知识，提高其核心素养和应用能力。相关企业和监管部门可以根据技术内容规范推动行业应用标准化和规范化，提高人工智能产业的健康发展水平。家长、政府和社会各界可以借以了解和普及人工智能知识，对于不良信息和应用进行过滤和选择，引导未成年人正确使用人工智能技术，帮助他们逐步成为数字时代的主人和有责任感的公民。

“技术工具规范”围绕可用性、适用性、安全性、价值观对AI学习工具的设计、开发和应用全过程提出规范要求，旨在从应用监管角度保障未成年人的使用体验，让人工智能赋能的各类学习工具更有效地服务于未成年人的心理特征、心智特征、年龄特征，体现AI向善原则。企业可以依照规范进行针对性的技术和管理调整，提高维护未成年人权益和保护未成年人安全的意识和能力。政府和监管部门应严格依照规范对市场上的AI学习工具进行全面监管和检查，并积极制定和完善相关的法律和规章制度，规定和约束人工智能技术在未成年人领域的应用范围和规范。此外，未成年人和家长也应根据规范的要求，发挥主观能动性，选择可能带来更好的使用体验的AI学习工具，加强对于不良应用和受限应用的警惕和鉴别，确保自身权益得到充分的维护和保护。

“技術伦理规范”基于以人为本、公平公正、安全可控原则，对人工智能技术伦理治理提出要求，旨在从安全伦理角度促进未成年人、社会、自然和人工智能的和谐共处，树立未成年人的道德伦理价值观。政府和社会可依据技术伦理规范明确人工智能技术应用的道德原则和社会责任，加强对人工智能技术的监管和监督，保障未成年人的权益，为未成年人提供更安全、健康、可控的人工智能技术环境。学校和家长也要注重培养未成年人的人文素质和伦理意识，提高未成年人对人工智能技术的理解和自我防范意识，关注未成年人的心理健康和成长。

四、 结   语

本文首先对面向未成年人的人工智能技术发展现状和应用态势进行了分析，讨论了面向未成年人的人工智能技术内容规范、技术工具规范和技术伦理规范三个层面的研究现状和存在的问题，接着提出了面向未成年人的人工智能规范体系框架，为解决未成年人和人工智能技术融合协调发展问题提供指引。围绕“面向未成年人的人工智能技术规范”，本研究提出了技术内容规范、技术工具规范和技术伦理规范，分别指向未成年人核心素养发展、技术开发与应用监管和安全伦理价值导向，旨在推动面向未成年人的人工智能技术治理，引导智能技术健康发展，并进一步完善面向未成年人的人工智能社会治理生态体系。未来的研究也将继续关注符合未成年人学习特征的人工智能技术产品和应用，提升未成年人的人工智能核心素养和创新创造能力，实现人机相融共进的人类命运共同体。

[参考文献]

[1] 联合国教科文组织.人工智能伦理问题建议书[R/OL].（2021-11-23）[2024-02-29]. https：//unesdoc.unesco.org/ark：/48223/pf0000381137_chi/PDF/381137chi.pdf.multi.

[2] 唐汉卫.人工智能时代教育将如何存在[J].教育研究，2018，39（11）：18-24.

[3] 中华人民共和国教育部.普通高中信息技术课程标准（2017年版2020年修订）[S].北京：北京人民教育出版社，2022.

[4] 中国教育学会中小学信息技术教育专业委员会.中小学人工智能课程开发标准（试行）[S/OL].（2021-10-20）[2024-02-29]. https：//www.ttbz.org.cn/Pdfs/Index/？ftype=st&pms=51978.

[5] 中华人民共和国教育部.义务教育信息科技课程标准（2022年版）[S]. 北京：北京师范大学出版社， 2022.

[6] 联合国教科文组织.中小学阶段的人工智能课程：对政府认可人工智能课程的调研[R/OL].[2024-02-29]. https：//unesdoc.unesco.org/ark：/48223/pf0000380602_chi/PDF/380602chi.pdf.multi.

[7] 中小学人工智能课程指南课题组.中小学人工智能课程指南[J].华东师范大学学报（教育科学版），2023，41（3）：121-134.

[8] 人工智能为儿童项目组.人工智能为儿童——面向儿童群体的人工智能应用调研报告[R].北京：中国商务出版社，2021.

[9] 禹鼎，周颖，李玉顺，沈希，田曼曼，杨冰钰，苏静，孙延.基于 TPACK 框架的英语学习软件调查研究[C]//中国教育技术协会信息技术教育专业委员会第十七届学术年会.天津：[出版者不详]，2022.

[10] 郑智航.人工智能算法的伦理危机与法律规制[J].法律科学（西北政法大学学报），2021，39（1）：14-26.

[11] 邓国民，李梅.教育人工智能伦理问题与伦理原则探讨[J].电化教育研究，2020，41（6）：39-45.

[12] JOBIN A， IENCA M， VAYENA E. The global landscape of AI ethics guidelines[J]. Nature machine intelligence， 2019，1（9）：389-399.

[13] 孙伟平，李扬.论人工智能发展的伦理原则[J]. 哲学分析，2022，13（1）：3-14，196.

[14] 张慧，黄荣怀，李冀红，尹霞雨.规划人工智能时代的教育：引领与跨越——解读国际人工智能与教育大会成果文件《北京共识》[J]. 现代远程教育研究， 2019，31（3）：3-11.

[15] 新华社.中共中央办公厅 国务院办公厅印发《关于加强科技伦理治理的指导意见》[EB/OL].（2022-03-20）[2023-04-12]. http：//www.gov.cn/zhengce/2022-03/20/content_5680105.htm.

[16] 张学军，董晓辉.人机共生：人工智能时代及其教育的发展趋势[J].电化教育研究，2020，41（4）：35-41.

[17] 蔡星月.人工智能的“标准之治”[J].中国法律评论，2021（5）：94-103.

[18] 国家标准化管理委员会，中央网信办，国家发展改革委，科技部，工业和信息化部.关于印发《国家新一代人工智能标准体系建设指南》的通知[EB/OL]. （2020-07-27）[2024-02-29]. https：//www.gov.cn/zhengce/zhengceku/2020-08/09/content_5533454.htm.

[19] 中国人大网. 中华人民共和国未成年人保护法[EB/OL]. （2020-10-23）[2024-02-29]. https：//www.moj.gov.cn/pub/sfbgw/jgsz/jgszzsdw/zsdwflyzzx/flyzzxzcxx/zcxxzcfg/zcfgfl/202010/t20201023_188560.html.

[20] 王沛楠.西方人工智能的数字伦理规制：困境与进路[J].青年记者，2022（13）：95-96.