人工智能教育应用的价值敏感设计

沈苑 汪琼

[摘   要] 人工智能教育应用的伦理风险可能成为阻滞其发展的重要影响因素。文章从伦理价值角度出发，分析了人工智能应用于教育中会出现的典型伦理困境以及教育环境中处理伦理问题的特殊性，建议采用价值敏感设计作为突破上述困境的方案。在面临准确与透明、隐私与效用、自主与效率、个性与交流等价值冲突造成的伦理困境时，传统的伦理解决方案会在教育环境下面临多重挑战，價值敏感设计作为一种将伦理考量嵌入技术设计的高效方法，坚持人与技术动态交互，要求技术设计彰显利益相关者的价值，采用三方方法论在技术设计前期规避潜在的伦理风险，能够有效推动可信赖的人工智能在教育中的发展。在对人工智能教育应用开展价值敏感设计的过程中，研究者需持中立、开放、敏感的态度，在保持对价值敏感的前提下灵活地选择研究方案，将价值敏感设计扩展到人工智能的全生命周期。

[关键词] 价值敏感设计； 人工智能； 教育应用； 伦理困境； 价值冲突

[中图分类号] G434            [文献标志码] A

[作者简介] 沈苑（1996—），女，江苏苏州人。博士研究生，主要从事人工智能教学应用伦理的研究。E-mail：shenyuan@pku.edu.cn。汪琼为通讯作者，E-mail：wangqiong@pku.edu.cn。

基金项目：教育部科技司2022年教育领域智能社会研究“智能教学环境人机合作平衡点探查”（项目编号：D2022010）；2022年江苏高等教育学会《江苏高教》专项课题“人工智能高等教育应用伦理研究”（课题编号：2022JSGJKT001）

一、引   言

近年来，人工智能（Artificial Intelligence，简称AI）技术以其特有的学习和预测能力受到教育学界的广泛关注。AI在给教育领域带来巨大变革的同时，因价值冲突引发的伦理困境也逐渐浮出水面。比如，通过捕捉学生上课的面部表情和行为来评判课堂教学效果、基于学生以往的学业表现来预测毕业率、使用机器人助教辅助同伴学习等做法，都或多或少在信息安全性、判定准确性、决策自主性等方面受到批判[1]。因此，识别、分析和化解AI在教育中面临的伦理困境，是建设可信赖的人工智能教育（AI in Education， 简称AIED）生态系统的必经之路。在信息科学、计算机工程等学科受到广泛应用的价值敏感设计（Value Sensitive Design，简称VSD）为推动AIED伦理治理提供了重要的方法论立场，有助于平衡工具理性与价值理性，实现人与技术的互相成就与发展。

基于上述背景，本研究以价值冲突作为切入点，分析了AIED应用所面临的四类伦理困境，讨论了传统的伦理困境解决方案在教育领域面临的挑战，进一步阐明了VSD作为突破上述困境的可选方案在理念和方法论上所具备的优势。

在哲学和心理学中，价值或价值观具有不同的定义。为避免语义混淆，本研究统一采用“价值”来指代“Value”，参照VSD的创始者芭提雅·弗里德曼（Batya Friedman）在其著作《人类价值与计算机技术设计》（Human Values and the Design of Computer Technology）中给出的解释，定义本研究中的 “价值”是聚焦于伦理范畴下的人觉得重要的事物[2]。

二、人工智能技术应用于教育的伦理困境

一项教育技术从设计到使用涉及大量直接和间接利益相关者，包括投资者、设计者、推广者、研究者、使用者等。不同的利益相关者在对技术的价值进行认知、取向、定位时常常存在观念上的差异[2]，技术设计与使用也因此不可避免地陷入多元化的价值取向之中，当价值冲突积攒到一定程度就会形成伦理困境。通过梳理相关研究，可以发现AI在教育中的应用存在着四类典型的价值冲突。

（一）准确与透明的价值冲突

长期以来，准确和透明之间的冲突是人工智能领域一项备受关注的议题。一方面，在教育领域，AIED判断和预测的准确性会影响师生的使用意愿。在一个AI助理帮助学生规划就业的项目中发现，学生普遍反映系统给出的建议不够准确，比如，给学生推荐与他们专业无关的课程、不适合新手的实习岗位、离家很远的公司[3]。另一方面，算法模型的透明度也是影响用户信任的重要因素。有研究者指出，相较于一个非常准确的AI系统，师生会更喜欢一个可解释的系统[4]。下述案例解释了低透明度的算法会带来的风险：有研究者发现一所医院的服务机器人在其肺炎患者数据集中学习到了这样一条规则：“有哮喘（x）？圯 低风险（x）”，即哮喘患者死于肺炎的风险较低。机器为什么会学习到这样一条反常识的规则呢？事实上，有哮喘的病人如果得了肺炎会被直接送到ICU，接受到比普通人群更加积极有效的治疗，降低了他们死于肺炎的风险。正因为如此，机器学习模型“误以为”是哮喘降低了风险，而实际上哮喘患者如果不住院的话死于肺炎的风险要高得多。在这个案例中，设计者发现智能系统学习到了此规则之后对其进行了矫正，避免了可能产生的风险[5]。但如果此机器人采用了透明度更低的算法模型，设计者就可能无法及时发现这个问题，致使患有肺炎的哮喘病人听从系统建议而不住院治疗，造成生命危机。

根据目前人工智能技术发展的情况来说，准确与透明往往难以兼得。一些更加准确的模型（如增强树、随机森林、神经网络）大多缺乏可解释性，而一些比较容易理解的模型（如逻辑回归、朴素贝叶斯、单决策树）所做出的预测又不够准确。虽然有许多技术从业者正致力于提升算法透明度，但如何兼顾这两项价值依旧是当前AIED面临的重要挑战。

（二）隐私与效用的价值冲突

AIED需要高质量的教育数据输入才能可靠地运行起来，如果数据量不足、缺少代表性或质量不佳，都会影响到技术效用。虽然在数字时代，采用技术手段收集教育数据对于师生来说已经不是新鲜事，但AI极大地扩展了个人信息收集的场景、范围和数量，打破了传统的隐私边界。随着自然语言处理和图像识别技术的发展，师生的日常对话、表情、行动都可能处于“被监视”的状态之下，使师生处于明显的弱势地位。在数据收集方式上，某些教育机构或企业会对学习者进行不间断的监控、过度收集和囤积数据。在数据类型方面，设想如果某AIED收集和分析学生的家庭关系、经济情况、个人性取向等高度敏感数据，很可能造成利益相关者的强烈抵触。在数据管理和共享方面，研究者、技术企业、学生家长都可能想要访问教育数据，会增加数据泄漏和滥用的隐患。

来自普林斯顿大学的研究者所编写的一个虚拟案例，展现出了隐私与效用冲突的形成过程：某校和AI企业合作收集了大量的学生数据，除了学生的作业情况、考试成绩、上课表现、出勤记录，还有学生进出图书馆、购买零食或午餐、互联网使用情况等记录，以识别出影响学生升学的因素并预测下一届无法毕业的学生。根据校长的经验，家长很可能会反对，他们会担心数据泄漏或者孩子被区别对待，但考虑到提高升学率的紧迫性，校长决定先不告诉学生和家长。学生和家长在新闻上得知此事后，即刻爆发了抗议——家长反映将大量学生数据交给商业公司无疑是侵犯了学生的隐私，也有许多学生反映他们不喜欢被视为研究对象[6]。在这个案例中，正是因为学生、家长、校长、企业等利益相关者对于隐私和效用的价值排序不同，导致了伦理困境的产生。

（三）自主与效率的价值冲突

正如自动驾驶领域中被广泛讨论的人和自动驾驶汽车应该分别承担什么样的角色一样，在教学过程中的人和AI应该分别扮演什么样的角色才能在自主（Agency）和效率之间取得平衡，是AIED应重点考量的内容。教学主体的自主意味着师生能够自己设定目标、作出反思和负责任地行动。调查表明，大部K-12教师对于AIED抱有矛盾的态度：一方面，他们认同AI能够代替教师完成部分工作，提升工作效率；另一方面，他们担心教师角色被AI取代，丧失自主性[7]。

自主与效率之间的冲突源自于设计者和师生希望技术在课堂上承担的角色有所不同。目前，国内外各教育阶段都开始尝试使用助教机器人来提升教学效率（如国内用于学前教育的Keeko、德国用于高校教学的Yuki、美国用于STEM教育的NAO等）。有研究表明，机器人拟人化是提升用户信任的重要因素[8]，但对于教育领域来说，师生之间的权威关系以及学生之间的互惠学习关系使得课堂互动本身就具有特殊的伦理属性，机器人的介入反而可能损害到师生的自主性[7]。还有研究发现，当课堂上的AI助教“假装自己是人”的时候（如揣测学生的情感、擅自帮教师做决定），会引发师生的不适感和情感负担[9]。

（四）个性与交流的价值冲突

在教育领域使用人工智能的主要目的是希望借助机器学习技术提供个性化学习服务，缓解教育过程中资源分配不公平。但多项面向师生的调查发现，过度集中于个性化目标的人机互动可能会阻碍到课堂上师生或同学之间的真实交流[7，10] 。

比如有研究者观察了智能导师系统（Intelligent Tutoring System，简称ITS）支持下的课堂协作过程，发现由于ITS强调满足学生的个性化需求，导致学生很难在课堂上去专注达成集体目标。而且ITS基于学生的个人学习轨迹提供个性化指导，导致学生之间对于同一知识点的了解情况有所差异，因此，课堂上的学生协作活动效果不佳，教师指出“学生实际上在课堂上是孤独的”[11]。还有教师表示担忧，借助AI软件学习外语会减少学生与他人自由对话的机会和欲望，从长期来看不利于提升口语[10]。

三、传统伦理解决方案在教育中面临的挑战

在技术发展过程中，化解伦理困境的方式多种多样，如事后修补、改进技术设计、出台伦理原则等。但是，AI应用于教育领域的过程中，面临着试错成本高、利益相关者缺位、伦理原则难落地这三大挑战，以至于很难单纯借助传统的解决方案来摆脱伦理困境。

（一）AIED在教育领域的试错成本高

教育实践复杂且隐晦，教育者、受教育者、技术、实践效果之间相互作用、相互规定。与其他AI应用领域不同，在教育领域实施某项技术干预所带来的影响无法被快速、直接地观察到，导致试错成本高。如果针对伦理困境采用事后修补方法，必然意味着已经造成了某些负面影响。

一方面，教育领域中试错的时间成本高。用户在电商平台买到不合适的产品可以立即辨别然后退货，但一项教育技术的实际效果却很难从几节课上判断出来，而是需要长期的、科学的教育评估。在这个长期过程中，学生可能会遭受不可逆的负面影响。另一方面，教育领域中试错的机会成本很高。与医疗和交通领域中生死一线的问题相比，在教育中出错的后果似乎显得不是那么“慘烈”，但当一项不恰当的技术被应用于教育中必将意味着学生失去了在此教育阶段得到更优质教育的机会，可能会错过最佳的教育时机。

也正因为如此，相较于各种互联网商业模式近年来在不断地试错中迅猛发展，尽管计算机辅助教学在20世纪50年代就开始发展，但至今仍旧面临着关于隐私、知识产权、网络成瘾等方面的争议。如果AIED不加以精心设计就贸然进入教育领域，从长期来看同样会受到大量关于伦理的质疑。而且具有自我学习能力的AI往往多用于分析、预测这些原本只有人类才能完成的任务，会引发更多关于自主性、透明度、责任分配的问题。因此，在AIED产品的早期设计阶段就需要前摄性地将伦理纳入考量，以降低甚至消灭在教育情境下的试错风险。

（二）教学主体在AIED设计中的缺位

改进技术设计也是规避技术伦理风险的典型手段，但在当前人工智能教育应用的相关研究中呈现出明显的教学主体缺位现象，导致技术改进难以触及真实用户的痛点。笔者以字符串“artificial intelligence” AND （ethic* OR moral OR responsible* OR trust*） AND （teaching OR education OR learning） NOT “machine learning” NOT “ethics education” 在IEEE Xplore、 Wiley Online、 ERIC、 ACM、 Web of Science五个数据库中进行检索。在检索到的1645项研究中，仅有26项研究采用实证方法调查了师生对于AIED的了解程度或态度，其中，只有9项研究的主题与伦理高度相关。

可以发现，尽管目前学界对AIED伦理的关注度较高，但是利益相关者的真实观点在技术发展过程没有受到充分的重视。对于研究者所作出的风险预测（如学习分析可能会侵犯隐私、机器人可能会取代人类教师、人脸识别可能阻碍学生的情绪表达能力发展），目前，缺少教育场景下的证据来证明这些预测的准确性。另外，师生的价值倾向也可能与技术设计者预想的不同。AI研发企业致力于提升产品的响应速度和预测准确性，但有研究者指出，比起系统的准确性或者个性化程度，教师更看重透明度[4]。有研究者设计的一个聊天机器人原型，为了满足透明的要求，以“我察觉到你有些孤单……”来开启聊天，但学生却反映不喜欢被机器人揣测自己的感受[9]。因此，为了能够设计出真正能满足师生需求的AIED产品，需要积极开展实证研究去了解在最终应用环境中利益相关者的价值取向，才能做出有效的技术改进。

（三）AI伦理原则在教育中“水土不服”

近年来，各国政府、企业联盟和学术机构都积极制定AI伦理原则，如欧盟出台的《可信赖的人工智能伦理准则》、原子塔——欧洲科学媒体和民主研究所的《美好AI社会的伦理框架》、我国发布的《新一代人工智能治理原则——发展负责任的人工智能》等，以期指导、规范AI产品和服务。笔者对五篇AI伦理领域内权威专家的综述文章中的关键主题进行编码分析，发现目前AI伦理领域的话语显著收敛于“透明可解释”“公平”“自主”“安全”“隐私”“责任”“社会福祉”这七个主题下。但聚焦于教育领域，宏观的AI伦理原则与实际研发和应用之间还存在着巨大的鸿沟，仅将AI伦理原则生搬到教育领域可能会出现“水土不服”的情况，具体原因可以从下列四个方面进行分析：

第一，由于提出AI伦理原则的哲学家们大多遵循的是传统伦理学中自上而下的研究路径，以一般的伦理原则（如安全、无害）为起点来推测AI应用的潜在风险，但尚不能确定这种“假定”的风险究竟是否会真的出现、利益相关者究竟是否会将其视作风险。任何伦理设计和伦理规范能否真正发挥效用、能否真正贯穿于教育教学过程中，与教育参与主体的个体心理状态密切相关。如果缺少对于AIED发展情況、技术原理、教育现实的深入分析，其效果只能是“隔靴搔痒”，很难为师生破解伦理困境提供直接有效的指导。

第二，即便有研究者提出了专门针对AIED的伦理原则，但如何将原则转译为易于理解、具有可操作性的行动仍旧是一项重大的挑战。例如，Aiken和Epstein提出，“AIED应该营造促进探究和好奇心的环境鼓励学生学习和探索”“AIED不应该试图取代教师，而应该帮助教师胜任原本难以达到的创造型新角色”[12]，但如何在技术细节和教育实践中落实这些要求，还需要更多证据的支持。

第三，当前AI伦理原则之间缺少优先级，多条原则在实际应用中可能产生冲突。比如，高透明度和高准确度在机器学习中难以兼得、在强调平等的时候弱势学生群体遭遇边缘化、在追求个性化的路上牺牲师生隐私……事实上，如前文所述的四类伦理困境并非因为缺少伦理原则才出现，而是因为在某些特定情况下无法同时实现多条伦理原则才致使价值冲突。让我们设想一个“知情”和“无害”原则的冲突情境：某AIED系统在收集学生大量个人数据来预测学情之前要获得所有学生的知情同意，确保他们知道自己的哪些数据会被收集和做什么用途。然而，研发者耗费了大量的时间来开发学生可理解的说明文本、与学生进行沟通，但某些升学率不理想的学校可能正在急迫地等待这个产品来改进教学，如果无法及时使用此产品，对他们来说也是一种伤害。对于这类情况来说，伦理原则无法起到化解冲突的作用，反而将利益相关者置于进退两难的境地。

第四，当前AI伦理原则缺乏配套的问责、处罚和纠偏机制，主要依赖行动主体的自我规制，这可能导致AIED的研发者和使用者将伦理原则当成不具约束力的附加要求。一项对比实验发现，阅读伦理准则不会对技术研发人员在伦理困境下的决策产生显著影响[13]。仅依靠伦理原则来规范AIED最多只能达到“弱约束”的效果，要建立起可信赖的AIED生态系统不但需要外在规约，更需要回归内在的人类价值，使技术真正成为帮助人类实现价值的有效工具。

四、VSD作为突破困境的新方案

（一）VSD的起源与发展

采用传统的伦理解决方案难以摆脱AI应用于教育所面临的伦理困境，应用伦理学领域多年来所倡导的“设计转向”（Design Turn）为突破困境提供了新的进路。设计转向强调通过现实体制和物质条件的设计实现伦理目标，比如，用减速带帮助用户遵守交通规范、用通俗易懂的cookie说明提升用户的知情程度。在设计转向的风潮下，人们开始采用各种在技术设计中嵌入人类价值的策略，如参与式设计（Participatory Design）、以用户为中心的设计（User-centered Design）、价值敏感设计（Value Sensitive Design，VSD）等。

相较于前两种强调功能性价值的设计方法，VSD更强调伦理价值（如知情同意、信任、安全）。伦理价值是人们出于福祉、正义、尊严的考虑所作出的判断，并不能与个人偏好、经验事实混为一谈。芭提雅·弗里德曼（Batya Friedman）等人在20世纪90年代首次提出VSD，主张系统设计要彰显并均衡利益相关者的价值，使潜在的伦理风险在设计阶段就得以解决。弗里德曼提出了13项系统设计中的常见价值，包括：人类幸福、所有权和产权、隐私、不受偏见、普遍可用、信赖、自主、知情同意、问责、礼貌、身份、平静和环境可持续性[14]。

VSD起初多被用于信息通信技术领域，因其具备充分的包容性与灵活性，后被推广至制造、建筑、交通、制药等领域。VSD也广受国外AI研究者的青睐，如有研究者提出了以关怀价值为中心的护理机器人设计（Care Centred Value Sensitive Design， CCVSD）[15]、造益社会的人工智能设计（AI for Social Good）[16]。相较于日臻成熟的国外研究，我国的VSD研究还处于介绍和引进阶段，鲜有本土化的实证案例研究。

（二）VSD的核心主张

VSD的核心主张为识别和分析教育中的AIED伦理困境提供了重要的理论“透镜”。

1. 坚持人与技术动态交互的基本立场

技术在人与世界的关系中起着桥梁作用，不但影响着人对外在世界的感知，还影响着人的行为方式。VSD主张人与技术之间存在动态交互的关系，这种观点要求我们在识别AIED伦理困境时要持续关注利益相关者在困境下的角色作用与行动轨迹。

首先，人与技术之间的交互关系意味着人类创造了技术，而技术的设计特征和使用情境又会激发人类特定的思维、行为和价值模式，反过来塑造人类经验和社会。正如弓箭的发明为人类提供了在安全距离内杀死敌人的可能性，从而改变了社会道德格局一样，当某件在传统教育中不可能的事在AI支持下变为可能（如拍照搜题、预测辍学率、标记“有风险”的学生），就为人的行动开辟出了新的道德可能性。人的价值决策不再仅仅是内在的价值选择，而是在技术规范下的选择。所以，需要从设计阶段就提前考虑技术在最终应用场景下会赋予人怎样的行动机会、又会对人造成何种影响。

此外，人类与技术的交互关系呈现出动态特征。在技术、个人、社会的相互作用过程中，各种正负面的影响会持续形成与消解。这种动态性要求技术研发者与研究人员要在AIED全生命周期中对各类潜在影响保持充分警觉，持续寻求伦理维度的现实关照，推动技术优化多轮迭代。

2. 技术设计应彰显各方利益相关者的价值

弗里德曼指出，技术并不是中立的，价值体现在技术特征之中[14]。VSD要求技术所彰显的价值具有科学性和代表性，使利益相关者可以使用技术做他们想做的事，防止不该发生的事情发生。这种观点要求我们在识别和分析AIED伦理困境时考虑到尽可能多的利益相关者们分别持有的价值取向。

AIED涉及大量的利益相关者，包括直接利益相关者（即与技术直接发生互动的人，如教师和学生）、间接利益相关者（即不直接使用技术但会受到影响的人，如旁觀孩子和机器人对话的家长、校园监控系统中作为数据点的行人、学生家长）、技术设计者、资助技术开发和部署的机构、媒体、保险公司等。弗里德曼还特别指出了两类易被忽视的利益相关者。第一类是可能因技术引导而做出利他行动的人（Pro-social Stakeholder），比如，智能穿戴设备应该在设计上考虑到如何在紧急情况下引导路人为运动者提供帮助。第二类是像老人、贫困者、名人、小众宗教信仰者等特殊人群，比如，在设计某款AIED软件时应该考虑到陪同儿童共同学习的祖父母的价值。

另外，个体在不同情境下会切换利益相关者角色，比如，当一位教师正在阅读智能教学系统报告时，他是直接利益相关者，而当他旁边的同事正在阅读报告的时候他就变成了旁观者。我们需要理解个体在角色上的转换，才能更准确识别到价值的变化和原因。

（三）VSD的研究方法

VSD三方方法论（如图1所示）为突破人工智能教育应用的伦理困境提供了落地化的执行方案。分别是概念研究（Conceptual Investigation）、经验研究（Empirical Investigation）和技术研究（Technical Investigation）。

其中，概念研究是指在理论层面对技术应用背景、利益相关者、价值概念以及价值张力进行识别或预测。考虑到每个AIED应用项目建设的初衷不同，某特定AIED本身、某教育应用场景、教师和学生等利益相关者群体都会影响价值被理解的方式，研究者需要综合分析上述背景中的要素和变量，在此阶段要尽可能中立地给出初步的价值定义。比如，弗里德曼等人将“信赖（Trust）”定义为“当我们在非常脆弱、可能会受到伤害的时候，我们相信别人不会伤害自己”[14]。这显然与字典定义不同，是通过实际思考总结出来的情境化定义。

经验研究是指对技术所处的现实人类环境进行考察，调查利益相关者在与技术互动过程中可能受到的影响、对价值的理解与权衡，比较设想的价值与现实中的价值是否存在差异。经验研究能为概念研究中的假设提供实证支持，也能避免技术研发者忽视掉某些实际上非常重要的价值。比如，观察、访谈、实验、实物收集、行为测量、生物测量等社会科学研究中的数据收集方法以及启发式卡片（Envisioning Cards）①、价值场景叙事（Value Scenario Narrative）②、价值坝与价值流（Value Dams and Flow）{1}等启发式方法都可被用来识别和定义真实场景下的价值。

技术研究是指从技术层面开展价值维度的分析和设计，关注价值能否以及如何通过有效的技术设计而获得支持，判断哪些功能应当被保留或舍弃、应该增添哪些功能来更好地支持价值。技术研究中一般采用两种方法。第一是回顾分析既有的解决方案，比如，为了支持“知情同意”价值，浏览器cookie的设计者会给用户提供可理解的说明文本、允许用户自主控制可被收集的信息类型；为了支持“公平”价值，图像搜索软件的设计者会避免使用代表性不足的数据集、公开算法的准确率。第二是主动设计出全新的技术方案和配套的外部解决方案（如规范使用方式、政策法规支持等）来支持价值的实现。

总体来说，VSD作为一种相当灵活的研究方法，具有充分的潜力来识别、分析、突破AIED的伦理困境。上述三种研究相辅相成，无需严格按照顺序开展。一项VSD研究可以先用概念研究定位潜在价值，可以先开展经验研究了解应用环境，也可以先从技术研究切入分析产品特征。而且这三种研究也可以在一个项目中多次使用，比如，在经验研究之后，研究者可以对概念研究中提出的价值定义进行调整；在技术研究之后，研究者可以补充开展经验研究来考察技术改进后的效果等，通过多轮迭代以达到最大化利益相关者的正向价值和最小化负面影响的设计效果。

五、讨论与总结

本研究讨论了人工智能在教育中应用会面临的伦理困境，分析了传统伦理解决方案难以奏效的原因，提出了采用VSD作为突破困境的可选方案。在本节，笔者对于一些误解和质疑进行回应，提出了未来在AIED领域实际开展VSD需要注意的要点。

（一）研究者需保持中立、开放、敏感的态度

在多年的发展中，VSD的支持者和批判者开展了一系列争论，包括：在概念研究中预设价值是否会遗漏掉某些重要价值，将价值定义成“重要的事物”是否过于模糊，VSD是否缺乏核心的价值系统等。这些争论意味着VSD并非“万金油”，即便VSD为建设可信赖的AIED提供了可选方案，但对研究者的科研素养也提出了较高的要求。负责开展VSD的研究者本身也是利益相关者，一方面，在概念研究过程中也需要考虑到自身的价值倾向；另一方面，在开展经验研究时需要对于各类利益相关者、各项潜在价值保持中立、开放、敏感的态度，避免内隐偏见影响到研究结果的可靠性。

（二）在保持价值敏感的前提下灵活选择研究方案

考虑到许多项目会受到时间、人力等资源限制，无法调查到全部利益相关者的观点，也很难将三类研究悉数完成。因此，研究者应当在保持对价值敏感的前提下根据实际情况灵活选择研究方法。有研究者检索了1996—2016年以来200余篇VSD相关研究，发现其中仅有17篇论文完整使用了这三种方法[17]。VSD作为一种非常灵活的方法，并不强求一个研究项目要将概念研究、经验研究、技术研究悉数完成，其中任何一种研究都可以被单独使用来形成对价值维度的洞见。比如，有研究者通过概念研究分析了增强现实技术会涉及的七项价值[18]，有研究者通过经验研究调查了青年流浪汉对于“安全”的理解[19]，也有研究者通过技术研究改进了维基百科专题的推荐算法[20]。

（三）将VSD扩展至AIED全生命周期

弗里德曼提出的VSD预设了在设计阶段就可以确定价值体系，然后有针对性地进行设计[21]。但由于AIED的特殊性，针对AIED的VSD不能局限于技术设计阶段，需要扩展到技术生命的全周期中。一方面，使用机器学习算法的AIED通过对数据进行学习来自动生成算法，具备黑箱特点，设计者难以知晓这类AIED在实际应用中会学习到什么样的数据、形成什么样的算法。另一方面，研究者无法预料师生在实际使用的过程中究竟是否会按照设计者所想的那样行动。由于人与技术的动态交互关系使得价值及其内涵也处于变化之中。这种本体论上的不确定性意味着即便有事前完整的设计，研究者也很难预见到系统在实际使用过程中会产生哪些新的价值问题。De Reuver等指出，针对AI的VSD应该有第四种研究——反思研究（Reflexivity Investigation），持续监测AI应用过程中可能产生的预料之外的结果并及时修正调整[21]。具体来说，研究者要在应用过程中不断检查：当前应用状况是否仍旧支持着在设计阶段确定的价值，应用过程中是否出现了设计阶段未预料到的违背价值的情况，AIED系统是否从用户数据中学习到了新的价值模式，是否产生了新的价值冲突，原有的价值排序是否被打破等。为解决这些问题，设计者在完成实地部署后需要保持动态的调控和监督。

[参考文獻]

[1] 邓国民，李梅.教育人工智能伦理问题与伦理原则探讨[J].电化教育研究，2020，41（6）：39-45.

[2] FRIEDMAN B. Human values and the design of computer technology[M]. Cambridge： Cambridge University Press， 1997.

[3] WESTMAN S， KAUTTONEN J， KLEMETTI A， et al. Artificial intelligence for career guidance - current requirements and prospects for the future[J]. IAFOR journal of education： technology in education，2021，9（4）：43-62.

[4] HOLMES W， PORAYSKA-POMSTA K， HOLSTEIN K， et al. Ethics of AI in education： towards a community-wide framework[J]. International journal of artificial intelligence in education， 2022，32：504-526.

[5] CARUANA R， LOU Y， GEHRKE J， et al. Intelligible models for healthcare： predicting pneumonia risk and hospital 30-day readmission[C]//Proceedings of the 21th ACM SIGKDD international conference on knowledge discovery and data mining. New York：ACM， 2015：1721-1730.

[6] Princeton's UCHV& CITP. Princeton dialogues on AI and ethics case studies[EB/OL].[2023-02-27]. https：//aiethics.princeton.edu/case-studies/.

[7] CHOUNTA I A， BARDONE E， RAUDSEP A， et al. Exploring teachers' perceptions of artificial intelligence as a tool to support their practice in Estonian K-12 education[J]. International journal of artificial intelligence in education， 2022，32（3）：725-755.

[8] DUFFY B R. Anthropomorphism and the social robot[J]. Robotics and autonomous systems， 2003， 42（3-4）： 177-190.

[9] WANG Q， JING S， GOEL A K. Co-Designing AI agents to support social connectedness among online learners： functionalities， social characteristics， and ethical challenges[C]//Designing Interactive Systems Conference. New York： Association for Computing Machinery， 2022：541-556.

[10] JONES S， RICHARDS A， CHO Y， et al. The effect of the fourth industrial revolution on general english education[J]. Korean journal of general education，2018， 12（2）：169-197.

[11] UTTERBERG MOD？魪N M， TALLVID M， LUNDIN J， et al. Intelligent tutoring systems： why teachers abandoned a technology aimed at automating teaching processes[C]// Proceedings of the 54th Hawaii International Conference on System Sciences. Hawaii： Scholarspace，2021： 1538-1547.

[12] AIKEN R M， EPSTEIN R G. Ethical guidelines for AI in education： starting a conversation[J]. International journal of artificial intelligence in education， 2000，11（2）：163-176.

[13] MCNAMARA A， SMITH J， MURPHY-HILL E. Does ACM's code of ethics change ethical decision making in software development？[C]//Proceedings of the 2018 26th ACM Joint Meeting on European Software Engineering Conference and Symposium on the Foundations of Software Engineering. New York： Association for Computing Machinery，2018：729-733.

[14] FRIEDMAN B， HENDRY D G. Value sensitive design： shaping technology with moral imagination[M]. Massachusetts： MIT Press， 2019.

[15] VAN WYNSBERGHE A. Designing robots for care： care centered value-sensitive design[J]. Science and engineering ethics， 2013， 19（2）：407-433.

[16] UMBRELLO S， VAN DE POEL I. Mapping value sensitive design onto AI for social good principles[J]. AI and ethics， 2021，1（3）： 283-296.

[17] WINKLER T， SPIEKERMANN S. Twenty years of value sensitive design： a review of methodological practices in VSD projects[J]. Ethics and information technology，2021，23：17-21.

[18] FRIEDMAN B， KAHN P H. New directions： a value-sensitive design approach to augmented reality[C]//Proceedings of DARE 2000 on designing augmented reality environments. New York： Association for Computing Machinery，2000：163-164.

[19] WOELFER J P， IVERSON  A， HENDRY D G， et al. Improving the safety of homeless young people with mobile phones： values， form and function[C]//Proceedings of the SIGCHI conference on human factors in computing systems. 2011： 1707-1716.