医疗人工智能应用的伦理设计与原则

张秋菊 蒋 辉

医疗人工智能(artificial intelligence,AI)是AI在医疗领域的应用与开发，它可以通过机器学习、表征学习、深度学习和自然语言处理等各种技术，利用计算机算法从数据中获取信息，以协助制定临床决策为目的，实现辅助诊断、疗法选择、风险预测、疾病分诊、减少医疗事故和提高效率等一系列功能[1]。随着AI飞速发展，医疗AI也会在不同临床活动中发挥超乎想象的作用。根据AI的实力可以大致分为弱AI、强AI和超强AI。由于医疗服务的对象是人，AI在医疗领域的应用必须考虑到人的主体地位、个体差异、心理感受等问题，而且必然顾及医患关系的特点。因此，尽管医疗AI应用越来越广泛，且未来展现出更广阔前景，对疾病诊断、药物筛选及手术治疗、医院管理等带来极大的便捷和帮助，但当前医疗AI应用主要集中在弱AI。

1 医疗AI应用的伦理关系评估

在医疗资源配备不足的地区，应用医疗AI可在一定程度上缓解供需矛盾，但并不能从根本上解决问题。2019年，以临床辅助决策支持系统(clinical decision support system,CDSS)和静脉血栓栓塞症(venous thrombo embolism,VTE)智能防治系统等为代表的AI应用推广较突出，这些应用的确减轻了医务人员的工作负荷，但是也让医务人员有着盲从AI判断的可能。因此，AI的应用像“双刃剑”一样，有着技术应用的效益，也有着不可回避的负面影响。与此同时，诸如隐私保护、数据歧视、人性化关怀等也存在隐忧。

在当前医疗AI还没有相关法律法规的情况下，伦理问题尤其值得思考和关注，做好伦理设计及形成相关的道德原则是AI更好地服务于医疗的必要保证。医疗AI的应用必定会深刻影响医疗人际关系，对此应进行充分评估。医疗AI设计要关注医疗人际关系，尤其是医务人员和患者群体及社会公众，必须事先评估其影响，并正确处理好不同主体之间的关系，是做好医疗AI设计的重要方面。

1.1 影响医务人员的主体作用及主观能动性

医疗AI带来方便的同时可能会淡化甚至隔断部分人际交往，尤其是医患之间的沟通及人文关怀可能被物化。AI无法替代医生，缺乏和医生一样的综合判断能力。尽管AI节省了医务人员的时间、提供了诊断决策建议、起到了重要的辅助作用，但也可能削弱医务人员的主观能动性的发挥，减少创新。医务人员对AI的依赖会影响自身专业技能的修炼，还有可能为技术所累，使医患关系物化，引发医生眼中可能只有疾病而没有患者的现象。如智能预问诊，用户就诊前，智能采集用户病情信息，包括主诉、现病史、既往史、过敏史、家族史等生成电子病历，节省医生写病历时间，但“预问诊”在无形中阻隔了医患交流的部分环境，对医务人员的判断形成干扰、错误引导、倾向性影响，甚至产生误判。

1.2 对患者群体的消费扩展和选择歧视

AI无疑会大大惠及患者，但也存在不少伦理问题。一方面，AI对某些疾病的诊断更精确，部分手术的技术伤害更小，药物使用更加优化，临床诊断意见更有针对性和参考性等。另一方面，AI医疗器械、影像、手术机器人等费用高昂，可能造成歧视和不公平，引发过度医疗等；AI误诊、手术机器人的差错、患者个人资料泄露等无疑是对患者权利的无情践踏，甚至危害公共卫生利益。

1.3 医患关系导向异化

AI不能代替医务人员，也不应挤占本属于医患交往的时间。AI临床应用的基调应该是基于补充、辅助，而非代替，医疗活动中的医务人员、患者都是人，医患之间的交往要体现医学的人文温度，体现医患间的关爱、温情。AI应该优化、彰显医学的人文情怀，体现对人的关怀与尊重，应该把研发的重点放在补充医疗活动中的不足，医院管理系统的AI研究应该把关心人、尊重人放在重要位置；把开发重点放在当前现代医学的不足和亟需的领域，诸如康复治疗、医疗机器人、医疗影像等，为患者提供优良的就医环境和秩序，医务人员不足时借助AI实现关怀、帮助。

2 医疗AI设计的伦理问题

在AI的赋能下，医学的技术性可以得到前所未有的提高。未来AI与临床的密切融合，需要人们关注AI医疗应用引发的一系列伦理问题，医界呼吁有责任、合伦理的AI研发。医疗AI设计的伦理问题最主要牵涉到是否在设计中把握住总体目标是为推动医学事业的发展、为人民健康谋福利；是否在设计中就数据采集的知情同意做好约定，因为医疗AI是建立在大数据基础上的，而医学的特殊性决定了数据采集会涉及到患者权益，知情同意是非常重要的医学伦理原则；数据采集涉及的另一个重要问题就是患者隐私权的保护，更高层次上的安全就是生物安全等问题。这三个重要问题在医疗AI设计时就应该有相关的伦理约定，若等问题发生时再采取措施就为时晚矣。

2.1 难以将设计研发全程纳入监管

在医疗AI的设计之初，工程师可能缺乏对医学特点、医患关系、临床应用的细节及发展趋势考虑，这其实存在一定的失控风险，应该由政府主管部门包括工业信息部、科技部与卫生健康部门联合进行登记管理，根据各自工作职责建立联合工作小组对医疗AI进行监管，在其设计之初就按要求登记。医疗AI的设计要符合医学目的，技术设计应初衷正当，导向良性发展，即推动医学技术发展，更好地服务于人民健康。

尽管目前暂无直接对应AI研发的法规，但从《民法典》《刑法(修正案九)》《医疗卫生与健康促进法》《医疗器械监督管理条例》《信息安全条例》《涉及人的生物医学研究伦理审查办法》等法律法规中，均可以找到很多规范性要求。受试者权益保障主要是隐私信息保护和数据产权方面，不涉及针对人体的风险，但客观存在隐私信息泄露和数据歧视等伦理风险——这常常被忽视，或不够重视，也常常没有相应的风险评估，没有相关的风险防范措施和应急处置预案。由于数据控制权已经不在受试者方面，医院和研究者可以单方面对医疗健康数据进行处理，往往也没有再向受试者履行知情同意，受试者方面没有任何直接获益，而医疗器械AI产品又有明确预期的市场价值，如果从受试者角度而言，常涉嫌违背伦理的尊重原则和公平原则。医疗器械AI产品的注册研发，应该侧重社会公益目的，并在政府有关部门和机构伦理委员会的有效监管下开展。很多情况下，应该鼓励把投入的研发成本收回来即可，不应追求不恰当的过多商业利益，否则就可能违背伦理。因此，医疗AI应用产品具体在设计时，应以社会公益为主要目的，全程纳入政府监管并接受社会公众监督。然后，在AI产品中应编入伦理标准程序并经过检验后使用，包括诸如权利、角色、动机、意图及其他道德相关特征，以期其做出的医疗决策更符合伦理。目前医疗AI的价值体系等同于创建AI的设计者的价值体系。

医学目的原则要求开发设计者与医生增强沟通，真正了解医生的工作和需要、医疗卫生行业服务的性质及宗旨。目前的医疗AI还比较碎片化，没有做到足够的集成化。不同疾病模型的使用环境都不同，如果不能建立统一的集成规范，就会为了追求技术的新奇而使用技术，反而影响了效率，这也正是许多医疗机构即使拥有了AI，医生也经常不使用这些新技术的原因。对此，需要开发者去真正理解医院的整体工作，有的放矢。AI应结合医院整体工作需要、医生工作特点和患者现实困难全盘规划，在设计上从满足需要出发。

2.2 大数据采集和使用的伦理审查挑战突出

数据采集应取得授权，导向有序管理。AI依靠大量的数据支撑，数据从哪来：美国要求医疗信息的商业化应用必须严格符合《健康保险便携性和责任法案》(Health Insurance Portability and Accountability,HIPAA)和《促进经济和临床医疗卫生信息技术法案》(Health Information Technology for Economic and Clinical Health,HITECH)两个法案规定，中国目前在此领域政策上态度不明确。关于数据采集的相关问题应该在设计时就充分考虑，尤其应关注在采集数据时对患者的知情同意权的保护。知情同意权在没有法律规范可参考的情况下就需要医疗AI技术的研究单位和合作单位加强伦理审查，重点针对设计者的科研伦理意识、采集数据时是否履行知情同意、如何保障知情同意顺利进行、在研究过程中谁来监督知情同意实施情况等。对此，鉴于机构伦理审查在医疗健康大数据方面存在的效率和能力问题，应引导发展区域伦理委员会，并有政府委托的医学伦理专家委员会和区域伦理委员会来对医疗健康大数据进行伦理审查和后续使用开发的监管，要警惕医疗AI滥用。AI的先驱约瑟夫·魏森鲍姆曾告诫“任何需要真正同理心的工作，都不应该由计算机从事”。他认为，与机器互动会让人感到孤立和被贬低，医疗AI的滥用会不会在不经意间降低我们对人类生命的重视程度。如果有一天医疗AI 可以实现将人脑数据记录在计算机中，针对残疾者、病患或是逝去的人，制造出载有当事人大脑信息的AI机器人，可以被允许吗？

医疗AI产品研发项目应该先经过学术委员会的立项审核，然后由伦理委员会进行伦理审查。专家组成员、伦理委员、聘请顾问应考虑到医疗AI的特点和所涉及知识、利益群体，纳入软件工程师，医学专家，社会学、心理学、伦理与法律专家，群众代表等。

(1)研究的目的应该是正当的，有前期研究基础和充分依据的，不能在研究基础尚不够、条件不成熟的情况下，随机采集数据去测试、训练。这种行为不仅不尊重数据所有权人、没有严谨的科学精神，而且可能站在利用公民信息谋利的边缘，有违反刑法的风险。

(2)研究所涉及的医疗健康数据不应过多，应该遵循“最小权责”原则，避免不必要的信息过度披露，保护医疗信息安全。这和动物实验伦理中的“3R”原则(减少、替代、优化)道理相通，用能体现统计差异且尽量少的例数来说明问题即可，不应随意扩大数据范围和例数，能使用既往保存的数据时不应采集新的数据，能开展真实世界研究的不应发起干预性研究，否则，既浪费资源，也不安全，自然不符合伦理。

(3)提供AI算法的机构及有关工程师不应该隐形于研究项目和研究团队中。医生大都对AI没有那么深入的研究，不是兼具医疗和软件工程专业知识的复合人才，所以医疗AI应用的研发一般都有软件工程师及有关机构涉足其中，这涉及许多知识产权问题。在项目合作协议和研究团队名单中，应清楚体现该项目与什么公司、高校合作，有什么工程师参与其中，负责哪部分工作，这些均应予以明确说明并登记备案。若牵头医院与软件公司有合作，应有书面协议约定各自权利义务，并将合作框架告知其他参与医院。

(4)在研究方案中，具体表述医疗健康数据的采集、脱敏、加密、储存、物理隔离、转移、销毁等设计内容，不能语焉不详，笼统承诺“保护患者隐私”，这其实容易暗藏猫腻，也是不尊重患者人格与权益的体现。甚至，这样稀里糊涂的研究让人怀疑申办者是别有用心地想获取患者的信息数据。

(5)要清楚界定研究目的和研发阶段，由此作出相应的利益冲突管理。例如，表面声称以写论文为目的，实质上瞄准有功能的产品暗度陈仓，耗费那么多人力物力只是为了几篇论文吗？这样难以自圆其说，也经不起历史考验；在进入市场后，还容易面临产权纠纷。参与单位、患者可能在不知情的情况下被贡献了“脱敏”数据，而事实上患者的个人信息仍可以被分析定位并用于某些产品营销。

(6)要评估参与单位的资质和条件。除了AI算法提供单位具有资质和相应能力外，不同医院会有不同的信息管理平台及软件，统计基础和信息质量也存在差异，有时还可能需要进行有关数据库的建设才能支持AI产品研发。例如，在某牵头医院有建立AI应用的医疗信息数据库，但其他参与医院不一定有，因此如何在信息数据同质化基础上，事先评估参与单位的信息管理平台及软件也很重要，否则统计基础不一、数据质量参差不齐，也难以达到研究目的。

(7)应关注医院信息系统的加密级别和信息安全管理制度。如果医院信息系统本身就不安全，没有应有的安全级别防火墙和加密措施，医疗AI研发很可能会增加患者隐私泄露风险，甚至造成信息安全事件。多中心研究可以汇集起足够的数据，但只要是医疗信息数据，都应该储存在医院，不应随意被第三方软件公司或高校拷贝；如果医院上传数据到云存储，也应该是数据云存储达到安全级别并签有协议，不应没有数据加密或加密太简单，更不允许随意再次拷贝数据或与其他方共享数据等。此外，部分私立医院也保存了很多公民健康信息数据，这些应该符合行业标准并在卫生健康主管部门监管下，不能私自用于非法目的。

(8)关注个人隐私保密问题及相应的工作措施。如果保密制度有缺陷，信息数据被左手交右手、掩耳盗铃、伪匿名，都是对患者权益的侵犯。如果工作人员保密意识不到位，没有做到物理隔离(内部局域网和互联网分开、连入互联网有防火墙)、工作人员隔离(涉及患者信息数据的人员有独立分工，一个工作人员负责脱敏，另一个工作人员负责脱敏之后的操作)，也没有全程监管并记录的制度，伦理审查可以认为不存在研究条件，不应开展此类医疗AI研究项目。有时候，数据脱敏不彻底，或本身没办法做到脱敏(如研究方案要验证结果就不得不标记个人信息)，客观上存在个人隐私泄露的风险，对此，并非像有些人所理解离开人体的信息数据是没有风险的，那只是对人体没有风险，依然存在受试者人格权、财产权、隐私权被侵犯的风险，还可能有涉及罕见病信息的知识产权纠纷。如果只讲采集数据，根本没有转移数据前如何加密的交代，也没有销毁数据的考虑和打算，也算是伦理审查要素不全，不能开展研究。其实，只要给AI多一点时间，曾经被“脱敏”的数据还可以被计算出很多特征性的个人信息，也可以实现歧视性使用数据的功能。

(9)关注研究团队的组成及道德自律。利用他人的信息数据进行加工分析，可能存在很多利益冲突和产权对应性问题。例如，信息科工作人员发起AI研究，本身就存在知识产权的伦理问题。再如，研究团队的构建不合理，只从数据控制权考虑，抛弃和忘却了具有数据所有权的医生和患者，这就类似偷盗或抢夺他人的财产。

(10)尊重患者、服务社会的伦理意识应贯彻始终。实施知情同意是绝对必要的，在可能或有必要实施时偏偏不予考虑，反而申请免除个人知情同意，这是不符合伦理的。例如，前瞻性采集数据做研究时，其实有条件对受试者实施知情同意；又如，在与影像诊断AI判断结果进行对比时，需要根据受试者的个人信息追溯其相关病理结果，这也应对受试者实施知情同意。当然，这并非说知情同意才是对的，但起码要考虑到知情同意，评估知情同意的实施和影响。毕竟有时候存在保护性告知，负面、过载的信息反而是不知情为好，否则增加受试者额外的心理压力和精神负担，反而更多地损害了受试者权益。

值得注意的还有，每家医院伦理委员会只能对自己医院的信息数据负责，如果医院间的伦理委员会制度和标准作业程序(standard operation procedure,SOP)根本不支持伦理结果互认，其伦理批件不能覆盖其他医院，就不能以一纸协议抛开或架空伦理委员会。除非依据政府法定职责所进行的项目或公共卫生应急需要，另行依法实施。而且，风险程度较高的医疗AI研发项目也不能由某一家机构伦理委员会同意后就开展，还应该报省级以上医学伦理专家委员会的同意后进行，因为这类项目可能有很大社会影响，甚至影响全人类。

2.3 缺乏保护个人隐私与数据安全的措施

尽管现在医疗AI技术较为成熟，故障率很低，但由于AI技术的复杂性，除了极少数人能够理解它们是如何工作的，几乎对所有人来说都是一个“黑匣子”[2]。技术的复杂性决定了技术的不确定性，AI医疗应用的可靠性是人们担忧的一个重要方面，当医疗AI带来很多不确定因素，诸如患者信息的泄露，个人安全甚至国家安全可能受到攻击时，人类是无法信任AI的。

医疗数据安全风险一旦发生，直接后果是引发患者安全事件，间接后果是数据泄露所致的一系列影响社会稳定或不公平事件。如保险公司有可能在掌握了个人病史的情况下，提高保险费用，引发社会不公平等问题[3]。

从近年出台的关于AI的相关政策看，从2016年的《“互联网”+人工智能三年行动实施方案》到刚颁布不久的《“健康中国2030”规划纲要》都直接或间接地表明了发展医疗AI产业的支持和推动态度。但国家安全问题不容忽视，如涉及人类遗传资源的AI技术研究，谨防特殊群体、特殊疾病引发的生物安全问题。应该站在国家战略高度认识特殊领域的医疗AI，否则以牺牲国家安全为代价的技术发展无疑是得不偿失的。

2.4 行为主体的责任认定及追究的立法缺失

我国应加强立法对医疗AI应用的有关行为主体进行管理。在医疗AI的设计、审查以及实施方面，既要有对项目的跟踪，又要有对不同行为主体的监督管理，包括设计人员、施工制造人员、测试人员、应用实施人员，也包括实施的环境和条件、数据的管理和监督、数据脱敏化的处理、加密程序以及不同加密钥匙的管理权限。医生对AI系统临床应用的另一个顾虑是谁对医疗AI提供的决策最终负责，如果出现错误，谁来承担后果。当前阶段，医疗AI的最后结果仍需要人工校验审核，医生承担由此对患者诊疗结局的责任。未来临床广泛引入医疗AI后如何实现问责，现在仍不明确。当AI应用结果导致医疗纠纷、关于人的伦理或法律冲突时，能否从技术层面对AI技术开发人员或设计部门问责，并在AI应用层面建立合理的责任和赔偿体系，保障医疗AI在临床发挥其应有的价值[4]。

3 医疗AI设计的伦理原则

医疗AI涉及的伦理问题主体既包括技术设计者，也包括技术使用者，而当前设计者的伦理责任显得尤为突出。未来应该在设计中把握好医学伦理最基本的尊重、有利、不伤害、公正原则，这些原则看似简单实则体现生命伦理的精髓。

3.1 尊重人的人格尊严和价值

医疗AI产品研发应用的首要伦理原则应该是尊重人的人格尊严和价值。这有一系列的伦理问题，例如，它是否能满足和对应人的需求？它应该被使用在什么场景才不损害人的尊严？它与患者的关系是否属于医患关系？出现矛盾时如何解决？其中最大的难题恐怕是人与AI机器对话，对患者权利的尊重如何实现，道德主体如何界定等。在发生医疗AI对患者利益的侵犯和伤害时，诸如隐私权、医疗公正等，如何认定责任。如果AI作恶或者反抗，患者权利如何保障等，这些都是需要在设计源头考虑的问题。医疗AI设计伦理中应该强调人的价值因素，而非仅仅是疾病，AI的临床应用应体现出医学对人的尊重，而非侵害、累及甚至奴役人。要真正贯彻尊重原则，就要深深领悟AI服务于人的根本宗旨，领悟医疗卫生行业是为人类健康服务的信仰。尊重人的价值、人的健康权益、人的生理及心理需求等。在某些领域的技术开发应该通过医院伦理委员会审查，伦理委员会同时提供咨询及帮助。像海豹机器人 Paro 虽然可以帮助老年人释放压力，但Skarkey认为现有的这些替代伙伴并不能真正地缓解老年人的孤独，对于老年人的心理健康，在很大程度上依赖于和人类的接触，需要与照顾人员进行交流[5]。医疗AI对医务人员存在价值排挤，技术设计最初的出发点是辅助、帮助医务人员，但有一种结果应该料想到，那就是某种程度的替代无形中形成的排挤。医疗AI产品上线后，短期内可能会迎合市场需求，缓解供需矛盾，但长期的发展可能是医学的停滞，因为AI缺乏自我更新发展的能力；或者AI形成了自我创新发展的能力，而使医务人员的价值物化、淡化、边缘化，这样的情形都可能发生，而事实上医务人员应该是实施医疗行为的主体，患者需要的也是有真实情感和知觉的“人”。自动化技术的成本正在迅速下降，这意味着2020年价值几百万美元的AI产品到2030年可能只需几千美元，对此要有心理准备。虽然医疗行业是相对复杂的岗位，医务人员的工作很多时候是很难替代的，但这种担忧应该是必要的。

3.2 有利于患者及公共健康

AI对临床的有利应体现在利他和人道方面，能增进患者健康利益和公共健康利益。AI的医疗应用一定是本着对人的医疗权、健康权的更好维护，公共健康利益的更好构建。这种有利是要求AI能增进他人的健康福利，即有利于疾病诊断、医疗救治、临床用药等。应该建立、健全医疗AI设计规范，使AI发挥更大效益，推进医疗卫生事业发展，通过伦理审查，对设计者资质、道德认识、风险预测等及时把控。如果说医疗AI实现了对患者的护理、关怀、陪伴，长此以往对患者生活的介入对患者是一种幸福还是不幸呢？这可能会引起患者心理与情绪的许多变化，祸福相依，因此应在实施应用前进行必要的评估，做出更有利于患者及公共健康的选择，促进未来局面的持续向好发展。医疗AI是否会带来公众就医过程和成本的变化，技术的出现本来应该以追求更高效、快捷的服务为目标，但如果医疗AI增加了就医的复杂程度和时间、费用成本，那它也很难得到伦理辩护。

3.3 不伤害患者利益

医疗AI可能带来的伤害就是技术引发的对患者健康利益的伤害，诸如手术机器人的误诊，技术带来的医疗费用的增长。医疗AI要符合临床诊疗中倡导的伤害最小、费用最少、疗效最好。切记不能为了AI而AI，不能把医疗技术要从人类福祉出发的目的抛掷脑后。如已经有成熟可靠的人工操作，却要加大患者风险把简单的手术交给机器人；或者从商家利益出发进行临床AI替代疗法。发展AI一定是本着不伤害患者利益，更好地服务于患者的目的。在医疗AI研发或应用环节，涉及数据训练和结果分析时，需进行数据授权管理、对医疗数据涉及的关键隐私信息进行脱敏和强加密处理[6]，以防止技术伤害。建议医疗AI的研发应该由国家有关部门主导，联合多家医疗机构共同参与，以确保数据的可信、全面，避免重复建设及资源浪费。在设计和算法上要科学求证、谨慎推进，把技术可能带来的负面影响尽量降到最低。医疗AI关乎健康、生命，这种系统错误的发生成本太高。因此，医疗AI设计时应充分考虑应用医疗AI技术的场景、情境，将可能发展的风险预先进行评估和防范，并实现制定一系列事故发生后的应急处置程序。

3.4 医疗资源分配公正

医疗AI的设计要符合医疗卫生资源公正分配的原则，这是医疗卫生领域的一个重要原则。如果设计者在道德认识中没有充分认识公正原则，不仅不利于AI在医疗领域的长远发展，还会和公共健康利益发生冲突。AI会在机器自我学习中造成偏见，随着算法复杂程度的日益提高，通过机器学习过程形成的决策越来越难以解释AI内部的代码、算法存在的“黑箱”，导致无法控制和预测算法的结果，而在应用中产生某种不公平倾向[4]。如普林斯顿大学的医学人类学家Biehl[7]曾深刻指出，那些被遮蔽的无法获得病患身份的人口才是最脆弱的，也最值得被照护。但现代性公共卫生体制的讽刺之处便在于，几乎所有疾病的诊断和治疗都严重依赖于自愿登记的人口。不可见即不存在，在这种情况下，贫困(财力可获得性)和信息鸿沟(信息可获得性)等诸多因素始终会将本来就缺医少药的那部分人排除在医疗AI所描绘的美好蓝图之外[8]。这显然不符合医疗资源的公正分配原则。

当然一种新技术的出现难免带来这样那样的问题，对现有的道德价值规范体系有一定冲击，我们也不能因为存在潜在风险而拒绝接受，对医疗AI要在谨慎中推进，力求在医疗实践活动中发挥其价值和作用而尽量规避可能带来的风险、矛盾。当前对AI临床应用设计涉及的伦理问题更多关注的是弱AI临床研究与应用带来的问题，未来随着AI的发展，有可能出现的强AI的临床应用也需要学者积极思考、保持关注，这是学者对社会的责任。