论医学人工智能的运用、伦理风险与规制

○ 陶林

（南京医科大学 马克思主义学院，江苏 南京 211166）

人工智能（Artificial Intelligence 简称为AI）的使用，为人类未来崭新的生活方式打开了一扇大门。“机器人给人类带来的影响将远远超过个人计算机和互联网在过去几十年间已经对世界造成的改变。”[1]目前国内学界对于人工智能可能导致的各种社会风险进行了相关研究[2]，医学人工智能的伦理风险及其规制也是当前医学伦理学的研究热点之一[3]。2017年7月，国务院印发了《新一代人工智能发展规划》，提出发展智能医疗，实现智能影像识别、病理分型和智能诊断多学科会诊等。但人工智能的发展带有不确定性和风险性，人工智能在医学治疗、诊断、预防等方面得到有效应用的同时客观上带来了一些医学伦理风险。医学人工智能伦理风险的研究“无论怎么强调都不过分”[4]，需高度重视人工智能对人类社会带来的重大变革，采取客观谨慎的心态对待医学人工智能可能带来的医学伦理风险，并制定相应对策有效规制。

一、医学人工智能应用的现状

在医学影像、诊断辅助[5]、健康管理、疾病预测等相关医学领域，人工智能得到广泛应用，新兴的医学人工智能技术产品逐步从模拟性研究转向实践性临床应用，“医学人工智能正在医学影像、医学诊断、药物研发、健康管理等领域掀起一场新的创新革命”[6]。从医学领域分类看，目前医学人工智能运用大致分为六大方面。

（一）医学人工智能的智能影像运用

2014 年，国际著名医学影像公司英利蒂克（Enlitic）开发出通过X光照片和CT扫描图像识别恶性肿瘤的软件，之后相关人工智能的医疗影像软件得到开发和运用。目前，人工智能在医学影像领域中应用较广且表现优异的是肿瘤影像识别，“如一种基于乳腺X线钼靶的AI早期乳腺癌自动分类技术区分肿瘤良性与恶性的准确率高达95.83%”[7]。

（二）医学人工智能的辅助诊断

人工智能可以辅助医生进行病情诊断，增加诊断结果的准确性，可以超越以往专家或医疗设备单独工作能够达到的诊断水平[8]。武警黑龙江省总队医院对2018年7月—2019年6月门诊智能导诊机器人应用效果进行了评价，发现智能导诊几乎减轻了分诊护士50%以上的工作量，患者满意度提高了14%[9]。又如，“以脑卒中为例，将放射科的脑卒中AI应用和神经内科的临床辅助决策系统融合到移动卒中单元中，快速实现患者的诊断、病情评估和治疗方案推荐，可以为急诊医生节省宝贵时间”[10]。再如，“从数据库中搜集青光眼的症状图像，将图像进行特征萃取并用于卷积类神经网络进行训练，其结果能达到100%的辨识准确率”[11]。

（三）医学手术机器人的运用

医学手术机器人已在神经外科、腹外科、胸外科、骨科、血管外科等多领域得到广泛运用。1994年首台商业外科手术机器人在美国出现，1997年利用这台机器人美国完成世界首例腹腔镜下的胆囊切除手术。2013年上海交通大学成功研制出第一台智能轮椅机器人。美国食品药品监督管理局（Food and Drug Administration）已经批准将达芬奇机器人手术系统用于成人和儿童的普通外科、胸外科、泌尿外科、妇产科、头颈外科以及心脏手术。2016年首款真正意义上的智能组织自动化机器人（Smart Tissue Autonomous Robort）在美国诞生[12]，标志着手术机器人正式进入自主化阶段。表1显示了近年来医疗机器人的使用热门主题。随着5G技术的高速发展，遥控操作、远程手术操作成为可能。2020年，国际顶级学术期刊《Nature》将医疗机器人结构的灵活性、人机交互技术的高效性以及远程操作技术列为未来产业发展重点[13]。

表1 基于 LDA 算法识别的医疗机器人热点主题[14]

（四）医学人工智能在健康管理和护理中的运用

人工智能在健康监测、慢病管理、情绪调节、合理膳食指导方面具有一定的优势。包括：1. 降低疾病风险。人工智能技术可以利用互联网与传感器等获取人类的饮食、心理、身体健康等多方面的个体化信息，对人类身体素质进行综合评估，从而提供更科学的个性化健康管理方案。2. 高效辅助康复医疗。利用智能化穿戴设备或智能家居可以获取患者各方面的生理参数等健康信息[15]。3. 辅助护理。在国外人工智能已普遍运用于人们的日常生活护理中，“如日本研究机构Riken开发的机器人Robear，能将病人从床上抬起，帮助行动不便的病人行走、站立等；应用AI开发的机器人能为老年人及瘫痪患者提供喂饭、日常照护等服务”[16]。

（五）医学人工智能运用于智能药物研发

借助人工智能深度学习和大数据平台，在智能药物研发中医学人工智能具有一定的优势。在新药研发、老药新用、药物筛选、药物副作用动态监测等方面，医学人工智能可对较有可能成为药物的化合物进行虚拟高通量筛选，预测化合物的活性。在临床试验阶段，医学人工智能可对受试者进行精准挖掘，对疾病数据进行深度研究。因此，人工智能运用于药物研发可以节约研发成本，如某公司基于人工智能系统能够比传统方法节省3/4时间和成本得到靶点药物研发的新候选药物[17]。

（六）医学人工智能在新冠肺炎疫情的诊断和可视化监控中的运用

在国内新冠肺炎疫情防控中，医学人工智能得到了应用和推广，在有效精准防控疫情方面作出了一定的贡献。人工智能借助大数据技术可以通过影像识别、自动体温检测和病毒溯源等辅助新冠肺炎诊治以及疫情监测预警。基于人工智能的疫情监控云平台监测预警、疫情地图、确诊及密切接触人员轨迹追踪、人群流动监测等预警关键技术，人工智能在减少人力成本、降低感染风险的同时可以显著提升抗疫效率。但“因数据壁垒、数据标准和算法瓶颈等原因，其优势在抗击疫情中没有得到充分发挥”[18]。

二、医学人工智能伦理风险的困境

（一）患者隐私权的保护缺失

大数据和人工智能应用于医学治疗，患者的相关信息资料会被保存在系统中，包括姓名、家庭住址、联系方式、工资收入的银行卡号、社保卡号、病史、用药情况、付费情况等等。这样做一方面方便医生了解患者相关信息以做出及时诊断，另一方面则存在患者信息泄露的风险。因为患者的信息被保存在医院的系统中，但目前并没有相关法律法规规定医生和医院必须对患者信息进行保护。在我国现有法律法规中，还没有专门的隐私权保护法，仅《中华人民共和国民法典》《中华人民共和国侵权责任法》《中华人民共和国执业医师法》《中华人民共和国护士管理办法》等部分法律条文涉及隐私权保护，且这些法律条文的规定也比较笼统。如果患者的信息被医护员工或者商业公司用于商业用途，患者将遭受公民隐私权严重侵犯等不必要的风险，如患者或因某一病史而受到就业歧视，或在购买相关保险产品时受到限制。

（二）医者主体的模糊和人工智能主体资格认定的争论

在医学人工智能得到逐步运用的同时，学术界和医学界关于医者主体的模糊和人工智能主体资格认定的问题产生了争论，其中医学人工智能未来能否取代医生成为争论的焦点之一。一些学者认为虽然目前人工智能尚处于低级阶段，但是人工智能具有深度学习和进化的特征，因此从发展趋势看，人工智能的主体资格认定将在不久的将来成为法学的热门话题。从世界范围看，一些国家已经立法，同意人工智能机器人具备公民资格。如2017年10月25日，机器人Sophia（索菲亚）在沙特阿拉伯获得国籍，成为首位具有公民资格的机器人。从医学临床中远程医疗、机器筛查、手术机器人等的运用可以看出，人工智能具备效率较高、不会疲劳等优势。“2018年在全球首场神经影像人机竞赛中，由中国国家神经疾病AI研究中心研制的医学AI机器人，成功击败了由全球25名神经系统疾病诊断专家组成的团队。”[19]未来人工智能机器人能否取代医生实际上涉及哲学的重要命题，即机器人未来是否会取代人类。从马克思主义的科技哲学思想看，人与机器的关系应该是辩证统一的，机器的发明和使用是为人类造福，机器是工具，人才是目的；从医学技术自身看，治理诊断患者不仅需要专业的医学知识积累，还需要长期的临床实践，医生和护士的医疗技术不仅仅是显性知识，还包括隐性知识，医学人工智能只能是医生或者护士的助手。人工智能通过对大量数据的辨识和分析计算，能够给医生提供具有一定参考性的常规医疗方案，但是医生对于患者的诊断和救治，不能完全依赖于技术，因为在实际工作中，患者的病情错综复杂，不同的病情，诊断的方法也不同，再精密的医疗技术数据分析也不能代替医生的人脑，医生需要根据具体病情做出综合判断。

（三）算法歧视风险

“算法是AI的核心”[20]，若算法出现差错，就会使得人工智能天生地对特定人群产生“算法歧视”。但“即便算法公开，也并不能解决算法歧视等问题”[21]。也就是说，从目前人工智能发展程度看，算法自身存在的缺陷，可能导致侵犯患者病情知情权的问题，同时“出现的算法安全和准确性问题可能损害患者的身体健康”[22]。尤其是当“算法歧视”针对特定人群或者一些疾病患者时，会造成影响社会公正的后果，从而产生特定医患人群的标签化效应，进而可能导致在社会就业和职业发展中“限制或排除他们的权利或机会”[23]。

（四）医学人工智能的技术依赖

医学人工智能在使用过程中，应该只是一种辅助手段，但是在实践运用中易出现医生对人工智能技术依赖的现象。多数临床场景下，人工智能系统提供的结果仅作为参考信息。“维也纳医科大学皮肤科探究了医师如何采纳人工智能系统提供的诊断建议，得到如下结论：①经验越少的医师越容易相信人工智能诊断结果而非医师的诊断（即使医师的诊断是正确的）；②专家在信心充分时不易根据人工智能结果改变自己的判断；③不同经验水平医师在缺乏信心时均易接受人工智能的诊断建议；④若医师过度依赖人工智能系统的诊断结果，可能导致随着人工智能系统的误诊而改变自己正确判断的结果。”[24]

（五）患者自主性的缺失

医学人工智能的使用，虽然带来便捷诊断的益处，但是也可能造成患者自主性的缺失。第一，医患关系在人工智能时代需要重新构建。例如老人护理机器人的发展和使用可能会通过限制老人的活动范围和种类而威胁和减少老人的积极自由。再例如，在传统的医患关系中，医生重视和患者面对面的沟通，但是运用人工智能之后，医生要花费更多的时间阅读患者的电子病例，可能忽视甚至压缩和患者的交流时间。借助于医学人工智能，一些诊断可能被设计出来，患者只需要按照程序就可以看病并做出诊断。从这种意义上看，患者的自主意识在缺失，患者可能缺少相应的生命关怀和自我认知。第二，患者知情同意权可能被侵害。“知情同意（Informed Consent），是指患者在获得医师提供其医疗决定所必需的足够信息的基础上，做出医疗同意的过程。”[25]借助于大数据和深度学习，一些病症可能会被医学人工智能及时检测，医生根据人工智能的检测结果进行诊治，在这个过程中患者的知情同意权可能被忽视。应将医学人工智能的使用纳入知情同意程序，在运用人工智能，尤其是使用机器人诊断及手术时，应将相关情况和可能导致的风险及时告知患者及家属。据调查，“国内患者更能接受的医疗AI应用场景是挂号、缴费、查询体检报告等医疗后勤环节，接受率达到84.53%，而对于医生使用人工智能进行诊断和治疗，接受率则仅为3.59%；在诊断、治疗环节，医疗人工智能介入的程度越高，患者的接受度越低”[26]。

（六）医疗责任认定的难题

在传统的医患关系中，患者具有知情权，医疗事故认定的对象主要是医护员工，是人。随着医学人工智能的使用，患者可能在手术时面对的是人工智能医生，这可能导致医疗事故责任认定的困难。即一旦发生医疗事故，责任由谁来承担？是做手术的机器人，设计人工智能的研究人员，还是使用人工智能进行辅助治疗和诊断的相关医护人员？究竟是完全责任，还是连带责任？目前看，医学人工智能运用中的医疗责任方面的立法比较薄弱，责任界定模糊，争论也比较多。在当前的医学人工智能运用中，即使人工智能实施了手术，手术的主体依旧为医生，医生仍处于主导地位。未来随着人工智能技术的不断发展，人工智能可能出现脱离设计主体设计目的的活动，那将会带来更多的法律和伦理责任难题。

通过以上分析可以看出，患者隐私权的保护缺失、医者主体的模糊和人工智能主体资格认定的争论、算法歧视风险、技术依赖是医学人工智能面临的主要伦理风险。这些风险并非人工智能在医学领域应用中面临的独有问题，而是其应用于各个领域都面临的普遍性问题。具体到医学领域，这些问题究其本质涉及的是医患关系和医疗责任的认定，属于医学伦理的经典问题，只是医学人工智能的运用，将这些问题放大和凸显。医学人工智能伦理风险必须得到高度重视并加以有效规制。

三、医学人工智能伦理风险的规制

基于协同治理的理论和分析框架，提出以下人工智能医学伦理风险规制措施。

（一）成立专门的伦理组织进行相关伦理认定

目前，欧盟、德国、新加坡等相继成立了人工智能伦理委员会，对人工智能的伦理风险问题进行审查。“为了确保安全，设立委员会来审查资源和评估项目至关重要。”[27]可借鉴国外经验，建立全国和全省统一的伦理审查委员会。伦理审查委员会组成人员包含相关学科学者、政府部门官员、相关企业代表、相关社会组织成员。伦理审查委员会针对医学人工智能涉及的各种风险难题，如决策算法、就业、隐私侵犯、责任认定、创新原则等重大问题进行定期论证，通过加强相关社会组织、各类学科专家学者的对话与协商寻找协同治理的最佳方案。

（二）坚持构建人工智能医学伦理的五大原则

1942年阿西莫夫在科幻小说《我，机器人》中提出著名的“机器人三法则”。2017年电气电子工程师协会发布了《人工智能设计的伦理规则》（第2版），强调人权、福利、问责、透明的原则。2019年北京智源人工智能研究院发布的《人工智能北京共识》，提出了隐私保密、安全、透明度、问责制、公平性原则。借鉴以上学者和研究机构颁布的原则，本文提出以下五项基本原则。

一是伦理先于技术原则。人工智能的字面意义即人造的智能，其出发点是为人类服务，因此应该坚持伦理优先的原则，人工智能不得损害人类的安全和健康。以救治患者为例，医疗诊断应该依据医学人工智能系统给出的救治方案，还是以具有丰富临床经验的医生建议为标准？对于这一问题，应坚持伦理优先技术的原则，重视医生对于患者的人文关怀，摆脱其对于医疗技术的依赖。

二是以人为本的原则，人优于机器。虽然人工智能具有深度学习能力，但无论现在还是未来，人工智能医学应用都应坚持以人为本的原则，人是目的，人工智能本质上还是一种工具，使用工具的目的在于保障医疗事业的发展、患者的健康，帮助医生更好地诊断和服务患者。人工智能不得侵犯公众的合法权益，相关患者的隐私权应该得到保护，医学人工智能应该是安全的、可控的，偏离以人为本这一原则的任何医学人工智能在没有伦理审查之前都不得适用于临床。

三是公平性原则。公平性原则“包含程序向度与实质向度”[28]。患者应该拥有知情权，且不应被歧视，公平享受相关的医疗服务。因此在医学人工智能使用中，需要摆脱资本的逻辑，不能让患者承担过度检查的高昂诊断费用。

四是法治和德治的原则。一方面通过相关法律制度规范人工智能的使用，界定责任，保护患者隐私权；另一方面则需要德治，培育和健全相关医疗人员的伦理修养和法律素养，使其充分认识医学人工智能的各种风险，自觉遵守医疗道德规范。

五是渐进审慎的原则。对于人工智能的技术风险应该坚持积极审慎的态度，不可盲目乐观，认为人工智能很快会取代人脑，也不要消极悲观，认为人工智能终将毁灭人类。跟踪人工智能技术的进展，保持动态的调整的原则，相关技术成熟之后要对其进行风险伦理评估，然后才能逐步应用于医疗实践中。

（三）健全相关的法律制度

首先，通过立法保障患者的权益，对于侵犯患者隐私权责任的追究、医患纠纷的处理做到有法可依，有法必依。医用软件包含个人医疗信息的搜集与储存，管理不当可能引发患者隐私权的泄密。2016年颁布的《中华人民共和国网络安全法》虽然在个人信息保护方面提出了具体要求，但并未针对隐私权保护做出具体规定。《中华人民共和国侵权责任法》将隐私权的保护归结为人格权的保护。目前隐私权保护的相关法律还不健全，迫切需要制定和颁布一部统一的隐私权保护法。隐私保护法需对隐私权的相关界限做出规定，政府部门和医疗机构除了特殊需要，不得泄露患者的隐私。“建立隐私数据保护库，严格规范对隐私数据存取的行为，切实保护隐私安全。”[29]在保护公众的知情权的同时保障患者的隐私权，坚持公共数据的信息共享和严禁用于商业用途的统一；对数据储存技术不佳及管理不当、医护从业人员泄密等相关情况进行法律规制，严肃追究相关法律责任；对医疗事故的责任认定进行规定，包括人工智能设计者、生产者和使用者的责任归属问题。

其次，人工智能的法律人格问题。人工智能是否具有法律人格的问题，尚存在争议。如果人工智能具备独立人格，则其应该独立承担相应的道德和法律责任；如果人工智能不具备独立人格，则相关道德和法律责任需要由研发者、运营者，或是使用者承担。对此可以应用现有法律中民法和刑法的相关条款进行规制：“在现行法律制度下，人工智能作为权利客体并无异议，但不能被确定为权利主体，也不能赋予姓名权、肖像权等人格权。”[30]人工智能发展到高级阶段，当人工智能可以进化，具有超越甚至具有人的意识时，可以考虑动态地更新完善相关法律制度。

再次，对医学人工智能的发展全过程进行法律监管。在事前，坚持预防的原则，明确相关的主体责任。在事中，实时监测医学人工智能各个系列产品，定期测评产品的安全性、风险性、危害性等。在事后，加强监督，运用相关的法律法规加强对于厂家、医院、政府部门的监督，明确其责任，加大技术滥用的处罚力度。针对医疗行业的特殊性，国家和相关机构应实行医疗机器人强制登记制度，以便溯源，从而实现追责和有效监管。

最后，颁布相关法律，通过透明性原则消除算法歧视问题。“2017年，美国计算机学会公众政策委员会公布了知情原则、质询和申诉原则、算法责任认定原则、解释原则、数据来源披露原则和可审计原则等六项原则。”[31]人工智能医学算法属于商业秘密的问题，可以通过相关法律，强调由相关医学人工智能研发系统自我规制。这种自我规制，“通过数据保护影响评估”和“经由设计的数据保护”等方式来履行数据保护义务[32]。此外还需要通过相关法律规定研发公司的社会责任披露机制，包括定期向政府部门或者公众公布相关的系统研发进展情况、可能遇到的风险和风险应对措施方案等。

（四）培育医护人员的医学伦理道德

“人是唯一的道德主体，只有具有理性思维和决策能力、能独立承担责任的理性主体才具有道德主体的地位。”[33]医护人员是医学人工智能的使用者，因此培育医护人员的医学伦理道德是有效规制医学人工智能风险的重要渠道。具体做法包括：强化医护人员的伦理责任意识和法律意识，提高其科技素养和道德修养，增强其保护患者隐私权的意识；通过定期教育培训让医生了解人工智能的最新进展，认识到目前医学人工智能仅仅是医生的助手和参谋，不会完全取代医生的职业，在治疗的过程中，医生一方面可以合理借助人工智能机器人进行治疗，另一方面则可以利用节省出来的时间加强医患沟通，缓解患者心理压力；在医药类大学设置人工智能课程，较早地培养医学大学生尤其是临床医学等专业的医学大学生的医学伦理道德。

（五）构建人工智能的第三方风险评估机制

建立第三方风险评估机制，即组建包括医学专家、人工智能专家、哲学家、社会学家、伦理学家等的专家委员会，由其对人工智能应用中的各种风险进行风险等级评估和综合评估。具体包括：第一，借助大数据平台，对医学人工智能以及相关案例和风险进行综合分析，实现风险评估机制的智能化。第二，构建参与式风险评估模式，吸纳各类专家、公众进行风险评估，对医学人工智能可能存在的技术风险、漏洞、责任追究进行分析，定期向政府部门和生产厂家递交报告。第三，加强信息共享和国际合作。人工智能医学伦理风险属于全球治理问题，可以合理借鉴不同国家人工智能规则的相关制度、标准、法律，进行综合归纳和分析。有些信息可以实现共享，积极寻求医学人工智能的全球治理合作。第四，建立系统的风险分析框架，包括医学人工智能风险识别、评估、处理、监控、反馈等机制。明确各责任主体的不同责任。通过定期评估，不断强化医学人工智能产品的风险等级，为政府部门和相关企事业单位决策提供有效参考。第五，建立包括预警、信息搜集、预案措施、风险等级的机制，实现从单一的风险评估到风险评估、风险沟通和化解机制的多维构建。

四、结语

现阶段，医学人工智能仍属辅助性工具，主导权掌握在人类医生手中。医学人工智能发展仍处于初级阶段，除了技术成熟度有待提升，针对性的伦理规范和法律法规还有待健全。随着人工智能的发展，医学人工智能得到不断升级，其已经推动了数字化健康革命，未来在疾病初筛、辅助和提升人工诊断效率、医学科研前沿探索、智慧医院建设等方面，可以有更大的发展空间。据国际机器人联盟统计数据，预计到2025年，我国智能医疗机器人市场规模将突破百亿元[34]。但是在以发展的眼光看待医学人工智能技术的同时，也要在发展中保持客观谨慎的心态，高度重视医学人工智能可能导致的医学伦理风险，采取各种有效措施对医学伦理风险进行防范和规制，在实践中丰富和拓展医学人工智能的内涵，有效协调人机的辩证关系，以保障人类的福祉为最高目的，提升防控和规制医学伦理风险的能力，推进我国“人工智能+医疗”的发展，为健康中国贡献力量。