医疗领域人工智能的应用、风险及对策

郭一帆

（1.全州大学法学院 韩国全州 55069；2.忻州师范学院法律系 山西忻州 034000）

未来人工智能将进一步发展，能够在没有人类介入的情况下执行更大范围的工作。这种发展趋势如果进一步在医疗领域得到实现，必然能够为患者和医疗领域带来利益，但是随之而来的风险也会进一步增加。因此，如何完善当前法律规范，以防控风险、保障患者权益，从而促进医疗人工智能行业健康发展是当前必须解决的议题。

一、人工智能概述

人工智能和人脑在信息处理方面具有共同点[1]5-15。人工智能可以像人类一样推理，并且可以像人类大脑一样运算，甚至，人工智能还能够进行人脑无法处理的大数据测算。

对人工智能下定义并不容易，迄今为止，关于人工智能的定义学术界并不统一。广义上讲，人工智能通常被定义为需要智能的计算机系统，或者被定义为可以合理解决复杂问题或采取适当措施以实现现实生活目标的系统。狭义上讲，人工智能是用电脑技术来模拟人类推理、学习、适应、感觉理解及其相互作用过程的智能系统。

人工智能是计算科学的一部分，致力于创建智能机器和程序。人工智能的目的是试图模仿人类的意识并执行任务。目前人工智能技术已经经历了三个发展阶段，1950年至1970年是所谓的神经网络时代，1980年至2000年是机器学习时代，2000年至今是深度学习时代。

深度学习可以利用算法解决对于传统方法来说非常复杂的问题。算法是指逐步解决问题的方法，它通常用于数据处理、计算以及其他数学和计算机操作。对于人工智能来说，算法是其核心和灵魂，而算力和大数据是其基础。算力顾名思义是计算能力，由于现在计算机处理器的功能大幅增加，在此基础上产生的人工智能技术通常拥有高速运算的能力。而大数据是海量数据的集合，在一定时间内无法用常规工具进行分析、管理和处理[2]。人工智能利用大数据不断进行训练和试验，逐渐取得进步和成长。今天人工智能在很多领域都获得了广泛应用，并取得了丰硕成果。

二、医疗领域人工智能的应用

在医疗领域，人工智能被广泛地应用于临床诊断、医学治疗、医疗康复以及疾病预测和医学研究等多个方面。

(一)医疗领域人工智能的应用现状

1.在临床诊断方面的应用

人工智能可以利用图像解读技术对医学影像进行解读和分析，并以此来诊断疾病。例如医疗影像分析软件“VUNOmed-BoneAge”通过分析X光影像来展示患者的骨骼年龄，医生在该软件的辅助下诊断性早熟症或低生长症。又如，人工智能可以利用图像解读技术来诊断肺炎、乳腺癌、皮肤癌和眼科疾病等疾病[3]。

另外，人工智能可以通过提取实时数据诊断患者的健康状况。例如，目前已经开发的一种人工智能软件，可以分析诸如患者血压和血氧饱和度之类的生物信息，并在测量信息超出正常范围时发出警报。

2.在医学治疗方面的应用

人工智能可以用来为患者提供医学治疗建议。具体来说，人工智能可以分析诸如专业文献和患者病历之类的数据，评估和比较可以选择的各种治疗方法，并提出最佳治疗方法。例如，IBM公司推出的Watson for Oncology可以对庞大数量的医学文献和患者就医记录等数据进行分析，对各种治疗方法进行评估和比较，并提出最佳的治疗方法[4]。Watson还可以对一般的治疗方法进行分析，分析患者个人的医疗及健康信息数据，尽可能地利用已有的治疗数据给出治疗方法建议，并告知患者或医生选择治疗方法的优先顺序、副作用发生的可能性、医药品使用时的注意事项等。

另外，人工智能也被广泛地应用于医学手术之中。以医学手术机器人为例，1992年科研机构利用人工智能技术成功开发出了整形外科手术用机器人“RoboDoc”，1994年开发出了腹腔镜手术的辅助机器人“伊索（Aesop）”，1998年开发出了医生远程操纵，而物理手术由机器人负责的“宙斯（Zeus）系统”。与通过常规皮肤切口进行的手术不同，这些外科手术机器人进行的手术最大限度地减少了皮肤切口以减少疤痕和后遗症，并且这些机器人可以进行精细而复杂的手术而不会晃动。2000年，达·芬奇手术机器人获得美国FDA批准，可以正式在手术室中使用[5]。达·芬奇手术机器人是由具备各种手术装备和照相机的机器人手臂来进行工作的手术平台，它可以通过最小的切口来实现复杂的手术，被认为是目前世界上最先进的外科手术机器人。

3.在医疗康复和日常健康管理方面的应用

随着人们对康复辅助技术需求的不断增长，人工智能在医疗康复领域中的应用也越来越多。以最常见的脑卒康复为例，因为目前并没有针对脑卒的特效药，脑卒患者只能依靠康复活动来将肌肉、大脑和神经进行关联，但是这种康复活动不是机械的肢体活动，而是需要根据身体状况不断调整的，因此，在辅助康复训练中，使用人工智能技术效果会更好。人工智能康复机器可以根据患者身体情况自动调整训练参数，帮助患者选择最佳训练方案，有助于加快患者恢复、减少患者痛苦[6]。

在日常健康管理方面，市场上有几款使用人工智能的应用程序可提供定制的健康评估和治疗建议。例如，Airdoc团队设计的应用程序能够对食物图片进行图像识别和解读，为用户提供用餐建议，指导用户的用餐习惯，保障用户饮食健康。又如，由IBM开发的Arthritis Virtual Assistant也通过与患者互动来进行学习，并为患者提供有关药物管理、饮食和运动的个性化信息和建议[7]。此外，一些App还可以监测抑郁症、帮助管理慢性病、帮助护理监护痴呆症患者，为患者及其家属的生活提供了便利。

4.在疾病预测方面的应用

人工智能技术在短期内最实际的影响是减少了预测的成本。如今，人工智能可以利用照片来识别人们的政治倾向，识别人们是否具有很高的智力、是否具有犯罪性质、是否具有特定的个性以及是否具有其他各种个人特征。而在医学领域，人工智能的这一个功能被广泛应用于疾病预测方面。

例如，Google Medical Brain的一个研究小组2018年6月使用深度学习模型，利用电子健康记录信息来准确预测包括医院死亡率在内的各种健康结果。IBM研究人员也为了预测精神病、焦虑症、抑郁症的发病率，使用了深度学习技术将精神科采访内容转换成声音文件进行分析，并研发了可以用来诊断的语言模式，只要有300个单词，就可以预测使用者的精神病发病率[8]。

5.在医学研究方面的应用

因为人工智能可以更快、更全面地收集、识别、分析、处理数据，这使得人工智能被广泛应用于科学研究领域。在医学研究领域，人工智能可以收集和分析医学文献，可以帮助匹配适合研究的患者类型。例如，将Institute of Cancer Research的canSAR数据库作为基础，采用人工智能技术，结合患者的遗传基因、临床数据和科学研究信息，可以匹配用于癌症药物靶向治疗的受试者。此外，医学研究人员可以在人工智能的帮助下进行药物的研发工作。例如美国麻省理工学院研究团队利用人工智能研发了一种新型抗生素，能够有效抑制大肠杆菌,并对新型肺炎病毒有效[9]。

(二)医疗领域人工智能应用的局限性

1.准确性有待提高

人工智能产品的治疗建议、分析结果等可能会发生错误。例如，吉森大学医院曾经测试了Watson系统，医生在电脑上键入“患者抱怨胸痛”，但是Watson系统诊断结果根本没有提及诸如心脏病发作、心绞痛、心肌梗塞和主动脉裂等疾病的可能，反而提出了“很少发生的特殊传染病会引起胸痛”的诊断建议[10]。这实际上说明人工智能产品虽然能够在一定程度上帮助诊断，提出诊断建议，但是仍会发生错误或误差，其准确性有待于提高。

2.不能与患者进行充分交流

人工智能虽然可以根据患者病史、病历、体检报告、医学影像等信息分析患者的病情并为患者提供诊断和治疗建议，但是由于人工智能不能和患者进行充分的交流，有可能会导致人工智能得不到准确的信息而产生误诊或误判。医学具有复杂性，即使是经验丰富的医生在缺少交流的情况下也不能轻易做出诊断，因此，人工智能无法与患者进行充分交流会限制人工智能在医疗领域的发展。

三、医疗领域人工智能应用的风险

医疗人工智能的应用面临多种风险，例如医疗人工智能法律主体资格尚未明确；不良后果发生时法律责任认定存在争议；存在数据偏见和歧视，数据公平难以保障；数据隐私和个人信息保护力度不足；立法监管制度不够健全；缺乏医疗人工智能相关人才。

(一)人工智能法律主体资格尚未明确

要解决人工智能其他法律问题，首先要明确人工智能是否具备法律主体资格这一问题。2016年，欧盟法律事务委员会提出将智能机器人看作“电子人”，赋予其权利和义务，这一法律规定冲击了传统的民法领域，对法律人格的概念进行了颠覆性革新，顿时引起了各界对于智能机器人是人还是物、是否具有法律主体资格的热议。目前，我国学界对于人工智能是否具有法律主体资格争论不已，一部分学者认为人工智能具备法律上的主体资格，该主体资格为限制性主体资格或者可以看作拟制人格，一部分学者认为人工智能还未产生意识，不具备意思表示能力，因此不具有法律主体资格[11]。而当前并未有法律明文规定人工智能具有法律主体资格，可以独立享有权利、履行义务，因此关于人工智能的法律主体资格问题有待于进一步深入讨论。

(二)不良后果发生时法律责任认定存在争议

人工智能推荐给患者的治疗方案可能会发生错误，患者选择这一治疗方案后可能会引发不良后果。例如，2015年英国的一项临床试验使用了人工智能技术对可能会发生肺炎并发症的患者进行了预测和诊断，由于该技术并未采纳全面的医疗信息，以致于该预测和诊断过于保守，使哮喘患者错误地被诊断为不存在肺炎并发症的可能。该患者基于人工智能的判断选择了出院但是最后却因病情加重再次住院[12]。这样的事件其实并不鲜见，关于这些事件中人工智能造成的损害后果该由谁来承担责任引起了广泛的讨论。

一部分学者认为当医疗机构及其医务人员使用人工智能时发生事故造成患者损害的，应该按照《民法典》有关侵权责任法的规定，由医疗机构承担赔偿责任。而一部分学者则认为如果不能证明人工智能产品本身不存在缺陷的话，那么人工智能产品的生产者和销售者也应该承担赔偿责任，而且这种赔偿责任可以按照《民法典》第1207条产品责任惩罚性赔偿的规定来计算。因此对于这两种责任如何认定和承担目前学界存在争议。

而由人工智能制造者或生产者承担法律责任是否又会阻碍人工智能技术的发展也是当前需要考虑的问题。因此，如何合理划分责任，在风险防控和创新促进这两个相互矛盾的目标之间取得平衡是当前亟待解决的问题。

(三)存在数据偏见和歧视，数据公平难以保障

人工智能应用软件具有减少人的偏见和错误的潜力，但是人工智能具有两面性，在训练人工智能时使用的数据是基于过去的现实资料，而这一资料本身就可能反映了过去所存在的社会歧视和偏见。如果采用这些数据，那么新构建的人工智能算法也必然会如实反映出社会的歧视和偏见。例如，美国司法系统用来预测罪犯未来再次犯罪的概率的系统使用了COMPAS算法，在经过了严谨的运算和分析后该系统提出了“黑人再次犯罪的概率比白人高”的结论，这一结论与工作人员统计的实际犯罪率情况相反，这说明看似中立的算法程序反映了社会中实际存在的种族歧视[13]。为解决这些问题而修改数据时，例如，为消除歧视和偏见，修改训练数据或分析算法等，需要进行其他形态的价值判断，因此也会引发新的争论。此外，人工智能开发者本身具有的偏见和歧视也会反映在算法之中。

算法的歧视大致可分为两类。第一种是指在算法的设计阶段，开发人员故意插入了一个歧视性元素，从而导致了歧视性结果。第二种可以认为，不管算法开发者的意图如何，都会产生差异效果。根据算法的程序，自动决策中包含的优先级、分类、关联、过滤等都可能继承现有社会的偏见并隐含歧视性属性。这种歧视往往很难通过技术手段消除，而从源头上甄别哪些数据带有歧视性是极其困难的，这就导致这一算法一旦形成并投入使用的话会对社会公平造成较大的影响。

(四)数据隐私和个人信息保护力度不足

在迅速变化的人工智能环境中，个人信息的保护并非易事。在现实中，应用人工智能可以轻易得到个人信息，人工智能以及人工智能所依赖的多样的数据库可以扩张连接数据的能力或将个人信息标记成可识别的数据模式。例如，人工智能可以收集成千上万个不相关、几乎毫无意义的数据点，然后将这些数据用可信赖的方式组合在一起，就能得到个人信息数据。而在医疗领域，收集数据就更容易了，当患者利用人工智能进行医疗诊断或者健康管理时，会输入自己的既往病史、饮食习惯，甚至工资水平、旅行信息以及家庭住址等隐私数据，虽然人工智能采集这些数据，通过自主学习可以更有针对性地为患者提供服务，但是这些数据泄露出去的可能性一直存在，这些数据一旦泄露，将给患者带来巨大的损害。例如，2019年一家位于深圳的人脸识别公司发生大规模数据泄露事件，数百万用户的敏感信息被泄露，具体包括用户的身份证信息、24小时位置信息、人脸识别图像等[14]。因此，在人工智能采集数据和保护数据隐私之间如何平衡是当前必须思考的问题。

(五)立法监管制度不够健全

当前由于人工智能技术处于快速发展阶段，部分国家加强了对人工智能技术的规制，如韩国公布了《人工智能发展战略》，法国制定了《国家人工智能战略》，美国签署《美国人工智能倡议》行政令，欧盟发布政策文件《欧盟人工智能》[15]。我国在2019年6月，出台了《新一代人工智能治理原则—发展负责任的人工智能》突出强调了发展人工智能技术需要遵守的尊重隐私、安全可控等八个治理原则。但是在立法层面，关于人工智能的立法却较为缺乏，存在立法空白，不能对人工智能从开发、使用、责任承担等方面进行全面的法律规制。而且由于人工智能的算法不够透明，加之人工智能利用深度学习技术不断学习进步，对人工智能的运作进行监管也存在困难。立法及监管的缺失，不仅会损害患者的合法权益，而且会阻碍人工智能技术的发展，甚至会影响社会的和谐健康发展。因此，有必要出台人工智能相关法律，加强对其技术的监管监督。

(六)医学领域缺乏医疗人工智能相关人才

人工智能技术具有专业性和复杂性，人工智能的引入意味着医务人员所需的技能和专业知识必须改变。当未来人工智能技术在医疗领域普及时，医生必须掌握人工智能技术应用的知识，例如，外科医生需要学习如何利用人工智能手术机器人进行手术，内科医生需要学习利用人工智能技术分析图像和病历。但是，就目前而言，既懂人工智能知识又掌握医学知识的人才较为缺乏。一方面，现有的医学教育体系，尚不能负担关于医疗人工智能的教育任务；另一方面，现在的医生体系，要求医生更新技术知识、改变传统诊疗方式仍有一定困难。

同时，除了在医疗体系中缺乏医疗人工智能相关人才外，实际上在设计、生产医疗人工智能产品时也缺乏这样的人才。在医疗人工智能产品生产过程中，需要有能在数据筛选、模型设计、结果检测等方面提出专业意见的人才，但是现实中人工智能技术和医学均具有极高的技术要求，同时掌握两门技术的人才非常少见。

医疗人工智能相关人才的缺乏一方面会导致医疗人工智能在设计和生产过程中与医疗实务产生偏差，降低人工智能的准确性；另一方面也可能导致医生在使用人工智能产品时由于知识缺漏或对该技术不了解等原因造成诊断失误或医疗事故。

四、医疗领域人工智能应用风险的对策建议

为保障患者合法权益，促进医疗人工智能行业健康发展，有必要明确界定医疗人工智能法律地位、明确划分人工智能医疗事故责任承担方式、选择适当数据样本及研发者以规避偏见、尽快出台个人信息保护法、完善人工智能相关立法加强全流程监管以及大力培养医疗人工智能相关人才。

(一)明确界定医疗人工智能法律地位

欧盟法对人工智能机器人的共同定义为，人工智能机器人需具备以下几个特征：（1）通过传感器和/或与环境（内部连接）交换分析数据；（2）可以自我学习；（3）有物理上的支持；（4）具有适应环境的行为；（5）不具有生物学意义上的生命[16]。也就是说人工智能机器人是可以进行自我学习，积累经验，利用经验以及学习的有效方法，进行自主判断，创造性地根据情况应对环境的机器人。这样具有自主性的人工智能可以被看作“电子人”。欧盟法赋予了这类“电子人”法律主体资格，规定其享有权利，承担义务。对人工智能机器人法律主体地位持肯定观点的学者均认可人工智能机器人需要具备自主性，即推定其具有一定的“意识”。但是，目前阶段，即使是与达·芬奇手术机器人类似的人工智能机器人也仍处于手术辅助地位，需要外部操作才能进行手术，实际具有医疗工具性质，不算严格的人工智能机器人，不能认为其具备意思表示能力。因此，以当前人工智能技术发展的阶段来看，不能认为人工智能具备法律主体资格，应仍将其当作民法中的“物”来看待。

(二)明确划分人工智能医疗事故责任承担方式

当人工智能发生事故致使患者合法权益受损，对此不良后果如何划分责任是当前需要明确的。如前所述，在医疗领域中人工智能仍不具备法律主体资格，即不具有人格，可被当作“物”来看待。当人工智能发生事故致人受损害时，需要对受害人承担赔偿责任的责任主体范围包括人工智能的开发者、生产者、经营者和使用者，但对于各责任主体的责任承担方式目前学术界存在争议。有学者认为可以适用《产品销售法》第41条、第42条的规定，对生产者适用严格责任原则，对销售者适用过错责任原则来确定责任[17]。但是，对生产者适用严格责任原则的话，一方面会打击生产者生产人工智能的积极性，加重生产者经营负担，不利于人工智能行业快速发展；另一方面也会造成生产者和开发者责任认定的混乱，有可能导致两者之间互相推诿责任。因此，有必要设置人工智能的特殊责任承担方式。在受害人不存在过错的前提下，人工智能造成其合法权益的损害，该人工智能的开发者及生产者如果能够提供完整的原始数据，并且证明该数据在当时技术水平背景下不存在纰漏，那么可以配合强制责任保险或者人工智能补偿基金对受害者进行补偿；但如果开发者及生产者不能提供完整的原始数据，无法证明自己的开发、生产过程不存在纰漏，那么就需要对受害者承担严格责任[18]。而对于人工智能的经营者和使用者则可以适用过错责任原则，当经营者、使用者未能履行自己的注意、提示等义务时，应当承担对受害者的侵权责任。

(三)选择适当数据样本及研发者以规避偏见

人工智能中包含的数据及算法可能隐含偏见和歧视，会对社会的公平和正义造成负面影响，因此有必要减少和消除这些偏见和歧视。而要做到这一点，需要从最基本的做起，即需要选择适当的数据样本及合适的开发者。选择适当的数据样本需要注意避免样本偏差、幸存者偏差以及概率偏差，具体来说选择较大的样本进行统计可以避免以偏概全，选择多种角度的样本可以全面地观察问题，选择用数学方法验证客观概率以及咨询多位专家可以避免心理概率的偏差。而选择合适的开发者需要注意尽量选择不同性别、不同种族的开发者，不要对开发者的选择存在偏好。同时开发者也应遵守人工智能开发的伦理原则，不输入自己的价值取向，尤其是在医学领域更要避免偏见和歧视态度，保持对患者的客观、公正态度。

(四)尽快出台个人信息保护法

保护数据隐私，保障个人信息安全既是保障个人合法权益的必然途径，又是促进大数据和人工智能行业发展的必然要求。当前，我国出台了多项法律及政策以保护个人的信息安全，其中《民法典》《网络安全法》均对收集个人信息的原则、程序、责任等作出了明确的规定。但是，针对我国大数据行业快速发展的现状有必要尽快出台个人信息保护法以全面保护个人数据安全，保障个人数据隐私。

个人信息保护法应完善互联网行业规范，抵制使用缓存数据，使整个行业形成保护个人信息的普遍认识。对于网络运营商，应明确其保护用户数据安全的责任，督促其健全在个人信息加工、个人信息存储、个人信息共享等方面的安全保障机制；对大数据服务企业，应规定其数据交互、数据分析、数据共享方面的安全保障义务，加强数据的保密工作，确保数据来源合法合规。同时，个人信息保护法也应引导个人形成保护个人数据隐私的认识，不在互联网上随意发布自己的个人信息，不要在不安全的网站（网盘）上存储自己的个人信息，不要访问不安全的链接、下载不安全的应用等。

在医疗领域，医院及其医务人员应按照相关规定，保护患者的个人信息。例如，应建立数字平台妥善保存患者的电子病历、问诊记录、体检报告等数据，对患者的个人信息进行加密处理，并定期检查数据安全。

(五)完善人工智能相关立法加强全流程监管

目前关于人工智能的法律规范滞后，尤其是在医疗领域存在大量的立法空白，因此需要尽快制定和完善相关法律规定，明确医疗人工智能产品的定义及开发和使用规范，明确其开发者、生产者、使用者的责任，明确医疗人员利用人工智能采集、使用及转让患者数据的原则、程序和规范，尽快建立统一的人工智能医学伦理标准，完善现行的医生责任保险制度，将人工智能发生的事故纳入保险赔偿范围。尤其是对于人工智能医疗器械，应尽快明确其注册指导规范，建立风险评估标准，强化审核程序[19]。

在完善法律规范的同时，应建立人工智能全流程的监管机制。从算法设计、产品生产到成果应用均应实现监管。在外部监管方面，监管主体可以要求医疗人工智能开发商取得行政许可后才能研发医疗人工智能，要求开发商报备模型参数、算法设计流程，实现算法透明和算法的可解释性、可问责性；并检验医疗人工智能成果是否符合行业标准，在人工智能成果投入使用后抽查其使用效果。在内部监管方面，人工智能的开发商应建立内部监管制度，监督人工智能应用的数据采集、算法研发、设计是否违反法律伦理标准，是否侵犯数据安全，是否存在偏见和歧视，是否可以实现医疗目的等情况。

(六)大力培养医疗人工智能相关人才

为应对未来医疗领域人工智能普遍应用的前景，降低人工智能发生事故的风险，大力培养既精通医学知识又掌握人工智能相关原理的人才是必不可少的措施。

就目前医学院的教学课程而言，有必要提供一定程度的教育，使医学生能够理解临床环境中遇到的人工智能算法或软件的基本操作原理。对现有的医生体系而言，医疗机构应该增加人工智能技术的相关培训，通过线上课程、线下讲座、实践操作、总结经验等方式使医生逐渐掌握人工智能新技术，逐渐适应诊疗方式的更新和转变。

除此以外，还需要培养医生的数据素养。医生在使用医疗人工智能产品时应注意患者数据的采集、处理、保存等应符合法律规定，在保护患者个人信息的同时需要注意保障数据安全，不能随意泄露、转移、公开患者数据。

人工智能时代已经来临，人工智能有望给人类带来巨大的利益，但与此同时人类社会中的既定经验与规则秩序也将遭遇颠覆性挑战。在医疗领域，既要促进人工智能技术的发展，加深人工智能和医疗服务的合作，又要审慎使用这一技术，避免该技术为人类带来灾难。人工智能技术是把“双刃剑”，只有加快立法进程，健全法律规范，使法律和监督成为“剑鞘”，才能握好这把剑，使之如臂使指，剑定乾坤。