人工智能医疗器械伦理挑战的对策*

刘 丹，周吉银

(陆军军医大学第二附属医院国家药物临床试验机构，重庆 400037，fairyfair@126.com)

随着医疗信息化的快速发展，越来越多的企业投身于医疗大数据行业，注重将人工智能(Artificial Intelligence, AI)技术应用于医疗领域，从诊断、监护、治疗到康复，各细分领域都将开启智能化时代。在深度学习日益风靡的高科技行业中，利用AI进行影像三维分割、病理图像分析处理、药物设计、个性化精准医疗等已日渐普及。同时，AI在生产和应用过程中引发的一系列伦理问题也受到各界学者的高度关注。

1 AI医疗器械发展动态

随着医疗卫生领域新产品、新技术的不断出现，我国2002年颁布的《医疗器械分类目录》已无法完全适应医疗器械的监管工作和行业发展需要。原国家食品药品监督管理总局发布的新版《医疗器械分类目录》于2018年8月1日起正式施行。其中特别新增了与AI辅助诊断相对应的类别，主要体现在对医学影像与病理图像的分析与处理上[1]。2018年11月19日，国家药品监督管理局医疗器械技术审评中心公开向境内、外征集从事AI医疗器械产品的生产企业信息。2018年12月25日，在北京举办的“AI类医疗器械注册申报公益培训”公布了医疗AI领域三类器械审批要点及适用范围，讲解了医疗AI产品在审批过程中所面临的软件更新、数据库、云计算服务、数据安全等问题。在本次会上，国家药品监督管理局细致地分析了影响医疗AI医疗器械审批的每个过程，对每个指标进行了详细的讲解。

目前，部分上市公司在国内AI医疗器械发展方面进展迅速。其中，乐普医疗心血管疾病AI诊断系统已获得美国食品药品监督管理局(FDA)上市批准。2018年11月19日，深圳凯沃尔公司自主研发的心电图AI自动分析诊断系统“AI-ECG Platform”获批，成为国内第一个获得美国FDA批准的AI心电产品[2]。除了乐普医疗的心血管诊断系统，进展较快的是基于影像数据的糖尿病视网膜病变、肺结节AI医疗器械。2018年4月，FDA批准了世界上首款AI医疗设备IDx-DR，该设备通过算法评估内置摄像头拍摄的患者眼睛照片，无需医生辅助诊断就能确定患者是否有糖尿病视网膜病变的迹象。2019年5月，深圳硅基智能科技有限公司的“糖尿病视网膜病变分析软件”获得国家药品监督管理局创新医疗器械批准，进入临床试验及审评快速绿色通道。除了糖尿病视网膜病变和肺结节筛查，还有以科研名义进入医院的骨折及骨龄测试和神经系统疾病诊断方面的AI产品，但多数只能达到初步筛查和诊断的水平，离成熟还有一定距离。

2 伦理问题

近年来AI发展迅猛，从前许多科幻片中的场景走进了医疗现实，给医护人员和患者带来了便利提高了效率，也引出发诸多伦理问题。

2.1 定位

AI和人脑相比，具有更宽阔的脑容量和更强大的学习能力。医生对信息的掌控能力和知识储备与医疗AI技术相比，有一定的局限性。他们对疾病的正确诊断通常建立在长期的经验积累和专业素养基础上。AI医疗器械依靠深度学习技术和强大的洞察力，快速处理海量信息，提供最优的诊断建议和个性化治疗方案，大大提高了诊疗效率和准确性，降低了医生工作负荷，无形中为医院节约了资源。医生将有更多的时间用于患者的沟通和临床科研。除了提高诊疗的准确性，AI医疗器械的应用还使医生的信心增加，有一个水平相当于主治医生的AI助手帮忙，医生在作出诊断结论时更有依据。但不少从医人员过多地依赖AI精确的医学影像识别能力和大数据处理能力会降低医生自身的医学水准，也给医生带来了被AI替代的技术性失业风险和压力。同时，人类对AI技术的过分依赖，可能导致人类历史上所积累的医学知识和操作技能停滞不前[3]。

科学技术的发展使得AI变得越来越人类化，AI究竟该如何定位，它是一个人，一种工具，抑或是一个AI“奴隶”，成为很重要的伦理议题。事实上，在多数中国医生和AI医疗领域的专家看来，AI能扮演的仍是医生的“助手”角色，主要帮助医生解决重复性工作，而不是医疗决策的主体。AI分为三个层级，即弱AI、强AI和超强AI，部分学者认为，在未来相当长的时间里，我们都将处于弱AI层级，专注于且只能解决特定领域问题的AI，还不必过度担心未来，或为可能的AI威胁做准备的地步[4]。

2.2 算法偏见

AI采用机器学习、深度学习和表征学习等技术，通过数据驱动智能算法对患者信息进行洞察。AI医疗系统学习所用到的训练数据是训练模型的教材，数据的质量决定了学习成果。当设计者存在某种特定疾病、性别、种族等偏见和歧视时，这必将人的判断和智能融入其中。训练AI的数据可能并不真实地反映客观的实际情况，也可能潜藏着不易被察觉的价值偏好或风俗习惯，导致训练数据被污染，从而被AI学习所继承[5]。AI系统产生的结果会复制并放大这种偏见和歧视，甚至沦为知识的黑洞与权力的暗箱。算法通常可以反映现有的种族或性别健康差异。这种暗藏在算法设计中的偏见要比人为偏见和歧视隐晦得多[6]。《科学》杂志报道，美国卫生系统依靠商业预测算法来识别和帮助有复杂健康需求的患者。研究表明一个广泛使用的算法有明显的种族偏见，在给定风险分数下，黑人患者比白人患者病情更严重，弥补此差别将使黑人患者获得额外帮助比例从17.7%提高到46.5%。此偏见产生是因为算法预测的是医疗费用而不是疾病。认为选择方便获取的貌似合理真实数据或是算法偏见的一个重要来源[7]。如果该问题没有解决，将会导致偏见长久存在，固化医疗卫生领域现有的不平等现象。

2.3 社会公平

一方面，由于现有医疗条件、技术设备等医疗卫生资源分配不均衡，AI手术机器人等的医疗成本较为昂贵，使得此类AI医疗器械的推广很难进入基层医疗机构，其应用主要集中于大型三甲医院，偏远地区的患者很难有机会接触此类高科技诊疗技术。从患者自身经济情况出发，也只有少部分人愿意接受并从中受益。因此，此类AI医疗器械只适用于小部分有经济条件的患者。大多数普通患者可能会因为自己没有切身感受到所谓的高科技医疗技术而产生抵触情绪[6]；另一方面，用于诊断的AI医疗器械，如糖尿病视网膜病变诊断系统，可以辅助基层医生诊断疾病，有助于快速提高基层医疗机构的诊断水平，缩小与大型三甲医院的差距。

2.4 责任划分

由于不具备产生民事法律关系的主体资格，AI医疗器械仅能被认定为辅助医生诊断的医疗器械。相对于普通的医疗器械产品，AI医疗器械具有复杂的设计、算法和医疗大数据。在当前不同的医疗细分领域并没有一个统一的AI技术和安全标准，导致AI医疗器械瑕疵鉴定成为空白。例如引发医疗事故或设计、操作失误后的责任界定等。相较于传统的医患关系，AI技术的应用又增加了患者与医疗AI系统或平台间的这层关系。给本就紧张的医患关系带来了新的挑战[8]。

AI的责任划分是当前我国甚至全球不可回避的伦理和法律问题，开发者、生产者对瑕疵担保责任等还远未达成共识。虽然AI医疗技术越来越向智能化、精准化方向发展，但其应对突发情况的反应处置能力问题还需进一步研究。2018年9月以来，有230家医院用户的IBM沃森诊疗系统因诊断错误、开不安全药物而不断受到质疑。其主要原因在于沃森诊疗系统用于训练的真实病例数太少，导致德州安德森肿瘤中心在花费巨额投资后不得不选择放弃该项目。误诊、漏诊常常会引发医疗纠纷，而降低误诊、漏诊率的基础是对足够多的医疗数据的深度学习。目前，我国的政策法规还没有赋予AI处方权，其给出的结论只能作为辅助诊疗的判断依据，而由此产生的误诊、漏诊也没有明确界定由谁承担责任。

2.5 隐私安全

隐私，在法律上是一种权利的概念，但在现实生活中，它还可以作为一种商品，通过出让部分个人隐私或信息以换取服务和产品。与医生不同，AI医疗器械在收到患者信息后会自动进行储存、分析等，但在当今成熟的技术条件下，即便手动删除个人隐私信息也依然有找回的可能。AI医疗器械对患者的隐私问题考虑得并不如人类医生周全。AI的“保密性”不像人一样存在情感，即使进行加密也不能完全避免个人信息被他人非法调取[9]。AI医疗器械在隐私保护方面存在的问题主要有：数据采集过程中是否经过患者充分的知情同意？谁有权调取患者相关信息？一旦发生信息泄露，责任应谁来承担等[10]？同时，由于各种商业服务之间数据交易频繁进行，匿名化技术的发展为隐私保护提供了新的途径。但是，如果没有明确规定匿名化数据的法律概念和认定标准，将弱化个人数据管理，导致数据滥用。此外，如何平衡隐私保护与国家安全、商业利益之间的关系，也是需要重点关注的问题。

3 应对策略

任何具有变革性的新技术都必然带来法律的、伦理的以及社会的影响。AI伦理开始从幕后走到前台，成为矫正科技行业狭隘的利益局限和技术向度的重要保障。医疗器械未来方向一定是智能化，相信智能化的AI医疗器械能为患者带来更大的福祉，能让更多的患者感受到科技进步为生命带来的健康呵护，但相应的制度和规范设计还存在盲区。

3.1 坚持人为主体，提升诊疗质量

AI医疗器械的出现，对医生的执业能力和道德提出了更高要求，需要医生坚持主体地位，提升诊疗质量。但AI医疗器械除了做出科学的诊断外，无法与患者进行有效沟通，也无法表达对患者的感情等，更不会考虑任何个人利益问题，因而很难得到患者的信任。而医生除了具有丰富的临床经验和精湛的医疗技术，在治疗的过程中还会有效平衡双方利益。因此，医生和患者之间的互动是无法通过算法来复制的。尽管AI可以快速收集信息以诊断疾病，但最后诊断仍需医生通过综合性、批判性思维结合患者的疾病史、体检结果、辅助性讨论和患者实际的家庭收入、心理情况等作出综合解释[11]。

由于数据采集时医生的认知偏差和患者的个体差异，AI医疗器械对医生的权威性和主体性地位很难造成威胁和挑战。目前审评重点仍是AI医疗器械如何更好地辅助医生，只能作为医生的助手，不能直接给患者提供服务。目前AI医疗器械刚进入辅助诊断的初级阶段，在识别率方面目前大概也只是达到中级医生的水平，且很难应对发展过程中的各种突发状况。人和AI各有优势，要互相了解才能实现人机协作。我们应正确认识AI的本质和所处的发展层级，处理好人机关系，坚定医生主体地位，有利于准确把握当下形势和预判未来趋势，为AI更好地发展做铺垫。

3.2 科技向善，重塑社会信任

就AI技术自身而言，AI需要价值引导，做到可用、可靠、可知、可控。人设计基于数据决策的软件模型，选择并赋予数据意义，从而影响我们的行为。研究者在设计开发AI医疗器械时，应当以人为本，遵守基本的社会伦理道德，消除各种歧视观念，必须客观、公正，并基于大量无偏性临床数据进行的逻辑算法而构建。尽可能地采用不同国家、不同地区、不同层级医疗机构的患者数据，防止AI数据训练系统中潜藏的价值偏好或风俗习惯，避免其产生的模型或结果被AI学习所复制并放大[9]。同时，为规避算法设计中暗藏的歧视，应由不同种族、性别的科学家共同参与算法的设计。

3.3 确保公众公平享有AI发展成果

随着AI的不断发展，AI会带来新的契机，但整个社会也要考虑AI技术带来的发展成果如何分配的问题，倡导社会应该以一种更加公平的方式，分配未来的增长。对于政府如何更好地分配和利用医疗资源，这既是一个经济学问题，也是一个伦理学问题。资源配置既要考虑效用又要考虑公正。在确定医疗资源配置的优先次序方面，我们需要进行经济学和伦理学两方面的评估，对AI医疗做出积极而审慎的决策。如果AI被不公平地分配到社会中，当前社会不均等的现状则可能进一步加剧。因此，要确保相关政策有利于公众公平地享有AI发展的成果，让每个地区的人都从人工智能创造的福祉中获益，否则会造成更大的不公平[12]。

3.4 加强AI监管和立法

与世界发达国家相比，我国的AI技术与之同步，但法律和伦理研究相对滞后。医疗卫生行业内对医疗AI的概念、伦理规范、伦理风险等尚未达成共识，伦理设计标准、评价标准等建设工作还处于起步阶段，这在很大程度上制约了AI医疗未来的发展[14]。不同于普通医疗器械，AI医疗器械存在动态评价难关。传统意义上的医疗器械是基于产品本身的监管，而AI医疗器械的监管分为两方面：一是产品本身的风险；二是制造商的风险管控。监管的关键在于产品本身的临床医疗价值和作用。其难点在于，AI医疗器械较传统医疗器械技术迭代快，传统监管思路的不足日益凸显。医疗AI领域三类器械审批要点的出炉，意味着新事物该如何监管，对于企业、医疗机构和监管部门来说，都是不得不面对的挑战。现目前，大到行业层面，小到医疗机构层面都缺乏相对完善的监督管理机制，难以对医疗AI技术的研究和应用做到规范化管理。

由于移动互联网、大数据、共享经济的到来，国务院提出了审慎监管原则，以审慎的态度适当放松对这些新领域的政策监管，以免妨碍其发展。以包容的心态看待新技术的出现，用审慎的态度预防新风险的发生[9]。随着智能产品的应用增多，其承担的责任也越大，法律法规的管控也应愈加严格。为规范医疗AI的发展，应建立一套法律边界明确的医疗AI责任体系，对医疗AI产品的开发者、生产者和使用者的责权进行清晰界定[13]。及时制定相关法律制度，对AI进行适度有效的规制，严格监督和审查AI医疗器械的生产和应用，将风险管控落到实处，确保患者权益不受损害。

3.5 加强伦理制度建设，提高伦理审查质量

当前AI医疗器械行业发展迅猛，我国对医学领域的伦理规范主要依靠于《涉及人的生物医学研究伦理审查办法》，执行主要依赖医疗机构的伦理委员会。在面对AI这类新兴技术时，限于认识不足等原因，一些伦理委员会无法判断该项技术带来的影响以及是否可以开展。现有的法规也没有细分哪个层级伦理委员会可以审批哪些技术应用。政府应高度重视AI技术可能带来的风险与挑战，加强前瞻预防和约束引导，最大限度降低风险，更好地服务于医疗事业。因此，伦理制度建设对于AI医疗器械所产生的伦理问题不可或缺，将AI医疗器械研究与伦理制度的结合是应对AI伦理问题的最有效方式。对AI相关社会影响和伦理问题应深入探讨，将跨领域、跨学科的政策法律研究置于优先地位，消除法律盲点，制定标准和确定伦理准则[11]。伦理层面的制度建设应当包括AI的设计伦理以及应用规范伦理。设计伦理旨在从源头上保障AI产品的安全性，为其设定道德和行为判断能力。规范伦理则是保障AI产品在应用过程中的安全性和规范性，两者虽侧重不同，但需同时进行[14]。同时，加强对AI医疗器械的发展情况和伦理相关规定的宣贯，各医疗机构相关从业人员应定期学习AI的规定、新政策、新案例等，提升伦理意识。强化各伦理委员会对AI器械临床试验方案科学性、伦理性的审查，提高伦理审查质量。

3.6 强化隐私安全保护

在AI医疗器械研发、生产和使用进程中，为切实保护个人隐私安全需要制定一系列的准则。涉及数据训练和结果分析时，需进行数据授权管理、对关键隐私信息进行脱敏和强加密处理[13]。目前，欧美一些国家已出台了针对医疗数据保护的法规，对所有数据的访问，都有一套严格的访问控制程序，并要求对数据进行强加密处理，即使出现数据泄露，他人也不能解密。同时，在进行数据分析和管理时，必须打马赛克，以期通过各种周全的规定，来确保数据的安全性[10]。AI医疗器械的发展，既要开放共享，又要保护好数据的安全和隐私，如何规范化使用医疗数据是当前急需解决的关键问题。隐私安全相关法规应对数据访问中心、传送和存储患者信息、供应商、医务工作者等做出周详的规定。

目前，国内关于个人隐私和数据安全的法律并不完善，不论是法律体系还是法律条款都与国外有较大差距。开放医疗与健康联盟白皮书建议：加强立法和完善个人健康医疗信息制度，推进医疗机构资源的开放和整合，培育公众对健康医疗数据应用意识与隐私安全的认知，持续推动国家统一身份标识体系和基于统一身份标识的共性基础服务平台。我国在制定个人隐私保护相关法律时，不仅要考虑数据安全和患者隐私保护，还应平衡AI发展的需求，秉承“鼓励创新，包容审慎”的原则，避免因过度强调隐私安全保护而削弱了数据科学发展的社会价值，掣肘AI的发展。

3.7 加强媒体对AI技术报道的监管，提高公众科学素养

智能手机和自媒体的报道加速了AI知识的传播，而医学界的重大突破又极易吸引阅读量和点击率。因此，媒体不惜采用夸大性语言或未经核实就对其进行报道已经成为普遍现象。当前，虚假信息和谣言等负面信息通过微信等渠道广泛传播，引发公众恐慌，导致公众对AI技术产生错误的认识。因此亟须出台相应的管理办法，加强对AI技术的正面宣传、舆论监督、科学引导和典型报道，引导公众朝着合理健康的方向认识AI，提高公众的理性判断能力和科学素养，并对媒体在医学新闻的报道上加以监管和约束，从而推动AI技术健康发展[15]。

4 结语

AI医疗器械的出现在改变人类旧的医疗格局的同时，也带来一系列伦理问题。AI医疗技术的应用与伦理道德观念并不矛盾，关键在于在权衡取舍中找到更合理的打开方式。针对AI医疗器械的定位、算法偏见与社会公平、责任划分和隐私安全方面的伦理问题，前瞻性地提出要有效评估风险与获益，实现AI医疗器械健康、有序地发展，需要坚持人为主体，提升诊疗质量；确保公众公平享有AI发展成果；加强对AI的监管、立法和伦理制度建设，提高伦理审查能力；强化隐私安全保护；同时，增强媒体对AI技术报道的监管，提高公众科学素养等应对策略，趋利避害，为医疗水平提高和人类健康保障提供支撑。