“健康中国”战略下医疗人工智能诊断产品技术风险及主体责任探讨

2021-02-03茅鸯对孙高军

中国医疗器械杂志 2021年1期

茅鸯对，孙高军

1 浙江医药高等专科学校，宁波市，315000

2 广发银行股份有限公司宁波分行，宁波市，315000

0 引言

中共中央、国务院印发的《“健康中国2030”规划纲要》中指出到2030年基本实现健康公平，主要健康指标进入高收入国家行列[1]。当前人口基数庞大，老龄化加剧，日益增长的健康服务需求已使我国医疗服务系统不堪重负，医疗人工智能（artificial intelligence，AI）的出现对大幅提高诊疗效率，改善医疗资源配置，缓解就医压力，降低医疗成本有所裨益。近年来全球各个国家及组织纷纷发布国家战略、伦理准则、规范、指南、标准、政策、白皮书、行业发展报告等文件，均致力于实现AI产业稳步落地。然而医疗AI产品的广泛应用会引发诸多风险，包括数据隐私和安全问题，算法黑箱特性问题，结果篡改便利问题，算法融合人类偏见以及加剧健康差异等问题[2]。医疗AI诊断产品依赖于算法、算力和数据三大核心要素，与普通医疗器械产品的特性大相径庭，其风险隐蔽性更强，影响面更广，唯有主体责任落实与道德规范约束两者并驾齐驱，划清各个主体的责任边界，推行有效的问责措施，才能真正引导行业自律，形成良性循环。有针对性地构建医疗AI诊断产品主体责任体系及提出相关保障措施，为该类产品在应用中实现合理可责、可持续发展奠定重要基础。

1 医疗AI诊断产品界定

医疗AI产品是在不同临床应用场景下引入自然语言处理（natural language processing）、深度学习（deep learning）、知识图谱（knowledge graph）、计算机视觉（computer vision）等AI相关技术所开发的产品及服务[3]。医疗AI产品通过学习海量的医学数据和专业知识，模拟医生的诊断方式，可在短时间内开展筛查和诊断、风险计算、预后和临床决策支持、管理规划和精准医疗。目前医疗AI产品涵盖了疾病风险预测、医疗影像辅助诊断、临床辅助治疗、智能健康管理和医院智能管理等众多领域。本研究探讨的医疗AI诊断产品是指在不同医疗场景提供疾病诊断信息的产品，包括医学影像AI、辅助诊断AI、智能导诊AI等。

2 医疗AI诊断产品主体责任困境探讨

医疗AI诊断产品常见风险点较多（见图1），其准确度、敏感度、特异性等关键指标尚未达到完美程度，尤其是肿瘤类影像诊断AI对疾病的检出、分类、筛查、病灶分割及测量等工作，任何一个环节都有可能存在某种程度上的偏差，直接或间接影响诊疗方案，从而造成延误治疗、错误治疗或过度治疗，对患者身心造成不同程度的伤害。鉴于医疗AI诊断产品涉及设计者、生产者、经营者、使用者等多个主体，实践中存在多重角色合一的情况，任何环节都有可能存在主观纰漏或客观疏忽，存在混合责任，责任边界模糊的情况，容易陷入责任分配不公，举证和追责难度大的窘境，有损患者权益。而目前医疗AI法律主体地位的不明朗、评价标准与方法规范的缺失、侵权责任归属的复杂性问题凸显，是行业发展的首要障碍。

图1 医疗AI诊断产品常见风险图Fig.1 Common risk diagram of medical AI diagnostic products

3 国内外医疗AI主体责任研究

3.1 国内外医疗AI法律主体资格认定

国内外学者对人工智能法律主体资格认定主要有三种观点：一是以DREMLIUGA、颜俊、黄莹等为代表的学者，认为医疗AI产品在不同程度上需要借助人类的智慧，受到人类的操作与监管，其地位等同于普通医疗器械，不赋予其法律主体资格[4-6]。二是以HALLEVY、王征、袁曾等为代表的学者，认为可以赋予拥有独立思考及决策能力，具备自我感知和行为能力的强人工智能以同人类平等的权利并承担相应责任义务，但考虑到其能承担的法律后果有限，将其确立为具有“特殊性质”“有限”“类人”的法律主体[7-9]。欧盟已将最先进的AI定位为“电子人”，赋予其“特定的权利和义务”[10]。三是以刘宪权、蒋巍、刘建利为代表的学者，认为对于强人工智能可以确立其法律主体资格[11-13]，梁鹏将其定位为类似于未成年人的法律地位[14]。沙特阿拉伯已授予类人机器人“索菲亚”沙特阿拉伯国籍。我国在2019年世界人工智能大会上公开表明在弱人工智能时代，人工智能产品本身不具有独立的法律主体资格，设计者、生产者、运营者、使用者承担法律主体责任[15]。

3.2 医疗AI主体责任分配问题探讨

美国国家标准与技术研究院（NIST）发布了关于人工智能技术和道德标准指导意见，确立改进公平性、透明度和设计责任机制。法国规定医师诊断是主动操作员，应承担“机器人监护人”的角色。钱思雯[16]建议构建以产品责任为核心的责任分配体系，党家玉[17]认为人工智能的侵权责任应在明确具体的责任承担主体，设立具体的责任承担监管机构的基础上，平衡消费者、制造商以及受害人三方利益，建立以责任保险制度为核心的综合救济体系。张志坚[18]指出将人工智能拟制为电子法人，须按相应比例在多方主体之间分摊权责，从而实现法人之责任有限与权责分摊的目的，且不危及人类自身安全和主体支配地位。蒋巍[19]指出结合“一般法+特别法+责任主体承诺”方式，人工智能刑事责任分配考量设计者的犯罪为目，使用者的具体角色，并判断其是否犯罪以及刑事责任的大小。目前我国明确根据过错责任原则，由人工智能设计者、生产者、运营者、使用者按照过错程度分担，由外部技术侵入造成的侵权应追究其责任，对于因技术限制在开发之初无法预测到的危险，造成侵权后果的，应引入保险机制等方式进行责任分担。

3.3 实现医疗AI主体责任认定及追偿的配套措施

美国《人工智能未来法案》要求商务部设立联邦人工智能发展与应用咨询委员会，重点关注隐私保护、责任认定问题[20]。《欧盟机器人民事法律规则》明确要求机器人适用强制保险机制并设立赔偿基金[21]。颜俊[5]建议针对人工智能研发、生产和使用中可能出现的各类风险，设置不同的责任险种实现对受损者的赔偿。张玉洁[22]认为应建立机器人强制登记制度以确立机器人法律主体地位，开展权责追溯。张童[23]认为需要建立专门的伦理准则、登记公示制度与召回处置机制，确立生产者、销售者与使用者之间差异化的归责原则，并侧重强调生产者的举证责任，以及在保护隐私权的前提下记录并保存侵害原由与过程的电子数据。《斯坦福「人工智能百年研究」首份报告：2030年的人工智能与生活》中指出可以实行人工智能算法代码备案制度，并交由专门的机构进行算法的事后监督检查，一旦发现漏洞及时通知算法研发机构和使用人，并要求更正更新[24]。

4 构建医疗AI诊断产品主体责任体系

4.1 构建医疗AI诊断产品主体责任体系总体原则

笔者建议借鉴发达国家“模糊目标+强硬透明度要求+有意义执法”的监管经验，以包容审慎为原则，构建以上市许可持有人为“第一责任人”，设计者、生产者、经营者和使用者为共同责任人的医疗AI诊断产品主体责任体系。建立医疗AI诊断产品致损的责任分担机制，使各个主体义务与责任边界清晰化，避免责任空白。同时建议规定因科技水平限制或不可抗力等因素造成的责任豁免情形，有效平衡风险防范和创新激励，确保人工智能系统以公平、可靠、安全、适当透明和隐私为核心，保障公众利益。

4.2 医疗AI诊断产品主体责任要点

4.2.1 医疗AI诊断产品上市许可持有人主体责任

笔者建议将医疗AI诊断产品上市许可持有人作为“第一责任人”承担产品从始至终的法律责任，其角色可以是涉及AI产品任何一个环节的主体，也可以是研发机构或者科研人员。上市许可持有人主动向药监局提出AI诊断产品审批申请，监管部门作为第一层过滤网，遴选出符合AI技术标准和准则的产品，降低市场风险。上市许可持有人可与设计者、生产者、经营者等相关利益方签订合同，载明权利、责任和义务，明确质量责任。注册环节需要进行合同备案与算法备案，作为侵权责任分配依据。

4.2.2 医疗AI诊断产品设计者主体责任

医疗AI诊断产品设计者在需求分析、数据收集、算法设计、验证与确认等每个环节必须以设计可信赖AI（trustworthy AI）为最高纲领，收集医院伦理委员会批准或者豁免的临床脱敏数据，统一标记规范，建立高质量大规模分布均衡的高质量数据库。开发匹配不同诊断场景和临床需求，契合临床医师工作流程的可靠型、安全型、易用型AI，建立渠道畅通、响应快速的反馈机制，便于及时迭代和优化。确保AI可理解、可解释、可预测，实时检测模型偏差并自动推荐要添加到模型中的数据，及时纠正偏差。

4.2.3 医疗AI诊断产品生产者和经营者主体责任

医疗AI诊断产品的生产者应以人为本，生产安全有效、公平、透明、尊重隐私、符合伦理道德的产品。在说明书中详尽阐述具体操作方法、注意事项、警示信息、履行使用者培训后再使用的义务，采用医疗器械唯一标识（unique device identification，UDI），开发AI追溯系统，能够利用算法从复杂的因果链中寻找归责依据。经营者按规定开展进货查验记录制度和销售记录制度，向符合资质的医疗机构销售产品。

4.2.4 医疗AI诊断产品使用者主体责任

医疗AI诊断产品使用者包括医疗机构、体检中心、第三方医学影像中心等单位，国家药品监督管理局协同国家卫生健康委员会对其进行资质认定，严格审核硬件设施、医师资格、专业技术能力以及培训管理等要求，符合《人工智能辅助诊断技术管理规范2017》等行业规范。医院引入AI产品必须开展采购论证、进货查验等工作。使用者必须善用和慎用AI，避免不合理的利用与不恰当的操作，尽可能降低损害发生的概率。

4.3 医疗AI诊断产品侵权责任探讨

在医疗AI诊断产品侵权事件发生时，首先判定医疗AI诊断产品是否注册并符合产品技术要求，由具备资质的检验检测机构出具是否合格的检测报告，如果产品不合格即为缺陷产品，上市许可持有人应向受害人进行赔偿，此时上市许可持有人亦有权调查根本原因，若是其他共同责任人造成的侵害，有权按合同约定向其追偿。其次判定是否在免责条款中，如果在免责条款中，受害人可以通过保险或基金进行救济。如果不在免责范围内，结合《产品质量法》《产品侵权法》判定因果关系、损害事实及主观过错。基于医疗AI诊断产品的智能等级和产品风险水平进行分类，对高智能等级且高风险产品严格监管，适用无过错责任，举证责任倒置。对于低智能等级且低风险产品适用过错责任，“谁主张，谁举证”原则。由专门的医疗人工智能损害技术鉴定部门进行专业技术判断，医疗过错行为在医疗损害后果责任程度应依据患者损害的原因力大小（全部原因、主要原因、同等原因、次要原因、轻微原因、无因果关系）确定，要求上市许可持有人赔偿，上市许可持有人根据合同约定的责任条款向设计者、生产者等过错方追究连带责任，追偿损失。同时可以建立AI质量首问负责任制，AI利益相关方中任何一方先接到受害人赔偿请求，谁就先行赔付，再进行追偿。

建议构建医疗人工智能强制保险制度为主，赔偿基金制度为辅的双重保障体系。上市许可持有人参考风险级别购买强制保险和商业险，保额与风险大小成正比，设计者、生产者、使用者等利益相关方可以选择性购买商业险，消除侵权赔偿的后顾之忧，将各自精力聚焦在专业领域，有利于实现精准诊疗。设立专项赔偿基金进行合理救济，在侵权责任和强制保险无法覆盖的情形下弥补受害者赔偿不到位的损失。

需要指出的是，当前处于弱人工智能时代，大部分是单病种医疗AI诊断产品，加上仅是辅助决策作用，临床诊断结论更依赖医师专业程度，此处需要甄别诊断失误事件或医疗事故是由医师主观判断错误、操作失误还是硬件故障、程序漏洞等AI本身原因所导致的问题。

4.4 医疗AI诊断产品主体责任体系重要保障措施

4.4.1 逐步实现算法透明和可解释

算法透明是提供算法可责性问题的解决工具，明确算法决策的主体性、因果性或相关性，是确定和分配算法责任的前提[25]。欧盟《通用数据保护条例》中规定公司有义务向欧盟管理机构提供个别算法决策详细解释或关于算法如何决策的一般信息[26]。应该坚持公开透明原则，将人工智能的研发、设计和应用置于监管机构、伦理委员会以及社会公众的共同监督之下。

4.4.2 构建分类分级监管模式

不同医疗AI诊断产品技术发展成熟度、能力水平和特定功能存在差异，给社会带来的风险程度有所不同。笔者建议针对不同的疾病情况（不同病症、不同严重程度）和算法功能（筛查、辅助诊断、治疗），采用基于风险管理的分类分级监管模式。当所提交审批的医疗AI产品质量、用户安全、临床可靠性、网络安全责任和前瞻性文化五大方面超过行业金标准时，企业可申请预认证，通过后予以精简审核。上市后监管可结合产品风险等级不同，采用宽严有别的监督方式。

4.4.3 构建基于社会共治理念的多元治理路径

面对日新月异的医疗AI技术发展以及日趋复杂的医疗诊断安全问题，亟需构建以“政府法律规范制约、行政监管部门监管、技术机构技术支撑、行业组织产业引导、社会舆论监督”为主线的多元治理路径。发挥政府在伦理监管中的作用，明确利益相关者在伦理治理体系中的责任[27]。行政监管部门建立医疗AI强制登记制度，强制故障透明，使医疗AI行为及决策全程可追溯。技术支撑机构需加快建立医疗AI器械审评审批制度，制定统一的质量评价标准与规范，合理评估安全性和伦理性。以中国人工智能产业发展联盟为引领的行业组织应助推医疗AI政策落地，搭建AI技术端与应用端的桥梁，引导产业精准服务。在新常态开展以新闻媒体、消费者协会、行业协会、公民为共同体的舆论监督，真正倾听市场诉求，促进现代化高效治理，利于产业蓬勃发展。