医疗人工智能研究的风险评估及应对*

吉 萍 祝丹娜 肖 平 许卫卫 郭 锐

1 医疗人工智能的研究现状

人工智能已经成为医学影像诊断、疾病筛查预测、疾病治疗、人群健康管理、辅助药物研发、医疗机器人、医院智能化管理等领域的研究热点。然而，人工智能技术迅猛发展中带来的各类技术与伦理风险也不容忽视,国内外都已发布多项人工智能的伦理指南共识，致力于呼吁做有益人类的人工智能，全球针对人工智能风险已达成基本共识，应由研究机构、科技企业和科技工作者基于各自面对的风险各负其责共同管理[1-6]。英国纳菲尔德生命伦理委员会提出健康人工智能开发和使用会引发一系列问题，包括：技术安全可靠、数据和算法可靠、确保潜在敏感数据得到保护并能赢得公众信任，对医生和患者诊疗过程的影响等[7]。美国医学会倡导对人工智能系统的临床应用进行验证和评估时，必须基于人工智能系统潜在损害的风险和利益评估，包括预期的应用、方法的安全性、有效性和公平性的证据等[8]。基于健康大数据的人工智能技术与医疗领域深度结合的研发，带来了医疗技术的颠覆性创新，也是医疗技术体系与服务模式的转型。常见三种类型的医疗人工智能研究如下。

1.1 基于健康数据寻找关联规律的人工智能研究

依赖健康数据驱动的人工智能研发，通过整合各类数据资源，观察数据规律，提供关联关系，由研究团队在实验室即可完成，不需要直接纳入患者。可归为以下几类[9]：(1)医学影像识别及诊断软件或软件组件产品研发，较为成熟的是开发诊断与临床辅助决策系统，包括产品注册登记、产品静态特征的评估、产品动态特征的评估和评估结果分析。这类通过收集大量患者的医疗信息、影像资料、医学知识图谱、标本等进行整合分析的产品，已经在肺结节、乳腺癌、皮肤癌、眼底病、病理等领域陆续获得批准上市。(2) 智慧医疗领域：综合了现代化技术，如物联网、云计算等技术，通过技术和基础设备的融合，建立医疗多维生物特征信息平台、智能操作以及智能化管理等，实现全流程智能化管理。(3)智能公共卫生领域：利用人工智能技术进行建模预测传染病，评估不同时期、不同区域传染病的情况。(4)药物研发领域：通过计算机模拟，预测药物活性、安全性和毒副作用、构建新型药物分子、筛选生物标志物、研究新型组合疗法，找出与疾病匹配的最佳药物等，可以缩短药物研发周期，提高新药的研发成功率。

1.2 评价医疗人工智能干预措施的研究

通常，评价医疗人工智能干预措施的研究需要纳入研究对象，多为医疗器械临床试验，如外科手术机器人、康复机器人、护理机器人以及智能假肢、外骨骼和辅助设备等技术修复受损人类身体等。这和传统临床试验一样,需进行安全性、可靠性和疗效等评估，一般会作为注册类医疗器械临床试验进行申报开展。

1.3 评价医疗人工智能产品效果及社会影响的研究

开展对医疗人工智能技术与产品应用效果评价以及对社会群体影响的研究越来越多。这类研究通常采用问卷调查和现场定性访谈等混合方法，对应用场景、使用者满意度、工作效能、业务流程优化等指标进行收集、分析与评价。以利益相关方为主要对象，包括监管机构、研发机构管理者、研发者、医生、护士、患者等进行访谈、观察等，了解机构、医患对医疗人工智能应用的认可程度，对医护工作效率和工作量的改变、患者治疗体验的改变，以及是否影响医患关系、产生社会问题等[10-12]。

因此，开展医疗人工智能技术与产品研发的机构，需要依据医疗人工智能技术基于大数据的特点、产品应用场景广、多学科交叉、研究目的不同而研究设计不同等特点，遵守“风险和获益合理评估以及风险最小化”的基本科研原则与规范[13-14]，进行充分的风险评估并有效应对风险。

2 医疗人工智能研发的常见风险

医疗人工智能研发各方需要依据技术、科学、伦理原则进行符合其规律和特点的评估，在早期识别出可能会对个体、机构、社会等产生的各类风险[15-18]。

2.1 专业技术风险

基于数据驱动的人工智能技术研究的专业技术风险主要包括算法是否正确和数据质量是否可靠。人工智能产品在其形成过程往往难以避开算法歧视、设计中的错误以及不准确和缺失的数据。算法歧视主要分为“人为造成的歧视”“数据驱动的歧视”与“机器自我学习造成的歧视”三类[19]。这也是医疗人工智能产品与一般产品的最大区别。另外，目前大数据类型多样，数据获取、储存与传输等各个环节尚缺乏标准与规范。如果所开展的项目缺乏科学设计、专业的算法设计和质量可靠的数据，则难以产生可信赖的研究证据或产品。评价外科手术机器人、康复机器人、护理机器人以及智能假肢、外骨骼和辅助设备等技术要纳入患者参加试验，则存在复杂的技术不确定性及未知的安全风险。

2.2 个人信息保护风险

基于数据驱动的人工智能技术研发往往是企业、研究机构、医院与政府等多方合作，主要包括侵犯隐私的风险和个人敏感信息识别与保护的风险。国内健康数据的采集标准、归属、管理责任不清，数据流通机制并不健全，在信息安全、使用权、数据主体的隐私保护等问题面临巨大风险。一方面，我国有关个人信息保护的规定散见于《民法典》《网络安全法》《个人信息保护法》等，并没有对“数据权”进行规定。我国法律是以“同意规则”作为数据处理行为的合法性基础。人工智能技术在为用户提供更加便捷服务的同时，也极大地扩展了个人信息收集的场景、范围和数量。日常海量医疗数据作为整合的群体信息被使用时，个人不知情且“被动”加入数据库的情况屡见不鲜。医疗人工智能在收集和使用健康医疗大数据时，并不要个体可识别信息。如何才是合理可行的知情同意？收集的数据怎样使用才是合法合理的[20]？

2.3 社会影响风险

当前面向人工智能相关的医疗应用设备与系统的研究、评价与审批制度并不完善，目前很少有随机对照试验，存在人工智能优于医生的夸大说法[21-22]。如果出现误用或滥用导致医疗事故，可能触发社会舆情及对人工智能不信任等。另外，医疗人工智能技术的开发和应用不可避免地会冲击现有的诊疗秩序，可能对社会产生远期发展的风险，如对既有的就业、就诊方式产生根本变革，这些我们将其归入长期和间接的伦理风险之中。其三，在商业应用中，拥有数据和技术的机构对服务资源的垄断，会引发医疗资源分配不公现象，公众权益容易受到侵害风险。

3 医疗人工智能研发风险应对

医疗人工智能产学研转化链中与健康大数据、生物信息、物联网、云计算、医学等多学科交叉，具有跨行业、跨机构合作的特点。可划分为：提供计算硬件、软件以及数据和算力支撑的基础层，由芯片、传感器、数据资源、云计算平台等机构组成。利用底层数据，进行算法、开发平台和应用技术的技术层进行研发，来支撑医疗领域的人工智能应用[23]。当前涉及到的相关单位包含政府机构、医疗卫生机构、科研机构、各类企业等，要作为重要参与方的企业、科研院所、研发人员共同承担责任。

3.1 责任共担的多元化治理

医疗人工智能的研发中责任归属不清。应贯彻责任原则，即在相关的技术开发和应用中建立明确的全流程责任体系。责任原则的意义在于，当人工智能应用结果导致伦理或法律的冲突问题时，能在应用层面建立合理的责任和赔偿体系，保障人工智能应用的公平合理性。责任原则不仅包括事后追责，更关注前置性的风险管理，包括将风险评估的责任分配给每一个环节的参与者，包括科研人员、研究机构、相关企业、医院和医生个人。

(1) 为了控制专业技术风险，机构首先需要作好科学性审查，确保算法的科学性、可靠性、可解释性以及评估数据来源及质量是否可靠。另外，判断项目本身的复杂性、科研开发者能力及外部合作方能力等是否有技术失败风险。对于技术风险判断和科学性审查经验不足的项目，可聘请行业专家咨询并参与论证。

(2) 为了应对个人信息保护风险，机构在开展人工智能研发全流程中必须遵循“合法、正当、必要的开发利用”原则，关注数据来源是否合法可靠，关注是否有维护信息安全、采取数据安全和隐私保护措施。无论是数据使用方还是提供机构，均应建立“全程预测、控制、监察和审查数据的使用”治理系统。应关注数据收集数据类型，是否有可识别信息，如何符合知情同意原则，脱敏的规则、程序和方法、数据使用及转移的相关要求等，在合作合同中要特别重视保密条款是否恰当合理，妥善解决合作中的产权保护与成果分配等问题。

(3) 对探索人工智能干预技术或设备研发的临床试验，关注新干预技术操作或设备测试是否符合相关法律法规及行业技术规范等；是否有合理依据和前期研究基础；研究团队是否有资质并能胜任；前期是否先开展小样本的探索性设计；受试者可能有哪些安全性风险；受试者可能遭受的风险程度与研究预期的受益相比是否在合理范围之内；是否采取风险控制措施，如制定安全性事件应对和报告流程等。此外，制定受试者损害赔偿处理的快速处理流程、责任人和处理时限。建立研究保险机制也是受试者权利受到侵害时的一条救济途径，即当受试者因试验造成损害的情况下，可以由保险公司进行赔偿。在合作合同中，要特别重视技术风险责任的承担。

3.2 可用的多维化工具

医疗人工智能研发中应建立风险预测、判别和预防机制与工具。在指导性伦理准则下，需要有具体的实施标准细则等作为工具[23]。例如，人工智能研发离不开数据。国内外法案都在致力于既保护个人受保护的健康信息，又确保研究人员可以持续获得必要的医疗信息来进行研究[18]。通过政府立法从源头规范健康管理和服务机构的数据收集行为，解决多头收集造成的数据冗余、不一致等问题。虽然明确了健康医疗大数据共享开放的标准、安全及服务管理要求[24-25]，但国家标准规范在落地执行中仍存在壁垒，需要具体可操作性强的标准、机制等，来确相关各方人工智能研发的合规性，如建立数据共享开放机制，平衡个人数据保护与数据开发利用。制定包含法规、制度、标准及企业规范的多维化工具才能控制研发风险。

4 结语

所谓人工智能即“智能为用，学习为魂，机器为体”，人工智能的价值在于更好地为人类服务，而非人类受制于它。医疗人工智能作为新兴技术或产品，不断面临新的应用场景及各种挑战。国家应尽快明确医疗人工智能从科研到产品开发全流程中各环节的监管主体和管理政策，尤其是数据使用，为相关责任方提供规范指引，增强合法合规意识，确保应用的安全、可靠、可控。另一方面，从开发者、管理者到伦理审查委员等相关各方都必须有风险意识，基于不同人工智能研究类别的特点与规律，关注研究的科学性、技术与设计可靠性、技术安全性、信息保护、责任归属、伦理审查、结果报告可靠性等各个方面的风险，主动、负责任地协同开展研究，尽量做到“防患于未然”，确保医疗人工智能研究安全、可靠、可控、可持续开展。