医学人工智能社会实验项目伦理审查与管理思考*

祝丹娜，吉 萍

（深圳北京大学香港科技大学医学中心临床研究所，广东 深圳 518036）

1 社会实验在医学人工智能领域的应用

2016 年，有学者［1］指出：人工智能技术应用带来的真实社会影响的测量和分析，仍然是人工智能研究的“盲区”。为了更好地评估人工智能对社会可能带来的影响，处理好人工智能与人、人工智能与社会的关系，并引导人工智能健康、可持续发展，国内学者发起了《开展人工智能社会实验、探索智能社会治理中国道路》的倡议。人工智能社会实验是在真实应用场景中，采用科学的方法，建立实验组（受人工智能影响的个人和组织）和对照组（未受人工智能影响的个人和组织），并客观记录指标，来评估人工智能技术对个人、群体和组织的综合影响，最终形成技术规范、技术标准、政策建议等，反馈给技术研发者和政府相关部门，成为决策的重要参考依据［2］。2019 年，科技部强调进一步加强人工智能技术应用带来的相关法律、伦理等社会问题的研判和政策制定，并明确“人工智能社会实验是探索智能时代政府治理的新方法、新手段。”［3］科技部、中央网络安全和信息化委员会等部门陆续提出“组织开展人工智能社会治理实验，持续积累数据和实践经验，为智能时代的政府治理提供支撑”。目前，全国多个国家智能社会治理实验基地和国家新一代人工智能创新发展试验区正在积极开展社会实验［4］。

在医疗卫生领域，人工智能的深度应用是未来发展趋势，也是推进“健康中国”战略的重大创新实践。人工智能技术在医学领域的研发及临床应用过程中往往涉及很多环节，可能引发的伦理风险与影响并不单一［5-7］。世界卫生组织发布报告指出“与所有新技术一样，人工智能在改善全世界数百万人的健康方面具有巨大潜力，但与所有技术一样，它也可能被滥用并造成伤害［8］”。医学人工智能社会实验具有应用场景广泛、研究类型和方法复杂、评价指标多维、学科交叉、主体多元的特点，具体包括：①技术产品类型多样且应用场景广泛；②研究类型和方法复杂，常常是定量研究与定性研究相结合的形式。③评价指标多样化，从技术应用的性能、效能、使用、规范和影响等不同维度，观察对社会积极的和消极的双重影响；④医学人工智能社会实验往往是多学科、跨机构的合作，涉及医疗卫生机构、高校、科研院所、企业、社区等各类主体。因此，开展医学人工智能社会实验对各种资源需求量高、实施难度大、实验本身给个人、机构、社会带来不同类别和程度的伦理风险［9-10］。

2 开展医学人工智能社会实验的伦理审查挑战

为确保深圳市医学人工智能社会治理实验工作符合伦理规范，2021 年6 月深圳市卫健委组织开展了深圳市医学人工智能社会治理实验研究项目伦理自评工作，笔者团队设计了《深圳市医学人工智能社会治理实验研究项目伦理自评调查表》，通过调研及现场访谈发现，虽然医学研究领域有较为完善的伦理规范与监督体系，但实际开展医学人工智能社会实验的政府主管部门、研究团队、研发机构等，在伦理审查中仍面临诸多挑战。

2.1 医学人工智能社会实验伦理审查能力不足

社会实验是融合在真实应用场景中开展的，研究和实践同时进行，这类多学科多机构参与的项目刚开始起步，项目数少，相关方经验少、伦理意识不强，存在伦理监管与审查路径不清晰、各方责任不清的问题。然而，医学人工智能技术以社会实验的新形式进入各类场景，具有技术与实验系统的双重风险，产生的影响具有隐蔽性和扩大性，可能长期持续并且无法有效调控。实验过程中健康医疗数据的采集、存储、使用与集成贯穿社会实验全过程，也存在诸如数据归属、隐私保护、数据安全、受试者权益等风险问题。对于过程中出现新的、非预期的伦理问题，存在动态管理与评估不足的问题。

2.2 医学人工智能技术产品准入机制不完善

依据医学人工智能产品是否具有医疗目的和用途，即该产品是否主要用于疾病诊断或治疗，将医学人工智能产品分为医疗器械类人工智能产品和非医疗器械类人工智能产品。医学人工智能技术产品研发与应用多处于早期阶段，尚不成熟。医疗活动涉及人身安全和健康，应用不成熟的或未获得注册审批的医学人工智能产品可能会带来一定风险，甚至伤害。社会实验多由政府或研究机构组织推动开展，缺乏医学人工智能技术产品准入的机制与评估标准，研究立项阶段未必能充分评估用于社会实验的技术产品的成熟度及使用的合理性，导致技术准入风险评估不充分，甚至流于形式。

2.3 医学人工智能社会实验方案科学性不充分

研究的科学价值和科学有效性至关重要。但是，由于社会实验是以一个新的研究范式进入医疗领域，且医学人工智能社会实验开展项目少，研究团队与伦理审查委员会在判断是否属于社会实验以及方案科学有效性时能力均不足。有学者［11］对已发表的人工智能临床试验证据进行质量评价显示，仅有30.7% 的研究证据达标，提示医疗健康领域人工智能研究设计质量有待提高。当前医学人工智能相关的应用设备与系统的研究、评价与审批制度尚不完善，目前已报道结果的医学人工智能临床试验中大于50% 的项目无法达到国际上英国国家健康与临床优化研究院（National Institute for Health and Clinical Excellence，NICE）框架中有效性评估的最低证据标准。

3 应对医学人工智能社会实验伦理审查挑战的策略

3.1 明确相关各方职责

医学人工智能社会实验相关主体多、要明确各方职责：①政府主管部门要健全医学人工智能社会实验伦理治理体系，在顶层设计、组织方面推动社会实验工作中，推进规范的制定与实施，为从事医学人工智能社会实验相关活动的各类主体提供伦理指引，加强实验监管；②研究发起方作为责任主体，应确保技术应用及研究场景选择的合理性，并进行研究对象权益、数据保护、利益冲突等伦理风险的评估与监测预警，及时作出合乎伦理的决策，遵循国家相关法律法规开展实验；③开展医学人工智能社会实验的医疗卫生机构、高等院校、科研机构与企业等是伦理审查的责任主体，应对研究项目进行伦理风险自评，从风险伤害防范、隐私权、保密权、知情同意权、利益冲突等方面考察该研究可能涉及的伦理问题，加强源头治理和全程治理。伦理委员会进行伦理审查时，应加强对实验过程、实验对象选择、实验数据收集等各个环节的伦理审查，需要重点关注研究风险-受益比、研究对象权益保护、审查形式以及伦理审查委员会组成等内容，以加强伦理审查的充分性和综合性［8］。伦理委员除了涵盖国家相关法律法规要求的相关背景外，还应该纳入包括如生物信息学、数学、计算机、人工智能、社会科学等相关学科。伦理委员应经过伦理审查的基本专业培训，参加医学人工智能及社会实验等相关主题继续培训教育，不断更新知识，提高伦理审查能力和水平。另外，在审查形式上，从伦理审查所需的资源、成本、效率等角度考虑，机构可以采用委托伦理审查和协作审查的方式完成伦理审查。未设立伦理审查委员会或者伦理审查委员会无法胜任审查需要的，机构可以书面形式委托有能力的机构伦理审查委员会开展伦理审查。双方依据委托审查协议履行相应职责，明确沟通交流机制，保持良好的沟通、协作。根据实际需要，可探索在不同区域或不同场景、专业领域组建区域性、专业性的社会实验伦理审查委员会，集中受理此类项目，减少伦理审查不规范并防范利益冲突风险，保证审查独立性和专业性。同时，提高跨机构、跨区域的审查效率［12-13］。按照同一研究方案，在多个机构开展的医学人工智能社会实验，可以建立伦理审查协作与互认机制；④研究团队应确保相关资质、经验、技术能力等能够胜任，应确保实验的科学有效性，科学规划人工智能社会实验场景，合理应用场景数据，研究评估测量、方法、数据等设计科学，搭建规范的实验数据平台；另外，保护研究对象权益是研究者的责任和义务。履行这些责任，研究者必须接受伦理培训并熟知相关伦理原则，提高研究者的伦理意识，确保研究合法、合规开展。

3.2 构建实验全生命周期伦理监管体系

加强实验项目遴选、设计与实施全生命周期伦理审查与管理。①在实验项目遴选阶段，要加强医学人工智能社会实验的技术产品准入机制与相关标准的建立。研究前需评估实验技术操作或设备有合理的应用依据和前期研究基础，符合相关法律法规及行业技术规范等，并通过人工智能相关技术标准、产品质检、产品市场应用许可等；在有较好的人工智能技术应用实践基础、相关技术成熟度较高、技术水平具备规模应用的条件下开展。对于还未有规范或者标准可以依据的技术和产品，应开展技术风险前瞻性评估；医学人工智能技术是否安全可靠，必须基于医学人工智能技术临床前的理论及科技研究安全性、有效性数据支撑，包括对预期的应用场景、方法的安全性和有效性、应用条件和相应临床专业承接团队的资质等进行评估。需要政府主管部门、医疗卫生机构和人工智能企业加强交流与合作，充分评估产品的成熟度、安全性和预期风险等级。同时，需要政府相关部门推动医学人工智能技术准入标准的建设，包括数据、算法、产品和服务、从业人员、企业准入管理等方面的标准化。②设计与实施阶段各环节都符合相关法律法规和伦理规范，需要建立和完善伦理审查机制。在整个生命周期，医学人工智能产品还需要不断地进行技术升级，需要不断地进行测试、验证和改进，以适应新需求，确保产品的质量和可靠性。因此，应从伦理管理的角度，加强实验设计、实施和报告的全周期管理，确保符合相关伦理规范。要将伦理理念融入医学人工智能社会实验全生命周期，为从事医学人工智能社会实验相关活动的各类主体提供伦理指引。

4 小结

综上所述，随着场景广、跨学科、多样化的医学人工智能社会实验越来越多地开展，规范医学人工智能社会实验伦理审查质量控制，提升伦理审查效率，成为当前推动医学人工智能社会实验规范开展的迫切要求。政府部门、研发机构、技术开发者、管理者及伦理审查委员会等相关各方应积极探索基于医学人工智能社会实验的特点与规律的伦理审查规范与管理制度，构建医学人工智能全生命周期伦理监管体系，加强实验项目遴选、设计与立项、实施与结题全周期伦理审查与管理，提升研究伦理管理能力及伦理风险防控意识，保护研究对象权益并产生可信证据。