人工智能医疗器械企业质量管理体系构建关键指标筛选研究

刘毅 ，王浩，李澍，任海萍，樊瑜波

1. 北京航空航天大学 a. 生物与医学工程学院； b. 生物医学工程高精尖创新中心，生物力学与力学生物学教育部重点实验室，生物与医学工程学院；c. 医学科学与工程学院，北京 100191；2. 北京北铃专用汽车有限公司，北京 101500；3. 中国食品药品检定研究院 医疗器械检定所，北京 102629；4. 国药集团医疗器械研究院，北京 100028

引言

人工智能医疗器械（Artificial Intelligence Medical Device，AIMD）作为一个新兴的产业，近几年在图像识别[1]、决策支持[2]、自然语音识别[3]和语言转换[4]等研究领域取得了突破性进展。2018年，利用医学影像人工智能（Artificial Intelligence，AI）实现视网膜病变筛查的研究成果在Cell杂志发表[5]，同年美国食品药品监督管理局（FDA）批准了“IDx-DR”产品的上市申请，该产品为首个获批的糖网筛查AIMD产品，其可对成人糖尿病患者进行糖尿病视网膜病变筛查。随后，FDA先后批准多个AIMD软件及科技项目，例如Imagen公司的“OsteoDetect软件”，Aidoc医疗人工智能公司的“工作流程优化组合产品”及Subtle Medical深透医疗的“SubtlePET”等。

随着我国政策红利与科研创新加速的双重驱动[6]，我国也陆续有一些AIMD产品获批上市，截至2020年12月底，已经获批上市的AIMD产品有9个，包括“冠脉血流储备分数计算软件”“心电分析软件”“颅内肿瘤磁共振影像辅助诊断软件”等，AIMD各个方向具有代表性的生产研发企业有40余家。但是，笔者通过深度走访相关的生产企业，发现大部分生产研发企业更注重产品的适用性、辅助诊/治疗效果等方面的研发精力，而在AIMD产品的生产研发过程中，其质量管理体系尚不够完备，且缺乏AIMD企业质量管理体系构建的参考标准。然而，产品的质量管理体系对产品的上市审批流程的加速以及产品上市后的质量控制均具有举足轻重的作用[7]。

YY/T 0287-2017《医疗器械质量管理体系用于法规的要求》作为医疗器械质量管理体系的通用要求[8]，有其作为医疗器械必须要遵循的普适性。但是AIMD产品，除了有其作为医疗器械的普适性，还有其作为AIMD产品/软件的特殊性。2019年7月，国家药品监督管理局医疗器械技术审评中心在全球率先发布《深度学习辅助决策软件审评要点》[9]，同时主持完成《医疗器械生产质量管理规范独立软件附录》[10]（以下简称软件附录）。如何将YY/T 0287-2017[8]的要点与软件附录甚至《Xavier GMLP报告》[11]有机地结合起来，构建一套AIMD生产企业普遍适用的质量管理体系，目前尚无报道。本研究旨在YY/T 0287-2017的基础上，通过专家咨询法，筛选出与AIMD质量管理体系相关的关键指标，从而为进一步构建企业内部的AIMD质量管理体系提供参考依据。

1 对象与方法

1.1 调查对象

遵循权威性和代表性原则，本研究选择医学AI领域的首席专家、AI评审员、检验所及研究院专家、行业协会专家以及相关企业科研高管等共计15位AI领域研发评审权威专家，作为本研究的咨询专家。

同时，结合专家咨询法的专家权威程度计算公式：专家权威程度Cr=（专家判断系数Ca+专家熟悉系数Cs）/2，科学判断咨询专家的权威程度。注：Cr值在0～1之间，值越大，说明专家的权威程度越高，Cr≥0.70则表明是一项比较好的专家咨询[12]。专家权威程度采用自评方式，专家对AIMD产品质量管理体系的判断系数量化值，见表1[13]；专家对AIMD产品质量管理体系的熟悉程度量化值：非常熟悉1.0，比较熟悉0.8，一般熟悉0.6，不太熟悉0.4，很不熟悉0.2[14]。

表1 指标体系判断依据及影响程度

1.2 调查方法

采取两轮专家咨询的方式，首轮通过对YY/T 0287-2017《医疗器械质量管理体系用于法规的要求》[8]，根据AIMD产品的特殊性，结合软件附录、《Xavier GMLP报告》[11]和专家头脑风暴后，筛选出与AIMD产品相关的指标；二轮专家咨询根据首轮咨询筛选出的相关指标，制定《人工智能医疗器械生产研发质量管理体系关键指标专家咨询表》（图1），对其采用Likert 5点法进行权重打分，根据评分的平均分值、标准差、变异系数（Coefficient of Variation，CV值）以及满分率等筛选出AIMD质量管理体系构建的关键指标。

《人工智能医疗器械生产研发质量管理体系关键指标专家咨询表》中候选指标是参考文件YY/T 0287-2017《医疗器械质量管理体系用于法规的要求》[8]，对AIMD产品质量管理体系构建过程中的质量管理体系、管理职责、资源管理、产品实现、测量、分析和改进等5个一级指标进行相关性评估。各一级指标的二级指标如下：① 质量管理体系：总要求和文件要求；② 管理职责：管理者承诺、以顾客为关注焦点、质量方针、策划、职责、权限与沟通、管理评审；③ 资源管理：资源提供、人力资源、基础设施、工作环境和污染控制；④ 产品实现：产品的实现与策划、与顾客有关的过程、设计和开发、采购、生产和服务提供、监视和检测设备的质控；⑤ 测量、分析和改进：监视和测量、不合格品控制、数据分析、改进。

1.3 数据分析方法

共发放15份调研问卷，回收15份问卷，回收率为100%。将所有数据整理录入格式化后，应用IBM SPSS 21.0进行统计学分析，计算各指标的权重均值、标准差、CV值和满分率。

2 结果

2.1 专家权威度

受邀参与咨询的专家基本情况，见表2。从表2中可以看出：100%的专家具有副高级及以上职称，63.33%具有硕士及以上学位，86.67%为科室主任及以上职务。结合专家咨询法的专家权威度计算公式，本研究邀请的专家Ca=0.89、Cs=0.93，由此计算可得专家权威程度Cr值为0.91（＞0.7），证明此次调研是比较好的专家咨询，专家组的权威度高。

表2 咨询专家基本情况

2.2 指标筛选

首轮专家咨询，通过对YY/T 0287-2017《医疗器械质量管理体系用于法规的要求》5个一级指标，22个二级指标、60个三级指标进行专家咨询和头脑风暴之后，一致认为10个二级指标、24个三级指标与AIMD产品的特殊性无关，删除筛选之后，共得到5个一级指标、12个二级指标，36个三级指标。后续对筛选出来的36个三级指标进行二轮专家咨询权重打分。问卷内容如图1所示。

图1 人工智能医疗器械生产质量管理体系关键指标专家咨询表

2.3 指标权重咨询结果分析

将回收的15份问卷的结果进行格式统一处理后，导入到SPSS 21.0，计算各指标的均值、标准差、CV值和满分率，结果见表3。对各分析结果进行绘图展示，见图2。

图2 针对各项指标二次专家咨询结果汇总

表3 专家咨询结果

可以看出，36个指标的平均分值介于3.40～4.93之间，标准差均小于1.00，CV值均小于25%。其中“设计和开发”部分的指标评分CV值均小于20%，满分率均≥66.67%。对于各项指标对于AIMD质量管理体系构建的相关程度，专家的意见整体比较统一。

按照平均分、标准差、CV值和满分率四项指标的综合排名，可以发现：“设计和开发验证”“设计和开发确认”和“设计和开发更改的控制”三个指标的得分均值分别为4.93、4.87和4.87，标准差分别为0.26、0.35和0.35，CV值分别为5.23%、7.23%和7.23%，满分率分别为93.33%、86.67%和86.67%。排名前三的这三个指标，专家们的意见表现出了高度的一致性。

3 讨论与结论

2020年是我国AIMD平稳发展的又一年，技术创新与落地转化步伐持续加速，医疗器械审评部门也已逐步建立起AIMD技术临床准入评审规范和标准，一些创新技术陆续经过评审进入临床。然而，由于AIMD在我国落地的时间还不长，产品应用评估和质量控制体系总体处于起步与探索阶段，AIMD产品的质量管理体系尚不够完备[15]。相关政府部门也高度重视AIMD产量的质量管理，2019年10月，国家药监局正式批复成立人工智能医疗器械标准化技术归口单位，由中国食品药品检定研究院作为秘书处承担单位。《人工智能医疗器械质量要求与评价 第1部分：术语》和《人工智能医疗器械质量要求与评价 第2部分：数据集通用要求》两个医疗器械行业标准在中检院的组织下，已进入报批阶段[16]。标准体系的健康发展，需要夯实的产品质量作保证，生产研发企业的质量管理体系的建立，是确保产品顺利通过上市审批并对产品上市后的质量强有力保障的基础[7]。

本研究通过专家咨询法，首次基于YY/T 0287-2017《医疗器械质量管理体系用于法规的要求》中的各项指标，筛选出与AIMD质量管理体系相关的指标，并进行权重评分。从分析结果可以看出，两轮专家咨询之后，一共筛选得到5个一级指标、12个二级指标，36个三级指标，所有指标的平均分值介于3.40～4.93之间，标准差均小于1.00，CV值均小于25%。这36个三级指标亦是架构AIMD生产研发过程中的质量管理体系需要重点考虑的一些指标，尤其“设计和开发验证”“设计和开发确认”和“设计和开发更改的控制”三个指标专家意见表现出了高度的一致性，亦反映出这三个指标是AI专家认为最关键的三个指标，需要AIMD企业重点关注。

AIMD通过对现有的大数据，通过图像识别、深度学习、神经网络算法等计算机技术，从而实现参与疾病的筛查和预测[17]。AIMD产品的研发和生产，离不开使用者和生产者的深度沟通和配合：生产企业需要根据产品使用场景或者临床需求定义产品的性能，针对临床需求提出解决方案，从而进行产品的设计和策划；产品研发过程中需要在临床实际使用场景中收集训练数据，并在临床医生的配合、指导或者帮助下完成数据的标注；产品在完成研发之后，需要进行实地进行性能验证从而检验临床效果，通过反复的验证以发现产品潜在风险，并及时与研发企业的技术团队沟通反馈，从而促进产品更好地改进；产品上市后，仍然需要生产研发人员与临床使用者密切联系，共同发现使用过程中可能出现的各种问题，并及时做好质量控制工作，做好上市后的质量管理工作。因此，在AIMD产品的设计和实现阶段，是否针对目标应用场景进行定制化调参，临床部署后是否使用新的数据再训练从而验证产品的性能，AIMD产品的性能验证如何实施，怎样进行AIMD产品的质量控制等等，这些对于AIMD产品的使用效能无疑是至关重要的，这就要求生产研发企业在进行产品策划、设计和研发的过程中，充分做好产品的质量管理相关工作。

限于篇幅的关系，本研究只是阐述了对关键指标的筛选，也仅仅只是迈出了构建AIMD质量管理体系的第一步。后续计划进一步调研目前主流AIMD企业质量管理体系的现状，再根据生产企业在实际研发过程中的情况，细化并升级已筛选的关键指标，为AIMD生产研发企业构建普遍适用的质量管理体系提供参考依据。