宫内节育器不良事件报告两种审核方式的质量评估

陈 颖 施雯慧 杨 雪 王子晴 杨月华 林 洁 周 健 孙志明

江苏省卫生健康发展研究中心，国家卫生健康委计划生育药具不良反应监测中心 (南京，210036)

国家卫生健康委计划生育不良反应监测中心(以下简称“中心”)对避孕药具不良反应/事件报告从真实性、规范性、完整性、逻辑性、时效性和重复性6个维度采用人工和计算机相结合的方式进行审核[1]。计算机自动审核运用java开发语言，对避孕药具名称、不良反应/事件类型、不良反应描述/不良事件表现等设置数据库和填报模板，针对时间逻辑关系、数值项目限定阈值、关键字段前后关联性等，定时扫描待审报告，如符合定义范围，则判断为合格报告。本文从审核数量、审核时效性和审核质量等方面对本中心《可疑医疗器械不良事件报告表》的人工和计算机自动审核方式进行了评估和比较，探讨计算机自动审核的应用范围和效果，为其可持续性应用提供有益思路，为相关监测领域提供借鉴。

1 对象与方法

1.1 研究对象

2019年2月1日-2020年1月31日本中心宫内节育器(IUD)不良事件合格报告50 159份，其中人工和计算机自动审核报告分别为28 212和21 947份。根据既定审核规则，其中471例性质严重的报告均由人工审核。对人工和计算机审核均在1000例以上的主要表现为妊娠、月经问题、疼痛、IUD位置和形状改变的4类报告表进行分层随机抽样，每个类别随机抽取人工审核和计算机自动审核的报告各100份，总计抽取800份。

1.2 研究方法

根据《医疗器械不良事件监测和再评价管理办法》[2]的要求，按照国家药品不良反应监测中心2016年制定的《可疑医疗器械不良事件报告表》质量评估计分标准，对800份报告的真实性、时效性、完整性和准确性进行评估和比较。真实性是报告质量最基本要求，如发现虚假报告一律判为0分。评价类别主要包括报告时限、报告来源、患者信息、不良事件情况、器械情况、评价处理6类，总分为100分。报告质量等级根据总分分为优(90～100分)、良(75～89分)、合格(60～74分)、不合格(<60分)4级。

1.3 统计学方法

使用Epidata3.1软件构建数据库，对800份报告进行逐一评分，经双人录人比对后，使用SAS9.4软件进行分析。使用最大值、最小值、中位数、均值、构成比等描述性分析统计量表述，采用χ2检验；组间差异比较则采用Wilcoxon秩和检验。P<0.05为差异有统计学意义。

2 结果

2.1 总体情况

50 159份合格报告涉及的236个监测点中，计算机自动审核模式覆盖其中206个(87.3%)，监测点由计算机自动审核21 947份，占总报告数的43.8%。性质一般的报告从提交到审核通过，人工审核平均用时32d；计算机自动审核平均用时17min。经审核，800份抽样报告中不存在重复或虚假报告，所有报告均符合真实性标准。其中，612份(76.5%)报告的质量等级为优，188份(23.5%)为良及以下，无不合格报告。总分(91.7±3.9)分，认为报告质量总体为优。

2.2 两种审核方式的报告得分情况

主要表现为妊娠、疼痛、IUD位置和形状改变的不良事件报告中，两种审核报告总分有差异(P<0.05)。见表1。主要表现为妊娠、IUD位置和形状改变的不良事件报告总体得分为优(90～100分)者，人工审核与计算机自动审核占比有差异(P<0.05)。见表2。

表1 4类不良事件抽样报告不同审核方式的总体评分比较

表2 4类不良事件抽样报告不同审核方式得分分布比较[例(%)]

2.3 计算机自动审核的报告失分情况分析

对于主要表现为妊娠、月经问题、疼痛、IUD位置和形状改变4类事件中，失分最多的均为器械信息类别中的产品编号或批号、生产日期这2个项目。见表3。

表3 计算机自动审核的4类不良事件抽样报告中失分情况[例(%)]

3 讨论

2009年-2018年10年间，我国药品不良反应个例报告数量由63万增长至近150万[3]。在药械不良反应/不良事件监测领域内，创新开发应用计算机自动化监测模式，是提高药物/医疗器械警戒水平、保障患者用药/械安全的迫切需求[4-6]。本中心历经多年实践，通过建立填报参数，完善报告填报模板，更新关联数据库，完善相关程序等，逐步建立并应用具有人工和计算机自动双重审核方式的避孕药具不良反应/不良事件报告系统。随着报告系统逐渐成熟，计算机自动审核的应用范围也逐步从江苏省局部试点拓展到全国所有监测点。

从本文的分析结果来看，应用计算机自动审核具有以下特点：①审核占比高。计算机自动审核了接近报告总数50%的报告，节约了投入在审核报告表上人力资源；另外也说明报告表符合纳入计算机自动审核的标准。②审核效率高。计算机自动审核报告的平均用时远少于人工审核报告的时间，提升了报告的审核时效性。计算机会根据既定审核规则，定时扫描待审报告，一般不受外部环境因素干扰。③审核应用广。全国绝大部分监测点均已应用并适用于该监测方式，但由于监测点的动态调整和上报人员的不断变换，并非每个监测点的报告都能满足计算机自动审核的条件。只有通过不断培训，才能使上报人员熟练掌握并充分运用填报模板，从而激活计算机自动审核功能。④审核质量高。计算机自动审核总体报告质量评估得分略高于人工审核的报告。可能与原始报告需要经过初筛，满足既定条件才能纳入计算机自动审核有关。而留待人工审核的报告，往往存在缺项漏项、证据不足、信息错误等情况，需要进一步人工核，上述“先天缺陷”难免造成后续质量评估的得分差异。尽管计算机自动审核应用取得了比较好的效果，但仍存在一定的局限性：①由于性质严重的不良事件报告过程相对复杂，通常经历人工核实的环节，且需要相关医学记录作为佐证，因此计算机自动审核功能现阶段仅应用于性质一般的报告。②计算机自动审核可以通过程序化的设置规范报告的填报流程，并提高审核效率，但其应用效果仍取决于报告本身的质量。如报告表产品编号或批号等器械信息的缺失，或超出报告时限，并不能通过计算机自动审核弥补。③计算机自动审核作为人工审核的辅助，尚不能完全取代后者，因为报告表中诸如证据不足、信息错误、逻辑矛盾等情况有时只有通过人工审核才能发现和评估。

从应用效果来看，对避孕药具不良反应/不良事件报告进行计算机自动审核是目前及未来提高监测效率的必然趋势，是对人工审核的有益补充。为更加全面、稳定地应用该审核方式，仍需重视在以下几方面的实践：①不断完善报告系统的填报模板和关联性数据库，为实现计算机自动审核的可持续应用提供技术支持。②持续加强对基层报告表填报人员的培训，使其了解并熟练掌握计算机的填报要求和程序，规范开展和应用计算机自动审核功能。③定期对报告表的计算机自动审核效果进行质量评估，为改善其功能提供依据。④加强不同信息系统间的连接和数据共享，切实落实避孕药具首诊登记制度，为发生不良反应/不良事件后避孕药具的可追溯性提供保障。

本次研究只对报告总数较多的妊娠、月经问题、疼痛、IUD位置和形状改变4类不良事件表现类型报告进行质量评估，并未全面覆盖所有计算机自动审核的报告。因此计算机自动审核与人工审核在其他不良事件表现中的差异仍有待进一步研究。本次研究只对不同不良事件表现类型的两种审核方式进行了质量评估，未对不同报告地区的报表质量进行评估比较。计算机自动审核与人工审核在不同监测地区中的差异也有待进一步研究。