基于SCORE-TCM的中医药团体标准抽样评价方案设计❋

宗星煜,李慧珍,赵学尧,程瑾瑞,李 军,王丁熠,林甲昊,陈 琳,王晶亚,3,梁 宁,张海力,王梦琪,车前子,王丽颖,王燕平△,史楠楠△

(1.中国中医科学院中医临床基础医学研究所,北京 100700;2.国家市场监督管理总局国家标准技术审评中心,北京 100088;3.北京市东城区社区卫生服务管理中心,北京 100010)

2018年,新修订的《中华人民共和国标准化法》[1]正式实施,团体标准在标准体系中的地位得到了明确。其中,中医药团体标准是重要组成部分。近年来,中医药团体标准的立项和发布数量持续迅速增长,在短时间内有效地提高了标准供应量[1-3],已成为推动医疗机构、企业提质升级的战略引擎和技术导引。尽管如此,中医药团体标准仍面临标准质量不明确、实施情况不清晰等问题[4],其在市场中的广泛采用在一定程度上受到制约[5]。

为更好地了解标准质量,已有研究开始探索对中医药不同层级标准评价的思路和方法[6-10],提出了名为“中医药团体标准评价体系”(System of Consortium Standards Rating and Evaluation of Traditional Chinese Medicine, SCORE-TCM)的评价工具[11],已应用于特定类别中医药团体标准的评价[12]。

本研究详细介绍了基于SCORE-TCM的中医药团体标准抽样评价方案。通过抽样评价,可发现标准的问题与不足,为优化中医药标准提供建议,为相关管理部门的科学决策提供参考依据[13]。

1 SCORE-TCM工具

目前,中医临床实践指南类标准的评价相对较为成熟[14-16]。然而,针对其他类型的中医药团体标准的评价研究仍然相对缺乏,相关领域尚未形成一个成熟的评价体系。目前已有的团体标准评价指标体系,尚缺乏足够成熟的实践方法。

在上述背景下,研究团队综合运用了文献调研、改良德尔菲法和优序图法等综合方法,研制形成SCORE-TCM工具。该工具包括5个一级指标、12个二级指标、27个三级指标,全面覆盖了评价中医药团体标准所需考虑的各个方面。具体而言,该工具通过“制定主体”“推广应用”“实施效益”三个维度的间接指标,和“文本编写”“技术内容”两个维度的直接指标,全面评估中医药团体标准质量水平。其中,各指标被赋予了不同的权重,以反映在评价中的重要性:“制定主体”权重为0.08,“文本编写”权重为0.24,“技术内容”权重为0.36,“推广应用”权重为0.24,“实施效益”权重为0.08[11]。

2 评价方案设计

2.1 标准抽样

标准抽样的目的,是从相对较大标准样本中选取适量的标准进行评价工作,适用于评估某一类团体标准,或特定社会团体发布的标准,旨在减少同时评价大量标准所需的工作量和工作时间,并确保评价工作的质量得到保障,且能快速得到相对质量较高的评价结果。

2.1.1 确定抽样数据来源 在进行标准评价之前,首先需要明确评价的目标,即确定抽样数据来源。理想的数据来源,应包括某一社会团体发布的标准,或各团体发布的特定技术类别的标准。在确定抽样数据来源时,至少需要收集标准的名称、编号、归口团体等基本信息。

为实现上述目标,可使用国家中医药管理局中医药标准化工作办公室建立的“中医药标准与指南信息服务平台”(访问网址:http://standards.ccebtcm.org.cn/),该平台全面收录了国内、国际中医药标准与指南,是权威的中医药标准与指南数据库。

2.1.2 抽样方法 标准抽样宜运用分层随机抽样法、目的性抽样法等科学方法开展。在待评价标准分类细致或者评价人员希望全面了解待评价标准情况时,应考虑将所有类别的标准纳入抽样范围,即使某些类别的标准数量极少。此外,还需要综合考虑评价工作人员和专家的数量、工作时间等因素,以确定合适的标准抽样比例。理想情况下,抽样比例宜在10%以上。

2.2 材料收集

在确定了评价对象之后,根据评价工具中设定的不同评价维度,需要系统地收集用于评分的相关材料。考虑到标准数量庞大且信息复杂,若单次评价涉及的标准数量较多,可构建一个支持多线程操作的数据平台,以确保能够高效、有序地汇总数据并准确地分配给评价人员;若单次抽样评价的标准数量较少,也可采用邮件等传统方式来完成数据收集工作。

2.2.1 收集路径 所有相关材料的收集工作均使用“中医药标准与指南信息平台”下设的“中医药团体标准评审系统”(访问网址:http://101.201.210.230:8099/),向标准起草主体、归口团体收集标准相关材料,见表1。

表1 SCORE-TCM工具材料收取定位、材料收取明细

采用“标准起草主体填写-归口团体补充-研究小组复核”的三级标准化收集流程。具体而言:标准起草主体(即标准起草人或标准归口团体)需通过“中医药团体标准评审系统”提交标准相关的各类材料;标准归口团体负责通过系统检查起草主体提交的材料的完整性和真实性,若有缺失或错误,进行补充或更正;研究团队则在通过系统初步审核了起草主体和归口团体提交的材料后,对填写不完整的部分发出退回通知,要求其重新填写。只有在重新提交的材料经过审核并被认为符合要求后,才会被纳入最终的数据库中。

2.2.2 数据提取 完成材料收集后,研究小组进行数据初步提取,将“团体标准名称” “团体标准编号”等标准基本信息录入数据提取清单,清单为评价小组专家评分提供便利,见表2。

表2 SCORE-TCM工具各三级指标数据提取清单

2.2.3 数据清洗 完成数据提取后,研究团队须进行材料形式审查,以确保其完整性和准确性。这一环节包括检查材料是否完整、证明材料是否符合要求以及核实原始数据与电子录入数据是否一致。为增强审核的准确性,所有材料都将由两位研究人员独立进行审查,并相互对照。仅符合所有要求的标准材料方可进入下一步的评审流程。而填写有误或材料缺失的将被退回并要求重新提交。若两位审查人员对某一标准材料的评判结果存在分歧,则由研究团队的第三位专家进行最终裁定。

具体的处理规则如下:

一、缺失值:依据提交的证明材料进行填充。若相关证明材料中没有相应的信息,则该项保持空白。例如,若某标准在提交时没有填写实施效益,但在证明材料中包含了使用单位出具的实施效益报告,则根据证明材料重新填写。

二、异常值:参照提交的证明材料进行复核,或直接联系标准的联系人进行确认。例如,若某标准报告的培训人次非常高,且通过复核发现证明材料中确实有相关人次的表述,则该数据应被认可。

三、错误值:参照提交的证明材料进行复核,并进行必要的更正。例如,若某标准报告被政策、法律法规、政府文件引用了1次,但查阅证明材料后发现该信息不实,则该项应被更正为0。

在所有的提取数据经过清洗和检查,确认无误后,相关标准方可进入评价阶段。

2.3 标准评价

2.3.1 建立评价小组 评价小组由下述四组专家构成。四组专家应无任何利益冲突,并应按照相关标准和准则进行选择。具体的评价维度和专家遴选标准可根据实际情况调整。参考标准详见表3。

表3 SCORE-TCM工具标准评价专家组评价维度、遴选参考标准

2.3.2 标准分配评价 评分任务的分配工作将由研究小组负责执行。研究小组将各项标准的评价模块及相关评审文件,经由信息系统安全传输至指定评价专家组的账户中,或直接发送到专家的电子邮箱中。确保信息的安全性和完整性。

为增强评价的准确性和可靠性,每个评价模块都至少由两位具有相关专业背景和经验的专家共同完成评分工作。

2.3.3 评分质量控制 专家们将依据事先明确、具体并经过实验性评价的评分细则,对标准中的各模块进行独立评分,评分过程中专家们将背对背工作,以消除潜在的相互影响,确保评分的客观性。

研究人员将仔细核查每一项评分结果,并根据预定的标准进行处理:若在某一指标上,两位评价专家(A和B)给出的分数差距在2分以内,该指标的最终得分将采用这两位专家评分的平均值;若分数差距超过2分,将引入第三位专家(C)进行独立评分。此后,将C专家的评分与A、B两位专家评分进行比较,若C专家评分与A、B中任一人评分差距在2分以内,最终得分将取C专家和上述一位评分差距较小的专家评分平均值。如果A、B、C三位专家的评分差距都超过2分,最终得分将依据三位专家共同商讨的结果确定。

仅当一个标准的所有维度都已经获得了完整和准确的评分,并且评价数据经过清洗验证无误之后,上述评分数据方可被纳入到下一阶段的数据统计分析流程中。

总分S的通用计算方法为(式1):

其中,ni2表示一级指标i的二级指标数量,nij,3表示二级指标ij的三级指标数量,xijk表示三级指标ij的得分。上述式1中,分子表示将所有三级指标的加权得分求和,然后按照二级指标权重和一级指标权重的比例计算加权平均。分母是所有二级指标的权重之和(即1),进行加权平均的归一化。

但是,由于在目前版本的SCORE-TCM工具,一级指标E实施效益没有三级指标(其二级指标作为可选指标),其总体权重之和为1。因此在总分计算中,对一级指标E的权重wE乘以1。

即基于目前已建立的SCORE-TCM工具,总分S的计算模型如下(式2):

2.4 结果解读

对于抽样后完成评价的中医药团体标准评价数据,应运用科学严谨的统计方法进行解读,可采用描述性分析,通过频数(%)、中位数及四分位数[M(P25,P75)]等统计指标,对SCORE-TCM各评价指标的分数分布进行全面描述,以尽可能真实反映标准的评价结果,得出特定社会团体发布的标准,或各团体发布的特定技术类别的标准质量结论。

针对专家给出的各项评价意见和建议,可使用文本分析方法,如文本抽提或内容分析等,对专家的意见进行系统归类和整理。通过分类统计和趋势分析,可理解和解读专家的评价意见,为每项标准提出详尽的质量提升要点,为未来该标准的修订提供依据。

3 总结与展望

2019年10月,中共中央、国务院发布的《关于促进中医药传承创新发展的意见》[17]提出“建立健全符合中医药特点的中药安全、疗效评价方法和技术标准”,2022年3月,国务院办公厅印发的《“十四五”中医药发展规划》[18]提出“完善评价标准体系”“建立符合中医药特点的评价体系”。上述文件为中医药新时期标准化工作提供了参考。

因此,通过SCORE-TCM工具,开展中医药团体标准评价,科学地评估当前中医药团体标准质量现状,可为中医药行业管理部门和标准化工作管理部门提供决策参考,为各项标准提出质量提升要点,为推动各项标准到期复审、修订提供依据。

抽样评价是SCORE-TCM工具的重要应用场景之一。通过中医药团体标准抽样评价,可为快速评估特定社会团体发布的标准,或各团体发布的特定技术类别的标准提供参考方案。该方案可供中医药团体标准研究人员、社会团体、企业、高校等机构选用,以评价推动中医药团体标准“提质增效”。