以临床问题解决效果为核心的骨科循证研究质量评价指标体系构建

黄国鑫，曹启龙，陶 华，赵嘉国，黄 桥，刘 盈，艾金伟，汪登如，裴 斌

1. 湖北医药学院附属襄阳市第一人民医院循证医学中心（湖北襄阳 441000）

2. 青岛海尔生物科技有限公司（山东青岛 266000）

3. 郑州市第二人民医院药学部（郑州 450015）

4. 首都医科大学附属北京同仁医院足踝外科中心（北京 100730）

5. 武汉大学中南医院循证与转化医学中心（武汉 430071）

6. 湖北医药学院附属襄阳市第一人民医院护理部（湖北襄阳 441000）

7. 云南研灵生物科技有限公司（昆明 650224）

2003 年加拿大麦克马斯特大学骨科教授Mohit Bhandari 首次提出了循证骨科学概念，随后多位骨科专家也阐释了对循证骨科学内涵的认识[1-2]。艾金伟等[3]阐述了对循证骨科学概念的理解，提出了骨科循证研究策略，指出骨科循证研究是采用循证医学的方法研究骨科疾病。循证骨科学理论研究文献不多，目前未检索到循证研究或骨科循证研究质量评价指标和方法相关的文献；但骨科问题的循证研究文献较多，生产了一批新的骨科循证证据，推动了循证骨科学和骨科的发展[4-6]。骨科循证研究人员以青年医生和学生为主，普遍重视发表学术论文，但部分研究不关注选题是否属于决策困难的骨科临床问题；不注重通过指导临床决策，实现循证研究的临床决策指导价值；不注重在循证研究基础上筛选问题开展多学科协同研究和产品、技术研发，实现循证研究的科学价值和产业价值；使循证研究与解决临床问题之间出现了脱钩倾向，存在唯文章循证现象。这些问题与循证骨科学理论研究不充分、未能有效发挥循证骨科学理论对骨科循证研究和实践的指导作用，以及缺少骨科循证研究质量评价和反馈调节有关[7-8]。骨科循证研究的目的是解决临床问题，通常在文献发表并推广2～3 年后，循证研究才能在应用过程中实现部分价值，并出现标志性事件，如被指南引用等。针对上述问题，本研究建立了以临床问题解决效果为核心的骨科循证研究评价指标体系，评价文献发表3 年后骨科循证研究的价值实现状况，通过比较，发现问题，为提高骨科循证研究质量奠定基础。

1 研究方法

1.1 成立研究小组

研究小组由5 名具备循证医学基础、临床经验丰富的骨科医生组成，其中主任医师2 人、副主任医师3 人；博士3 人、硕士2 人；研究秘书1 人。研究小组职责包括：系统检索国内外相关文献；确定研究主题和评价指标体系基本框架；制定评价指标体系访谈提纲和问卷初稿；采用德尔菲法进行专家函询；分析专家咨询数据，依据分析结果筛选标准条目、分配权重；撰写论文；推广应用。

1.2 文献研究

计算机检索PubMed、Web of Science、Embase、中国知网、维普网、中国生物医学文献数据库，检索时间为从建库至2023 年1 月13 日[9]。检索方式采用主题词结合自由词策略，英文检索词包括evidence based、evidence based medicine、evaluation system ；中文检索词包括循证医学、循证、评价体系。同时利用百度和Google 搜索引擎分别检检索中、英文灰色文献，并对纳入文献的参考文献进行追溯，最后对纳入文献进行分类、总结。

1.3 制定访谈提纲

依据Donabedian 的结构-过程-结果理论原理[10-11]，将实现循证研究价值作为结果，将“循证研究-用证过程-价值实现”作为一个完整的过程，根据结构要素的构成和变化情况，将这一过程划分为5 个阶段，对每一阶段进行结构要素分析。基于组内讨论共识提出5 个阶段、8 个维度的访谈提纲：①选题环节：选题是否是临床问题、选题的临床价值；②证据生产环节：证据的创新性；③证据传播环节：主要传播方式的档次、传播效果效果/学术影响力；④用证环节：临床实践指导作用强度；⑤用证效果：科学价值、产业价值。

1.4 半结构式访谈

按照典型抽样的原则，选择北京、武汉、郑州、襄阳三甲医院骨科医生、循证医学专家共5人，以保持指标体系完整性和系统性为目的，根据访谈提纲进行半结构式访谈，了解专家对建立以临床问题解决效果为核心的骨科循证研究质量评价指标体系的意见，包括如何改变循证研究与解决临床问题效果脱钩的倾向，使骨科循证研究能够更有效解决临床问题；循证研究文献发表后间隔多长时间能够比较准确地评价解决临床问题效果；以临床问题解决效果为核心的骨科循证研究评价指标体系应包含哪些指标等问题。

1.5 形成指标池及初稿

基于临床效果主导理念和循证研究策略理论，根据检索文献汇总情况及半结构式访谈结果，形成评价体系指标池，进行条目分析、合并及主题提取形成初始指标条目清单，进而完成问卷初稿。

1.6 德尔菲专家函询法

1.6.1 制备咨询问卷

问卷内容主要包括问卷说明、专家基本信息、问卷主体、专家权威程度自评表。问卷说明部分包括调查目的、意义、内容说明和填写要求；专家基本信息包括姓名、性别、年龄、学历、职称、职务、从事循证研究和骨科研究年限。问卷主体包含指标条目、指标的重要性、指标修改意见，指标重要性采用Likert 5 级评分法进行评价，重要性从“非常重要”到“不重要”，分别赋值5～1 分[12-13]。专家对问题的判断依据主要分为实践经验、理论分析、参考国内外文献、直观感受4 个维度，每个维度分为大、中、小不同程度，不同维度根据大、中、小不同程度分别赋分：实践经验（0.5、0.4、0.3）、理论分析（0.3、0.2、0.1）、参考国内外文献（0.1、0.1、0.1）、直观感受（0.1、0.1、0.1）。专家对问题的熟悉程度分为：很熟悉（0.9）、较熟悉（0.7）、一般熟悉（0.5）、不太熟悉（0.3）、不熟悉（0.1）5 个层次[14-15]。

1.6.2 遴选咨询专家

咨询专家的纳入标准：具有三甲医院骨科3年以上工作经验；从事3 年以上循证医学研究；学历硕士及以上；发表过骨科循证研究相关文章；职称不限；自愿参加本研究。采用典型抽样法，选取来自北京、武汉、郑州、襄阳共6 家医院，具有丰富的临床经验且具备循证医学基础的骨科医生15 人。

1.6.3 德尔菲专家咨询

采用电子邮件或微信的方法向专家发送咨询问卷。第一轮咨询结束后参考指标重要性赋值标准，筛选出均值＞3.50 且变异系数＜0.25 的指标，同时结合专家意见对咨询问卷进行修改，形成第二轮专家咨询表，开展第二轮专家咨询。当所有条目的重要性评分均值＞3.5且变异系数＜0.25，且专家意见基本统一时，专家咨询结束，并形成最终的评价指标[16-17]。每轮专家咨询均在一个月内完成，两轮专家咨询时间间隔为一个月。

1.7 层次分析法确定权重

汇总每个指标的专家咨询重要性赋值，计算评分均值。采用层次分析法（analytic hierarchy process, AHP）确定每个指标的权重，检验各级指标逻辑一致性，一级指标权重的计算方法为和积法。一致性采用一致性比率（consistent ratio, CR）表示，当CR 值＜0.1 时，说明判断一致性可接受[18-19]。

1.8 初步验证

选取研究小组成员发表年份≥三年的骨科循证研究类文献，采用以临床问题解决效果为核心的骨科循证研究质量评价指标体系进行评价。评价者从咨询专家中随机抽取3 名外部专家，对选取的文献进行评分，并计算一致性，然后计算每篇文献的评分均值，采用项目分析的方法对评价指标体系的区分度进行分析[20]。

1.9 统计分析

采用SPSS 24.0 软件和SPSSPRO 软件进行统计分析。采用问卷回收率表示专家积极系数（Cj）；采用专家权威系数（Cr）表示专家的权威性，专家权威系数为专家判断系数（Ca）与对问卷的熟悉程度（Cs）的平均数，Cr ≥0.7 表示专家意见可靠；采用各指标重要性（均数±标准差）表示专家意见集中程度，变异系数（CV）和肯德尔协调系数（Kendell W）表示专家意见的协调程度。一致性分析采用Two-way random/mixed absolute agreement，区分度分析采用项目分析。计数资料采用频数和百分比（n，%）表示、行χ2检验；符合正态分布的计量资料采用均数和标准差（±s）表示、行t检验。

2 结果

2.1 专家基本信息

15 名咨询专家中，男性14 名、女性1 名，平均年龄（44.27±10.10）岁。从事骨科研究（19.53±9.29）年，从事循证研究（7.33±2.16）年；博士4 人、硕士11 人；主任医师7 人、副主任医师3 人、主治医师5 人；教授6 人、副教授4 人。

2.2 专家积极性

两轮德尔菲专家咨询法均发放调查问卷15份，问卷回收率和有效率均为100%，两轮专家咨询Cj 均为100%。第一轮调查问卷回收情况为一周内、两周、三周、四周问卷回收率分别为13.33%、33.33%、46.67%、6.67%。根据第一轮回收情况，在第二轮发放调查问卷提前沟通相关事宜，第二轮调查问卷回收情况为一周内、两周、三周问卷回收率分别为40.00%、53.33%、6.67%。

2.3 专家权威性

第一轮专家咨询Cr 为0.79，Cs 为0.69，Ca为0.89；第二轮专家咨询Cr 为0.83，Cs 为0.74，Ca 为0.91。两轮专家咨询Cr 均大于0.7，表明两轮咨询专家权威性高。

2.4 重要性评分及专家意见协调性

第一轮专家咨询重要性评分2.33～4.73，CV 0.09～0.46，肯德尔协调系数为0.559，第一轮专家咨询删除4 个一级指标。第二轮专家咨询重要性评分3.53～4.73，CV 0.09～0.21，肯德尔协调系数为0.374。研究小组讨论确认专家咨询结果，确定以临床问题解决效果为核心的骨科循证研究质量评价指标体系，重要性评分见表1。

表1 以临床问题解决效果为核心的骨科循证研究评价体系函询结果Table 1. Results of an evaluation system of orthopaedic evidence-based research centered on the effectiveness of clinical problem solving

2.5 层次分析法结果

如表1 所示，“选题是否是所在科室关切的临床问题”的权重为16%，“证据发表的级别”的权重为24%，“临床决策指导作用强度”的权重为34%，“对骨科知识体系影响程度”的权重为26%。层次分析法结果显示，最大特征根为4.017，根据随机一致性（random index, RI）表查到对应的RI 值为0.882，因此CR=CI/RI=0.006＜0.1，通过一致性检验。

2.6 评价指标体系构建结果

通过两轮德尔菲专家咨询，确定以临床问题解决效果为核心的骨科循证研究评价体系，该评价指标体系包含4 个一级指标、14 个二级指标、2 个三级指标、5 个四级指标，见表2。

表2 以临床问题解决效果为核心的骨科循证研究评价体系Table 2. An evaluation system for evidence-based research in orthopaedics centered on the effectiveness of clinical problem solving

2.7 初步验证结果

应用该评价指标体系，评价22 篇发表3 年以上研究骨科问题的循证研究文献。3 名评价者评分一致性结果显示，单个测量相关性为0.992[95%CI（0.985, 0.997），P＜0.001]，平均测量相关性为0.997 [95%CI（0.995, 0.999），P＜0.001]，说明信度的一致性是可信的。区分度结果显示，总评分0%～27%组个数为6，评分为（7.66±2.98）；27%～73%组个数为10，评分为（31.80±12.11）；73%～100%组个数为6，评分为（70.90±19.23）。三组间评分的差异有统计学意义（P＜0.001），说明量表区分度高，设计较为合理。

3 讨论

循证骨科学理论研究尚未明确诠释循证骨科学核心价值诉求，缺乏相应的质量评价体系，并且通过评价和反馈调节机制引导和规范骨科循证研究，使部分骨科循证研究陷入了为文章而做循证研究的怪圈，进而影响骨科循证研究质量和解决临床问题的效果[21-22]。本研究在理论研究的基础上，进一步诠释循证骨科学核心价值诉求，建立以临床问题解决效果为核心的循证研究质量评价指标体系，通过评价和反馈调节能够提高骨科循证研究质量，加快本土化骨科临床决策证据体系建设，有助于实现国家常见病防治同质化战略。

在临床决策困难时会产生循证需求，提出循证问题，并用循证医学方法研究和解决决策困难的骨科临床问题。循证骨科学的主要价值诉求是解决决策困难的骨科临床问题。循证研究通过系统复习文献和数据合并，有助于了解研究现状，揭示单个研究未能揭示的客观规律，从而更深入地理解不同诊疗措施的临床价值及缺陷等问题；帮助研究者更精准地选择临床价值高、创新性强、可行性强的问题，进一步开展基础和临床研究、技术和产品开发。循证研究引领的这类研究具有目的性强、临床价值高、转化前景明确的特点，有助于开展多学科协同和医研企协作研究，多学科协同研究有利于最终解决临床问题，实现循证研究的科学价值和产业价值，这是循证骨科学的另一重要价值诉求。价值诉求分析表明，循证骨科学的核心价值诉求是解决骨科临床问题，这也是骨科循证研究的目的。

前期艾金伟等[3]讨论了循证骨科学概念，提出了“临床问题导向、临床价值导向、可行性导向，创新性导向”的骨科循证研究策略，强调骨科循证研究的对象主要是决策困难的骨科临床问题。循证研究要选择高价值临床问题，以常见病、多发病、疑难病为主，以解决基层医院医务人员的困惑为主；强调通过用证实现循证研究的证据价值，通过开展循证研究引领的多学科科学研究和产品技术开发，实现循证研究的科学价值和产业价值。理论研究成果能够从理论上引导骨科循证研究，但并不能快速准确地评价循证研究、发现问题和改进研究。后效评价是通行的质量管理方法，本研究基于解决临床问题的理念，构建了以临床问题解决效果为核心的骨科循证研究质量评价指标体系，在循证研究结果发表3 年后，评价骨科循证研究解决临床问题效果为主的循证研究质量，比较不同研究之间的差异，通过反馈调节改进骨科循证研究质量。

本研究成立了评价方法研究小组，在理论研究的基础上，依据Donabedian 的结构-过程-结果理论原理，将循证研究价值实现作为结果，将“循证研究-用证过程-价值实现”作为一个完整的过程和研究对象。根据不同阶段结构要素不同、不断发生变化的特点，研究小组将这一过程划分为循证问题产生与提出、循证证据生产、证据传播、应用与决策、循证研究价值实现5 个阶段；以保证系统性、完整性为目的，分析全过程每一个阶段的结构要素，经过3 次讨论，就5 个阶段和8 个维度半开放式访谈提纲形成组内共识。通过分析指南引用情况发现，从文献发表到第一次被指南引用通常需要2～3 年时间，研究小组就3 年作为评估时间起点达成一致意见。在此基础上，以评估骨科循证研究解决临床问题效果为目的，选择改良德尔菲法构建评价指标体系。遴选专家平均年龄在44 岁左右，平均从事骨科工作19 年，循证研究7 年的专家，有丰富骨科临床经验和较丰富的循证医学知识和经验，能够对相关问题作出比较准确的判断。经过两轮德尔菲专家咨询，构建了以临床问题解决效果为核心的4 个维度9个领域骨科循证研究评价指标体系。该体系包含选题是否是临床问题、证据发表的档次、临床决策指导作用强度、骨科知识体系改变程度等，其中“用证环节：临床实践指导作用强度”和“用证效果：科学价值”与用证效果有关，通过条目和分值强调了临床决策的指导作用强度和对骨科知识体系的贡献度，兼顾了对用证效果影响较大的选题和传播途径。问卷均在一月内收回，两轮专家函询的回收率为100%，说明专家的积极性均非常高；两轮函询专家的Cr 分别为0.79 和0.83，说明所函询专家在该研究领域的权威性很高，函询结果可靠；经过两轮函询各条目CV 为0.09～0.21，说明专家意见趋于一致；两轮函询专家的Kendall's W 值分别为0.559 和0.374，说明两轮函询专家意见的协调性较好。由此可认为，本研究构建的以临床问题解决效果为核心的的骨科循证研究质量评价指标体系是科学、可靠的。本研究应用该指标体系，评估了22 篇发表3 年以上骨科问题相关的循证研究文献，指标的单项和平均测量相关性P值均＜0.001，表明指标体系评分一致性较好；区分度检验显示，量表设计区分度高。初步验证结果表明，指标体系设计较为合理，能够比较客观敏感地评价骨科循证研究解决临床问题效果。评价指标体系能够帮助研究者发现问题和缺陷，改变重研究轻应用、循证研究与用证效果脱钩的倾向，注重价值实现，引导骨科循证研究回归解决临床问题本位。

本研究也存在一定局限性。首先，本研究尚缺乏同类研究或类似文献参考，仅在研究小组内部完成了评价指标体系初步构建过程和结构要素分析，咨询专家人数偏少、区域分布不均衡；其次，本研究仅进行了初步验证，未进行内部验证和外部验证，可能会影响评价指标体系的外推性，需要通过推广应用进一步验证和完善该评价指标体系。

综上所述，以临床问题解决效果为核心的骨科循证研究质量评价指标体系弥补了骨科循证研究质量评价方法的缺陷，能够快速、客观地评价骨科循证研究，发现并解决骨科临床问题，改善骨科循证研究质量，加快本土化骨科临床决策证据体系建设。