基于德尔菲法的临床科研课题数据质量评价指标体系构建研究

邵光南+陈烨+李淼鑫+文世梅

摘要：目的 构建临床科研课题数据质量评价指标体系，为评价临床类科研课题数据质量提供参考依据。方法 综合文献研究和研究小组意见，拟定临床科研课题数据质量评价指标体系，采用德尔菲法，开展2轮本院专家咨询问卷调查，对专家积极程度、意见集中程度、协调程度及权威程度进行评价。结果 共有来自本院内外科室不同专业30名专家参加本次2轮函询，2轮有效回收率为100%，2轮平均权威系数为0.79、0.81。第2轮问卷的5个一级指标专家意见满分频率平均集中在46.67%～54.69%；均数平均集中在4.23～4.36，变异系数平均波动于0.11～0.18，最终建立了由病例报告表（CRF）构建、随机对照、知情同意、数据采集、数据审核5个一级指标、18个二级指标、63个三级指标评价构成的体系。结论 经过2轮专家函询后，专家意见趋于一致，协调程度较高，建立的指标体系可用于临床科研課题数据质量评价。

关键词：德尔菲法；数据质量；评价；指标体系

DOI：10.3969/j.issn.1005-5304.2018.02.001

中图分类号：R2-05 文献标识码：A 文章编号：1005-5304（2018）02-0001-05

Study on Constructing Evaluation Indicator System for Clinic Scientific Research

on Data Quality Based on Delphi Method

SHAO Guang-nan， CHEN Ye， LI Miao-xin， WEN Shi-mei

Yueyang Hospital， Shanghai University of Traditional Chinese Medicine， Shanghai 200437， China

Abstract： Objective To construct the evaluation indicator system for clinical scientific research on data quality； To provide a basis for assessing data quality of clinic scientific research. Methods Evaluation indicator system for clinic scientific research on data quality was established based on literature review and expert suggestion. A two- rounds Delphi process was conducted and the specialist participating level， concentration degree， coordination degree and authority coefficient were calculated to assess the indicator system. Results Two rounds of Delphi consultations was conducted by 30 experts that from different majors at the department of internal medicine or surgery， and both the effective recovery rates were 100%； the average authority coefficients of expert were 0.79 and 0.81， respectively. In the second round of survey， the final concentration degree ranged from 46.67% to 54.69% at full mark rate， and 4.23 to 4.36 at the mean values in 5 primary indicators. The CV for average 5 primary indicators ranged from 0.11 to 0.18. After 2 rounds of expert consultation， the final indicator system was consisted of 5 primary indicators （CRF construction， random control process， informed consent， data capture and data validation）， 18 secondary indicators and 63 third-class indicators. Conclusion After two rounds of consultation， the opinions of all experts have been tending to be uniform， with high degree of coordination， and the indicator system can be used in assessment of data quality of clinic scientific research.

Keywords： Delphi method； data quality； evaluation； indicator system

随着我国“重大新药创制”科技战略的计划和实施，国家对中医药科研项目投入逐渐加大。虽然临床类科研项目数量、经费占有很大比重，但中医药临床科研项目的整体质量并未与之一同增长。究其原因，我们认为与源数据获取、数据质量有很大关系。高质量的临床数据和研究结果是论证临床疗效和安全性的最重要证据，而高质量的数据其获取模式与课题研究过程中多个关键阶段密切相关，如病例报告表（CRF）设计、数据录入和数据核查等。由于我国研究组织观念、经费来源及管理要求等不同，现阶段科研项目源数据获取模式多采用终点管理模式，即在研究结束时，所有临床数据采集工作完成后，集中收集原始资料，填写CRF，进而进行后续的数据录入、核查等工作。为体现研究过程是否科学严谨，数据收集是否准确可靠，我们在文献研究基础上，结合德尔菲法，建立了一套数据质量评价指标体系，在临床科研课题立项之初供科研人员采纳并运用于研究过程关键阶段，以期帮助提高临床数据质量。现报道如下。endprint

1 资料与方法

1.1 成立研究项目小组

本课题研究小组由7名成员组成，其中高级职称2名，中级及以下职称5名；主要任务是根据目前国内外相应法规、标准、准则等构建专家咨询调查问卷；确定邀请咨询专家，同时发放、回收专家咨询调查问卷，以及专家咨询问卷意见的整理、分析讨论等。

1.2 确定咨询专家

入选标准：①本科及以上学历；②副高及以上职称；③长期从事中医、中西医结合临床内外科工作至少5年以上，主持或参加过临床类科研课题，具有丰富的临床科研经历和学术造诣。

1.3 咨询问卷调查

咨询问卷的评价与计分专家问卷各项指标，按照对数据质量的重要性贡献度、专家熟悉程度以及判断依据、补充说明等分为4部分，其中，重要性按likert五分量表法[1]预设“完全不重要、不很重要、重要、很重要、非常重要”5级，并分别给予1分、2分、3分、4分、5分赋值；熟悉程度按“很熟悉、熟悉、较熟悉、一般、较不熟悉、很不熟悉”分为6级并分别赋予1.0、0.8、0.6、0.4、0.2、0分值，其判断依据可选择“实践经验、理论分析、国内外文献或同行了解、直觉”并赋予选项0.8、0.6、0.4、0.2的分值。

第1轮专家咨询问卷根据药物临床试验质量管理规范（GCP）、临床试验报告统一标准（CONSORT）等准则及文献研究，自查本院近几年结题的各级别临床研究课题，初步拟定一套检查列表，形成第1轮专家问卷，内容包括以下几点。①问卷说明：包含研究目的、意义、咨询内容，专家反馈时间及对专家信息进行保密等信息说明；②受邀专家基本情况表：包含姓名、性别、年龄、学历、职称、从事专业及工作年限等基本情况；③问卷内容：由CRF构建、数据录入、知情同意、随机化进程、数据核查5个一级指标，以及由一级指标延伸、扩展的18个二级指标和62个三级指标构成的数据质量评价问卷。

第2轮专家咨询问卷综合第1轮专家意见及统计分析结果，修改、删除、增加部分條目，形成第2轮专家咨询问卷。除附上第1轮专家意见外，其他问卷内容同第1轮问卷，以便专家进行综合判断。

1.4 统计方法

采用Excel2007、SPSS19.0软件，将收集到的专家咨询数据，采用双人录入法将数据录入数据库，分别计算各项指标均数、满分频率、变异系数（CV）等。各项指标重要性赋值以均数>3.5分、满分频率>20%且变异系数<20%为筛选标准[2]，并结合专家意见进行指标修正及增减；同时对专家积极系数、专家权威程度、专家意见协调系数等进行相应评价。

2 结果

2.1 咨询专家基本情况

本次研究共30名受邀专家参加此次咨询问卷调查，其中男性11名，女性19名，平均年龄43岁，专家组以年龄40岁以上、博士学历、副高以上职称、本专业工作年限10年以上、硕士生导师、主持过临床类科研课题且担任主要研究者角色占绝大多数；受邀专家来源于本院中医内科、消化科、血液科、呼吸科、内分泌科、风湿科、肾脏内科、神经内科、妇科、心内科、针灸科、推拿科、皮肤科、骨伤科以及中西医结合临床研究所等临床内外科室。见表1。

2.2 专家积极系数

专家积极系数（E）一般用问卷的有效回收率表示，即E（%）=回收数÷发放数×100%，用以表示专家对咨询内容的关心程度；本研究2轮咨询问卷发放数与回收数相等，有效回收率100%，表明接受咨询问卷调查的专家比较关心该研究，积极性均很高。

2.3 专家意见的集中程度

专家意见集中程度，一般用各调查指标的均数和满分频率表示。在第1轮函询中，指标的均数波动在3.9～4.8，满分频率为30%～80%；第2轮函询中，指标的均数波动在4.00～4.83，满分频率为33.33%～86.67%。第2轮问卷5个一级指标平均专家满分频率、平均均数值见表2。

2.4 专家意见的协调程度

协调系数说明函询专家对各指标的评分意见是否趋于一致，用变异系数（CV）表示。CV=标准差÷均数，CV越小，表明专家的协调程度越高。本研究第1轮各指标CV变动范围分布于0.08～0.29，说明分布集中程度一般，存在一定程度的离散；第2轮各指标CV变动范围分布于0.08～0.24，表明第2轮各指标权重分布集中程度较好，离散程度较低。通过2轮专家函询，专家对各项指标的评价未存在较大分歧，意见逐渐趋于一致。第2轮问卷5个一级指标平均CV见表2。

2.5 专家的权威程度

专家权威程度一般用权威系数（Cr）表示，通常以专家对问卷问题的熟悉程度（Cs）与判断依据（Ca）的均值来作出判断，即Cr=（Cs+Ca）÷2，取值为0～1，取值越大，表明专家权威程度越高，一般认为Cr≥0.70为信度较好[3-4]。本研究经2轮函询调查之后，5个一级指标Cr平均值达到0.81。说明本次德尔菲法专家函询的权威程度较高，咨询结果具有较高的可靠性。见表3。

2.6 2轮专家主要修改意见

第1轮专家咨询问卷初步拟定一级指标5个、二级指标18个、三级指标62个。根据问卷咨询结果、各指标筛选标准及课题组成员讨论。删除指标2项（受试者干预和对照组别是否要列出、发药时间或治疗措施是否符合入组顺序）、新增函询专家建议指标3项（课题研究起止时间、本研究所涉及疾病诊断日期或病程、数据双份录入不一致时，是否已再次核实并修正确认），同时修正、完善原指标语言描述6项（表4中三级指标1.4.1、1.5.7、1.7.1、1.10.4、4.1.1、5.2.3项），最终形成由5个一级指标、18项二级指标、63项三级指标构成的数据质量检查体系。见表4。

3 讨论

德尔菲法又称专家函询法、专家调查法，采用匿名方式，反复多次、几轮函询征求本研究领域专家意见，通过多次信息交流，不断地修正反馈，使专家的意见逐步趋于一致，最终获得一个比较一致、可靠的结论和方案，是一种定量与定性相结合的预测评价方法。本方法已应用于临床诊断、诊疗指南、卫生经济学评价、质量指标体系等方面[3，5-6]，具有广泛的代表性。endprint

在进行计算之前，专家函询问卷条目、指标的设立显得尤为重要，作为收集信息的重要载体，问卷设计水平的高低不仅反映了所研究问题囊括是否全面，也间接关系到函询最终结果的优劣。本研究问卷各指标设置综合了临床科研课题从计划立项、数据管理、统计分析等阶段所遵循的国内外指导原则、行业标准、专家共识等文献研究资料。

除问题条目设置外，函询对象、咨询专家的选择也是本研究的关键之处。一般认为，函询专家人数以15～50名为宜，且应涉及多个领域[4，7]。本次临床科研课题数据质量指标体系构建中，参与问卷咨询的受邀专家多达30名，来自于本院多个临床科室、临床专业，有10余年从事本专业工作经历，均承担或作为主要研究者参与过临床科研课题，具有广博的临床知识与实践经验，临床科研经历丰富，具有较好代表性，咨询结果因而具有一定的专业性和客观性。

在德尔菲分析中，一般认为发放问卷的有效回收率达70%比较理想[8]。本研究2轮有效回收率均达100%，表明函询专家积极程度很高；且多数专家对初拟的指标体系给予了具体的修改、补充意见，也表明所邀专家对本研究高度关心支持以及重视程度。

另外，本研究2轮函询结果也显示各指标的变异系数变小，专家意见逐步趋于一致，专家权威程度较高，反映了所形成的指标内容可靠性和预测的准确性。

虽然可采用权威程度、积极系数等来判断结果的可靠性，但由于函询专家均以自身观点及意见来判断研究内容，表达的观点具有主观性，因此，其所提意见正确与否，受专家所在专业领域学术水平高低影响。

临床科研课题因立项部门、来源不同，科研经费差异较大。由于诸多因素，临床类科研项目其数据获取仍以纸质文件为主，数据在进行处理时已近研究结束期限，发现的问题数据如不是客观性数据，修正时存在主观性因素，将很难保证数据的“准确性”，且与数据质量要求的“及时性”相悖。这种事后发现并修正的状况普遍存在于我国各类临床科研课题。现行的数据终点处理模式，虽有诸多可参照的临床研究质量管理规范等相关准则、规范和标准，但因缺乏具体实施细则可供执行，因而使中医药临床科研项目整个研究过程不甚规范，数据质量难以保证。

目前，纸质CRF采集录入临床数据的形式在临床科研中仍占据主要地位，在数据获取的工作不具备应用电子化捕捉技术条件下，如何确保采集、获取的数据真实准确，我们认为，在研究立项之初，应该有针对研究进程的各个重要阶段而设计建立的一套检查列表（checklist），同纸质CRF相结合，以规范数据获取的过程，并有望提高数据准确性。

4 结语

收集高质量的数据是临床类科研项目的重要环节，其关键步骤涉及到立项初期、过程管理及后续数据审核等多方面，作为确保数据质量的手段，本研究建立的该套包含与方案相对应的CRF设计、数据采集、知情同意、随机对照及数据核查等指标评价体系，其最终目的是为科研人员在临床课题立项之初采纳并应用于获取临床研究数据，并为后续疗效分析和安全评定提供数据支撑，以期在后续临床科研实践中得到进一步验证、优化和完善，为提高整个临床科研课题数据质量提供参考依据。

参考文献：

[1] 柯惠新，沈浩.調查研究中的统计分析方法[M].北京：中国传媒大学出版社，2005：324.

[2] 关勋强，李瑞兴，刘运成.医学研究生教育评价研究与实践[M].北京：军事医学科学出版社，2001：80-84.

[3] 平卫伟，谭红专.Delphi法的研究进展及其在医学中的应用[J].疾病控制杂志，2003，7（3）：244-247.

[4] 曾光，李辉.现代流行病学方法与应用[M].北京：北京医科大学中国协和医科大学联合出版社，1994：250-269.

[5] 陈美娟，陈自佳，刘岩，等.德尔菲法在注意力缺陷多动障碍肝肾阴虚证证候标准两轮问卷分析中的应用[J].中国中医药信息杂志，2011， 18（4）：4-6.

[6] 张雷强，虞舜.基于德尔菲法的瘀热相搏证辨证标准研究[J].中国中医药信息杂志，2014，21（12）：29-33.

[7] MEAD D， MOSELEY L. The use of the Delphi as a research approach[J]. Nurs Res，2001，8（4）：4-23.

[8] 李伟良.社会研究的统计应用[M].北京：社会科学文献出版社，2001：113-114.

（收稿日期：2016-11-20）endprint