我国卫生政策研究机构学术评价指标体系的构建

唐 翔，牛玉宏，顾青青，丁汉升，金春林

(上海市卫生和健康发展研究中心/上海市医学科学技术情报研究所，上海 200031)

卫生政策研究作为一门新兴、交叉学科[1]，研究内容十分广泛，研究方法快速发展，现实需求日益凸显。我国的卫生政策研究，基础相对薄弱，研究水平仍需提高，卫生政策科研管理仍需加强。采用适当的指标对卫生政策研究机构进行学术评价[2]，便于研究机构及管理部门了解自身及同行在本领域的科研水平和学术地位，可以为科研管理部门提供决策依据[3]。目前国内针对医院及大学已有较多评价体系，而针对卫生政策研究机构的评价体系还未见报道。本研究以我国卫生政策研究机构为研究对象，建立一套评价指标体系。

1 研究对象和方法

1.1 研究对象

1.1.1 卫生政策研究机构

卫生政策研究机构的主要职能包括：提供政策建议，是政府和社会的政策咨询机构；通过政策的学术研究，传播学术思想和观点，是提高认识和传播的机构；提供政策结果信息，是客观评价政策的评估机构。此外，卫生政策研究机构还向政府输送官员和专家，是重要的人才交流、储备机构。

纳入本研究的我国卫生政策研究机构主要类型[4]包括以下三类：①隶属于政府部门的行政性政策研究组织，如国家卫计委卫生发展研究中心、国家卫计委统计信息中心等，这些部门和机构主要研究宏观卫生政策和体制问题，主要承担政府咨询任务；②事业性的研究所或研究中心，如国家卫生计生委卫生经济研究所、中国医学科学院卫生政策与管理研究中心；③高校下设的相应系、所、室等学术性政策研究组织，如北京大学公共卫生学院、山东大学下设的卫生管理与政策研究中心、复旦大学公共卫生学院等。

1.2 研究方法

1.2.1 文献综述法

以“学术评价or机构评价”为关键词在CNKI、万方、维普、CBM、Web of science、Pubmed等文献数据库搜索相关文献，进行筛选并阅读。收集整理出国内外研究机构对机构进行学术评价时常用的指标，结合专家咨询，初步构建指标框架。

1.2.2 专家咨询法

选择管理学、卫生政策研究、图书情报学、计量评价学等15名专家，结合文献综述提出的指标，通过首轮专家咨询建立初步的评价指标框架，进一步经过两轮咨询修正指标，并赋予各指标相应的权重，形成科学合理的评价指标体系。

1.2.3 计量分析法

以数据库检索的数据为原始数据，所有原始数据在本指标内按照百分制进行标化处理，总分值为各级指标的加权求和。

1.2.4 层次分析法

将决策问题按总目标、各层子目标、评价准则直至具体的备投方案的顺序分解为不同的层次结构，然后用求解判断矩阵特征向量的办法，求得每一层次的各元素对上一层次某元素的优先权重，最后用加权和的方法递阶归并各备择方案对总目标的最终权重，此最终权重最大者即为最优方案，从而确立卫生政策研究机构学术评价指标体系的权重分配方案。

1.2.5 统计分析法

指标体系信度检验采用克朗巴赫系数，效度检验采用基于结构方程模型的验证性因子分析，运用EQS6.1 for Windows软件处理。

1.3 数据来源

通过Sino-Med中的中国生物医学文献数据库，选择学科分类R19保健组织与事业(卫生事业管理)，限定发文时间为2012年1月1日—2016年12月31日，共检索到文章62万余篇，下载所有题录。通过发文单位进行筛选，排除医院、卫计委、疾控中心、临床医学院等非卫生政策研究机构的文章，补充医院管理研究所等，剩余有效文章20万余篇。

于Web Of Science-Social Sciences Citation Index(SSCI)数据库中，以“China”为关键词，限定年份为2012年1月1日-2016年12月31日，进行地址检索，搜寻所有国内机构发表的SSCI文章，将文章按研究方向分类，选择“public environmental occupational health”“social science other topics”“health cares sciences services ”等12个研究方向的文章，再将剩余文章按发文机构分类，选择符合要求的机构，下载相关一级机构的所有文章题录。选择第一或通讯作者为各机构的有效文章。

通过各国家级奖项、相关学术学会、核心期刊等的官网，下载获奖名单、学会委员名单、核心期刊编委名单等信息。通过CNKI(中国知网)报纸索引，检索各机构的被曝光数等数据。

2 结果

2.1 评价指标体系的建立

通过文献综述法和首轮专家咨询，收集整理国内外研究机构进行学术评价时的常用指标，发现多以学术产出、影响力为评价的主要指标[5]，故初步确立以学术产出、学术影响力为一级指标，论文产出、论文质量[6]、获得奖项、国内学术影响力、国外学术影响力、政府影响力、社会影响力为二级指标(政府影响力和社会影响力分别以政府政策文件转化与网络热度代表)，附加13个三级指标、4个四级指标的指标框架。

经两轮专家咨询，对相似指标进行合并，对难以获得数据及不具代表性的指标进行替换，得出了以学术产出、影响力为一级指标，辅以Sino-Med论文、SCI论文、社会影响力[7]、国内学术影响力、国外学术影响力5个二级指标，Sino-Med收录论文数、SCI收录论文数、SCI论文质量等8个三级指标、8个四级指标、4个五级指标的指标框架。

同时收集有关影响力及竞争力指标体系的研究文献，掌握相关指标的权重及其确定思路，运用层次分析法[8]分析相关指标权重的量化关系，结合研究主题，经专家咨询，估算各级指标的权重。对于无参考依据的指标，其权重取平均值。最后，得出初步的评价指标体系。

2.2 指标体系的信度与效度检验

2.2.1 指标体系的效度检验

为了对该指标体系进行信度和效度检验，对160家卫生政策研究机构的数据进行了收集与标化。基于上述权重及原始标化评分数据，计算一级和二级指标评分值。基于二级指标评分评分值以及一级、二级指标间的结构关系，应用EQS 6.1进行验证性因子分析。模型拟合结果表明多元正态系数为146.16，数据呈非多元正态；选用广义最小二乘模型稳健方法拟合的结果开展分析，反映拟合优度的参数卡方检验表明P值为0.02611>0.001(样本参≤200)，拟合较好，RMSEAP值为0.105>0.10，拟合较差，一级、二级指标间的结构效度有待改进。

基于各类二级指标评分值的方差表现，以及既定指标间的量化关系，调整部分指标的权重，并再次进行效度检验。模型拟合结果表明多元正态系数为94.26，数据呈非多元正态；采用基于最小二乘法的稳健模型拟合的拟合参数分析，卡方检验P=1.000>0.001，RMSEA检验P=0.000<0.101，所有反映拟合优度的指标均表明，一级、二级指标间的结构效度好。

2.2.2 指标体系的信度检验

基于调整后的权重，利用对我国卫生政策研究机构的评价结果，进行信度检验。一般认为信度系数达到0.7～0.8时表示量表具有相当的信度，达0.8～0.9时说明量表信度非常好[9]。EQS6.1开展的信度分析结果表明，二级指标具有较好或足够的信度，见表1。

表1 指标体系的信度检验

在该权重下，指标体系的信度、效度检验结果理想，故最终得出了以学术产出、影响力为一级指标；Sino-Med论文、SCI论文、国内学术影响力、国外学术影响力和社会影响力为二级指标；辅以8个三级指标、8个四级指标和4个五级指标的综合指标体系，见表2。

表2 我国卫生政策研究机构学术评价指标体系

图1中F1和F2分别对应的是影响力和学术产出，V1、V2和V3对应的是社会影响力、国内学术影响力和国外学术影响力，V4和V5分别对应Sino-Med论文和SCI论文。

2.3 卫生政策研究机构学术评价

为检验此套指标体系的可行性，根据以上指标体系对160家卫生政策研究机构进行了学术评价。各指标对应数据均可通过官方途径获取，说明信息的采集是可行的。对各机构数据进行标化处理并计算，得出各机构的综合得分，最高分为北京大学公共卫生学院87.32295596分，复旦大学公共卫生学院、华中科技大学同济医学院医药卫生管理学院分列第二、第三位。进入排行前50的，除国家卫计委统计信息中心、国家卫计委卫生发展研究中心、上海市卫生和健康发展研究中心外，均为高校相关研究机构或二级学院。前十位排名见表3。

图1影响力模型图

表3 卫生政策研究机构学术排名

3 讨论

3.1 指标体系能科学的评价卫生政策研究机构的学术能力

卫生政策研究是一门新兴、交叉学科，目前我国卫生政策研究水平与国际水平仍有差距。同时，各卫生政策研究机构及管理部门对自身在国内及国际的定位不十分明确。该指标体系的建立对各卫生政策研究机构找准自身定位，了解自身水平，发现自身优劣，促进自身的进步与发展具有一定的帮助。以期为推动我国卫生政策研究水平的发展起到一定的推动作用。

3.1.1 研究方法科学可靠

本研究通过文献综述法、专家咨询法建立了评价指标体系，运用计量分析法、层次分析法等相关统计学方法确定了相应的权重并进行了实证研究和信效度检验。指标体系建立过程中使用的方法均科学、可靠、简便、实用。

3.1.2 指标体系全面，指标数据准确易收集

本研究将我国卫生政策研究机构作为整体的研究对象，建立起一套适合评价的指标体系。该指标体系排除了可能对结果造成人为干扰的指标，综合考虑了学术成果和影响力两方面因素，信息采集指标的内容覆盖了2个一级指标、5个二级指标、8个三级指标、8个四级指标和4个五级指标，能全面反映卫生政策研究机构的学术能力。相关指标数据均可从官方渠道获取，统计计算过程严谨，计算结果真实可靠，评价结果准确。

3.2 本研究的不足

由于卫生政策研究具有一定特殊性，其研究结果对社会的影响很难用客观数据反映，目前仅以报刊杂志曝光率代表，其对政府政策的制定的影响力，一部分通过研究成果的政策转化来反映。一部分通过政府聘请的咨询专家反映，但研究成果政策转化的相关数据获取难度较大，在本次调查中仅以国家级政府专家委员会担任职务为指标，部分指标代表性较弱。在后续的研究中，需要进一步发掘更具代表性的指标并开拓数据获取渠道，进一步优化、完善指标体系。