中医药科研机构评价研究＊

2018-12-28胡镜清

世界科学技术-中医药现代化 2018年7期

申力，胡镜清

（中国中医科学院中医基础理论研究所北京 100700）

1 科研机构评价研究

科研机构评价是科研评价体系的一部分，通过评价和比较能客观地评价该研究机构的科研竞争力，明确机构的科研水平在国内外所处的地位，找到与世界一流的差距，更清楚把握自身定位与发展方向；同时也是科研资源配置的有力参考依据。作为重要的科技管理工具和手段，科技评价已经成为国立科研机构提高其研究质量和效率，向政府和公众展示其绩效的主要途径。

1.1 科研机构评价分类研究

不同国家依据本国科技发展需求，在特定的科技评估组织的统领下，制定和执行符合本国科技创新与发展的的科技评估体系，机构评价也是一样。以德国马普学会、弗劳恩霍夫协会、美国能源部国家实验室具有代表性的国立科研机构为例，不同类型的国立科研机构科技评价的特点亦不相同（表1）[1]。

将科研机构分为：研究主导型、技术创新型、市场服务型等科研机构，其中研究主导型科研机构应侧重于基础性研究工作，重视自主创新能力的提高；技术创新型科研机构应加强人、财、物等科技资源的投入，为院所的健康发展与进步营造有利的科研环境，同时该类机构要注重鼓励科技人员转移转化科技成果，促进科技与经济的有效结合；市场服务型科研机构应重视应用型研究，使在新品种、新技术、新发明方面得以提升，对于市场服务能力强，有较大经营利润的机构可通过机构转制的方式，转变为科技型企业或进入企业的科研机构，加大作用发挥。但对于无法脱离国家支持的市场服务型机构，则应加强科技投入（特别是稳定的基础研究经费支持），激发科技创新能力，为能持续有效的提供公共技术服务提供科研保障[2]。科研资源配置坚持以评估结果为导向，实施以分类评估为基础的评估策略，构建以促进科研为中心的评估机制，以及培育以权威、客观为标准的第三方评估机构等建议[3]。

通过对中科院某研究所科研投入和产出的数据分析，与同类的科研机构进行比较，评价该研究所的科研竞争力，建议优化指标体系的时间跨度，开展连续多年度的科研竞争力评价，如5年期的中期评价和10年期的长期评价，这样可以观察到科研成果的影响力变化和成果转化效果的生命周期，减少一些指标短期波动的影响，从而使得科研评价的结果更加客观、可靠[4]。

1.2 中医药科研机构分析

以中国中医科学院为例，探索中医药科技创新评价的方法。通过检索2005-2014年中国中医科学院发表的论文，筛选出中国中医科学院发表的重要科技创新内容，探索适用于中医药领域的科技进步、科技创新评价方法和流程，以建立一种将中医药创新成果外部指标和实质内容相结合的科技创新评价方法。结果表明，中国中医科学院发表的文章中，年被引频次占前1%的文献共278篇。通过作者团队和关键词互相关分析，得到重要科技创新内容及其研究团队为：血瘀症（陈可冀等）、一测多评（王智民等）、糖尿病（仝小林等）等多项；通过主成分分析和修正topsis法量化排序等方法，对核心作者和核心创新内容的进一步筛选做了示例[5]。

表1 不同国立科研机构科技评价的特点

1.3 中医药高校科研评价的认识

在中医药高校应在以“中医药为主体、多学科协调发展”的发展定位中，创造有利于学术发展的学术氛围，建立开放、透明化的科研评价过程[6]。

1.3.1 以人为本，尊重教师的主体地位

在科研评价中以“教师为本”就是“以人为本”的体现。充分尊重教师的主体地位和追求真理的学术权力，不断为教师营造宽松的学术氛围，注重教师学术研究的专业性、差异性创造性和个体性。在这种思想的指引下，高校教师科研评价可以建立一个由专家、学者共同组成的相对独立的科研评价组织来进行评价，甚至可以依托专门的社会评价中介机构进行评价。

1.3.2 质量导向，定量评价和定性评价相结合

质量应该成为学术成果评价的基本准则。科研成果的数量与质量之间有时会存在一定的矛盾关系，而将定量评价和定性评价相结合，则是开展学术评价的难点所在。要做到定量评价和定性评价相结合，就必须准确把握哪些学术指标应该定量，哪些学术指标不应该定量；哪些学术指标应该定性，哪些学术指标不应该定性。无论是运用定性评价还是定量评价，评价方法本身是没有对错之分。

1.3.3 差异发展，制定与研究性质相适应的评价标准体系

制定评价方案时应充分考虑中医药类学科和非中医药类学科二者的差异，尽可能做到顾及学科特点，根据具体情况制定出相应的评价指标。

对于中医药类的科研成果，基础研究成果主要表现为科学论文、专利等形式，较适于利用SCI进行评价；而应用研究成果价值主要体现在应用前景上。对于非中医药类的科研成果，主要有学术性评价和管理性评价两种：学术性评价着眼于成果的创新点及其在学科中的作用和意义的判断，同时考虑到成果的社会效益和经济效益；而管理性评价则着眼于成果的外部表现特征如成果形式、发表刊物、鉴定级别、转载引用情况等。高校应根据自身学科特点和发展需要，从科学和创新的规律出发，减少科研评价的环节，减少数量和形式的硬性要求，适当延长评价周期，使评价工作与科研本身的规律和特点相适应。

1.3.4 分级评价，完善科研激励机制

分级评价，即要根据教师在不同发展阶段的科研工作重点，制定不同的评价标准。当前的误区是:不同职称和职务的教师之间没有质的不同，只有量的差别，考核内容一样，这对教师科研水平的可持续提高是不利的，必须实施分级评价，要根据教师不同发展阶段，明确他们的科研工作重点，针对这些重点制定不同阶段的评价指标。

1.3.5 程序公开，建立透明化评价过程

中医药高校应在以“中医药为主体、多学科协调发展”的发展定位中，创造有利于学术发展的学术氛围，建立开放、透明化的教师科研评价过程。特别是对教师科研评价业绩核定和管理工作中，应及时面向全校师生和管理部门发布科研业绩统计信息和评价结果，避免因不公正的评价过程与不公正地对待评价结果所带来的影响，力求做到公平与公正，开放、透明化评价过程。

评价过程中需要遵从以下原则：①统一原则，应在《科学技术评价办法》前提下专门建立全国统一的医学科技成果评价具体实施标准和规范细则，以保证这一体系所有的评价行为、过程等有据可循，有法可依。②分离原则，政府及院校行政部门要与医学社团明确划分各自的职责，使科技评价的“谋”“断”分离，真正保证科技社团能够进行独立的评价。③透明原则。实施针对评价内容、程序、过程、结果的全面公开机制，接受社会各界及其科研创新主体的全面监督，切实保证评价体系的公正性。④全面原则。医疗卫生科技创新关乎民生，因此，这一评价体系不能延续传统的“事后评价”，应建立全面的“整体性评价”，从科研目标确定即开始介入，直至科学研究的结束，以确保科研项目具有更优的质量和社会贡献性[7]。

1.4 评价指标包括4个一级指标和17个二级指标。

科研人员能力评价的一级指标包括：知识体系、科研素质、科研实践、科研成果；二级指标包括：专业理论知识、科研方法知识、继续教育与进修、外语掌握情况、团队合作精神、科研态度、科研道德、主持/参与课题、筹措科研经费、研究实施与质量控制、国内外学术交流、各级人才计划、发表文章、出版专著、培养研究生、科研成果奖项/专利、研究成果转化(技术、产品、服务的推广)（表2）[8]。

1.5 中医药科研机构科技效率评价

运用数据包络分析（DEA）的CCR和BCC模型进行分析，对41所省级中医药科研机构的投入-产出效率进行评价分析，就2013年省级中医药科研机构的科研效率而言，整体处于偏低的水平，仅为0.54，且各科研机构之间的科研效率差别较大。针对目前这一状况，认为可以通过加大科技投入力度、引入基于科研效率的奖惩机制、建立绩效管理体系等措施来达到进一步提高科研机构投入产出效率的目的[9]。

图1 基于独立机构的高等医学科技评价体系模型

表2 科研人员能力评价指标权重表

2 国家重点实验室评估

2014年5 月科技部对国家重点实验室评估制定了相关评价体系，在体系内明确提出代表性成果的定义，即评估期内在实验室主要研究方向上，以实验室为基地、实验室固定人员为主产生的重大科研成果，以及通过国内外合作研究取得的成果。代表性成果应是根据科学前沿和国家重大需求所开展的、为促进科学发展或解决关键科技问题以及为国家发展决策等方面所取得的重要科研系列进展，而不是某研究方向上关联度不高的成果的汇总和拼盘。对代表性成果的评价应将投入产出比作为一个重要指标。

此外，评价成果按基础研究、应用基础研究和基础性工作分类，不同类型成果按不同标准评价。

2.1 评估规则

科技部负责评估的组织实施，制定实验室评估规则与工作规程，确定参评实验室名单，委托和指导第三方评估机构开展评估工作，确定和发布评估结果。评估周期为5年，每年评估1-2个领域的实验室。评估重点是实验室的研究水平与贡献、队伍建设与人才培养、开放交流与运行管理。评估工作坚持“公开、公平、公正”和优胜劣汰的原则，依靠专家，注重实效。

2.2 评估材料

评估材料包括年度报告、年度考核报告和五年工作总结。年度报告纳入国家科技报告服务系统，向社会公布，接受监督。

实验室根据评估期内每年提交的年度报告提出五年工作总结。五年工作总结中列举的论文、专著、数据库、专利、软件著作权、奖励、技术成果转让必须是评估期内取得。

评估权重：研究水平与贡献（50%），队伍建设与人才培养（30%），开放交流与运行管理（20%）。

2.3 评估程序

实验室依托单位负责实验室年度考核，提供实验室年度考核报告，年度考核报告和实验室五年工作总结要在依托单位内部提前公示。

评估材料经主管部门审核后按规定程序和日期提交评估机构。评估机构应组织人员对评估材料进行审核。

评估包括初评、现场考察和综合评议三个阶段：初评按学科领域相近的原则分组进行。初评专家组通过审阅实验室评估材料，听取实验室主任工作报告和讨论评议，根据评估指标体系记名打分和排序，并提出专家组评估意见，现场考察分组进行，原则上选取初评得分的前30%和后20%；现场考察专家组通过听取实验室代表性成果汇报、核查实际运行管理情况、个别访谈，形成现场考察报告，现场考察不打分、不排序；综合评议按领域进行，综合评议专家组听取初评和现场考察情况的报告，审议初评结果，重点对现场考察的实验室进行评议并记名打分和排序，提出评估意见。

2.4 评估结果

评估结束后，评估机构应分析和总结评估工作情况，提出评估报告，并将完整的评估工作档案资料提交科技部。科技部根据评估报告和专家评估意见，确定并发布实验室评估结果及处理意见。实验室评估结果分为优秀、良好、整改和未通过评估四类。

3 国家中医临床研究基地督查评价指标体系的研究

2008年12 月，国家发改委和国家中医药管理局共同启动实施基地建设项目，遴选了16家三级甲等中医医院作为基地建设单位（局直属直管医院和上海中医药大学附属曙光医院共7家单位参与建设）。总体目的是通过加大投入，改善条件，深化改革，创新机制，创建一批分布合理、具有较强辐射带动作用的临床科研创新体制，在中医药理论研究、重大疾病防治和健康维护方面取得突破性进展的科研创新平台。

基地建设作为中医药领域国家财政投入最大、重视程度最高的一项基础性建设项目，是振兴和发展中医药的重大战略举措，在中医药事业发展史上具有里程碑式的意义。目前23家建设单位坚持“打基础、建机制、谋长远、见成效”的基本思路，创新机制，整合资源，搭建平台，已顺利完成了两个阶段的建设任务，并于2016年下半年全面开展验收工作，2017年5月份正式被确认为国家中医临床研究基地。

自2012年国家中医药管理局按照国家中医临床研究基地建设工作的统一部署，组织专家进行评价指标体系的研究，采用征询表发放的形式进行三轮德尔菲专家咨询，请专家对拟订的指标作出评价和提供修改建议。根据专家咨询结果选择指标，计算指标权重，确定国家中医研究基地督查评价指标体系。为国家中医研究基地年度的督查结果进行客观、量化地评价。

3.1 指标的筛选

3.1.1 文献回顾法

查阅相关文献资料，在此基础上初步拟订国家中医研究基地督查评价的指标框架。其内容包含“中医临床研究基地依托单位评价指标征询表”、“中医临床研究基地业务建设评价指标征询表”、“中医临床研究基地重点病种评价指标征询表”三个部分内容。

中医临床研究基地依托单位评价指标体系分为一级指标、二级指标、三级指标。一级指标包含：基础设施、医院规模、队伍状况、业务科室设置、医疗设备、经济状况、医院附属机构七个部分。中医临床研究基地业务建设评价指标体系分为一级指标、二级指标、三级指标。一级指标能力建设及运行模式及机制。中医临床研究基地重点病种评价指标体系分为一级指标、二级指标。

3.1.2 德尔菲法（Delphi）

采用征询表发放的形式进行三轮德尔菲专家咨询，请专家对拟订的指标作出评价和提供修改建议。根据专家咨询结果选择指标，计算指标权重。每一批均选择熟悉本指标系统的专家，每批为10-20人左右，包括理论和实践等各方面专家。最终确定国家中医研究基地督查评价指标体系。

3.2 形成正式督查评价表

第一轮征询表的发放时间于2012年2月份，对象为16个基地的项目负责人。对返回的意见进行归纳综合、定量统计分析后，经过课题组讨论，对征询表进行修改，进行第二轮。

第二轮征询表预计发放时间为2012年5月份，对象为16个基地的卫生厅管理专家。对返回的意见进行整理后，征询表进行修改，进行第三轮。

最后一轮征询表的发放时间为2012年9月份，对象为督导组的专家。对返回的意见进行归纳综合、定量统计分析后，经过课题组讨论，形成正式督查评价表。

通过对部分基地的现场调研，进一步完善经研究形成的理论上的基地督查评价表，供小样预试。

3.3 小样调查预试、形成正式督查表

根据第三轮修改指标形成督查表，根据不同的区域选择在三个基地进行小样本的预调查。对预调查的数据进行统计分析，并对督查表中存在的问题进行修改，形成最终的正式督查表。

3.4 督查资料数据管理及统计分析

对督查收集的资料进行录入，使用EPIDATA数据库，进行数据录入与管理。为保证数据的准确性，应由两个数据输入员独立进行双份录入并校对。

统计分析的内容中包含：

3.4.1 专家意见集中程度

专家意见集中程度用均数或满分率（即需要/总的专家人数*100%，或认为非常重要的人数/总的专家人数*100%）来表示。该指标介于0-1，越接近1说明对该指标给满分的专家比例越大，该指标也越重要。

3.4.2 专家意见协调程度

专家意见的协调程度用变异系数和协调系数来表示。变异系数说明专家对每个指标的协调程度，协调系数说明全部m个专家对全部n个指标的协调程度，W越大说明专家意见协调程度越高。通过计算变异系数和协调系数可以判断专家对每项指标的评价是否存在较大的分歧，或找出高度协调专家和持异端意见的专家。协调系数的显著性检验可采χ2检验，如果P＜0.05，则可认为协调系数经检验后有显著性，说明专家评估或预测意见协调性好，结果可取。反之，如果P＞0.05，则认为专家意见在非偶然协调方面将是不足置信的协调，评估或预测结论的可信度差，评价或预测结果不可取。

3.4.3 评价指标筛选方法

本研究进行三轮德尔菲专家咨询，可采用界值法筛选评价指标，根据每项指标的重要性得分计算满分频率、算术均数和变异系数。满分频率和算术均数高的指标入选。为防止重要的指标被剔除，课题组根据全面性、科学性、可行性等原则经讨论后取舍。同时，指标筛选充分考虑了专家提出的修改意见。

3.4.4 评价指标权重计算方法

本研究采用Saaty方法确定指标的权重。在三轮咨询中，每位专家对一级指标的重要性给予等级评分，将某一级指标的得分值除以所有一级指标总得分值，其商即为该一级指标的权重系数。应用同样的方法计算每个一级指标下二级指标的权重系数，二级指标下三级指标的权重系数。最后，采用乘积法计算三级指标的组合权重系数，即三级指标组合权重系数=三级指标权重系数×二级指标权重系数×一级指标权重系数。

3.4.5 计算总得分值

层次分析法(AHP)对评价对象依评价目的所确定的总评价目标进行分解，得到各级（各层）评价目标，并以最下层作为衡量目标达到程度的评价指标。然后依据这些指标计算出一个综合评分指数对评价对象的总评价目标进行评价，依其大小来确定评价对象的优劣等级。另外，将最终的总得分值范围转化成0-100之间的分值。

2012年12 月国家中医药管理局颁布《国家中医药管理局对国家中医临床研究基地业务建设验收指标体系》，该体系包括：国家中医临床研究基地组织领导验收指标体系、基本建设验收指标体系、重点病种研究验收指标体系、能力建设验收指标体系、运行模式和机制建设验收指标体系，每个体系均设三级指标，以基地能力建设评价（总分500分）为例，分为：临床能力（120分）、科研能力（190分）、临床研究数据管理与质量控制平台能力（150分）、成果应用及推广能力（40分）；其中的科研能力评价二级指标包括：科研领军人物（10分）、科研队伍（20分）、文献信息（30分）、伦理审查平台（60分）、临床研究方法团队（20分）、通过SFDA认定（20分，未通过认定一票否决）、实验室/研究室（30分）。

4 存在的问题

科研平台雄厚的研究实力、先进的仪器设备、浓郁的学术氛围，为科技工作者提供了开展科学研究和进行学术交流的重要场所，也为高层次师资队伍建设和人才培养质量建设提供了有力保障[10]。在机构评价中科研平台的仪器设备是考察的重要内容，但是，目前不乏有一家单位不同部门大型仪器重复购置，仪器共享存在问题，据统计，我国拥有的科学仪器设备的数量已超过英国等西方国家，但许多仪器设备的利用率不到25%，仪器设备闲置浪费现象严重。各单位对于仪器设备的封闭式管理和布局分散，也导致仪器共享受限。

在完善有关国家政策制度，建立开放共享管理机制的基础上[11]，建议在科研机构评价的过程，优先考虑共享平台的仪器设备，并将本单位公共平台的仪器设备纳入到考核指标中，这样避免了重复购置，就可以更有效地利用科研资金，投入到更多新的科研项目，有效降低研发成本和研发投入。