符合我国特色的医学科技项目评价体系的初步构建

杨涛莲，钟 华，安新颖 ，王 卫，王健伟

1中国医学科学院 北京协和医学院，北京 100730 2中国医学科学院 北京协和医学院 医学信息研究所，北京 100020

基金项目：中国医学科学院中央级公益性科研院所基本科研业务费专项资金(2021-ZHL630-003)和北京协和医学院中央高校基本科研业务费资助项目(3332021089、3332022172)

科技项目评价是科技管理的重要手段，对提升决策水平、优化资源配置、明晰科技发展方向、激励科技创新与促进科技发展发挥着至关重要的作用。2018年7月，由中共中央办公厅、国务院办公厅发布的《关于深化项目评审、人才评价、机构评估改革的意见》中明确提出“严格项目成果评价验收”。医学研究是关乎社会经济发展、国家安全稳定、人民健康福祉的重要基础，目前国内对医学科技项目评价研究较少，尚未形成适合我国特点、符合医学科技创新活动规律的成熟科技项目评价制度[1]。本研究在梳理国内外科技评价的基础上，探索构建符合我国医学学科特色的医学科技项目评价体系，为催生真正高水平的科技成果奠定基础。

资料和方法

初始评价框架的搭建采用文献调研法，在遵循科学规范、可操作性原则基础上，梳理国内外科技评价研究现状与实践[2-7]，结合我国医学科学研究规律、特点及对科技项目管理的要求，运用收集整理国内外具有医学特色的评价指标总结得到医学科技项目评价核心要素，围绕标志性成果产出水平、社会经济效益、发展潜力等方面形成初级指标框架。

评价指标的筛选和确定：邀请长期从事医学基础研究、临床诊疗及技术研发等领域工作的专家及科研管理部门专家参与指标论证，采用德尔菲法开展两轮专家咨询，对指标适用性、重要性和可操作性进行打分，并结合专家意见和量化判断对初级指标进行筛选、讨论和修改，进而构建医学科技项目评价模型，形成准确清晰的指标体系。

评价指标权重的确定：采用层次分析法，构建目标层、准则层和指标层的层次递阶结构，按照Satty1-9比例标度法和差值比较法构建矩阵，并邀请专家进行指标重要性两两比较判断，采用方根法计算矩阵特征向量并进行一致性检验，最终确定各指标权重及组合权重。

分类评价体系的构建医学研究领域繁杂，为避免“一刀切”粗放式评价不利于科学技术发展，本评价体系以分类评价作为出发点，依据医学科技项目类型分为基础前沿类、疾病防治类、药械研发类、技术支撑类、基础性科技工作类开展分类评价。基础前沿类重点评价知识创新的质量和水平。疾病防治类重点评价在疾病防治领域重大关键科技问题突破。药械研发类重点评价创新性药物、疫苗、医疗器械等研发情况。技术支撑类重点评价建成的平台和技术体系的水平。基础性科技工作类重点评价科技资源库、科学数据库等建设与共享情况。

项目评价体系的应用将构建的医学科技项目评价体系应用于中国医学科学院医学与健康科技创新工程(以下简称“医学创新工程”)重大项目的验收评价工作。依据分类评价原则，将参加验收的72个重大项目分为以下5组：基础前沿类项目18个，疾病防治类项目16个，药械研发类项目8个，技术支撑类项目17个，基础性科技工作类项目13个。结合专家综合评价中优秀、良好和合格3档评价结论，通过对中国医学科学院MacRP科研管理平台系统收录的上述72个重大项目的990条代表作类型进行分析，采用描述性统计分析和百分比数据展示，探知不同项目类型的分档评价结论与各类项目代表作类型选取的关联性。

科研人员对评价体系的评价对科研人员就本研究建立的医学科技项目评价体系满意度进行调查，向承担医学创新工程项目的95名项目负责人发放问卷，问卷内容包括对评价体系整体满意度、代表作制度、分类评价、四重评价范式、动态调整机制、破“五唯”力度和对项目实施推动作用以及对科研人员的激励作用等，满意度分为非常满意、比较满意、一般、不满意和非常不满意5档。统计收回问卷中项目负责人对各项问卷内容的满意度选择，数据采取百分比展示，以了解科研人员对本评价体系的认可度。

结 果

医学科技项目评价体系初步建成通过以上方法，创建并形成符合我国特色的多维综合、差异化的分层分类的医学科技项目评价指标体系，包含项目和项目承担单位两个层级。其中，项目评价指标包含2个一级指标和5个二级指标(表1)，在代表性成果和社会经济效益的赋值上依据不同项目类型设定不同分值；项目承担单位评价指标包含5个一级指标和9个二级指标(表2)。为最大程度地调动项目各层级创新主体的积极性，全方位评价项目实施成效，构建四层评价范式，具体为“项目自评+第三方评价(定量评价)+专家综合评价(定性评价)+项目承担单位评价”。项目自评由项目负责人组织专家组对项目内人员对项目实施的贡献度进行评价。第三方评价机构对项目填报数据进行审核、处理与分析，提供学术表现分析报告。专家综合评价根据项目类型实行基于任务书预期目标完成情况的结论评价和代表性成果水平及效果的分档评价。为强化和落实项目承担单位主体责任，建立针对项目承担单位的评价机制。建立了基于评价结果的应用机制，对优秀项目和单位予以科研经费奖补，对评价不合格的项目和单位建立“黑名单”，并在规定时间内限制其申报项目的资格。

表1 医学科技项目评价指标

表2 医学科技项目承担单位评价指标

项目分类评价结论与其代表作类型关联度基于医学科技项目分类评价体系在医学创新工程重大项目验收评价工作中的应用实践，对不同分档评价结论的各类项目代表作类型进行分析，结果显示：基础前沿类评为优秀的项目主要为论文(84.09%)、授权发明专利(9.09%)，评为良好的项目主要为论文(83.33%)、授权发明专利(11.33%)，评为合格的项目主要为论文(87.27%)、授权发明专利(10.91%)；疾病防治类评为优秀的项目主要为论文(83.02%)、临床指南(9.43%)，评为良好的项目主要为论文(76.17%)、临床指南(6.22%)，评为合格的项目主要为论文(84.21%)、授权发明专利(10.53%)；药械研发类评为优秀的项目主要为论文(36.84%)、授权发明专利(26.32%)、临床试验(10.53%)、成果转化(10.53%)、国内外顶级学术会议报告(10.53%)、药品注册证书(5.26%)，评为良好的项目主要为论文(72.58%)、授权发明专利(9.68%)、临床试验(9.68%)；技术支撑类评为优秀的项目主要为论文(65.96%)、平台建设(12.77%)、授权发明专利(8.51%)、动物模型(8.51%)，评为良好的项目主要为论文(66.46%)、平台建设(12.66%)、成果转化(6.96%)、授权发明专利(6.33%)，评为合格的项目主要为论文(91.67%)、授权发明专利(8.33%)；基础性科技工作类评为优秀的项目主要为论文(59.02%)、平台建设(16.39%)、成果转化(11.48%)、临床指南(9.84%)，评为良好的项目主要为论文(71.30%)、平台建设(20.37%)、授权发明专利(5.56%)，评为合格的项目主要为论文(75.00%)、平台建设(16.67%)、标准(8.33%)(图1)。项目代表作形式多样，论文在各类项目代表作中占比较高，但在评为优秀的16个项目中5个项目仅选取1～2篇论文作为代表作(表3)，评价分档结论与代表性成果选取类型相关，优秀项目的代表作类型与项目类型关联度更契合，比如药械研发类优秀项目代表作类型中授权发明专利与成果转化占比较良好项目更高，更符合药械研发类项目评价标准。

图1 各类项目代表作类型情况

表3 优秀项目代表作论文情况(篇)

科研人员对评价体系的满意度对科研人员就建立的医学科技项目评价体系满意度进行调查，共发放95份问卷，回收80份。结果显示：项目负责人对医学科技项目评价体系整体满意度为96.25%，对项目评价体系中具体举措和效果满意度从高到低依次为项目自评(95.00%)、第三方评价(定量评价)(95.00%)、分类评价(93.75%)、代表作制度(92.50%)、专家综合评价(定性评价)(92.50%)、定性评价结果准确性(91.25%)、动态调整机制(87.50%)、破“五唯”力度(83.75%)、对项目实施推动作用(82.50%)和对科研人员的激励作用(73.75%)。多数项目负责人比较认可本研究建立的医学项目评价体系，但同时对激励机制提出更高的要求。

讨 论

根据医学创新工程项目验收评价数据分析，本研究初步构建了以创新能力、质量、贡献为导向且符合我国特色的医学科技项目评价体系，基本奠定了分类评价的核心地位和评价重点，代表性成果形式多样一定程度上改善了既往“五唯”科研评价误区，并实现了考评结果与目标校正、预算分配等挂钩，较好地激发了科研人员创新活力。

分类评价导向的推行促使评价精准度提升未对医学科研项目进行分类前，基础性科技工作与基础前沿类研究在过往实行统一评价，前者偏向于基础性战略性科技资源建设，后者偏向于前沿理论探索，分类评价为基础性战略性资源建设项目提供了保障机制，为科研人员潜心研究创造了良好的学术氛围，推动科研人员真正回归科学研究本身。依据分类评价效果，我院将项目评价前置，在项目立项评审环节中对项目预期成果和考核指标按照分类评价标准进行严格把关，比如疾病防治类项目应重点关注改变临床实践，药械研发类项目应关注突破药械研发中的“卡脖子”技术，更利于与科技计划、科研机构战略目标契合。

多元评价指标的设立有力破除“五唯”我国科技评价中存在重数量轻质量、急功近利[8-10]等现象，处在迫切需要转变发展道路的关键时刻，即抑制过度量化评价倾向，发展更加关注科技质量的评价制度和方法，以保证能够有更多原创性科学与技术的突破性成果产出，实现从“量变到质变”的转化[11]。本研究中评价指标的设置考虑到各类医学科研成果的科学、技术、社会、经济的多元价值，纳入的代表作形式多样化，对代表作的数量作了限制，一方面弱化对量化指标的追逐，另一方面正向引导科研人员优先关注代表作的质量，避免低水平的复制，强化对高水平科学研究的导向作用，更有利于筛选出有发展潜力的好项目。项目与机构评价相结合，发挥单位和项目负责人主导作用，调动项目实施各方的积极性。

定量评价为定性评价提供有效支撑当前科技项目评价方法有同行评议方法、案例分析方法、回顾性分析方法与指标分析法[12]等，其中以同行评议方法较常用[13]。然而，同行评议存在一定的弊端，容易造成裙带关系和性别歧视[14]，影响评价结果准确性和客观性。代表作时代势必要厘清定量评价与定性评价的关系，使评价更具可信度[15-16]。本研究对定量评价与定性评价相结合的方式进行了初步探索，建立的第三方评价(定量评价)机制既可减少同行评价的分歧和模糊操作空间，又可提升评价效率和评价准确性[17]，为同行评议提供客观的数据支持。并引入外部高水平专家评价机制，突破内部的学术裙带关系，外部专家给予的中肯建议一方面加强了与外部兄弟单位的科研交流，另一方面提高了科研项目评价质量，改善了过去验收形式化的不良现象，切实推动项目高效实施。

综上，本研究成功构建了医学科技项目评价体系，但仍处于初步阶段，下一步将加强对定量评价与定性评价关系的深入探索，在保证科学评价基础上如何进一步激发科研人员创新活力仍需不断探究。科技评价工作必须要回归科学研究本身来寻求理性的评价方案，真正通过科学的评价方案去发现和培养优秀的科学家，催生真正高水平的科技成果，培育真正前沿的科研项目，建设真正领先的科研机构，评价的导向应当是引导相应被评价的创新主体更好地发挥作用[18]，将科技创新的目的聚焦于对社会的贡献服务[19]，建立适应创新驱动发展和健康中国战略的科技评价制度改革和评价体系仍然任重而道远。