医学科研项目实施绩效评价框架设计研究*

钟 华 胥美美 倪 萍 安新颖

(中国医学科学院/北京协和医学院医学信息研究所 北京 100020)

1 引言

医学科学已成为新一轮科技革命的引领性力量，各主要国家都将医学科技创新作为重点与优先领域进行战略布局。医学科技创新水平成为衡量一个国家科技创新水平和能力的重要方面。科研项目实施对提升科研机构创新能力具有助推作用[1]。特别是在医学领域，科研项目在推动基础前沿研究、重大疾病防治、创新药物研发、技术平台建设等方面发挥显著作用，促进了医学科研院所学科布局和体制机制的优化完善。本文以绩效评价理论为指导，借鉴国内外在科研项目绩效评价方面的理论成果和实践经验，按照科学、客观、全面的原则对项目立项、实施管理、标志性成果及其转化、社会经济效益等方面进行全面梳理和综合分析，总结项目实施成效，凝练标志性成果，提出较为通用的医学科研项目实施绩效评价体系框架，以期为项目资助机构在学科布局、领域调整和资助方向等方面提供科学的数据支持和决策参考。

2 国内外相关研究及实践借鉴

2.1 逐步构建重点突出、布局优化的项目资助体系

各主要国家在科研项目管理方面注重统筹科技资源配置，构建具有国际视野、符合大科学时代科研规律的多层次协同创新的科学研究网络，并在国家层面出台科技评价指导意见，逐步完善科研项目的遴选和评审机制。如日本政府一直致力于构建开放型的科研评价体制，自1997年开始制定“国家研究开发评价实施办法大纲指针”[2]，针对国家层面提出基本方针和整体框架并数次修订。美国将项目绩效管理和绩效评价纳入机构运行与监督之中，于1999年提出“评价联邦研究计划：科学研究与政府绩效和结果法案(Government Performance and Results Act， GPRA)”[3]。

2.2 持续完善高度专业化、科学化的项目评价管理体制

持续完善科技项目评价管理体制是国家科技治理体系的重要措施之一。例如美国国立卫生研究院(National Institutes of Health，NIH)科学评审中心(Center for Scientific Review，CSR)是项目同行评议系统的中心节点[4]，负责NIH资助项目的申请评审工作，采用同行评议方式。评价重点包括项目重要性、研究方法、创新性、研究人员工作背景、支撑条件等[5]。日本医疗研究开发机构(Japan Agency for Medical Research and Development，AMED)设立由项目总监(Project Director，PD),项目主管(Project Supervisor，PS)及项目职员(Project Officer，PO)构成的评价委员会负责评价实施，并纳入日本国内专家，和来自海外的国际审查员共同参与评价过程，为项目具有国际视野并保持全球领先水平提供制度保障[6]。

2.3 不断设计科学高效、分层分类的项目评价工具和方法

科学的评价工具和方法在项目管理中发挥关键作用。各国立足国情和科学发展现状不断在评价方法和工具方面进行优化和完善。加拿大健康科学院(Canadian Academy of Health Sciences，CAHS)科技评价框架是为医学研究资助者开发的一种用于捕获医学研究影响的稳健方法和相关指标体系，是CAHS开展科学评估基本遵循的框架[7]。英国国家卫生研究所(National Institute for Health Research，NIHR)设计Dashboard框架监测和评估科研活动和实施绩效，其指标包括逻辑模型的各阶段并覆盖平衡计分卡各领域。爱尔兰卫生研究委员会(Health Research Board，HRB)采用Payback模型将社会和经济影响分为5类因素，开展项目事后评价[8]。日本AMED项目事后评价对基本方案(ACT-M)和应用方案(ACT-MS)进行分类评价，利用10级通用量表为评估和资助的高度多样化项目提供标准量尺。此外英国科研卓越框架2021(REF2021)[9]、欧盟“地平线2020(Horizon 2020)”[10]、澳大利亚卓越研究(ERA)[11]评估等都在评价方法和工具上不断探索改进，通过构建科学高效的项目评价工具和方法，对项目产出和成果的质量、贡献、影响进行有效识别和揭示，从而更好地为医学发展和学科建设提供支持和服务。

2.4 小结

着眼于国际科技项目评价研究实践，各国科研资金资助机构通过建立和不断完善自身评价管理体系对科研实施有效管理与调控。对于我国医学科研项目评价，尚未形成适合我国特点、符合医学科技创新活动规律的成熟科技项目评价制度，还需借鉴国际科技评估理念和方法，进一步创新科技项目评价方式，建立基于数据、指标、方法的分类评价机制，研发和应用定量与定性相结合的评价方法和工具，通过智能化、大数据等手段建立监测科研活动全过程的数据平台，不断提高项目评价效率和精准度。

3 评价框架设计原则与思路

3.1 评价框架研究与制定

开展科技项目评价可以支撑医学科研项目发展规划、组织实施和监测评估，支持医学科研院校提升核心竞争力与国际影响力。根据医学科研项目绩效评价目的及特点[12]，本研究构建面向“目标-结果”的评价模型，既要评估科研项目目标和考核指标完成情况，也要判断科研项目实施取得的成果有效性及其影响。项目绩效评估首先是评估科研项目是否达到预定目标，其次是评估项目实施成果对科研院所科技创新能力和国际影响力是否有提升。本研究将其归纳为“目标-结果”两大方面，见图1。

图1 医学科研项目实施绩效评估框架

3.2 评价指标设计原则

针对医学科学研究活动实际情况，本研究评价指标设计主要依据以下原则：一是科学性原则。评价指标设置能全面、客观、真实地反映医学科研项目实施绩效。二是目标性原则。评价体系应符合该类型项目特点，能够有效反映项目投入、产出和学术影响的特点和状况。三是可比性原则。评价体系应具有纵向和横向可比性，能够从时间上对科研项目产出水平进行动态比较，更重要的是通过对不同医学领域间横向比较反映各自特征和差异。四是可行性原则。所选取指标来源数据应能够采集获取，并考虑学科类型及统计方法等综合因素。

4 评价框架体系

4.1 整体框架

遵循医学科研项目实施绩效评估框架模型和指标设计的基本原则，以科技创新能力发展为基础，以领先水平科技成果为载体，以成果转化能力为支撑，构建内外部协同创新发展的项目实施绩效评价体系框架，分为6个1级指标和16个2级指标，见表1。

表1 医学科研项目实施绩效评价体系框架

续表1

4.2 领先水平科技成果

4.2.1 基本概念 领先水平科技成果主要以知识形态存在，具体包括论文、专利、专著、重要咨询报告和政策建议等，是具备较强研究实力的科研项目团队围绕科学前沿和国家战略需求以及社会经济发展重大需求，培育和产出的高水平、有影响的标志性科技成果。

4.2.2 高水平论文 测度学术影响和创新能力的重要指标。从世界各国科技创新评价体系和实践框架来看，论文指标仍然在不同类型、不同层面评价体系中广泛存在，高质量论文是衡量国家及机构科技创新的重要指标之一。例如NIH将论文及其引用量作为重要指标，将美国临床与转化科学基金(Clinical and Translational Science Awards，CTSA)项目与NIH资助项目的论文产出进行对比分析[13]。韩国BK21 PLUS项目的评价指标包括发表SCI论文数、SCI论文影响因子、论文优秀性、国际著名学术刊物优秀论文发表数等[14]。日本科技政策研究所(National Institute of Science and Technology Policy of Japan，NISTEP)发布的“日本科研能力现状和问题”研究报告从论文质量和数量、研究领域参与情况以及论文与专利的关联等方面分析日本科研能力现状[15]。

4.2.3 专利和标准 专利是知识产权的重要组成部分，其中发明专利申请量和授权量是技术创新能力和水平的重要体现，具有可比性。标准是指由标准化主管机构批准发布，需在一定范围内统一的技术性准则。参与制定国家及行业标准在一定程度上体现机构在领域内的学科地位和技术影响。此外还包括专著及咨询报告、政策建议等其他成果。

4.2.4 重大科技奖励 科研成果获奖是国家及同行对科研成果的高度认可，是科研成果具有较高质量的直接体现。例如《浙江大学标志性科技成果培育实施办法》《武汉大学高水平科研成果奖励办法》等高校政策中都将国家及省部级科技奖励作为重要的代表性科技成果之一。

4.3 人才培养和引进

4.3.1 人才规模和结构 科技人才是进行医学科技创新的主体，在医学科技理论和方法的提出、发展、传播、应用中发挥积极作用。人才规模和结构方面，具体包括人才规模、年龄结构、学历结构和职称结构。

4.3.2 人才培养 在国际科研评估实践中，培养能引领科技发展前沿、具有一定学术成果和贡献的科研人才，既是科研项目的基本任务，也是主要考核指标之一。例如CAHS的科技评价框架是其开展科学评估基本遵循的框架，人才培养评估主要考察健康相关领域研究型学生毕业数、加拿大健康及相关领域科研人员数量等指标。澳大利亚联邦科学与工业研究组织(Commonwealth Scientific and Industrial Research Organization, CSIRO)发布的《影响评估指南》通用评价框架中，科研人员创新能力和社会贡献是评价项目研究产生社会影响的重要指标之一[16]。人才评价除数量指标之外，很多机构更关注在项目资助过程中人才成长和发展情况，包括科研人员学术影响力扩展和职业能力提升情况。

4.3.3 人才引进 国家和相关科研机构都在优先发展领域、重要研究方向和新的学科生长点上有目标、有重点地引进优秀人才，以形成具有国际竞争力的集群优势[17]。

4.4 团队建设

4.4.1 学科带头人成长及培养 主要对学科带头人数量增长情况、学科带头人领导能力以及学术水平等方面进行评价。

4.4.2 团队结构 现有研究及实践中对团队结构的评价主要是从人员构成角度考虑，常见指标包括职称分布、学历分布、专业构成等方面。在机构评价层面，主要是对不同职称或学历人群进行直接描述。例如德国马普学会对各级研究所资助绩效评估时，指标包括研究结构、人员结构(职称)、与国内外研究所的交流、知识与技术转移、论坛与国际会议、学术任职、科学奖励和荣誉等，团队建设和人员结构也是评价的主要方面[18]。

4.4.3 团队成长 其指标大致可以分为3类。第1类为国家级科技团队资助项目相关指标。第2类通过团队成员学历、职称变化来反映，包括团队成员职称晋升、学历升高人数、增长率等。第3类纳入成员接受培训以及进修情况。例如NIH主任先导计划(NIH Director’s Pioneer Award，NDPA)目标是为那些致力于通过创新性研究方法解决生物医学和行为学研究中的重大问题的科学家提供资助。NDPA实施成效评估中，关于人才培养方面的评估主要针对学术声誉提升情况或职业发展情况、同一实验室培养的学生或青年研究人员获得奖项或荣誉、研究人员职业路径变化[19]。

4.5 协同创新

4.5.1 基本概念 医学科研体系是由科研个体间、科研个体与科研团体间的相互作用形成的科研合作网络系统[20]。对科研协同创新能力的评价，即对科研体系内各种网络关系之间沟通与合作机制的评价，反映科研项目执行过程中内外部间不断的相互作用和交流机制。

4.5.2 内部协同创新 指科研机构内部知识共享。如芬兰科学院(Academy of Finland)是芬兰最主要的研究资助机构，为芬兰前沿科学研究提供资助，并推动提升该国科研水平、改善科研环境、促进研究结果转化和应用、支持国际科研合作、制定科研政策。芬兰科研项目的影响力评价体系中涉及协同创新的评价指标为协作网络与知识流动[21]。

4.5.3 外部协同创新 指产学研协同创新，通过政府、科研所院、行业产业的深度融合而实现。NDPA的评估中关于协同创新指标包括项目与产业界开展合作，如在行业期刊上联合发表论文等。马普学会开展研究所评价时，关于协同创新方面涉及与工商界、政界及社会的联系情况。此外有研究认为可以将“高校科研活动中企业科技人员占比”“跨机构合作研发项目在科研机构研发中的占比”等指标作为协同行为的重要评价指标[22]。

4.6 国际合作与交流

国际合作与交流指不同国家地区的科研人员在学术研究方面的合作交流，能有效推动我国借鉴国际先进科研思路以及研究技术，实现科研发展与世界接轨。现有研究及实践中反映国际合作的指标均从国际合作活动的角度出发，包括共同项目资助、共同人才培养及引进、共同研究平台、学术交流以及合作成果等方面。共同项目资助包括在项目实施期间受到国外资助情况以及对外资助情况两部分；共同研究平台建设包括联合实验室、联合研究所建立等平台建设情况；共同人才培养包括国际人才计划以及国际组织任职人员出访情况、国外专家在项目中任职和参与情况；学术交流活动包括主办、参与国际学术会议；合作成果主要包括合著论文、报告、专著等。

4.7 科技成果转化

4.7.1 基本概念 科技成果转化指为提高生产力水平而对科学研究与技术开发所产生的具有使用价值的科技成果所进行的后续试验、开发、应用、推广直至形成新产品、新工艺、新材料，发展新产业等活动[23]。科技成果转化是一种带有科技性质的经济行为，可从转化规模和转化效果两方面开展评估。

4.7.2 转化规模 我国为加快实施创新驱动发展战略，打通科技与经济结合的通道，鼓励开展科技成果转移转化。国内各机构在进行科技成果转化评估时采用不同形式和指标。如知识产权创造和转化考虑专利、软件著作权、集成电路布图设计专有权等知识产权数量以及科技成果登记数量等。

4.7.3 转化效果 其评价主要指成果转化带来的经济效益和社会效益，包括技术辐射能力、技术市场交易额、技术合同成交额、研发产品产值或销售规模以及产学研合作情况等。例如CAHS科技评价框架中关于科技成果转化方面的评价指标包括专利许可收益、产品销售收入、孵化企业的价值。HRB事后评价采用payback模型，在成果转化方面主要包括药物或医疗器械的销售、成立相关的技术公司并进行产品销售[24]。

5 结语

本文从学术研究角度针对医学科研项目的实施绩效提出评价框架，在借鉴国内外科技项目评价理论和实践的基础上，从领先水平科技成果、人才培养和引进、团队建设、协同创新、国际合作和交流以及科技成果转化等方面提出多维评价指标体系，凸显医学科研项目成果的综合价值以及项目研究过程的持续性及可发展性，对反映和监测医学科研项目建设进程和实施效果进行了有益探索。本研究提出的评价框架在应用时，通过指标和权重的多重灵活组配，可为面向不同领域、类型和评价目的科研项目管理场景提供项目评价路径，分析得到项目全景科研指标图景。从而在专家定性评价外，为项目综合评价提供基于数据分析的立体、多维量化方法支持。但是本研究所提出的医学科研项目评价框架尚处于理论研究阶段，后续需要按照模型框架，结合医学科研项目真实数据开展应用测试和分析，进一步验证评价模型应用效果。此外在评价框架研究基础上，本研究仍存在待改进和完善之处：评价框架体系尚有待优化，一些能体现项目目标达成情况的指标如经费投入结构、学科布局的合理性暂未纳入；可从时间维度对项目实施前后变化进行监测，通过指标分析观测项目实施绩效，对关键指标形成定期监测与预警机制；可将项目事后评价因素纳入评价模型，从更长时期分析项目成果的贡献和影响。