科技计划经济社会影响评价的回报模型：基本原理、发展动态及启示

白 波,王艳芳，肖小溪

(1.北京城市系统工程研究中心，北京 100089；2.中国科学院科技战略咨询研究院，北京 100190；3.中国科学院大学公共政策与管理学院，北京 100049)

0 导言

新公共管理运动以来，随着科技在经济社会发展中的作用日益凸显，科研评价的价值导向从只注重学术评价转向学术评价和经济社会影响评价并重[1,2]。当前，国内外用于评价科技计划经济社会影响的框架和模型当中，回报模型被认为是当前国际上最主流的经济社会影响评价模型之一[3-5]。该模型广泛应用于美国、英国、加拿大、澳大利亚等国家对生物医学类科技计划开展的评价实践。近些年来，由于该模型提供的评价科技计划经济社会影响的理论框架和基本方法受到普遍关注，该模型及其改进形式的应用范围从生物医学领域逐渐拓展到其他领域[6-8]，对于更加科学、合理地评价各类科技计划带来的经济社会影响起到了十分重要的推动作用。

目前，国内对于如何开展科技计划的经济社会影响还主要停留在理念或理论阶段[9-11]，缺乏成熟可用的评价框架和方法。在回报模型应用最多的生物医学领域，中国科技计划评价主要遵循一般意义上的绩效评价指标和方法[12,13]，仅有极少研究探讨了基于回报模型改进和完善生物医学类科技计划评价的指标或方法[14]，其他学科领域科技计划的管理者和评价方对于回报模型的理念和价值更是缺乏了解。为了推动中国建立关于科技计划产生的经济社会影响的评价研究和实践，本文主要结合发达国家利用回报模型对生物医学类科技计划开展影响评价的典型案例，梳理回报模型的基本原理和最新发展动态，并提出对中国科技计划经济社会影响评价的启示和建议。

1 回报模型的基本原理

20世纪90年代，英国布鲁奈尔大学 (伦敦)以Buxton和Hanney两位教授为主的健康经济学研究组在研究如何评价健康服务产生的影响或回报过程中，提出了评价生物医学研究经济社会影响的回报模型[15]。该回报模型的两个关键要素分别是：①通过构建科学研究产生中长期影响的逻辑，阐释科学研究形成影响的七个阶段，以及在形成影响的过程中科研体系与外界的学界、政府、经济等相互作用的两个界面 (见图1)；②将生物医学研究的影响划分为知识产品、能力提升、对相关政策和产品开发的支撑、健康部门的收益、更广泛的经济和社会收益五大类 (见表1)。

图1 回报模型的七个阶段 (阶段0至阶段6)和两个界面

2004年，该模型应用于英国关节炎研究联盟 (Arthritis Research Campaign，ARC)，是早期以回报模型来评价生物医学类科技计划所产生的经济社会影响的典型实践[16]。该项评价首先基于项目类型、科研工作性质和论文影响力三个维度，筛选了20世纪90年代初期ARC资助的16个项目作为评价案例。进而，基于回报模型中五大类影响指标，通过三个途径搜集了这些案例的相关数据：①项目管理资料，包括项目申请书、项目进展报告、项目结题报告等；②半结构化访谈，主要访谈对象包括项目负责人、项目合作者、研究结果的使用者、学术同行等；③文献计量学数据，主要涵盖论文发表和知识扩散两个角度，其中论文发表的统计数据包括该项目发表的论文数量、论文合作情况、论文类型、论文资助情况 (每篇论文平均有多少个资助机构、ARC资助的论文占全部论文的比例是多少)等，知识扩散的统计数据包括论文影响力 (年均被引次数)、知识转化 (引用这些论文的文章的研究水平如何)、论文扩散 (美国学者的引文占全部引文的比例、关节炎研究领域之外的引文占全部引文的比例)等。

在上述数据的基础上，由9位专家组成的评价小组逐个开展16个案例项目的审核和分析。第一阶段要求每位专家基于上述16个项目的数据，以回报模型为内容框架独立撰写并提交自己的观察报告，重点就资助决策过程、项目过程管理、项目产生的影响等方面阐述自己的观点。进而，将各专家的观察报告中集中体现的重点问题分为若干主题，根据各主题将相关专家召集起来进行小组讨论。第二阶段是召开一个为期两天的研讨会，由9位专家按照回报模型对16个项目的影响进行审核，具体做法是要求每位专家都对每一个案例的每一类影响进行1～9分的评分，并从前面的基础数据中抽取相关数据或事实作为其评分依据。对第一轮打分情况进行分布统计，并将结果反馈给每一个专家。经讨论后，各位专家再分别打出第二轮的评分，将第二轮评分的中位数作为最终评分结果。

此次评价结果主要从两个方面展示：一是从回报模型的五类影响出发，揭示了ARC资助的关节炎研究产生的各类影响的评分分布情况 (见图2)和相关证据；二是从回报模型的7个阶段和两个界面出发，总结ARC资助的关节炎研究产生影响的两种路径 (见图3)。此外，根据评价结果对于ARC未来如何优化项目管理、更好地激励项目转化为经济社会影响提出了相关政策建议。

注：KP代表 “知识生产”，RTCB代表 “科研能力建设”，IPPD代表 “政策支撑和产品开发”，HHSB代表 “健康部门的收益”，BEB代表 “更广泛的经济和社会收益”。图2 ARC资助的基础类项目和临床类项目的五类影响的得分中位数对比

图3 ARC资助的关节炎研究产生影响的两种路径

上述评价案例集中体现了早期利用回报模型评价生物医学类科技计划产生的经济社会影响的典型做法，即 “半结构化访谈+文献计量学数据和管理资料分析+专家核实影响并得出评价结果”三板斧。具体而言，半结构化访谈主要是筛选部分代表性项目为样本案例，以回报模型为框架对项目负责人和其他相关人员进行访谈，由被访谈者申述这些项目产生的五类影响和相关数据和事实；文献计量学数据和管理资料分析是搜集样本项目 (或者整个计划所资助的所有项目)的定量产出和过程管理信息；专家核实影响并得出评价结果是指由评价专家 (通常以同行专家为主，适当吸收用户代表和管理专家)根据上述定量定性事实和数据，核实项目负责人申述的各类影响，形成评价分析报告，从而得出项目整体的影响评价结论。

2 回报模型的发展动态

近些年来，随着回报模型在生物医学类乃至其他学科科技计划经济社会影响评价中的应用日益增多，回报模型的一些不足也逐渐显现。从解决问题的角度出发，研究者和实践者对于回报模型进行了修订和完善。以下结合具体案例，重点归纳了回报模型在三个方面的发展动态。

2.1 如何更好地析出单个项目产生的影响

科研项目在学术上、经济上、社会上产生的效果和影响，往往是多个科研项目甚至多个科技计划的共同产物。对于科技计划的组织方而言，通过评价来判断该计划的有效性，就需要把该计划产生的效果和影响从其他计划中辨析出来。在早期的回报模型的相关实践中，一般选择科技计划所部属的若干研究项目作为被评价样本，由项目负责人笼统阐述其项目产生的影响，但这种影响可能是多个项目共同作用的结果。因此，后来的研究和实践通过两种方法改进了回报模型，在一定程度上有助于辨析单个生物医学研究项目在临床上、经济上或社会上产生的效果和影响，从而更清晰地界定被评价的生物医学类科技计划的影响范围。

一种方法是要求各研究项目负责人在定性阐述项目影响的同时，判断该项目在所申述的影响当中起到的作用或程度。以英国哮喘研究的影响评价[17]为例，评价组织方在以回报模型为框架开展项目负责人的半结构化访谈时，要求项目负责人对该项目在各类影响当中所起到的作用分别进行不同程度 (作用很大、中等作用、作用很小)的标明，如该项目研究结果对于英国后续相关研究资助决策起到的作用程度有多大，该项目研究结果对于英国临床界哮喘治疗方案改进起到的作用程度有多大，该项目研究结果对于英国哮喘学界科研能力提升所起到的作用程度有多大，等等。

另一种方法是在项目负责人申述的项目影响及相关事实和证据的基础上，由专家小组判断这些影响的产生能否归因于这些项目。以澳大利亚开展的健康干预研究的影响评价[18]为例，12名来自公共健康、健康干预、临床医学领域的专家组成专家小组，其中4位专家曾经或者目前正在政府部门负责健康政策制定。该专家小组分别从四个维度对各项目负责人申述的项目影响进行1～9分的评分：这些影响是否由多项目合作产生；这些影响是否与该项目研究有直接关联 (即申述的影响能否归因于该项目)；影响的深度和广度如何；影响的重要性如何。通过汇总各位专家的评分，得出各项影响归因于该项目的程度。可见，这种方法采用专家再次评议的方式，对项目负责人申述的影响与该项目的关联性进行判断。

2.2 如何开展计划层面的影响评价

早期回报模型面临的另一个挑战在于如何基于项目层面的影响来判断整个计划的影响。如前所述，回报模型的应用是基于若干案例的深度访谈和分析，往往由评价者筛选被评科技计划中代表性的若干项目作为样本案例，逐一对这些样本项目的影响进行分析。但是，由于经济上和智力上的集成效应的存在，科技计划层面的影响往往大于该计划下各项目的影响之和[5]。如果只是将各案例项目的影响进行汇总，并不能合理分析计划层面的影响。

近些年的研究和实践中多采用目标利益相关者访谈的方法来应对这个问题[6,19]。以生物医学类科技计划为例，这类科技计划往往有明确的目标用户，包括特定的患者、医学政策制定者、临床执业医生等，由这些利益相关者从用户角度对生物医学类科技计划整体层面产生的经济社会影响进行评价，是目标利益相关者方法所要达到的根本目的。如兰德公司开展的英国国立健康研究所HTA计划评价[20]，在以回报模型为框架评价该计划的影响时，首先按照一般做法搜集了HTA计划的文献计量学数据，并选取了12个项目作为案例，要求项目负责人申述其5类影响并提供相关事实和证据。这些数据和分析都为项目层面的影响分析提供了直接支持，但是并不能充分地揭示HTA计划整体上在后续相关研究布局、政策发布和临床实践等方面产生的影响。为此，兰德评价小组开展了20名目标利益相关者的逐个访谈，这20名访谈对象中有4名来自学术界、3名来自患者群体、8名来自政府医疗管理部门或医疗保障体系、2名来自其他资助机构、4名来自HTA专家组，其中，8名是HTA外部专家、5名是国际专家。访谈内容侧重具体项目层面难以揭示的效果和影响，诸如HTA计划的实施是否有效解决了英国医疗保障体系面临的重大问题？HTA计划的实施对于英国医药产业的发展是否起到了有效推动？HTA计划是否对于英国工业界的研发活动产生什么影响？通过这些访谈问题来看，这种目标利益相关者访谈确实是利用回报模型评价生物医学类科技计划影响时的必要补充。

2.3 如何提高评价的信度和效度

本质上而言，回报模型是一种半结构化的经济社会影响分类体系，通过将科学研究产生的各类短期、中期和长期影响进行分类，使得对相关影响的梳理和评价更为系统而有序。由于应用回报模型时主要由项目负责人申报其研究活动产生的影响，再由同领域专家对申报的影响进行核实，因此，评价的信度和效度会受到一些主观因素干扰，例如项目负责人有意或无意夸大项目影响、负责审核的专家组规模和人选、影响评价与项目结题之间的时间间隔等[6,21]。为了提高回报模型在科技计划影响评价中的信度和效度，近些年的研究和实践主要从以下方面来改进回报模型：

一个方面是通过采集标准化数据和信息，提高客观证据对于专家审核的支撑力度。以2013年开展的欧盟框架计划生命健康研究项目的影响评价为例[22]，6位生命健康领域的专家组成评价小组，以回报模型为基本架构，基于欧盟第五、第六和第七期框架资助生命健康研究产生的影响进行评价。与以往应用回报模型不同的是，此次评价开展了大范围的文档调查工作，要求每位项目负责人填写一份标准化表格，在该表格中提供关于回报模型五类影响 (知识产品、能力提升、政策支撑、健康部门收益、经济和社会收益)和影响扩散情况这六大方面的定量或标准化的信息，如经济社会影响方面要求提供该项目具体创造了多少个固定岗位和限期聘用岗位，政策支撑方面要求从研究报告、预测软件、指南文件、政策建议、临床案例、诊疗工具这几个方面提供信息，等等。这些量化数据或标准化信息，既为下一步的专家审核提供了便利，有利于减少专家评审的偏见和判断失误，也便于开展项目或计划的横向比较分析。同时，以这种大范围的文档调查来支撑专家审核，在一定程度上减轻了对专家数量和时间投入的要求，因而也减少了评价成本[23]。

另一个方面是根据研究项目的具体特点，选择合适的评价时间窗，以便更合理更有效地搜集相关影响数据。由于生物医学研究产生影响的时间范围很大，从项目结束之后的2年到30年都有可能，因此，确定合适的评价时间窗 (评价时点与项目结题时点之间的时间间隔)对于合理评价生物医学类科技计划产生的影响非常关键。这方面的一项系统研究是加拿大健康科学院于2009年发布的一份对加拿大生物医学研究投入回报评价的指导性报告[24]。该报告明确提出生物医学类科技计划要分类评价，基础生物医学研究、临床应用研究、健康服务研究、人口与公共卫生研究、以上四类的交叉研究等不同类型的研究项目在性质、特点和转化周期方面都各有不同，因此在回报模型所界定的五类影响的发生时间也是不同的。一项针对英国心血管病研究的影响评价更是明确指出，开展心血管相关的科技计划的影响评价，最合适的时间点是项目结题之后17年[25]。

3 总结和启示

当前，回报模型被科技评价的学界和实践界广泛采纳，迄今已成为最为主流的科技计划经济社会影响评价模型之一，被认为是与科技计划经济收益计量分析并驾齐驱的另一种重要的评价逻辑模型[26]。中国科技界对于科技计划影响评价的研究和实践起步较晚，回报模型的基本原理和发展动态对未来中国更好地监测和评价科技计划产生的影响具有十分重要的意义。

从学科领域来看，回报模型不仅适用于生物医学领域，也适用于具有直接或间接应用潜能的各学科领域。随着科技创新支撑经济社会发展的力度增强，各学科领域的科技计划都面临着如何评价其在经济社会发展中产生影响的压力。如英国于2014年在原RAE基础上改进形成的REF评价，要求对各参评的学科领域 (包含自然科学和社会科学)都进行社会效益的影响评价。当然，由于学科特点不同，在应用回报模型时应注重结合不同学科领域的特点，合理设置该模型中五大类影响的具体表征和指标。

从评价对象来看，回报模型既适用于整个科技计划的影响评价，也适用于具体科技项目的影响评价。回报模型最早的出发点是对科技计划整体进行影响评价，但是由于在具体应用中往往以具体的科技项目为基本的影响评价单元，因而在早期的实践案例中对科技计划整体性的影响评价有所不足。改进后的回报模型强调科技计划的整体影响大于该计划下各具体项目的影响之和，并采用目标利益相关者访谈等方法具体落实，使得回报模型对科技计划的影响评价更为充分。

可以预期，回报模型对于中国科技界的积极意义是多方面的。该模型不仅提供了一套开展科技计划影响评价的理论框架，更有利于推动科技计划评价从绩效评价拓展为影响评价。相比于绩效评价主要关注科技计划是否完成了短期的、可预见的绩效目标，影响评价更关注科技计划完成之后在劳动力就业、医疗健康、经济政策、社会福利等经济社会影响各方面产生的中长期影响。由于目前对于科技计划经济社会影响的机理分析缺乏有效工具，当前对于科技计划的影响评价无论在理论研究还是实践应用方面都比较欠缺。将回报模型引入中国，梳理科技计划的影响形成机制，分析其形成影响的七个阶段，以及影响形成过程中科研体系与外界的学界、政府、经济等相互作用的两个界面，有助于科技计划的资助和管理方转变管理理念，推动科技计划评价从绩效评价拓展为影响评价。这种转变也将影响科技界个人评价的价值导向，引导科技计划的主要参与者在发表学术论著的同时，更多注重科研成果在经济社会发展中的实际影响。通过对做出实质性贡献的个人进行合理评价，激发科技工作者在经济社会影响中发挥更大作用，也有利于提高科技计划在提高人民健康水平、完善公众生活环境、提升国家产业竞争力等经济社会各方面的实际效用。