中美清洁能源联合研究中心评估实践与国际科技合作评估方法

2016-01-15陶蕊,胡维佳

中国科技论坛 2015年5期

关键词：方法论评估

陶蕊1,2,胡维佳2

(1.科技部科技评估中心，北京100081；2.中国科学院自然科学史研究所,中国科学院大学,北京100190)

摘要：本文以中美清洁能源联合研究中心评估实践为基础，尝试归纳出国际科技合作的评估方法论，包括评估关键问题、评估方法和评估逻辑模型。希望对今后中国开展国际科技合作评估活动有所启示。

关键词：国际科技合作；评估；方法论

基金项目：科技部2012年中美创新对话资助课题。

收稿日期：2014-09-16

作者简介：陶蕊(1982-)，女，陕西西安人，副研究员，博士研究生；研究方向：科技评价与绩效评价。

中图分类号:G311

文献标识码:A

Abstract：Along with the growing importance of international science and technology cooperation in science and technology development，more demand about international science and technology cooperation evaluation emerges in China.However，the methodology designed for China’s S&T cooperation evaluation is not enough at home and abroad.This article takes the example of the evaluation of US-China clean energy research center，trying to study and summarize the methodology of international science and technology cooperation evaluation for China，including key evaluation questions，evaluation methods and logic model.It will be helpful for future evaluation activity of China.

Methodology Study of International Science and TechnologyCooperation Evaluation——Case of US-China Clean Energy Research Center Midterm Evaluation

Tao Rui1,2，Hu Weijia2

(1.National Center for Science and Technology Evaluation，Beijing 100081,China;2.Institute for the History of

Natural Sciences，Chinese Academy of Sciences，University of Chinese Academy of Sciences，Beijing 100190,China)

Key words:International science and technology cooperation；Evaluation；Methodology

1引言

随着全球经济一体化的发展，国际科技合作作为有效调节和配置科技资源的重要途径，在推动国家或地区的科技发展水平以及提升科技发展能力中发挥着重要作用。政府间的国际科技合作作为外交和科技工作的重要组成部分，作用更加明显[1]。

“合作”一直是国际评估界关注的评估视角，无论是发展评估还是科技评估领域都有相关研究报道。[2-7]国外相关研究虽具有启发性，但并没有针对中国的实际，没有体现国际科技合作在中国的定位与意义。国内有关国际科技合作的评估研究和实践报道较少，主要分为几类。一是有关几十年来中国国际科技合作的总结与分析[8-11]，二是针对国际科技合作开展的文献计量分析与评估[12-15],三是将国外的评估工具引入中国国际科技合作评估中开展的研究[1,16,17]。

中美清洁能源联合研究中心(US-China Clean Energy Research Center，以下简称CERC)于2009年11月成立。中美双方政府同意在5年内共同出资1.5亿美元，支持清洁煤、清洁能源汽车和建筑节能等三个优先领域产学研联盟的合作研发。建立该中心旨在促进中美两国的科学家和工程师在清洁能源领域开展联合研发，并作为信息交换站帮助双方国内的研究人员在互利领域开展合作。中心成立受到了两国元首的高度关注，是典型的政府间国际科技合作。2012年，科技部组织对该中心开展了中期评估工作。结合这一任务，研究小组对国际科技合作的评估方法论进行深入研究，提出了相关模型和方法。

2国际科技合作的评估关键问题

评估关键问题是一项评估活动的核心，经过评估人员与委托者沟通而形成。评估证据搜集工作围绕评估关键问题展开，评估结果应回答这些关键问题。通过对中美清洁能源联合研究中心的评估实践，研究小组提出针对中国国际科技合作特点的基本评估关键问题如下，这些问题可根据评估对象的具体情况予以调整。

2.1国际科技合作的战略目标

由于国际科技合作是国家间的合作，往往涉及中观或宏观层面的目标，政府间合作尤其以此为特点。例如在CERC评估中，对其战略定位十分关注。评估发现，CERC成立时的战略目标定位于“促进中美两国的科学家和工程师在清洁能源领域开展联合研发”。随着中美关系和全球应对气候变化等国际形势的变化，CERC不断呈现出深层次的战略意义，包括CERC在中美科技合作历程中的标志意义，成为中美两国应对气候变化共同挑战的务实合作，以及两国积极发展新型大国关系的有益尝试。评估人员在开展国际科技合作评估时，首先要明确合作的战略目标是什么，明确战略目标对全面评估效果十分必要。若开展中期评估，则需要分析是否有必要根据形势变化调整战略目标。

2.2合作领域具有的特点

CERC所选择的清洁能源领域是引领全球科技革命浪潮的领域。文献计量数据显示，中美两国在清洁煤、电动汽车、建筑节能这三个合作领域研发实力在全球位列第一和第二，两国开展高水平的合作有望产生引领全球清洁能源技术的成果。三个合作领域合作方式也不尽相同，清洁煤领域以技术示范为主，电动汽车领域以基础研究为主，而建筑节能领域以数据调查和共享为合作内容。合作领域及合作内容的确定是合作的核心，往往经过反复沟通才能确定。

2.3合作形式具有的特点

根据对中国国际科技合作战略的阶段划分，第一阶段为国际科技合作由破重立阶段(1978—1985年)，第二阶段为全面开展国际科技合作阶段(1986—2000年)，第三阶段为互利共赢开展国际科技合作阶段(2001年-至今)[9]。在不同的合作阶段，中国政府的合作战略不同，对外合作形式也不同。例如在CERC评估中发现，CERC改变了过去美方主导的合作方式，首次实现了中美对等合作，双方共同出资，合作议题由双方商定，合作成果双方共享。此外，CERC采用产学研联盟合作的机制，广邀大学、院所和企业参与其中，希望实现合作成果的转化和商业化。这体现了中美科技合作在创新和组织模式上的创新，是中美科技合作进入加强对话和深化务实合作新阶段的重要标志。

2.4参与合作的团队

在合作目标和领域既定的情况下，参与合作的团队实力和优势需符合合作的要求，评估人员对此需做出分析。文献计量数据显示，参与CERC的中美两国合作机构在各自领域实力出众，两国均派出了优势的团队参与合作，符合高水平合作的要求。然而，两国均还有部分优势团队没有加入进来。此外，中美两国参与CERC的机构共129家，其中大学28家、科研机构28家、企业73家，这种构成也符合产学研联盟的合作目标。

2.5合作目标的实现程度、效果和影响

效果评估是国际科技合作评估中最受关注的部分。以往的研究多关注于此方面，例如利用文献计量数据分析合作论文的情况。国际科技合作的产出和成效是复杂的，它不同于一般的科技活动，除了技术突破等研发成果外，往往被赋予更多战略意义，容易产生中观和宏观效果，如对两国关系的作用，对国际事务的影响等，值得评估人员关注。CERC评估认为中美两国是世界最大的两个二氧化碳排放国，两国联手开展清洁能源的技术合作，打破了传统上发达国家向发展中国家提供资金援助和能力建设的模式。若合作取得成功，将有效促进低碳产业的发展，形成规模化的温室气体排放效益，效果将大大高于传统的项目合作。政府间国际科技合作被赋予多元使命，因此在评估时需要拓宽视野，发现多个层面的效果。

2.6合作进展、障碍及解决办法

对CERC评估时发现，国际科技合作面临诸多障碍，包括沟通障碍、意识形态障碍、两国关系等，影响合作的进展。评估人员应该关注是否存在阻碍合作进行的障碍以及应对措施，这对于提出政策建议十分必要。例如，知识产权问题是科技合作老生常谈的问题，CERC设计产学研联盟合作，知识产权问题更为棘手。评估了解到，知识产权问题是摆在中美合作双方间亟待解决的问题，若解决不好将严重影响合作进度。CERC的一大成果是中美双方磋商形成了基于共识的知识产权保护与共享框架，签署了技术管理计划(TMP)，涵盖了合作研究中知识产权的归属、分配、管理和利用。技术管理计划的形成和签署，为两国开展跨国产学研联盟合作中的知识产权管理提供了一个实现利益共享和解决分歧的途径。但评估也发现，执行技术管理计划存在资金、人员等障碍，需要政府加强培训和管理。

3国际科技合作的评估方法

定量研究方法常用于国际科技合作的评估，如文献计量法。笔者认为定量方法用于评估无法量化的成果具有局限性，评估人员应充分利用定性方法发掘合作的中宏观效果。CERC评估中，综合运用了多种定量定性评估工具，如下：

(1) 战略咨询。鉴于国际科技合作议题的复杂性和宏观性，在评估的战略分析部分，有必要就国际科技合作对双边关系、经济发展、全球共同挑战等宏观方面的影响做出分析。尤其是政府间科技合作，应重视在战略层面的分析和评估。CERC评估中，评估人员就全球气候变化谈判、中美关系等议题向中国社科院、布鲁金斯研究会等智库的专家进行了咨询。

(2) 同行评议。同行评议是科技评价中最常用的方法，在国际科技合作中依然适用。同行评议主要针对合作选题和成果，同行评议应邀请国内外熟悉该领域并具有国际合作经验的技术专家。例如，在CERC评估中开展了工程院院士的评议活动。院士对清洁煤领域的评议认为CERC组织开展的研究基本囊括了清洁煤技术的各个方面，但应进一步精炼合作内容，贴近国家需求。院士们同时提出国际科技合作成果应强调创新，将合作成果与历史成果加以区分。

(3) 国内外面访与调研。对国际科技合作评估时若能在国内外开展调研，对相关领域的国内外权威专家进行面访，评估的证据将更具说服力。CERC评估中，委托美国和欧洲的两位独立专家分别在国外开展调研，重点了解国外利益相关方对CERC的观点。32个被调研单位涉及美国科技政策办公室、布鲁金斯学会、中欧清洁能源中心等，共有国外专家40余位接受面访。

(4) 案卷研究。案卷研究是每项评估活动的基础工作。对于国际科技合作项目而言，建议案卷研究时对合作的背景文件予以关注，充分了解国际合作的历史、科技、经济、外交等背景，有助于客观判断国际科技合作的战略定位和中宏观效果。例如对CERC的评估中，研究小组对《中美科技合作协定》、《联合国气候变化框架公约》、《“十二五”建筑节能专项规划》等宏观战略文件广泛搜集加以研究。

(5) 文献计量。文献计量法在以往研究中使用颇多，常用于对合作论文进行深入细致的分析，作为合作效果的证据。本次对CERC的评估由于是中期评估，合作论文数据不足以开展系统的文献计量分析。文献计量法在CERC评估中主要用于分析中美两国的研发实力以及合作机构的研发实力。如表1所示，中美两国从2006年到2011年间发表论文的数据反映出两国在该领域的研发实力[18]。专利地图提示中美两国专利覆盖的方向都相当广泛，但基本不交叉，中国专利主要涉及液体燃料、脱硫技术等方面；美国专利主要涉及煤气化、二氧化碳捕获、二氧化碳分离等方面[19]。

表1　中美在清洁煤领域发表论文的总量和篇均影响力

数据来源：Thomson Reuters数据库Web of KnowledgeSM(2006—2011)及分析报告Bibliometric Analysis of Clean Technology Research。

(6) 问卷调查。在CERC评估中，评估小组面向子课题承担单位发放73份问卷，回收56份。问卷调查用于了解参与合作机构对合作的观点和建议。例如有30%的受访者在加入CERC之前与美方无合作经历，是通过CERC平台与美方合作伙伴建立的联系。几乎所有受访者表示愿意在课题结束后继续与美方合作。这样的问卷调查信息间接反映了参与者对CERC的观点，说明了CERC的作用。图1显示了课题负责人对技术管理计划作用的观点[20]。

图1　课题负责人对TMP实施效果的观点资料来源：CERC中期评估问卷调查报告。

(7) 案例研究。国际科技合作的共性问题颇多，评估中应注重案例研究。对于成功的国际科技合作案例，有必要分析其成功的要素，推广经验并上升为相应的政策建议。例如在CERC评估中，将中美清洁煤联盟如何针对知识产权问题开展磋商作为案例(见表2)，并将技术管理计划作为范本在其他联盟推广，同时也作为今后开展类似国际合作的经验推广[21]。

(8) 交叉分析。由于评估从多种渠道获得的信息不一致，因此有必要交叉分析以确定最准确的证据。交叉分析方法在评估中十分必要，例如CERC经费投入的数据缺少系统准确的统计，评估组将新闻报道、中心年报、面访调研中的数据经过了交叉分析确定准确的数据。

4国际科技合作的逻辑模型

变革理论逻辑模型是国际评估界公认的经典评估工具。国际组织在开展每一项重要的评估活动以前，都要分析评估对象的变革理论逻辑模型。变革理论逻辑模型可以帮助评估人员明确评估对象的因果链条，区分产出、效果、影响等要素，有利于得到准确的评估发现。在CERC评估中，评估小组使用逻辑模型对典型的国际科技合作进行了分析(见图2)。

(1)投入：国际科技合作的投入与其他科技项目一样，主要是人力、资金方面的投入。

(2)活动：国际科技合作开展的活动种类很多，这与合作的领域及类型有关，也与合作两国的实力相关。如前面提到，在中国国际科技合作的三个历史阶段，合作的形式逐渐演变，从技术引进逐渐向联合研发转变，从简单的人员往来逐渐向产学研合作转变，这都与中国的综合国力、科技实力上升有关。CERC作为中美科技合作史上一次里程碑式的合作，一改以往在基础研究和人员往来方面的基础性合作，尝试开展产学研联盟之间的合作。三个领域开展的合作各有特点，清洁煤联盟以共同研发、互建基地为主；电动汽车联盟以基础研究为主；建筑节能联盟以数据调查比较为主。具体合作方式需根据两国在该领域的特点以及两国研究人员的需求而定。国际科技合作的活动特点值得评估人员关注，评估人员应从中挖掘合作形式的创新点、合作障碍如何解决等，这对产生合作效果十分重要，也有助于提出相关政策建议。

表2　中美关于TMP焦点条款的磋商结果案例

资料来源：中美清洁能源(清洁煤)联合研究项目中技术管理计划和知识产权协议报告。

图2　国际科技合作变革理论逻辑模型

(3)产出：国际科技合作的产出，如论文、专利、标准等容易受到评估人员的关注。分析发现，文献计量法常用于分析以合著论文为代表的产出。合著论文的国别、领域、机构等都可深入分析，为国际科技合作宏观评估提供依据。除此之外，合作所研发的技术、产生的知识、形成的市场都可作为国际科技合作的产出。评估人员应关注对知识、技术本身的表述，以案例的形式体现，并说明这一产出如何通过国际合作形成，国际合作在其中的作用。

(4)效果：国际科技合作的效果一方面是合作形成的知识、技术得到应用以后的效果，如经济效益、环境效益等。此外，还包括合作的溢出效果。笔者认为，国际科技合作不同于一般的研发活动，可能产生溢出效果，而且溢出效果受到的关注和影响不次于研发成果，这也是国际科技合作的特点。评估人员需格外关注国际科技合作的双重效果，尤其对于政府间科技合作，产生的中宏观效果是评估的重点，例如合作对两国外交关系的影响，两国合作为共同应对全球挑战的贡献等。CERC评估中了解到，CERC作为中美两个最大的温室气体排放国之间的技术合作平台，有利于提升中国的国际影响力，是中国履行发展中国家减排责任的积极行动。这样的效果能真正反映CERC的价值，若仅仅罗列研发成果未免偏失。

(5)影响：对影响进行评估是国际评估界的趋势，但也具有挑战。影响评估需要系统的设计、健全的数据基础、充分的准备工作等。国际科技合作的影响较之效果更为深远和复杂，应将合作放置于历史和全球的维度，利用开放的视野，发现合作对于国际政治、经济、科技发展的长远影响。对影响的评估需要较长的时间周期和更为宽广的国际背景，对评估人员的挑战也很大。一般情况下，效果层面的评估已经可以满足政策需求，建议可针对持续时间较长的重大国际科技合作对象开展影响评估。

5关于评估方法论适用性的讨论

中美清洁能源联合研究中心是典型的政府间国际科技合作，它体现了国际科技合作的几个重要特征，一是国际科技合作不同于一般国家公共研发项目，体现国家在科技、经济、外交等方面的综合战略目标；二是合作领域受到关注，并决定了两国之间的合作方式；三是合作机制与形式是合作成功的关键因素；四是合作产生的溢出效果值得关注。中美清洁能源联合研究中心的评估具有代表性，所提出的关键评估问题适用于其他国际科技合作评估活动。案例所采用的评估方法涵盖了科技评估的常见方法，因此也适用于其他国际科技合作对象。本文引用的变革理论逻辑模型是国际评估界通用的评估工具，笔者通过案例研究归纳出适用于中国国际科技合作的逻辑模型。其中的要素可能在不同的国际科技合作中有所差异，评估人员可以据此进一步开展针对性研究。本文提出的评估方法论希望综合定量和定性信息，应用于国际科技合作对象的综合绩效评估。通过提出关键评估问题，设计评估逻辑模型以及综合运用多种方法有利于把握一项典型国际科技合作活动的评估要点，规范地开展综合评估，可以弥补横断面定量研究的信息不足。

参考文献：

[1]黄河，皮俊锋.基于平衡计分卡的国际科技合作绩效管理.科技进步与对策，2009，(9)：15-20.

[2]J Uitto.Evaluating Environment and Development:Lessons from International Cooperation.Evaluation,2014，20(1)：44-57.

[3]N Kiyotaka.Evaluation Method of International Cooperation on Climate Change.Japanese Journal of Evaluation，2009，9(1)：19-29.

[4]R Lawrence.A Case-study of Cross-border Cooperation in Central and Eastern Europe.Evaluation，2011，17(4)：365-382.

[5]P Mattsson，P Laget，A Vindefjärd，C Sundberg.What Do European Research Collaboration Networks in Life Sciences Look Like?Research Evaluation，2010，19(5)：373-384.

[6]E Arnold.Understanding Long-term Impacts of R&D Funding.Research Evaluation，2012，21(5)：332-343.

[7]Expert Group.Interim Evaluation of the Seventh Framework Programme Report[R].Brussels:European Union,2010：42-55.

[8]吴贻康.60年的中国国际科技合作.中国科技产业，2009,(11)：74-75.

[9]程如烟.30年来中国国际科技合作战略和政策演变.中国科技论坛，2008，(7)：7-13.

[10]霍光峰，张换兆.中国科技发展国际合作战略的评价与建议.中国科技论坛,2010，(4)：136-142.

[11]刘秋生，赵广凤，彭明立.国际科技合作模式研究.科技进步与对策，2007，(2)：38-41.

[12]金炬，马峥，梁战平.从中美合著论文状况看中美科技合作.科学学与科学技术管理,2007，(5)：41-49.

[13]金炬，武夷山，梁战平.国际科技合作文献计量学研究综述.图书情报工作，2007,(3)：63-67.

[14]刘娅.从国际科技合著论文状况看中国环境领域国际科技合作态势.中国软科学，2011,(6)：34-46.

[15]刘娅.基于文献计量的中国、日本基础研究领域国际科技合作比较研究.科学管理研究，2010,(8)：58-63.

[16]叶挺选，刘云，王文平.基于知识生产函数的国际科技合作计划项目绩效评价研究.兵工学报，2009,(11)：51-56.

[17]王硕.国外对国际科技合作顶目评沽方法.安徽科技，1998,(7)：45-46.