发达国家的科技计划评估模式与经验借鉴
2011-02-19周文泳胡璟璟
周文泳,胡璟璟,杜 明
(1.同济大学经济与管理学院,上海 200092;2.上海市科技项目(管理)评估中心,上海 200001)
随着全球一体化步伐的不断加快,国与国之间的竞争日益激烈,在科学技术方面表现得尤为明显。一国的科技计划作为决定其科技发展方向的操纵者,成为判断国家竞争力的关键因素。20世纪70年代,自美国开创了对研究开发活动进行定量评估的先河后,以科技计划形式进行的研究开发投入也不断增大,科技计划的实施效果受到越来越多的关注。因此,研究科技计划评估的理论、方法,完善评价体系,尤其是形成一套适合自身国情的评估管理模式意义重大。
政府科技计划(后文简称科技计划)是指根据国家科技发展规划和战略安排的,以中央财政支持或以宏观政策调控、引导,由政府行政部门组织和实施的科学研究与试验发展活动及相关的其他科学技术活动[1]。科技计划的评估是一项全面、综合、系统的工程。一般可以分为科技计划的立项评估、对科技计划的执行情况进行的中期评估和对计划的效果和影响进行的后评估[2]。20世纪80年代,政府科技计划的评估蓬勃发展[3]。尽管各国因评价目标等因素的不同对科技计划评估的内涵有不同的界定,但基本可以将科技计划评估理解为:运用科学的研究程序,研究、评价和改善科技计划的所有重要方面,包括问题诊断、概念化与设计、实施与管理、结果及其功效,并且与科技决策与预算分配形成回馈和联系机制[4]。到目前为止,按照不同的分类标准,国外科技计划评估包括多种模式。无论这些科技计划评估模式不同的原因为何,都必有其存在的合理性和可取之处。
一、发达国家科技计划评估模式
纵观世界发达国家科技计划评估的发展历程,在此方面卓有成效者都倾向于建立一套适合本国科技与发展的科技计划评估模式。由于各国国情不同而导致科技计划评估模式有所差异,国内学者主要从评价服务对象[6]、评价目标导向[4]及评价需求与动因角度[7]对国外科技计划评估模式进行分类。从评价的服务对象来看,科技计划评估可以分为基于科技管理的科技计划评估和面向公共决策的科技计划评估两种模式。前者立足于促进科技决策的科学化,为参与科技决策的各方提供重要依据。但该模式过多地注重科技计划本身的“技术性”评价,时常忽视了科技计划的社会和伦理因素。而后者从社会总体福利需求出发,旨在形成公共决策方案。这种模式超越了科技计划评估的“技术性”层面,在更高层次上全面而综合地考虑科技计划的技术、社会、环境等多种因素。根据不同的评价目标导向,到目前为止国外科技计划绩效评估主要包括三种模式[4]:以证明政府科技计划投入行为合理性为目标的美英模式;以改善组织内部管理为目标的欧洲模式;评价与政府政策较为松散的OECD模式。
科技计划评价的需求和动因直接决定评价过程中的着力点,进而影响到一国科技计划评估的政策取向。因而在此种分类标准下研究各国科技计划评价情况对完善我国科技评价体系具有深层次的指导意义。学者谈毅和仝允恒从评价需求和动因角度将科技计划评价分为总结式评价和形成式评价两种模式[7]。
总结式评价是由于政府期待提高研发经费补助使用效率,缓解自身的预算压力,因而评价以组织外部为出发点,侧重于计划项目的成果和经济方面的影响,以证明政府行为的合理性。结合相关评价实践,得出总结式评价的两个主要特点。一是评价目标清晰具体。对科技计划的总结式评价与政府的经济预算挂钩,为促进资源的合理分配服务,评价目标相对而言较为明确。例如作为美国为未来经济增长和就业创造机会的产业政府合作计划——先进技术计划(Advance Technology Program,ATP),在其1990年开始实施的四年之后就开始构建相应的绩效评价机制,目的就是证明整个ATP计划的合理性。二是评价偏重技术与经济影响。再以ATP计划评估为例,其评估内容[4]包括ATP计划本身活动、建立健全的档案、评估产业界的实施完成情况、跟踪项目近期及中期成果、评估项目对经济的长期影响五个方面。不难看出,这种评估模式侧重于项目的直接成果和经济影响,对诸如技术与社会的融合、项目成果在更长一段时间的社会影响等较少考虑。
形成式评价是源于政府期望从科技计划评价的过程和结果中获得改进建议的需要,因此评价的动因来自组织内部,最终目的是为了改善组织内部管理,与政府预算分配无直接联系。比较而言,形成式评价的特点主要体现在两个方面。一是侧重于计划的后期评价。发达国家(如法国、德国、荷兰、瑞士等国)此类评价模式的具体目标多为通过整体计划中初期阶段评价结果向决策层的反馈来指导下一阶段计划的规划和执行,从而达到逐步改善政府科技计划管理的目的,故评价通常建立在阶段计划完成的基础上。如挪威政府于1978年开始实施用户导向研究计划(UOR),该计划分为“创新计划”(1978~1982)、“产业创新”(1984~1989)和“用户导向研究”(1990 ~1995)三个阶段[7][8],对 UOR 计划的评估也分三个阶段进行,每个阶段的评价又分为事后评价和长期评价,分别始于阶段计划完成的两年或更长一段时间之后。二是评价方法和指标确立较为困难。形成式评价的评价目标不仅要求评价遵循科学的研究程序,而且需兼顾科技计划的所有重要方面。与总结式评价对经济影响的侧重不同,这种模式除了对财务收益的关注外还要重视多方面资料的收集、阶段计划间逻辑关系的处理等,因而评价方法的选择、指标体系的设置相当复杂。
二、发达国家科技评估指标体系
比较国外主要科技计划评估实践发现,评估指标体系构建差异很大,即使对同种类型或处于相同评估模式的计划而言,指标的设置也相去甚远。同样是对科研类计划进行评价,英国考虑科学活动的规模人员培养、文献引用、出版物数质量及重要性情况、同行评议,以及其他指标如专利获奖等[9];德国考察在科技计划关键问题中所发挥的作用和所占分量、大科学项目的重要性、与院内外伙伴合作情况、项目计划发展的科学态势等[10];法国则从两个方面构建评价指标,用资源指标、战略指标和竞争力指标来评价科研管理,用投入指标、产出指标、关系指标和效益指标来评价科研水平[9]。
文献查阅情况显示,相关研究多集中于具体项目的评价指标体系上,而单独对科技计划评价指标构建的研究较少。对具体项目来说,评价指标体系的差异主要受项目类型的影响。由于不同种类项目的目标定位、管理方式、产出、效果等的差别,评价指标也会不同。而就科技计划整体而言,评价的动因以及利益相关者在评价中的地位都是影响指标设置的关键因素。相比形成式评价,总结式评价迫于政府预算压力会在资源、效率等经济性指标方面有所侧重,前者则较多关注一些改善计划管理、促进社会发展的非经济性指标。科技计划的评价是多方共同参与的过程,尤其对于评价过程贯穿于计划的制订、执行的评价模式,除评价者外,政策制定者、计划管理者、执行者等利益相关者关注的重点均会影响到评价指标体系的构建。个别学者就将科技计划影响的多样性归因于不同利益相关方的参与,并把这些利益群体的不同需要与政府科技战略目标相结合,得到了科技计划评估的四个维度[7]:知识增长、企业创新、创新系统支持和管理。鉴于国外科技计划评价指标纷繁复杂,很难归纳出几种大致的体系框架,笔者认为可以立足于不同的评价维度来思考评价指标的构建。
三、我国科技计划评估现状及问题
与发达国家相比,我国科技计划评价的起步较晚。1994年,国家科技评估中心正式开始科技计划的评估工作,至今主要对科技攻关计划、国家高技术发展研究(863)计划、国家重点基础研究发展(973)计划开展了多次计划评估工作[11,12,13,14,15]。总的看来,几种计划的评估基本包括“目标—管理—效果与影响”评估模式和专题评估模式[16]。前者主要对计划目标定位与布局、管理与组织实施、效果与影响等进行全面系统的评价,后者则是选择若干关键问题,围绕重要议题进行评价,把握计划的执行情况。评价指标趋于多样化,较多采用定性定量相结合的方法,甚至根据计划的实际需要开发出针对性强的特殊方法。如863计划的评估中就如何衡量差距缺乏公认的评价标准和衡量尺度问题建立了“NCSTE差距评价框架”,通过产出、能力和环境方面的评价,对所选领域的差距进行初步评价[13]。
有学者将我国目前的科技计划评估定位于回顾性的综合性评估,主要是通过评估对政府部门组织实施的科技计划项目的完成质量进行评价[5],但我国离形成一套有效的科技计划评估模式还有很大一段差距。无论是与发达国家之间的横向比较,还是与自身在科技项目评价方面的比较,关于科技计划整体的评价都可以说是我国科技评价体系的薄弱环节。经过对我国几次科技计划评估实践的研究,可以发现以下几个问题。(1)科技计划评估目标定位不当,这导致对科技计划整体的评估基本上等于对计划项目的二次评价,既浪费了大量资源,也失去了科技计划评估的意义。(2)计划评估缺乏一个规范化兼具灵活性的框架,评估过程中一事一议的方式在一定程度上影响每次评估的效率,也难免会出现一些管理不周的问题。如对各阶段计划评估周期的设定、经费来源的解决等。(3)计划产出效果和影响方面的指标设置欠妥,相应的评价方法研究不足,难以进行深入、全面的评价。(4)对评估中利益相关者关系的处理及与评估过程的关系不够重视,造成评估中主次不明,评估结果的独立性也受到一定影响。(5)评估结果利用不充分,未能发挥指导科技计划规划或资源合理配置的作用。
四、我国科技计划评估改善建议
尽管从世界范围看科技计划的评估尚存在许多难点和不足,但不可否认许多发达国家在此方面的做法值得我们学习借鉴。总体而言,国外政府科技计划评估的共性特征[16]表现为:一是与全生命周期管理模式相对应,计划评估体现在从立项到后续跟踪的各个环节;二是评估内容涉及广泛,表现为从质量、进度、财务支出等方面的全面跟踪控制;三是评估模式具有多样性。
在此,结合这些共性特征以及本文对评估具体模式和评估指标的研究,笔者提出如下几条建议。(1)致力于开发与目标定位、结果使用相配套的科技计划评估模式,并注重评估模式的灵活运用。根据评估的目标定位研究开发出对应的评估模式,保证评估的效率;将评估目标与评估结果的使用对应起来,兼顾评估的有效性;据不同类型和不同目标定位的计划选择合适的评估模式,从根本上建立一套适合我国国情的评估模式组合。(2)重视科技计划的前、中期评估,从源头上保证科技计划的执行。各国开展计划评估的重要目的之一就是为日后的计划实施、管理提供指导性建议,我国目前科技计划评估的重点在于后评估,对前、中期评估关注不够,未能发挥科技计划评估机制对计划执行的监督作用,违背了开展计划评估的初衷。因而,真正实现计划评估的全生命周期管理,使事后评估与前中期持续监控并重才能取得更好的评估效果。(3)构建综合而平衡的科技计划评估指标体系,并在构建过程中考虑利益相关者的因素。科技计划评估应注重指标的多样化、整体的平衡性,避免过分强调单个因素而出现误差的放大。另外,由于评价过程中涉及政策制定者、计划管理者、执行者、评估者等多方角色,他们关注的重点不同,因此评价指标构建时也要将不同利益相关者的因素考虑进去,进一步提高评估的平衡性,防止评估结果失真。
[1]国家科技计划管理暂行规定[Z].2009.
[2]魏海燕.科技计划的评估方法及其应用研究[J].科研管理,2007,28:26 -29.
[3]许庆瑞,郑 刚,王 勇.计划评价:国内外的理论、方法与实践[J].科研管理,2002,22(2):22 -27.
[4]谈 毅,仝允桓.政府科技计划绩效评价理论基础与模式比较[J].科学学研究,2004,22(2):151 -157.
[5]杨志江,罗掌华,钟优慧.政府科技计划绩效评价研究综述[J].广西师范大学学报,2007,43(2):131 -134.
[6]谈 毅,仝允桓.中国科技评价体系的特点、模式及发展[J].科学学与科学技术管理,2004,25(5):15-18.
[7]谈 毅,全允桓.政府科技计划绩效评价维度、方法及模式[J].公共管理学报,2005,(2):63 -75.
[8]陈峻锐,苏 竣,林 淼.美国先进技术计划(ATP)管理模式分析[J].中国软科学,2002,(6):82 -87.
[9]杨烈勋,李若筠.管理科学基金项目绩效评价问题研究[J].中国科学基金,2001,15(3):183 -186.
[10]鲍玉昆,张金隆,李新男.国外科技评估实践及对我国的借鉴[J].软科学,2003,17(2):22 -24.
[11]国家科技评估中心.“八五”国家攻关计划评估报告[Z].2007.
[12]国家科技评估中心.中国高技术研究发展(863)计划评估报告[Z].2007.
[13]国家科技评估中心.863计划十五年评估报告[Z].2001.
[14]国家科技评估中心.973计划评估报告[Z].2006.
[15]国家科技评估中心.“十五”863计划评估报告[Z].2007.
[16]赵兰香,刘琢琬,张 琳.两种目标导向下的科技计划评估模式比较研究[J].中国软科学,2010,(5):65-73.