APP下载

我国自然科学基金绩效评估框架构建

2014-09-18罗彪杨婷婷王海风

关键词:评估指标绩效评估

罗彪+杨婷婷+王海风

”摘要: ”文章初步构建了我国自然科学基金绩效评估框架及相应的评价指标体系。首先,界定基金绩效内涵,在利益相关者的视角下分析我国基金绩效评估的主要要素。然后对美、日等国评估实例进行比较分析,总结评估经验。然后对我国基金绩效评估现状进行回顾与梳理,通过比较分析提出基金绩效评估框架。最后一句评估框架设计构建多维度评估指标体系。期望能为NSC和省级基金绩效评估展开提供启示,也能为同类科学资助机构绩效评估提供借鉴。

关键词:绩效评估;公共组织;评估框架;评估指标

中图分类号:C37文献标志码:A文章编号:1009-0X(2014)04-0001-0810

一、引言

我国自然科学基金委员会(National Natural Science oundation o China, NSC)于2010年开展了国际评估,对自然科学基金(以下简称“基金”)资助与管理绩效进行评价,开创了我国基金整体绩效评估的先河。同一类型的评估,日本早在十年前就已开展,并在取得卓越成果后以立法形式将这一评估形式规范化、制度化,形成一套完整的评估体系。从时间以及评估经验来说,我国远远落后。作为我国基础研究领域最重要的资助渠道之一,自然科学基金一直以来致力于为科学研究的顺利开展提供保障,1986—2012年间,科学基金批准资助经费达9334亿元,年度批准资助经费从1986年109亿元增加到2012年2366亿元。随着投入的不断增大,对基金绩效评估的需求也越来越迫切:从基础研究角度看,目前世界各国竞争激烈,科学研究已成为了国际竞争前沿的战略高地,有效评估可明确其对国家发展的贡献;从公共财政角度看,基金的资金主要来源于财政税收,有效评估为科学合理的分配有限资金提供了依据。综合横向对比和需求的迫切性,如何在“国际评估”的影响下,深化基金绩效评估在我国的推行就成为了一个迫在眉睫的问题。

自上世纪60年代以来,一些最早设立科学基金的国家就陆续展开了对基金委资助工作的评估,但由于评估机制、评估目的、评估对象等选择的不同,各国基金绩效评估模式呈现显著差异。目前国内基金绩效评估的研究主要集中在以下三个方面:其一,借鉴美国、英国等发达国家科学资助机构的绩效评估实践,对绩效评估的价值、内容和方法等问题进行探讨。其二, 从项目绩效评估的角度,对项目后评估的理论、模型和指标等进行研究。其三,引入综合评估方法,采用实证研究方式,对资助项目绩效进行验证性评估。总体而言相关研究热衷于从项目视角探索新方法,对整体自然科学基金进行评估的研究在我国仍属于空白点。然而,对基金绩效评估并不简单等同于对资助项目及其成果的验收评估,也不是简单以单一项目为评价对象,自然科学基金绩效评估究竟应该评些什么?不同评估模式的着力点在哪里?我国应该选用哪种评估模式?对这些问题的解释将直接影响我国自然科学基金绩效评估框架的建立。本文以基金绩效评估要素为基础,通过美日英三国的评估实例,分析其主要特征,并与我国基金绩效评估进行比较,提出我国基金绩效评估框架,并提出相应的指标体系,以期对我国科学基金绩效评价体系的完善有所促进。

二、概念界定

国内学者在进行基金绩效评估研究时,并未对这一概念进行恰当解剖辨析,在实际研究中存在“自然科学基金绩效”,“项目资助绩效”,“自然科学基金委资助绩效”等多种说法,往往出现不同学者采用同一标题但研究内容迥异的现象,因此有必要首先对基本概念进行界定

”(0华 南 理 工 大 学 学 报(社 会 科 学 版))Y(〗第16卷Y)

”第4期(罗彪 等:我国自然科学基金绩效评估框架构建

(一)绩效

对“绩效(perorance)”的含义, 博纳丁(Bernardin)等(1984)认为,绩效是在特定时间范围,在特定工作职能、活动或行为上生产出的结果记录。OECD(1994)在《绩效管理和评估》报告中对绩效进行了界定,“绩效是实施一项活动所获得的相对于目标的有效性,它不仅包括从事该活动的效率、效力和经济性,还包括活动实施主体对预定活动过程的遵从度以及该项活动的公众满意度”。理查德·斯旺森认为绩效就是一个系统所生产的被认为有价值的以产品或服务形式表现的产出。

从上述定义看,各学者均认为绩效是行为或活动的有效性,由此可见绩效本身是一个多维的概念,它是效果、效益和效率的总称,不仅包括行为过程也包括行为结果,同时伴随着对目标的实现程度。

(二)基金绩效

自然科学基金是指科学资助机构接受政府的委托,采取科学基金制对政府投入科学的公共经费进行集中管理与分配,为优质基础研究项目提供稳定、可靠的经费来源。一般认为,“基金”包含“资金(und)”和“组织(oundation)”两个层面的含义:从资金上来讲,基金是用于特定目的并独立核算的资金;从组织上讲,基金是为特定目标而专门管理和运作资金的机构或组织。结合“基金”与“绩效”定义,可对基金绩效进行不同分类:①从内容看,基金绩效可分为资助战略绩效、资助过程绩效和资助结果绩效。②从对象看,基金绩效可分为资助投资效率和组织管理绩效。

(三)基金绩效评估

结合以上定义,基金绩效评估是对基金委在进行公共资金管理和资助活动所产生的结果以及实现预期目标程度进行分析、评价,即评估主体在一定的时间、空间范围内,采用有关评估方法,按照一定的评估标准,对基金委管理情况以及资助结构进行评判和比较,形成评估结论,为科学决策提供参考意见。这一过程是对基金委活动的科学性、可行性和有效性进行评判,因此本文研究是将科技计划、组织框架、工作流程与项目产出相结合,评估科学基金整体绩效。

三、自然科学基金绩效评估要素分析

评估是按照明确的目标来测定对象的属性,并将这种属性变为主观效用的行为,即明确价值的过程。从系统论角度来看,评估要素主要包括评估主体、评估客体、评估目的和评估结果等,各要素相互联系彼此影响,构成一套完整的评估系统。肖利(2004)提出,科技项目评估中出现的问题,主要在于评估价值导向不清、评估目的不明确、评估程序缺乏科学规范、评估方法选择不当、评估结果被扭曲等。自然科学基金绩效评估是一个复杂的社会过程,要构建一个适用的评估框架,就必须从基本评估要素开始。

自然科学基金作为一个典型的利益相关者组织,各利益相关者之间动态关联,影响基金资助绩效。根据米切尔评分法(Mitchell ScoreBased Approach)对利益相关者的界定,我国自然科学基金绩效评估的确定型利益相关者主要包括上级政府部门、基金委自身和公众。

1评估主体,即“谁来评”。绩效评估本质上是人的价值判断行为,评估指标的理解、评估程序的服从,往往因评估主体的不同而有差异,因此评估主体在绩效评估中占据重要地位。对基金绩效评估主体,学者存在不同的意见。曲应龙根据委托代理理论提出科技项目绩效评估主体系统,主张完全独立的评估主体。然而学者在对这一问题进行研究时,没有考虑到评估主体的适用性,一个理想的评估主体不仅应结合低利益相关性和高知识拥有度,同时要考虑到一国文化等因素。

2评估目的,即“为什么评”。绩效评估必须解决动力问题,即找到充分的理由,要发现必要性的依据。从主要利益相关者的不同需求出发,我国基金绩效评估目的具体可分三个层面:①政府层面:政府部门与基金委实际上是一种委托—代理关系,作为科技发展规划和科技政策的制定者,政府需要明确基金委战略目标的实现程度。②基金委层面:基金委作为管理部门,要求对科学研究的过程与结果进行绩效评估,以提高资助和管理的质量、效益与效率。③公众层面:在“新公共运动”强调结果、问责、透明和回应的背景下,公众要求科学界说明公共资金花在了哪里?公共资金资助的科学研究与解决公共所关心的问题间有何关联?

3评估客体,即“评估谁”。评估客体取决于评估目的。在利益相关者视角下,科学基金绩效评估是一种基于需求的评估,即从利益相关者的不同关注点和需求点出发,评估科学基金资助与管理工作的有效性。因此,一个全面、客观的绩效评估活动,必须权衡和取舍利益相关者需求,从而达到利益的协调和共赢。

4评估实施,即“怎样评”。评估首先要依据相关法规,同时要符合现代公共管理理念,运用现代绩效管理技术,重视科学性、合理性、可行性和有效性。按照目前绩效管理理论和技术发展水平,绩效评估所遵循的程序基本相同:①选择考评客体;②明确绩效目标;③确定考评指标;④考评实际绩效;⑤实际绩效与期望绩效对比;⑥做出决策。其中信息的收集和处理是最重要的环节,是能否考评出实际绩效的依据。

评估结果,评估结果是绩效评估最终的形式结果,评估结果使用是激励和问责的主要依据,其方式包括公开、奖惩、配置资源、改进管理等。

评估作为一门经验科学,经验性是其最重要的特点之一,因此要分析我国自然科学基金绩效评估要素以及每一部分关键点,分析借鉴国外先进评估经验具有必要性和可行性。

四、国外自然科学基金绩效评估概况及比较

自20 世纪60 年代起,经济合作与发展组织(OECD)的一些国家就开始尝试对政府支持的科学研究活动的投入、产出、成果和影响定量评估方法探索。作为世界上最发达国家的基础研究的政府资助机构,20世纪70年代,美国国家科学基金会(NS)和国立卫生研究会(NI)成立了评估办公室,开始探索基金绩效评估方法及其影响力。20世纪80年代后,主要创新型国家对基础研究持续强力投入,政府性科学发展基金规模日渐庞大,政府科技计划的绩效评价在世界范围内推行开来。总的来看,世界主要国家基金绩效评估模式可以进行如下分类:

(1)基于动因,分为“形成式评估”和“总结式评估”。前者是为了及时调整修改基金工作中的问题方向,以获得更加理想的效果。出发点是组织内部,自我评估是其主要评估方式,日本是主要代表国家。后者评估目的在于证明政府行为的合理性,出发点来源于政府预算压力,以英美为主要代表。

(2)基于导向,可以分为“结果导向评估”和“战略导向评估”。前者是在新公共运动的作用下,突破了以往评估模式强调研究活动定量的近期直接“产出”(output)的局限,扩展为更多关注其对学术界和经济社会诸方面的中期乃至长期影响的综合性“成果”(outcoe),英国是这一范式的典型代表。后者是在战略管理于公共部门的不断应用的基础上发展出的一种绩效评估范式,“目标—结果”的逻辑结构贯穿评估过程的始终,代表国家有美国、日本、加拿大等。

不同的评估模式下,基金绩效评估的重点也有所不同,以下通过美日两个具有代表意义国家的基金绩效评估模式说明在基金绩效评估中不同的评估目标对评估内容、评估客体等要素的影响。

(一)美国NS“目标—结果”绩效评估

美国国家科学基金会(National Science oundation, NS)成立于190年,作为一个联邦政府机构,NS于上个世纪90年代末开始在联邦政府的绩效管理体制下对科学研究的绩效评估进行了一系列的探索和实践。1993年美国联邦政府颁布了《政府绩效与结果法》(Governent Perorance and Results Act, GPRA),根据规定,NS需要制定五年战略规划、年度绩效计划并发布年度绩效报告。随后,在2001和2002年美国联邦政府又分别提出了总统管理议程(President Manageent Agenda, PMA)和项目评价等级工具(Progra Aeent Rating ool, PAR),在这三份文件的影响和推动下,形成了一套评估NS绩效的有效体系。

NS绩效评估客体可分为项目、资助计划、科学处和NS整体四个层次,实行“自下而上”的评估方式:先从项目评估开始,通过PAR对项目本身的目标设定和管理等进行比较评估;再逐步向上评估资助项目成果与资助计划的一致性程度;再到上一层次,由绩效评估委员会(AC/GPA)的外部专家通过项目和资助计划的评估结果对整体战略规划的实现情况进行评估;最后评估科技活动对NS以及对国家、社会的整体影响。“目标—结果”逻辑贯穿了整个NS的评估过程,同时在具体的绩效评估过程中针对不同目标实现情况采取不同的程序和方法:对于教育和基础研究成果的不可预见性,NS采用专家定性评估的方法;针对定性成果目标的评估由外部评估小组完成;而对于管理与投资方面的目标主要采用定量分析的方法。在评估主体上,NS采用了多元化的绩效评估主体,以外部咨询机构进行评估,基金计划的制定者、管理者参与较少,以保证评估的客观性。评估结果提交上级部门作为预算编制的因素之一,年度报告录入由NS维护的网络系统对外公布。

(二)日本SPS“自互评相结合”绩效评估

日本国会于2001年正式颁布了《关于行政机关实施政策评价的法律》(Governent Policy Evaluation Act , GPEA),法案要求所有政府机构都要设计各自的3年中期发展目标、发展规划和评估体系,进行自我评估和第三方评估。日本学术振兴会(apan Society or prootion o Science, SPS)于2003年由原文部省下属机构正式转型为独立行政法人机构(Incorporated Adinistrative Agency, IAA),按照法案的要求,所有IAA都要接受外部委员会基于其中期目标和发展规划进行的评估。在独立行政法人改革背景与《政策评价法》要求下,SPS于2002年实施了历时十个月的国际评估,由外部评估专家根据SPS提供的评估材料和补充材料做出评价。

在国际评估之后,SPS采取年度评估和中期评估相结合的方式,即每年对研究项目进行评估,发布评估报告;每3年对SPS过去3年的中期规划实施情况进行评估。2004年2月SPS成立了自我检查委员会和外部评估委员会,负责开展年度评估。年度评估由自我检查评估和外部评估两部分构成,外部评估实际上是对SPS自我评估进行再评估。最终由后者向SPS理事长提交年度绩效评估报告,并将报告向公众公示,展示其资助绩效,接受公众监督。(见表1)

(三)美日基金绩效评估比较分析

根据以上内容,美国NS和日本SPS在基金绩效评估方面既有许多相似之处,也存在着显著的差异。如表2所示。

首先,从宏观环境来说,两者绩效评估均是在立法的强制推动下采用规范化的方式实施。在操作层面,共性经验有:①战略贯穿评估过程始终;②评估主体多元化;③内部评估与外部评估相结合;④定性评估与定量评估相结合;⑤多维度评估指标。

然而,在具体评估过程中,两国还是存在了显著不同,美国强调“独立化”评估,将科技资助机构作为一个整体,由独立评估机构对科技计划进行全面评估,根据评估结果调整计划目标和预算,而具体的资助项目的评估与计划评估相分离;日本则更强调“一体化”评估,在评估过程中强调“自我评估”,项目评估与计划评估一体化。造成这两种不同的评估范式的原因主要有:

(1)文化差异。批判精神在西方国家盛行,第三方评估起主要作用;而在日本,个人自律意识很强,同时避免争论或不愿意批评别人的文化倾向使得“自我评估”占据了主导地位。

(2)对政府作用的偏好程度不同。日本强调政府的主导作用,这种作用渗透到项目评估层面,项目与计划评估相结合,偏好计划目标的实现程度;美国则主张市场化竞争,偏向于制度建设的良性发展,这两种不同的偏好导致了基金评估目标的不同,进而影响评估机构、评估内容、评估结果处理等一系列的评估方面。

五、我国自然科学基金绩效评估框架

(一)我国自然科学基金评估现状

我国自然科学基金绩效评估工作起步较晚。1997年国家科技部证实批准成立了“国家科技评估中心”,科技评价作为“第三方立场”被引入政府科技决策系统;2003年,科技部出台《科学技术评价办法》(试行),对我国科技评价活动的规范化和制度化起着重大作用;2007年,财政部颁发《中央级民口科技计划(基金)经费绩效考评管理暂行办法》,提出广泛开展科技经费绩效评估的管理要求。这些规章制度的颁布对基金绩效评估起到了规范和指导的作用,此后,各科学部和部门均不同程度的开展了基金绩效评估活动,如数理学部对科学基金专项进行绩效评估,管理科学部对面上结题项目开展了后评估等。

总体来看,这些评估多被定位于回顾性评估,主要目的是了解资助项目的产出情况,具有对政府投入的科技项目及其成果的验收特征,资助项目是评估的主要对象。然而,自然科学基金评估并不简单等同于对基金委投入的资助项目及其成果的验收评估,也不是简单以单一项目为评价对象的,而要以对整体计划、组织的评价为核心,同时与资源配置建立紧密联系,我国对整体基金资助进行评估目前依然有待发展。

(二)我国自然科学基金绩效评估现状与他国比较

将我国基金绩效评估与美日基金绩效评估模式相比较(见表3)可以看出,我国基金绩效评估缺乏明确评估目标以及相对应的评估体系。在评估目标上,表现出结果导向的总结式评估特征,关注项目执行效果和影响,这种评估导向关键点是基金绩效对整体科技规划的战略适应性进行独立客观评价,需要对制度设计合理性进行分析,因此不仅要以资助项目的产出成果为依据,还需要站在战略规划层面进行资源合理配置。然而我国在实际评估过程中缺乏相应的战略计划评估,出现评估主体与科技计划管理机构相分离、项目评估与计划预算评估相分离等情况,由此形成了评估目标与评估过程的不协调。同时在评估背景、评估主体、评估内容等方面也亟需进一步完善。

(三)我国自然科学基金绩效评估框架

基金绩效评估是一项复杂的系统过程,涉及到评估主体、评估对象、评估形式、评估方法等多个环节,同时国情不同、文化差异以及经济发展水平导致不同的评估模式。我国强调政府导向,但同时没有日本文化中的“自律”倾向,缺乏“自评估”的基础,因此对别国模式照搬是行不通的,需建立适合我国的基金绩效评估模式。根据前文对比结果及分析,可初步绘制我国自然科学基金绩效评估框架(见图1)。具体来说:

1制定“基金绩效评估办法”。制定评估规范是评估工作的关键和有效运行的前提。办法应明确评估频率和周期、评估目的、评估指标范围、评估结果运用等内容,以规范的制度形式赋予评估一定的法理力量,从而保障评估工作的连续性、评估方式的合理性和评估结果的实用性,将自然科学基金绩效评估法制化、制度化。

2成立“内部评估小组”。评估主体的确定应兼顾利益相关性和知识拥有度两个方面。由于我国制度建设不全,自评估的信度和效度难以保障,他评估应成为主要评估方式。因此可效仿“英国模式”,在基金委内部成立“内部评估小组”,设立专职负责人。“内部评估小组”应根据机构特点和需求组织评价工作,同时在日常工作中还要收集科研产出、影响和投入等资料信息,使评估真正成为日常工作的组成部分。

3建立绩效评估数据信息支撑系统。全面有效的信息是获取实际绩效的基础,应重视与绩效目标相关的数据采集、证实和认证工作。一套健全的评估信息系统不仅应包括项目申请书系统、项目结题报告系统同时还应包括评估专家系统和财务系统等。

4多层次评估客体。根据前文分析,我国基金绩效评估客体分为战略目标、基金委和资助项目,每个层次属性不同,要实现的目的不同,应构建相应的评估指标,选择不同的评估方式,同时各层次之间也相互联系互为补充。

绩效评估报告。可采取年度报告和专题报告形式。主报告上交上级部门最终向公众公开。专题报告根据需要报送有关部门,如管理绩效评估报告可报送基金委,便于其了解管理中存在的问题并改进,同时将报告录入信息系统。

科学评估自然科学基金绩效必须要有一套可行的指标体系,只有这样才能准确度量出科学基金的实际绩效。基金绩效指标设计与评估目标密切相关,特定的目的或定位要求特定的指标体系,同时针对不同的工作性质和任务应设立和采用不同的指标体系。如前所述,我国基金绩效评估动力主要来源于政府、公众以及基金委自身,相对应的评估对象战略目标、项目以及基金委,3个维度的内容存在显著差异,因此绩效测量的侧重点也有所不同。由于我国基金绩效评估实践多停留在项目阶段,文献研究指标体系多是基于项目产出,缺乏从不同评估定位以及评估对象出发设定指标体系,因此本文在基金绩效评估框架的基础上,借鉴国内外已有评估成果以及中国相关研究,对3个维度的具体内容进行了分析,进而构建了我国基金绩效评估指标体系。

1战略目标绩效评估。所谓战略绩效评估,主要指基金资助与战略规划匹配性的评估,回答“目的与手段的一致性问题”。这种一致性可分为两个层面:形式一致性和实质一致性。前者是指每年的基金资助指南是否较好地满足了科技发展规划的要求。后者则是指资助项目群是否符合基金资助指南的要求。基于战略的概括性与方向性,应建立高质量专家评估组,根据资助项目以及项目成果对战略响应进行评估。

2基金委管理评估。通过外国评估实例可以得出管理绩效评估重点在于将基金机构作为服务组织,对其是否提供了优质服务以及是否及时改进服务进行评估,在评估方法上偏重专家评估、问卷访谈等定性评估方法。我国学者吴建南对项目资助流程和组织管理要素两个方面进行分析,从而提出了NSC管理绩效的评估维度和评估内容,为基金管理绩效评估提供了参考,但是这一分法忽视了基金委作为公共部门服务目标“顾客”的职能。据此,本文提出从项目运营管理、组织管理和服务改进三个维度出发,评估自然科学基金委管理绩效。

3资助项目成果绩效评估。基金主要资助项目为基础研究,对其进行绩效评估的主要障碍可归纳为以下两点:①基础研究具有很强的探索性和风险性,不当评估会迫使科学家更多地关注短期结果,趋于保守,而不是锐意创新;②基础研究的结果可以定量度量,但研究活动中很多重要的方面却难以用定量指标来衡量。基础研究作为科技发展的重要源泉,决定着自主创新的广度和深度,创新可以说是基础研究成果的最主要方面,因此可以通过创新和研究成果两个维度,对资助项目绩效进行评估。这样既兼顾了基础研究的探索性长期绩效与突破成就,同时也能通过定量指标对资助绩效进行直观展示。已有的研究中针对创新维度的指标构建较少,通过对各国绩效评估的实例研究,可以从是否探索新的科学技术领域、是否产生了重大成果以及已有研究是否取得突破性进展等方面对创新展开评估。针对研究成果的评估指标构建,我国学者进行了一系列研究,主要分为两个层面:①指标构建方法,主要有德尔菲法、评分法、比较法、网络分析法等。②指标体系,主要可分为研究产出、合作交流以及人才培养等。具体指标构建可根据基础研究特点借鉴“3E”、“4E”等理论模式制定。详细的指标构成。

管理评估项目运营管理基金委在项目资助流程各个环节的实际运行情况。如学科均衡、资助率、资助强度等组织管理基金委协调组织目标、组织结构、技术、资本和人员等组织构成要素及其匹配关系的过程评估。如组织结构、组织文化等服务改进基金委服务支持的效率、有效性和公正性资助项目

成果评估创新取得突破性成果、探索新方法、进入新领域研究成果包括研究活动定量产出和综合性成果。如发表论文、申请专利、国际合作等七、总结

本文从利益相关者角度出发构建的我国自然科学基金绩效评估框架,有效解决了以往方法研究脱离实践的问题。框架以基金绩效评估概念的界定为基础,对各主要评估要素进行分析,提出了从战略目标、基金委管理和资助项目成果三个维度对我国自然科学基金进行绩效评估,并结合国外先进评估经验与我国现实情况提出自然科学基金绩效评估框架,并根据不同维度评估客体特征提出相应的评估维度和指标内容,为我国自然科学基金以及同类资助机构绩效评估实践工作提供思路与借鉴。需要指出的是,基金绩效评估在实际操作中涉及众多利益相关者且各评估要素之间相互联系,构成一个复杂系统,本文提供的我国基金绩效评估框架以及评估指标体系是面向基金机构的通用设计,在具体运用中,还应该根据实际情况进行反复论证以确定具体的绩效指标及其他评估要素,同时在基金绩效评估指标构建方面主要根据不同评估客体特性进行设计,缺乏实际论证与进一步深入,有待于后续进一步研究。

3建立绩效评估数据信息支撑系统。全面有效的信息是获取实际绩效的基础,应重视与绩效目标相关的数据采集、证实和认证工作。一套健全的评估信息系统不仅应包括项目申请书系统、项目结题报告系统同时还应包括评估专家系统和财务系统等。

4多层次评估客体。根据前文分析,我国基金绩效评估客体分为战略目标、基金委和资助项目,每个层次属性不同,要实现的目的不同,应构建相应的评估指标,选择不同的评估方式,同时各层次之间也相互联系互为补充。

绩效评估报告。可采取年度报告和专题报告形式。主报告上交上级部门最终向公众公开。专题报告根据需要报送有关部门,如管理绩效评估报告可报送基金委,便于其了解管理中存在的问题并改进,同时将报告录入信息系统。

科学评估自然科学基金绩效必须要有一套可行的指标体系,只有这样才能准确度量出科学基金的实际绩效。基金绩效指标设计与评估目标密切相关,特定的目的或定位要求特定的指标体系,同时针对不同的工作性质和任务应设立和采用不同的指标体系。如前所述,我国基金绩效评估动力主要来源于政府、公众以及基金委自身,相对应的评估对象战略目标、项目以及基金委,3个维度的内容存在显著差异,因此绩效测量的侧重点也有所不同。由于我国基金绩效评估实践多停留在项目阶段,文献研究指标体系多是基于项目产出,缺乏从不同评估定位以及评估对象出发设定指标体系,因此本文在基金绩效评估框架的基础上,借鉴国内外已有评估成果以及中国相关研究,对3个维度的具体内容进行了分析,进而构建了我国基金绩效评估指标体系。

1战略目标绩效评估。所谓战略绩效评估,主要指基金资助与战略规划匹配性的评估,回答“目的与手段的一致性问题”。这种一致性可分为两个层面:形式一致性和实质一致性。前者是指每年的基金资助指南是否较好地满足了科技发展规划的要求。后者则是指资助项目群是否符合基金资助指南的要求。基于战略的概括性与方向性,应建立高质量专家评估组,根据资助项目以及项目成果对战略响应进行评估。

2基金委管理评估。通过外国评估实例可以得出管理绩效评估重点在于将基金机构作为服务组织,对其是否提供了优质服务以及是否及时改进服务进行评估,在评估方法上偏重专家评估、问卷访谈等定性评估方法。我国学者吴建南对项目资助流程和组织管理要素两个方面进行分析,从而提出了NSC管理绩效的评估维度和评估内容,为基金管理绩效评估提供了参考,但是这一分法忽视了基金委作为公共部门服务目标“顾客”的职能。据此,本文提出从项目运营管理、组织管理和服务改进三个维度出发,评估自然科学基金委管理绩效。

3资助项目成果绩效评估。基金主要资助项目为基础研究,对其进行绩效评估的主要障碍可归纳为以下两点:①基础研究具有很强的探索性和风险性,不当评估会迫使科学家更多地关注短期结果,趋于保守,而不是锐意创新;②基础研究的结果可以定量度量,但研究活动中很多重要的方面却难以用定量指标来衡量。基础研究作为科技发展的重要源泉,决定着自主创新的广度和深度,创新可以说是基础研究成果的最主要方面,因此可以通过创新和研究成果两个维度,对资助项目绩效进行评估。这样既兼顾了基础研究的探索性长期绩效与突破成就,同时也能通过定量指标对资助绩效进行直观展示。已有的研究中针对创新维度的指标构建较少,通过对各国绩效评估的实例研究,可以从是否探索新的科学技术领域、是否产生了重大成果以及已有研究是否取得突破性进展等方面对创新展开评估。针对研究成果的评估指标构建,我国学者进行了一系列研究,主要分为两个层面:①指标构建方法,主要有德尔菲法、评分法、比较法、网络分析法等。②指标体系,主要可分为研究产出、合作交流以及人才培养等。具体指标构建可根据基础研究特点借鉴“3E”、“4E”等理论模式制定。详细的指标构成。

管理评估项目运营管理基金委在项目资助流程各个环节的实际运行情况。如学科均衡、资助率、资助强度等组织管理基金委协调组织目标、组织结构、技术、资本和人员等组织构成要素及其匹配关系的过程评估。如组织结构、组织文化等服务改进基金委服务支持的效率、有效性和公正性资助项目

成果评估创新取得突破性成果、探索新方法、进入新领域研究成果包括研究活动定量产出和综合性成果。如发表论文、申请专利、国际合作等七、总结

本文从利益相关者角度出发构建的我国自然科学基金绩效评估框架,有效解决了以往方法研究脱离实践的问题。框架以基金绩效评估概念的界定为基础,对各主要评估要素进行分析,提出了从战略目标、基金委管理和资助项目成果三个维度对我国自然科学基金进行绩效评估,并结合国外先进评估经验与我国现实情况提出自然科学基金绩效评估框架,并根据不同维度评估客体特征提出相应的评估维度和指标内容,为我国自然科学基金以及同类资助机构绩效评估实践工作提供思路与借鉴。需要指出的是,基金绩效评估在实际操作中涉及众多利益相关者且各评估要素之间相互联系,构成一个复杂系统,本文提供的我国基金绩效评估框架以及评估指标体系是面向基金机构的通用设计,在具体运用中,还应该根据实际情况进行反复论证以确定具体的绩效指标及其他评估要素,同时在基金绩效评估指标构建方面主要根据不同评估客体特性进行设计,缺乏实际论证与进一步深入,有待于后续进一步研究。

3建立绩效评估数据信息支撑系统。全面有效的信息是获取实际绩效的基础,应重视与绩效目标相关的数据采集、证实和认证工作。一套健全的评估信息系统不仅应包括项目申请书系统、项目结题报告系统同时还应包括评估专家系统和财务系统等。

4多层次评估客体。根据前文分析,我国基金绩效评估客体分为战略目标、基金委和资助项目,每个层次属性不同,要实现的目的不同,应构建相应的评估指标,选择不同的评估方式,同时各层次之间也相互联系互为补充。

绩效评估报告。可采取年度报告和专题报告形式。主报告上交上级部门最终向公众公开。专题报告根据需要报送有关部门,如管理绩效评估报告可报送基金委,便于其了解管理中存在的问题并改进,同时将报告录入信息系统。

科学评估自然科学基金绩效必须要有一套可行的指标体系,只有这样才能准确度量出科学基金的实际绩效。基金绩效指标设计与评估目标密切相关,特定的目的或定位要求特定的指标体系,同时针对不同的工作性质和任务应设立和采用不同的指标体系。如前所述,我国基金绩效评估动力主要来源于政府、公众以及基金委自身,相对应的评估对象战略目标、项目以及基金委,3个维度的内容存在显著差异,因此绩效测量的侧重点也有所不同。由于我国基金绩效评估实践多停留在项目阶段,文献研究指标体系多是基于项目产出,缺乏从不同评估定位以及评估对象出发设定指标体系,因此本文在基金绩效评估框架的基础上,借鉴国内外已有评估成果以及中国相关研究,对3个维度的具体内容进行了分析,进而构建了我国基金绩效评估指标体系。

1战略目标绩效评估。所谓战略绩效评估,主要指基金资助与战略规划匹配性的评估,回答“目的与手段的一致性问题”。这种一致性可分为两个层面:形式一致性和实质一致性。前者是指每年的基金资助指南是否较好地满足了科技发展规划的要求。后者则是指资助项目群是否符合基金资助指南的要求。基于战略的概括性与方向性,应建立高质量专家评估组,根据资助项目以及项目成果对战略响应进行评估。

2基金委管理评估。通过外国评估实例可以得出管理绩效评估重点在于将基金机构作为服务组织,对其是否提供了优质服务以及是否及时改进服务进行评估,在评估方法上偏重专家评估、问卷访谈等定性评估方法。我国学者吴建南对项目资助流程和组织管理要素两个方面进行分析,从而提出了NSC管理绩效的评估维度和评估内容,为基金管理绩效评估提供了参考,但是这一分法忽视了基金委作为公共部门服务目标“顾客”的职能。据此,本文提出从项目运营管理、组织管理和服务改进三个维度出发,评估自然科学基金委管理绩效。

3资助项目成果绩效评估。基金主要资助项目为基础研究,对其进行绩效评估的主要障碍可归纳为以下两点:①基础研究具有很强的探索性和风险性,不当评估会迫使科学家更多地关注短期结果,趋于保守,而不是锐意创新;②基础研究的结果可以定量度量,但研究活动中很多重要的方面却难以用定量指标来衡量。基础研究作为科技发展的重要源泉,决定着自主创新的广度和深度,创新可以说是基础研究成果的最主要方面,因此可以通过创新和研究成果两个维度,对资助项目绩效进行评估。这样既兼顾了基础研究的探索性长期绩效与突破成就,同时也能通过定量指标对资助绩效进行直观展示。已有的研究中针对创新维度的指标构建较少,通过对各国绩效评估的实例研究,可以从是否探索新的科学技术领域、是否产生了重大成果以及已有研究是否取得突破性进展等方面对创新展开评估。针对研究成果的评估指标构建,我国学者进行了一系列研究,主要分为两个层面:①指标构建方法,主要有德尔菲法、评分法、比较法、网络分析法等。②指标体系,主要可分为研究产出、合作交流以及人才培养等。具体指标构建可根据基础研究特点借鉴“3E”、“4E”等理论模式制定。详细的指标构成。

管理评估项目运营管理基金委在项目资助流程各个环节的实际运行情况。如学科均衡、资助率、资助强度等组织管理基金委协调组织目标、组织结构、技术、资本和人员等组织构成要素及其匹配关系的过程评估。如组织结构、组织文化等服务改进基金委服务支持的效率、有效性和公正性资助项目

成果评估创新取得突破性成果、探索新方法、进入新领域研究成果包括研究活动定量产出和综合性成果。如发表论文、申请专利、国际合作等七、总结

本文从利益相关者角度出发构建的我国自然科学基金绩效评估框架,有效解决了以往方法研究脱离实践的问题。框架以基金绩效评估概念的界定为基础,对各主要评估要素进行分析,提出了从战略目标、基金委管理和资助项目成果三个维度对我国自然科学基金进行绩效评估,并结合国外先进评估经验与我国现实情况提出自然科学基金绩效评估框架,并根据不同维度评估客体特征提出相应的评估维度和指标内容,为我国自然科学基金以及同类资助机构绩效评估实践工作提供思路与借鉴。需要指出的是,基金绩效评估在实际操作中涉及众多利益相关者且各评估要素之间相互联系,构成一个复杂系统,本文提供的我国基金绩效评估框架以及评估指标体系是面向基金机构的通用设计,在具体运用中,还应该根据实际情况进行反复论证以确定具体的绩效指标及其他评估要素,同时在基金绩效评估指标构建方面主要根据不同评估客体特性进行设计,缺乏实际论证与进一步深入,有待于后续进一步研究。

猜你喜欢

评估指标绩效评估
我国职业足球俱乐部商誉价值评估指标体系构建研究
以评估指标为依据,构建教学质量标准体系
基于环境CGE模型的水污染税政策绩效评估
新型城镇化进程中地方政府公共服务绩效评估的价值导向分析
政府绩效评估方法的多视角研究
企业高层次人才评估指标机制研究
行业型高校就业质量评估指标体系初探
中西方对比视角下我国公务员绩效评估指标体系探究