烟草行业科技重大专项项目绩效跟踪评价指标体系研究

汪志波，郑新章,邱纪青，于川芳，郑路，洪群业

1 中国烟草科技信息中心,河南 郑州 450001;2 中国烟草总公司郑州烟草研究院,河南 郑州 450001

经济与管理

烟草行业科技重大专项项目绩效跟踪评价指标体系研究

汪志波1，郑新章1,邱纪青1，于川芳2，郑路1，洪群业1

1 中国烟草科技信息中心,河南 郑州 450001;2 中国烟草总公司郑州烟草研究院,河南 郑州 450001

烟草行业科技重大专项是实现行业科技创新战略的重要抓手。以重大专项所设立的科技项目为评价对象,从科技项目事后评价的视角入手,结合绩效跟踪评价的目的,构建了基于“目标—效果—影响”导向的科技项目绩效表达逻辑模型,提出以“立项决策”、“研发产出与水平”、“目标实现效果”和“项目影响”为绩效跟踪评价的主要内容,建立评价指标框架。从基础研究、应用研究、技术开发三大类项目出发,分别设计了绩效跟踪评价指标体系,并提出了开展绩效评价的有关对策建议,以期为行业重大专项项目绩效跟踪评价和科技成果评价提供启发和借鉴。

科技重大专项项目；烟草；绩效跟踪评价；指标体系

烟草科技重大专项作为行业科技计划体系的构成部分,是实现行业科技发展战略目标的重要载体。各专项从2008年开始陆续启动,到现在大部分专项的实施已陆续接近尾声。传统的验收评价,很难全面、客观地反映科技项目实施带来的实际成效。因此,在专项项目结题、应用后一段时间,对项目进行绩效跟踪评价是题中应有之义。同时,通过对绩效跟踪评价结果的分析、总结,有利于进一步促进重大专项成果在行业内的推广、扩散。

1 文献综述和研究视角

1.1 文献综述

美国公共部门开展绩效评价的过程中,经济性（economy）、效率性（efficiency）和效果性（e ff ectiveness）即3Es模型,逐渐成为公共部门绩效评估的基本框架[1]。国内有部分学者将“3E”原则应用到科技项目的绩效评价中：如刘瀛弢[2]将绩效内涵界定为效率、经济、效益性的统称,并从科技项目“投入经济性”、“过程效率性”、“结果效果性”3个方面评价建立过程和结果绩效指标体系；刘井建[3]提出了效率和效力相结合的R&D项目绩效评价范式；谢福泉[4]按照投入——产出的逻辑关系,以科技投入、科技直接产出、经济效益、社会效益为重点来建立指标体系。也有机构按目标设定、投入、实施、产出、效益等科技项目过程阶段顺序,将各阶段对应的产出成果作为评价内容,构建了科技项目“过程管理、输出、成果、影响”的绩效评价模型[5]。孙毅[6]基于地方科技管理的战略目标,构建了评价指标甄选模型,并从管理、技术、投入、效益4个层面建立了地方科技计划项目绩效评价指标体系。刘瀛弢[7]结合公益性农业科研项目绩效考评的特点,从业务、财务和管理3个方面来构建指标体系。张小菁[8]认为影响科技计划项目绩效的因素主要是项目自身内部因素和项目外部的管理因素,将评价内容分为效益评价和管理评价,效益评价定位为项目实施效能的考核,管理评价定位为项目的组织实施、预算支出管理的考核,并分别建立了效益指标和管理指标。

1.2 研究视角——事后评价

现有关于绩效评价研究的文献,主要从项目管理、投入、效益以及过程效率性、经济性和效益、结果有效性等方面来研究,这为我们提供了很好的借鉴。但从跟踪评价的目的和要求来说,这也存在一定的问题：首先,项目合同中关于研究目标是否实现、经费使用是否规范、研究内容是否完成、实施进度是否合理等项目考核指标和过程效率的评价在项目的关键节点验收结题时已完成。其次,科技项目实施完成后一段时间,没有实现项目立项目的,没有产生预期的效益和效果,即使科技项目实施过程中产生很高的内部过程绩效,也很难说项目是成功的。因此,在绩效跟踪评价中仅关注项目研发过程的绩效、效率是不尽合理的,而是应该将评价的重点放在产生的结果上,即这些项目产生的效益和应用效果如何,项目的最终目标是否达到。

事后评价是科技项目完成、推广应用一段时间后的后效评价。由于科技项目效用具有滞后性,项目的作用需要在一段时间后才能体现出来。因此,烟草科技重大专项项目的绩效跟踪评价从事后评价的角度入手,以跟踪评价时点科技项目产生的结果性状态为评价内容,更有利于分析项目的实际效果和成效。

2 烟草科技重大专项项目跟踪评价的绩效表达与评价内容

2.1 烟草科技重大专项的特点

烟草行业科技重大专项具有特定方向和明确目标,以解决行业发展中遇到的全局性、关键性、前瞻性的共性和基础重大技术问题。其具有如下3个主要特点。

（1）战略性强。重大专项基于占领烟草科技前沿、满足重大需求、取得对行业发展有关键支撑作用的关键技术的战略意图,体现了行业意志。同时,在顶层设计上突出专项内部各项目或课题之间的衔接与协同,以实现技术突破,引领和支撑行业未来发展。

（2）系统性强。按照各重大专项实施方案,对重大专项攻关任务、目标进行系统分解,形成若干个课题或项目,并进行分年度项目计划下达和实施。专项的课题或项目布局具有系统性,有利于促进整体性、体系性的技术集群产生。

（3）溢出效应强。重大科技专项实施产生的共性技术和基础性技术,在行业内部的适用性和开放性强,具有准公共物品的性质。形成的新技术在行业内应用、扩散,可以产生较强的溢出效应,因此正外部性明显[9]。

2.2 基于跟踪评价的科技项目绩效表达逻辑模型

科学合理的绩效表达方式对准确度量科技项目绩效大小具有重要作用,逻辑模型（Logic Model）是系统分析科技项目的绩效形成机理、展示项目绩效表达的内在联系和逻辑关系的思维框架。根据跟踪绩效评价目的,建立了基于“目标—结果—效果”导向的绩效表达逻辑模型,如图1所示。

图1 基于目标——效果——影响的绩效表达逻辑模型Fig.1 Performance expression logic model based on project objective, effect and impact

具体地讲,通过科技项目利益相关者一系列投入、研发和管理活动,项目按合同和实施计划要求完成,对取得的研发成果进行凝练、总结后推广应用,最终实现项目预期目标。基于“目标—效果—影响”导向的跟踪绩效评价,关注科技与经济结合、产生的效益、效果和影响等方面,分析其直接目标和宏观目标的实现程度,即既从微观层面关注科技项目的直接作用、产生的实际效果、取得经济社会生态效益,又跳出项目看项目产生的实施对行业中长期科技战略目标、技术体系建设、能力建设等中宏观层面产生的影响和作用。

3 烟草科技重大专项项目绩效跟踪评价指标的确定

3.1 烟草科技重大专项项目绩效跟踪评价指标体系设计原则

在设计烟草科技重大专项项目绩效跟踪评价指标时,应遵循4个原则。一是科学性原则：指标应符合烟草科技重大专项的特点,既要能够实现项目绩效跟踪评价的目的,又要符合绩效的内涵和外延,而不是脱离评价目的罗列一些与绩效跟踪评价无关的指标。二是系统性原则：指标体系应具有较强的逻辑性,各指标之间既相互关联、相互补充,又有明显的界线。三是层次性原则：指标体系在表征项目绩效时,应体现重大专项项目研发产出、效果、影响等不同层次的评价内容要素。四是简洁性原则：尽可能使用代表性强的指标反映项目的实际价值和作用,避免指标过繁、过多。

3.2 评价指标框架建立过程

根据烟草行业科技重大专项特点和行业实际,结合指标体系设置的原则,采用文献调研和德尔菲法,确定了评价指标框架体系,具体方法及过程如下：（1）指标发现。分析整理科技项目绩效评价的相关文献、使用头脑风暴法,尽可能罗列科技项目绩效的所有指标,确保收集的指标覆盖绩效评价的各个方面。（2）理论分析。基于目标—效果—影响的绩效表达逻辑模型,明确绩效跟踪评价的目的和内涵,分析整合上一过程中发现的指标,形成初步的绩效评价指标要素。（3）专家访谈法。对5位从事科技管理、项目管理、科技评价以及研究开发人员进行专题咨询调研,结合专家的意见和建议,提出从立项决策、研发产出与水平、目标实现效果、项目影响4个维度来建立绩效跟踪评价指标框架,如表1所示。

表1 烟草科技重大专项项目绩效跟踪评价指标框架Tab.1 Index framework for tobacco major S&T project performance tracking evaluation

4 各类烟草科技重大专项项目绩效跟踪评价指标体系

4.1 各类烟草科技重大专项项目的指标体系设计

烟草科技重大专项项目主要可以分为应用基础研究、应用研究、技术开发三大类：（1）基础研究是指在阐明有关烟草的成分形成机理、特征、规律及其内在联系上进行新知识、新理论、新原理的研究,以及应用研究前的理论研究和技术基础研究,基础研究产生的成果不会直接应用,但可以为应用研究和技术开发提供理论、方法指导。（2）应用研究项目主要针对行业共性技术或应用性基础技术的研发,应用研究具有明确的应用目的和应用价值。（3）技术开发指应用烟草基础研究、应用研究中产生的理论、原理、方法知识来解决、工艺、设备、材料等具体技术问题,技术开发项目具有特定的应用目的。

不同类型的科技项目,研发的规律和特点不同,其绩效评价重点也有所不同：如基础研究项目注重知识、规律等的发现、对应用研究和技术开发的指导作用；应用研究项目注重标准、规范制定,关键技术知识产权获取,成果的应用；技术开发项目注重取得核心技术知识产权、应用效果、产生的效益。依据绩效跟踪评价指标框架和各类项目特点,建立了基础研究、应用研究、技术开发3类项目的绩效跟踪评价指标体系。如表2-表4所示,分别以各类项目绩效跟踪评价作为总体目标层（O）,基础研究项目由4个准则层（S）因素、13个指标层（A）指标组成；应用研究项目由4个准则层（S）因素、14个指标层（A）指标组成；技术开发项目由4个准则层（S）因素、13个指标层（A）指标组成。

续表2

表3 应用研究项目绩效跟踪评价指标体系及建议权重Tab.3 Index system of tobacco application research project and suggested index weight

表4 技术开发项目绩效跟踪评价指标体系及建议权重Tab.4 Index system for tobacco technical development project and suggested index weight

4.2 指标权重的确定

组织5位专家采用层次分析法对建立的指标权重进行测算。按指标体系的层次结构从准则层指标开始,比较指标相对于同一级其他指标的重要程度,构造同一级指标之间的两两比较矩阵,从而将判断矩阵赋值量化。采用和根法计算各指标的权重,形成每个判断矩阵各自相对的权重。根据5位专家的判断矩阵数据,计算每位专家的指标权重值,对5位专家给出的权重值进行算术平均,得到最终的评价指标权重值,见表2-表4。

5 开展科技重大专项项目绩效跟踪评价的对策建议

建议由国家局有关部门人员组成行业科技重大专项项目绩效跟踪评价领导小组,作为行业开展该项目工作的政策和机构保障,领导小组主要负责评价计划的下达,政策制定、组织管理等。为使行业重大专项项目绩效跟踪评价工作得以顺利开展,按确定评价主体、制定评价方案、评价准备、实施评价、撰写评价报告的评价流程,提出了评价实施的具体对策建议,如图2所示。

图2 绩效跟踪评价流程及对策建议Fig. 2 Project performance tracking evaluation process and countermeasures

6 结语

本文对烟草科技重大专项项目进行分类,设计了各类项目的绩效跟踪评价指标体系,这为烟草行业科技重大专项项目绩效跟踪评价提供了参考借鉴。但重大专项项目众多,可能存在有项目难以准确界定为哪一类、或者项目的研究内容介于多种类别之间的情况。此外,由于不同项目之间绩效差异很大,建立的指标体系只是针对一般项目而言,为使指标体系更有针对性、适用性和科学性,在实施项目绩效跟踪评价时,可根据各项目的具体特点,对设计的指标体系进行适当增减,或在指标权重上酌情考虑,以使绩效评价结果更加客观、公正、合理。

[1] 丁正红, 苏永青. 项目绩效评价构建及改善研究[J]. 财经问题研究,2011,(4):85-90.Ding Zhenghong, Su Yongqing. Construction of projects performance evaluation and the improvement study[J].Research on Financial and Economic Issue,2011(4): 85-90.(in Chinese)

[2] 刘瀛弢. 公益性行业科研项目绩效考评研究[J]. 中国软科学,2010(6):106-114.Liu Yingtao.Study on performance measure of research projects in non-profit sectors[J]. China Soft Science,2010(6):106-114. (in Chinese)

[3] 刘井建, 刘冬. R&D 项目绩效评价的新范式与提升机制研究[J]. 经济研究导刊,2012,(25):204-205.Liu Jingjian,Liu Dong. New paradigm about R&D projects performance assessment and study on the improvement mechanism[J]. Economic Research Guide,2012(25):204-205. (in Chinese)

[4] 谢福泉. 基于项目的科技活动财政投入绩效评估体系构建[J]. 华东经济管理,2008,22(11):151-155.Xie Fuquan.Performance evaluation indexes systems of S＆T expenditure input from the state finance based on projects[J]. East China Economic Management,2008,22(11):151-155. (in Chinese)

[5] 课题组. 关键科技攻关项目绩效评估研究——以上海为例[J]. 决策科学,2009(4):70-79.Topic-based scientific research group. Study on key technology tackling projects performance appraisal: take shanghai for example[J]. Decision Science,2009(4):70-79.(in Chinese)

[6] 孙毅, 徐土松, 徐长明, 等. 地方科技计划项目跟踪监测及绩效评价方法研究[J]. 科技进步与对策,2010,27(4):111-115.Sun Yi,Xu Tusong,Xu Changming.Study on the tracking and monitoring of local science & technology projects and the performance evaluation method [J]. Science &Technology Progress and Policy,2010,27(4):111-115. (in Chinese)

[7] 刘瀛弢, 毛世平. 公益性农业行业科研项目绩效及管理的考评体系研究[J]. 农业技术经济, 2010(12):100-110.Liu Yingtao,Mao Shiping.Appraisal system of performance and management of scientific research projects in nonprofit agricultural industry[J]. Journal of Agrotechnical Economics,2010(12):100-110. (in Chinese)

[8] 张小菁. 地方科技计划项目绩效评价研究[J]. 科技管理研究,2010,(21):201-204.Zhang Xiaojing.Performance evaluation of local science and technology research projects[J]. Science and Technology Management Research, 2010(21):201-204. (in Chinese)

[9] 姜念云. 关于政府科技计划的外部性[J]. 中国科技论坛,2005(1):37-39.Jiang Nianyun. The externality study on the government's science and technology program[J]. Forum on Science and Technology in China, 2005(1):37-39. (in Chinese)

Study on index system of performance tracking evaluation for key science and technology projects in tobacco industry

WANG Zhibo1, ZHENG Xinzhang1, QIU Jiqing1，YU Chuanfang2, ZHENG Lu1，HONG Qunye1
1 China Tobacco Science and Technology Information Center, Zhengzhou 450001, China;2 Zhengzhou Tobacco Research Institute, China National Tobacco Corporation, Zhengzhou 450001, China

A performance expression logic model based on “project objective, e ff ect and impact” was set up to evaluate key science and technology projects. The tracking evaluation index system consisted of four aspects, namely decision-making for project start-up, R＆D output, objective realization and project impact. This paper designed such system for basic research, application and technical development respectively, and proposed relative suggestion and measures for performance tracking evaluation of key research projects in tobacco industry.

major S&T project; tobacco; performance tracking evaluation; index system

汪志波,郑新章,邱纪青,等. 烟草行业科技重大专项项目绩效跟踪评价指标体系研究[J]. 中国烟草学报,2016,22（2）

中国烟草总公司2012年度科技面上项目“烟草科技项目后评价体系深化研究与应用”（No.602011CZ0600）

汪志波（1978—）,硕士,工程师,主要从事技术创新管理与科技评估、评价的研究工作,Tel：0371-67672779,Email:wzb0622@sohu.com

郑新章（1962—）,研究员,主要从事科技情报、科技评估评价的研究和管理工作,Email:zxz@tobaccoinfo.com.cn

2015-03-10

: WANG Zhibo, ZHENG Xinzhang, QIU Jiqing, et al. Study on index system of performance tracking evaluation for key science and technology projects in tobacco industry [J]. Acta Tabacaria Sinica, 2016,22(2)