创新基金项目后绩效评价*——基于福建省数据的实证研究
2014-12-13罗思民
罗思民
(福建省科学技术信息研究所,福建 福州 350003)
1 研究背景
国家从1999 年开始设立科技型中小企业技术创新基金(以下简称为“创新基金”),十多年来,创新基金在扶持和引导科技型中小企业的创立与开展技术创新活动方面发挥了积极作用。创新基金的绩效评价除了评价项目本身取得成效,有必要对项目验收后的绩效进行跟踪研究,研究创新基金对企业创新和成长的中长期影响。
针对创新基金项目评价包括立项评价、验收评价和项目后评价,现有的文献对立项评价和基于验收数据的绩效评价研究较多。从国内外的文献看,主要评价方法包括设立指标体系、统计分析方法和基于层次分析法(AHP)或数据包络分析(DEA)的模型等。针对绩效评价的指标体系,毛秀珍、马学兴[1]提出了创新项目的绩效评价指标与评价标准;姜滨[2]通过AHP 法和模糊数学理论建立了一套创新基金计划项目实施效果评价指标框架体系。对于评价模型研究,顾丽琴、梅烨丹[4]和郭平、何昊城[5]采用DEA 模型分别对江西和湖南的创新基金进行效率分析。上述文献的实证研究都是以项目立项和验收的数据为基础进行的。
创新基金项目后评价是对项目验收若干年后创新项目本身取得成效以及对企业效益、作用和影响所进行的综合分析和总结的一种评价。国内对项目后评价和跟踪研究文献较少,史本山[6]研究了创新基金资助项目后评估指标体系。陈聪、李纪珍[3]分析获得基金前和申请后六年内所获专利数量的变化情况,分别进行OLS 及3SLS 回归分析,评价创新基金的实施效果。针对台湾小型企业创新研发计划(SBIR)的跟踪研究,黄仟文[7]采用问卷调查,针对1999—2004 年参与SBIR 计划并结案的厂商,对比参与项目五年后的数据,利用准实验设计、统计分析方法进行计划的影响评估,并以计量经济方法进行计划的效率评估。对于美国小企业创新研究计划(SBIR),Lerner[8]针对1 435 家接受补助公司,调查超过10 年的员工雇用和营业状况数据,结果显示相对于没有接受补助的企业成效相当显著。
本文评价对象为福建省2001—2008 年立项的创新基金项目,考察从立项到2010 年底的项目和企业发展情况,调查数据包括创新项目绩效评价和获创新项目资助企业绩效评价,通过设立评价指标体系,采用AHP 和DEA 方法对各年度项目进行项目后绩效评价,包括绝对绩效评价和相对效率分析,同时对评价结果进行分析探讨。
2 绩效评价指标体系
构建创新基金评价指标体系应以创新基金成立宗旨和目的为依据,围绕创新基金所要发挥的作用来设置,对项目和企业的评价指标进行逐层分解。在设计绩效评价体系时,从创新项目本身取得成效和对企业影响评价两个方面进行,项目实施成效评价指标主要是考核创新基金支持项目的实施情况,具体从项目的完成情况、资金带动、项目创新成果、项目带来的经济效益和社会效益等5 个方面进行评价,企业评价指标主要从创新基金促进企业创新能力和企业成长能力两个方面来考核。创新项目的实施绩效总评价对项目实施成效、企业创新能力和企业成长能力进行综合评价,具体评价指标体系见表1。
表1 创新基金项目后绩效评价指标体系
对三级指标中定性指标的量化处理,“项目完成情况”指标包括进度超前、按计划进行、拖延、中途终止或申请撤项四种情况,对应的可赋值为10、8、4、1。带动社会资金比率指的是创新基金带动银行和其他社会资金投入的比率,项目投入产出比率指项目新增产值与项目总投资之比,项目新增其它成果包括项目取得的新产品、新材料、新工艺、新装置、国家标准、地方及行业标准、软件著作权、新药证书和集成电路布图设计登记等。
3 研究模型介绍
3.1 层次分析法
层次分析法(Analytic Hierarchy Process,简称AHP)是美国运筹学家Saaty 首先提出,它是将定性问题或半定性半定量问题转化为定量计算的一种有效方法。层次分析法的基本思想是将对目标或决策产生影响的因素分为总目标层、准则层和方案层等不同层次,从而构建一个层次分析的结构模型,然后利用它的判断矩阵来计算每一个层次的各种属性相对于上一个层次某属性的相对权数,最后使用加权求和的方法进行计算,以求出各方案对总目标的相对权数,从而确定方案的优劣次序。运用此方法的具体步骤包括:根据项目的特点建立合适的层次结构;构造层次分析法的专家判断矩阵,即采用专家打分法对需要进行评价的各要素两两进行比较,建立判断矩阵;进行层次单排序及其一致性检验;层次总排序及其一致性检验;根据判断矩阵计算各要素相对于总目标的权重。层次分析法能充分反映决策者偏好,将决策者的经验给予量化,从而为决策者提供定量形式的决策依据。
3.2 DEA 模型概述
数据包络分析方法(Data Envelopment Analysis,DEA)是由美国运筹学家A.Charnes,W.W.Cooper和E.Rhodes 提出的一种相对效率评价方法,其基本思想是通过DEA 线性规划模型得到相应的生产前沿面,以评价具有多投入、多产出的同类型评价对象(称为决策单元,Decision Making Units,简称DMU)之间的相对有效性[9]。在评价各决策单元时选择最有利于该决策单元的权重系数,而且不需事先假定输入和输出存在某种显式关系,直接进行包络分析,得到的评价结果不受任何人为因素的影响,具有客观性强的特点。具体步骤是把每一个被评价单位作为一个决策单元,再由众多DMU 构成被评价群体,通过投入和产出指标的权重为变量进行评价运算,确定各决策单元的有效性。DEA 模型有投入导向和产出导向两种形式,可假定为规模收益不变(CRS)和规模收益可变(VRS),产出导向的DEA 模型指给定一定量的投入要素,求产出值最大。
采用DEA 方法对科技投入产出效率的研究日益增加,并取得了不少的研究成果。由于创新基金评价体系的指标繁多,同时DEA 模型不能体现决策者偏好的问题,本文通过AHP 方法对输入输出指标进行处理,能够比较直接地反映决策者的主观判断,利用AHP/DEA 模型评价创新基金项目的相对效率。
4 评价步骤与实证分析
4.1 数据来源与处理
福建省1999 年实施国家创新基金项目,同年设立省级创新资金,并于2001 年开始实施。国家创新基金和省创新资金在支持福建省中小企业技术创新和发展等方面取得了显著成效。福建省科技厅对1999—2010 年立项的创新基金项目进行了绩效调查,包括创新项目绩效评价调查和创新项目资助的企业绩效评价调查。根据本次调查回收的调查表,选取其中2001—2008 年立项的技术创新项目有效样本共183 个,各年份的项目数见表2。调查数据节点为立项前一年和2010 年底,分析比较2010 年与项目立项前的各指标数据情况。由于创新基金项目的执行期一般为2 年,对应项目验收后的时间跨度为刚验收到验收后7 年。
在进行绩效评价前需要对三级指标进行无量纲化处理,在进行绝对绩效评价时,可根据创新基金项目的特点采用标准值法进行,即给每个指标设置一个最大值(标准值),当大于这个最大值时都标准化为1,三级指标的标准值依据创新基金验收规范和参考其他省市[1]对创新基金评价的标准设置。在进行DEA 相对效率评价时,采用极值法进行无量纲处理。
针对指标权重计算,根据AHP 方法,首先邀请相关专家构造判断矩阵,我们请5 位专家对判断矩阵进行判断确认,最后综合各专家的意见确定各级指标的判断矩阵和权重。过程包括构造两两判断矩阵、利用和积法计算权向量、计算特征根并进行一致性检验,经过计算二级指标B1-B5的权重向量为(0.120 9,0.328 7,0.120 3,0.241 7,0.188 4),B6-B7的权重为(0.333 3,0.666 7),B8-B9的权重为(0.8,0.2)。同样方法可计算得B3-B8下的三级指标权重。
4.2 评价结果分析
4.2.1 基于AHP 的绝对绩效评价
项目绩效总评价针对项目实施成效、企业创新能力、企业成长能力三个一级指标按权重进行综合计算,AHP 计算一级指标的权重向量为(0.689 0,0.134 9,0.176 0),最后计算各项目的得分。转换为百分制后,以评分大于75 为良好、大于85 为优秀的标准进行评价。具体各年份项目的评价平均值见表2。
表2 创新基金2001—2008 年项目AHP 绩效评价情况
从AHP 绩效评价结果发现,在评价的183 个项目中有148 个即81%达到了优良的水平,说明绝大多数项目验收后绩效评价良好。对2001—2008 年各年项目实施成效均值分析,除因样本原因2002 年为76.9,其他年份均大于80,其中刚验收的2008 年和2007 年项目以及早期的2001 年和2002 年项目具有相对低的均值,而2003—2006 年有较高的得分,这可以解析为刚验收项目的产品效益还未完全体现,早期项目由于产品的周期性和更新换代,无法使项目本身效益保持长期的增长,验收后的2 到4年可能是项目产品效益最好的年份。对于各年评价总分平均值由于权重的关系具有与项目实施成效同样的变化趋势。
从表2 的数据可以看到企业创新能力和企业成长能力指标从2008 年往前得分均值基本是逐年增加,立项越早的企业评价得分均值越高,特别是2001 和2002 年立项的企业创新能力明显大于2007和2008 年立项的企业,反映了企业在项目验收后的发展情况,说明获创新基金资助项目的企业中长期看具有良好科技创新和成长能力。
4.2.2 DEA 相对效率评价
由于创新基金绩效评价指标较多,如果直接用于DEA 模型无法区分各指标的重要性,层次分析法能够充分利用专家的主观意见,将复杂的评价指标简化为DEA 的投入产出指标,结合AHP 的数据包络分析法可充分发挥各自的优势。具体的过程包括将福建省创新基金项目在立项时间上按照2001—2008 年逐年排列,将所有属于同一年立项项目的各个三级指标的数值汇总,采用极值法无量纲化,即标准化数据=原始数据/极大值,然后以上述AHP 方法生成的项目实施成效、企业创新能力和企业成长能力作为产出指标,同时以项目实际投资金额、创新基金资助额、项目人员数作为投入指标,上述按年数据整理后的分成8 个DMU。根据创新基金绩效评价的特点,应用以产出为导向的DEA 模型,通过DEAP2.1 软件的BCC 模型进行求解,模型计算结果主要包括综合效率、纯技术效率和规模效率,具体结果见表3。
表3 创新基金2001—2008 年按年绩效评价DEA 效率值
从表3 的DEA 综合效率值看,2001—2004 年的评价为相对DEA 有效,除了2005 年为0.685,2006年至2008 年的综合效率值逐年减少,总体来看,早期获创新基金项目支持的年份投入产出情况相对理想,这说明创新基金对企业中长期影响是积极的。纯技术效率除2006 年为0.984 和2007 年为0.932外,其他年份均为1,说明各年份创新基金项目的资源配置基本都实现了最优。规模效率是综合效率与纯技术效率的比值,如果规模效率值小于1,则说明该决策单元处在规模报酬递增或递减的低效率状态,规模效率在2001—2004 年的值为1,说明早期项目的生产规模都实现了最优,而2005—2008 年处于规模报酬递减状态,依据规模效率的含义,该数据表示创新基金这几年投入规模还未达到最优产出的水平。
5 结语
基于AHP 方法和DEA 模型对福建省2001—2008 年立项的创新基金项目进行项目后绩效评价,研究结果表明,创新基金资助项目在验收后的几年中项目实施成效指标评价得分没有太大变化,项目本身的效益随时间减弱,而获项目支持的企业在科技创新和企业成长方面具有良好表现。说明创新基金的实施促进企业中长期科技创新和成长,达到通过项目扶持帮助科技型中小企业发展的目的。当然企业创新能力和企业成长能力是多方面因素决定,但对于初创期的科技型小企业创新基金就是重要的促进因素。
跟踪项目验收后的企业发展情况是创新基金绩效评价的重要方面,对项目后绩效进行评价需要完善的数据,而项目验收后的数据一般不易得到,影响对企业的有效跟踪评价,建议借鉴台湾的做法,台湾小型企业创新研发计划(SBIR)的合同规定SBIR 签约厂商须不定期接受工作进度及经费支用情形之查访,并于计划结束后5 年内配合成效追踪及参与相关成果发表、展示,这从法律层面上保障了相关数据的获得。
[1]毛秀珍,马学兴.浙江省“十五”技术创新项目绩效评价初探[J].科技管理研究,2008,28(9):83-86.
[2]姜 滨.科技型中小企业技术创新基金项目实施效果评价的研究[D].哈尔滨:哈尔滨工业大学,2003.
[3]陈 聪,李纪珍.科技型中小企业创新基金效果评估——以中关村地区为例[J].技术经济,2013(10):8-16.
[4]顾丽琴,梅烨丹.基于DEA 方法的江西省科技型中小企业技术创新基金绩效分析[J].科技管理研究,2013,33(2):45-48.
[5]郭 平,何昊城.基于DEA 的湖南省创新基金效率评价实证分析[J].地方财政研究,2012(3):32-36.
[6]史本山.创新基金资助项目后评估体系研究[J].学术动态,2008(4):26-32.
[7]黄仟文.中小企业创新研发补助政策绩效评估[D].台湾:台湾国立中山大学,2010.
[8]Lerner J.The government as venture capitalist:the longrun impact of the SBIR program[J].Journal of Business,1999,72:285-318.
[9]魏权龄.评价相对有效性的数据包络分析模型[M].北京:中国人民大学出版社,2012.