创新驱动助力工程实施评估体系的构建

刘思园 周强 安怡然 于枫垚 曹頔

[摘 要]以“中国科协创新驱动助力工程”为基础，根据“APC”评估理论、平衡计分卡理论，及绩效评估指标理论等6种评估理论，选取示范市、（副）省级科协、先行学会、实施主体作为研究样本，构建系统科学的实施效果监管体系，以期提高评估的科学性、针对性和有效性。

[关键词]创新驱动 实施 评估 指标体系

党的十八大明确提出“科技创新是提高社会生产力和综合国力的战略支撑，必须摆在国家发展全局的核心位置”，强调要坚持走中国特色自主创新道路、实施创新驱动发展战略。

中国科协创新驱动助力工程于2014年正式啟动，三年多来，“创新驱动助力工程”共帮助30个示范市引进专家人才1812名，转化科技成果1837项，促成签订合作协议2200多项，落地项目2300多项，形成了10余种学会与地方、企业的合作模式。服务地方经济建设和企业创新发展转型升级的工作成效初步显现，凝聚吸引科技工作者的激励机制初步建立，使广大科技工作者参与创新创业的积极性、主动性得到有效激发。

随着创新驱动助力工程的深入开展，确保项目实施的科学合理，提高项目的质量，加强过程的管理，形成可推广、可复制的工作模式等系列要求，亟需建立效果评估指标体系，对创新驱动助力工程实施情况进行动态监测评估。

一、创新驱动助力工程介绍

中国科协创新驱动助力工程以“点、面、链”三种布局形式进行市级、省级和先行学会三个方向的试点示范工作。目前，助力工程“点状分布、链状延伸、面状辐射”的工作布局初步形成，服务国家重点战略区域、重点产业领域的新态势初步明确；“政府主导、企业主体、学会主角、专家主力”的工作机制初步建立，为地方经济社会发展提供科技服务和人才支撑的新渠道初步打通；规划咨询、成果推广、联合攻关、产业服务等工作模式逐渐成形，服务地方经济建设和企业创新发展转型升级的工作成效初步显现；凝聚吸引科技工作者的激励机制初步建立，科协及学会的开放型、枢纽型、平台型的作用逐步体现，广大科技工作者参与创新创业的积极性、主动性有效激发。助力工程在推进地方科技进步、产业转型升级以及社会管理创新方面发挥了重要的示范作用，成为学会进军区域经济转型升级主战场的旗帜性平台。

“点”状布局工作现状（地市级城市（区）——示范市）的工作重点相对于资金引进、保障具体工作的实施来说更多的是组织政策。市级的相关部门根据工作的具体情况制定相应的保障政策和鼓励政策，在宏观层面促进和推动协会与企业、企业与企业之间的技术合作和合同签订；从宏观层面把控相应的技术资金保障配备；制定相应的人才引进政策，通过优惠政策为企业引进所需的各专业人才，为科技转化为生产力提供政策保障，为企业和学会增添新的技术力量，解决企业技术需求。在组织企业参展，为企业引入资金和促进企业合作方面的作用还有待加强。

“面”状布局工作现状（省级、副省级科协——合作域）的工作重点与示范市相似，但更加偏重项目的落实和技术向生产力的转化，促进落实资金和项目的引进，保障具体工作的实施。省级、副省级科协作为市政府和各学会学术团体的连接纽带，工作的重点放在积极组织各学会服务政府工作、组织学会和企业对接的咨询活动形成咨询报告和建议、组织参与科技扶贫活动、组织开展大型招才引智活动、协助地方政府建设公共科教基地。

“链”状布局工作现状（先行学会）的工作重点应放在具体工作的落实与实施上。作为创新助力工程的一个重要环节，先行学会在学术创新和技术研发等方面具有绝对的权威和优势，在具体的工作过程中，应该将工作中心和精力放在积极配合政府和省科协的具体工作上，发挥最大的学术影响，为政府决策和企业技术改革创新做技术保障。各级学会积极协助政府工作，形成相关的咨询报告和建议。积极与地方政府签订合作协议。协助地方政府建设公共科教基地，举办各类交流活动和会议。开展产学研相关工作，走访服务企业的工作，积极在企业进行培训工作。

二、评估方法先行研究

对“APC”评估理论[1-2]、平衡计分卡理论[3]、绩效评估指标理论[4]、标杆管理评估理论[5]、目标管理理论[6]以及关键事件法[7]理论进行综述研究，按照各种理论的评估特点进行项目的适宜性评价分析。

三、评估体系的基本构建

（一）评估体系的理论应用

对示范市、（副）省级科协和先行学会三种不同主体开展创新驱动助力工程的实施效果进行评估，选取示范市、（副）省级科协、先行学会三个层面共计83个实施主体作为研究样本，根据“APC”评估理论、平衡计分卡理论及绩效评估指标理论等6种评估理论构建创新驱动助力工程实施效果监测评估体系，制定本监测评估指标体系的原则，定性与定量相结合、质量与数量相结合、存量与增量相结合、能力与态度相结合、统一与分类相结合，以及刚性指标与柔性指标相结合（表1）。

（二）评估体系的基本构建方法

创新驱动助力工程实施效果监测评估体系分为基本评估体系和特色评估体系两部分。基本评估体系适用于所有示范试点主体，对其工作成果进行差异性全面监测评估；特色评估体系针对在基本评估指标外，能够提供特色工作成果材料的试点示范主体，对其工作成果特色创新性进行专项评估。

1.基本评估体系构建。基本评估体系以基于“APC”评估理论简化所得的“PC”部分理论与绩效评估理论为理论支撑和指标构建基础，以平衡计分卡理论为指标构建的具体方法，以目标管理理论为部分定量指标的计算方法。

针对工程实施效果评估，在问责（Accountability）、绩效（Performance）和组织能力（Capacity）三类指标中择取绩效（Performance）和组织能力（Capacity）作为评估体系的基础指标分类。绩效指标分财务性指标和非财务性指标两项。财务性指标包含全国数额、经济效益、长期经济影响三个具体指标类型；非财务性指标包含创新服务、自身成长、链接能力、长期战略影响四个具体指标类型。非财务性指标中的创新服务和链接能力型指标是工程实施评价指标，而自身成长和长期战略影响型指标是针对工程组织评价指标。组织能力分基本资源指标、内部管理能力与动员能力指标、外部管理能力与动员能力指标。

基本评估体系的构建分别从工作成果的客观差异性角度和主观创新性角度，双管齐下进行具体因子指标的权重赋值。其中，客观差异性角度，以客观计算结果直接作为因子层和指标层的权重赋值；主观创新性角度，专家基于专业知识对因子层进行主观的权重赋值。对主、客观角度分别得出的权重结果进行计算，综合得出完整的基本评估指标体系。

2.特色评估体系构建。特色评估体系以关键事件法理论构建“STAR”结构评估问卷，对实施主体的工作成果特色创新性进行专项评估。关键事件法理论中的“关键事件”在评估体系中相应成为特色成果，所评估的特色“关键事件”，应从基本评估体系中分离开来，避免二次记分。由于实际操作中往往难以分离，因此，特色评估体系中的“关键事件”一般不能为经济合同，而应是在组织机构的运行通畅、科技的创新突破（包括联系上了帮助解决科技创新瓶颈的企业）等方面有成效的工作内容。

特色评估体系的问卷设计过程应遵循关键事件法的“STAR”原则，即记录关键事件要从四个方面来进行：“S”是Situation（情境），记录事件发生的情境；“T”是Target（目标），记录事件发生的原因和目标；“A”是Action（行动），记录实施主体当时所采取的行为；“R”是Result（结果），记录实施主体行为所导致的后果。情境部分主要追溯事件发生的前提条件，即项目投入人员数量、质量（和精力）、组织拥有的人脉和企业的资源数量、质量等信息；目标部分是理顺事件的发生与实现项目目标是否具有相关性，事件的发生对该工程绩效的作用影响；行动部分的细节记录对项目效果的总体评价影响不大，可不计入；结果部分是评估的重点，用以评估关键事件的贡献，即事件的直接或间接经济效益。

四、评估体系的应用

（一）全国学会指标体系方法

1.相关性分析。对现有40个指标进行双变量相关性分析，可发现变量之间的相关性虽不及省市层面指标相关度高，但多数变量仍呈现0.5以上相关度。部分指标相关度较高，如媒体报道、地方举办各类活动（技术交流、论坛、对接会议、展览等）数量、组织专家人数等同样可以进一步进行主成分分析和因子分析。

2.因子分析。在主成分分析的基础上，将主成分的坐标轴进行正交旋转，得到因子分析的结果。去除“是否将助力工程纳入学会年度工作计划”这一结果没有差别的指标，总共分析了39个指标，被分解为12个因子，解释的累积总方差为87.177。

3.以R2为主要测度方法的相关性分析指标提炼，完成指标的初步筛选。对学会的各个指标进行双变量的相关性分析，可发现多数变量呈现显著相关。在相关性的基础上得到适用于统计学R2值（选取R2值，重点是趋势线拟合程度的指标，它的数值大小可以反映趋势线的估计值与对应的实际数据之间的拟合程度，拟合程度越高，趋势线的可靠性就越高，R2介于0～1之间，越接近1，回归拟合效果越好，一般认为超过0.8的模型拟合优度比较高[8]）算法所需要的线性相关值，得到以“2016年创新驱动助力工程绩效评估”专家打分（主观测度）和“2016年全国学会指标统计数据”（客观数据）结合的线性拟合分析方法，最终选取R2得分递减的阶次数列，以完成指标初步筛选的目的。

R2值是取值范围在0～1之间的数值，当趋势线的R2值等于 1 或接近 1 时，其可靠性最高，反之则可靠性较低。R2值也称为决定系数。在统计学中对变量进行线行回归分析，采用最小二乘法进行参数估计时，R2为回归平方和与总离差平方和的比值，表示总离差平方和中可以由回归平方和解释的比例，这一比例越大越好，模型越精确，回归效果越显著。

4.利用变异系数法对筛选指标进行赋权处理。 变异系数又称标准差率，是衡量资料中各观测值变异程度的另一个统计量。选取变异系数法的关键是延递指标系数双变量相关性分析的主成分因子和相关差异化变量所得到的结果，利用这个结果，我们可以从中选取指标的标准差及相对应的平均数，不仅如此，变异系数法对线性相关和线性不相关两方面的数据指标的处理，都可以保证其严格的科学性，所以从中得到的变异系数也是我们消除单位间指标标准率差异的关键。

在对学会的各个指标进行双变量的相关性分析中，标准差与平均数都可以从中得到，利用它们的比值，得到变异系数，记为C.V.。变异系数可以消除单位和（或）平均数不同对两个或多个资料变异程度比较的影响。

5.利用变异系数法总和比值得到原始赋权。得到指标赋权的前置数据后，利用变异系数法的分项系数加总后除以相关系数，得到各项指标的赋权值。

6.利用原始赋权进行一次调整和二级调整（按照二级维度人工赋权调整）。利用原始赋权进行指标体系的一次调整，一次调整的原理简述为：二级维度给予主观专家赋权（与专家打分法类似），根据二级指标的赋权调整三级指标，调整在二级赋权定额下的三级权重，完成第一次调整。

在一次调整的基础上进行二级調整，将三级指标权重大于7%的部分权重进行再次调整，目的是让指标的离散度得以控制（三级赋权不得大于二级赋权的最大值7%，故选择7%为最大值赋权线），而每项三级指标大于7%的缩减部分，将参照R2给予的离散权重大小，有比例的分配给该二级维度中R2较大的指标。

（二）全国学会指标评估体系

基于以上研究及方法，创新驱动助力工程—学会检测实施评估体系框架如表2所示。

五、结束语

从全国学会的平均得分来看，在人员制度、过程执行、资金支持、结果产出方面表现较好，需要继续保持；在可持续性和经济效益方面表现一般，需要加强；在社会影响和外部资源方面建设不足，亟待改善。

在目前已有基础上，动态评估体系需要进一步加强过程监测与结果分析。第一，强化数据的结构与准确性，建立数据平台。各地方试点和学会可直接录入指标数据，形成基本情况的模块化分析，真正实现过程监测、实时监测。第二，深化动态评估体系的内容。评估工程不仅反馈数据化结果，还可以对各单位的工作行为及态度进行结构化反馈，利用关键事件的跟踪，深入全面反映“创助工程”的实施效果。第三，优化动态评估体系的反馈效果。充分利用评估反馈，科协可对各单位的工作进行有针对性的指导；各地区单位互相之间可以进行比较，形成良性竞争格局，互相学习优势和先进经验，及时纠偏。

参考文献

[1]邓国胜.非营利组织“APC”评估理论[J].中国行政管理，2004（10）：33-37.

[2]朱志伟.APC理论在非营利组织评估中的应用——以参加苏州市第三届公益创投的80个组织为例[D].苏州：苏州大学，2015.

[3]朱王奇，袁立.平衡记分卡在战略性人力资源管理中的应用[J].现代管理科学，2003（12）：76-78.

[4]王锐兰，谭振亚，刘思峰.我国非营利组织绩效评价与发展走向研究[J].江海学刊，2005（06）：97-102.

[5]孔杰，程寨华.标杆管理理论述评[J].东北财经大学学报，2004（2）：3-7.

[6]林首淑.以目标管理为导向的公共组织激励机制的建构[J].科技管理研究，2013（4）：219-222.

[7]李芝山.关键事件法在员工绩效管理中的规范应用[J].中国集体经济，2008（22）：65-66.

[8]杨泱.回归模型筛选准则及方法比较研究[J].昆明理工大学学报（自然版），2015（3）：134-138.