基于层次分析-熵权法的湖北省烟草商业系统科研项目绩效评价体系研究

王宗军， 张马萍， 陶立祥， 陈 诗

(华中科技大学 管理学院， 武汉 430070； 2.湖北省烟草专卖局， 武汉 430030)

湖北省烟草商业系统始终坚持科技创新，不断加大科研支持力度，并取得了诸多优秀的科技成果。最终要将这些成果管好用好，从而助力烟草科技的高质量发展，离不开创新、合适的科研项目绩效评价的支持。因此，结合当前烟草行业的实际情况和评价需求构建出一套科学可行合理的指标体系，是迫切需要解决的问题。在对相关文献进行回顾的基础上，结合3E原则理论分析评价需求以确定评价维度，并通过实地调研、问卷调查、访谈等多种方法甄选出可行的评价指标，针对不同类型的科研项目，运用层次分析-熵权法探索构建了适合的绩效评价体系，以期为烟草行业科研项目绩效评价实践提供启示。

1 文献综述与理论基础

1.1 文献综述

不同于其他领域的科研项目，烟草行业的科研项目在实施主体、研究内容、开展形式等多方面都具有不同的特点，因此不能仅通过传统的维度和指标对烟草科研项目进行绩效评价。烟草行业的专家学者围绕烟草行业的科研项目绩效评价指标体系展开了诸多积极有益的探索。

中国烟草科技信息中心、郑州烟草研究院、广东中烟工业有限责任公司技术中心等单位的专家基于科技项目全生命周期的视角建立了科技项目后评价概念模型，从项目绩效和组织管理两个方面研究设计了以项目选题、方案、决策、实施、目标、效益、影响和可持续性等为主要评价内容的后评价指标体系[1-2]。中国烟草科技信息中心的专家设计了科研项目立项评价指标体系，对指标层指标进行区间赋值量化，构建基于集值统计-TOPSIS的科研项目立项评价模型，以解决科研项目立项评价中特有的不完全信息难以描述、专家判断映射失真等问题[3]。汪志波等通过调研分析烟草企业科技项目管理中存在的问题，从立项管理、实施过程管理、经费管理、验收管理和应用管理5个方面建立了科技项目全过程管理评价指标体系；也有从科技项目事后评价的视角入手，构建了基于“目标-效果-影响”导向的科技项目绩效表达逻辑模型，提出以“立项决策”“研发产出与水平”“目标实现效果”和“项目影响”为绩效跟踪评价的主要内容，建立评价指标框架[4-5]。国家烟草专卖局科技司和中国烟草科技信息中心的专家从“专利创造”“专利保护”“专利运用”“效益效果”和“专利管理”5个方面设计了评价指标的层次结构体系，为烟草工业企业专利战略实施绩效的自评价和外部评价提供借鉴[6]。

通过对国内外学者对烟草行业科研项目评价的研究发现，虽然学术界对于烟草行业科研项目绩效评价方法及论证过程已经取得较大进步。但由于科研项目绩效评价涉及范围广、层次多，评估难度大。中国烟草行业的科研体制和机制有自身的特色，不存在一个具有普适性的评价体系，也不可能完全照搬其他领域的评价体系，目前仍处于烟草行业科研项目绩效评价模型构建的探索阶段和实践期。已有的少量文献显示专家学者就烟草科研项目绩效评价已展开有益探索，为相关研究奠定了基础、拓宽了思路，但已有评价指标的数据可得性和方法的可操作性仍有改善空间。

结合烟草行业的实际情况，基于文献分析结果，通过广泛的调研和访谈确定适用于湖北省烟草商业系统的科研项目绩效评价指标体系，并构建评价模型，以期为湖北省烟草商业系统科技项目高质量管理提供参考和借鉴。

1.2 理论基础

3E原则起源于政府绩效评价，政府、学术界和业界关于政府绩效评价开展的学术研究和政府实践大多聚焦在对经济、效率和效果这3方面的关注。3E原则根本性的3个目标可以概括为投入尽可能少、效率尽可能高、效果尽可能好。但当涉及项目管理，尤其是烟草行业科研项目绩效评价时，“经济性”原则与实际情况略有不符，湖北省烟草商业系统始终坚持科技创新支撑引领行业高质量发展，在科研项目支持方面不遗余力，相比于投入最小化，湖北省烟草商业系统更重视、更渴望产出成果的最大化。因而，对传统的3E原则修正地解释为“成果尽可能多、效率尽可能高、效果尽可能好”，并为后续科研项目绩效评价指标体系的构建奠定了理论基础。

2 烟草行业科研项目绩效评价体系构建的原则

选取评价指标是建立评价体系的起点和重点，科研项目绩效评价指标体系是否合理，将直接影响科研项目绩效评价结果的准确性、科学性，指标体系的构建显得尤其重要。因此科研项目绩效评价指标的选取应当慎重并遵循一些基本原则，对指标选取的范围作出限定，综合运用目标一致性、系统全面性、科学可行性以及可比合理性原则等，建立科学合理的科研项目绩效评价指标体系。

2.1 目标一致性原则

目标一致性原则要求科学研究应瞄准世界科技发展前沿、国家和行业重大需求，满足国家、社会、经济和军事需要。因此，湖北省烟草行业科研绩效评价指标体系的构建应遵循科研目标及需求，使指标体系与科技目标相一致。

2.2 系统全面性原则

在进行科研项目绩效评价指标体系设置时，应综合运用系统分析法、专家调查法，分类、分级地进行指标设置，充分考虑各方面因素，才能够满足湖北省烟草行业科研项目绩效评价指标体系系统性要求。

2.3 科学可行性原则

首先，指标的设置要突出科技创新的先导作用，正确反映科研项目对烟草行业发展的促进作用；其次，指标设置应具备统一标准，且含义明确，结果具备可证实性；再次，指标的设置应考虑其相关性，消除指标的重复性，同时应考虑评价过程的简单性，使过程和结果尽量简化。

3 科研项目绩效评价指标的确定

3.1 基于文献研究法的初始指标体系的构建

为保证研究的科研项目绩效评价指标最能反映湖北省烟草商业系统科研项目实际情况，同时保证指标的准确性、科学性、客观性等，本研究初步了解了湖北省烟草行业科研项目绩效评价现状。在调研的基础上通过查阅行业、部门或机构等相关规范、指南、标准文件，明确科研项目绩效评价政策要求，初步确定评价指标体系的范围和内容，构建评价指标框架。

分析各类文献中科研项目绩效评价构成，并分别形成3个评价维度。通过综合的分析和考虑，在3E原则的基础上进行改进，同时综合考虑科研项目的过程管理与结果考核、成果效果考核与效率考核、数量考核与质量考核等多方面，最终选取成果、效果、效率3个主要考核维度，初步建立科研项目绩效评价指标体系。

3.2 基于问卷调查法、专家访谈法的评价指标体系选择

基于初始的科研项目绩效评价指标体系，利用问卷调查法、专家访谈法对文献研究构建的指标体系进行优化。在分析绩效评价指标体系相关大量文献的基础上，与一线科研工作者和各级科技管理人员进行多次的咨询和交流，探讨更能反映科研项目绩效的指标，以及指标的可得性。

本研究针对烟草行业部分科研机构进行了实地调查。调查中发现科研项目的经济性目标有所不同，即在消耗资源的最小化方面并无过高要求，相反更追求成果的最大化；此外科研项目管理也越发强调给科研人员松绑，要弱化过程考核。

此外，为了解多方的评价目的与诉求，保证评价指标体系的系统性和科学性，通过发放评价指标体系调查问卷，在综合多方意见和需求之后，对科研项目绩效评价指标体系做了进一步修改完善，完善后的绩效评价指标体系见表1。

表1 烟草行业科研项目绩效评价指标体系

表1中各指标释义及计算公式如下。

论文专著：一定时期内公开发表的科学研究论文以及出版的科学研究著作的量化评分，根据项目期内发表论文的数量和质量高低进行评价。

授权专利：根据评价期间内获得授权的发明专利、实用新型和外观专利的等级和数量进行评价，处于申请阶段的专利按一定比例折合计算。

注册商标：根据项目注册的商标的数量进行评价。注册商标需与项目研究内容具有实质性联系。

软件著作：根据项目期内获取的软件著作权的数量进行评价。

技术标准：根据项目参与制定的技术标准的等级和数量进行评价。

标准规范：对于某一技术、业务或者行为制定的合规约束条件。根据项目参与制定的标准规范的等级和数量进行评价。

科研获奖：评价期间内基于科研项目研究成果获得的各等级科技贡献奖、科技进步奖、发明创造奖、社科成果奖，以及国际奖等。根据项目所获奖项的数量及等级进行评价。

关键指标：科研成果在重要技术参数上的进步。根据项目关键技术指标是否达到国际、国内或省内先进水平进行评价。

其他成果：由省市机关鉴定的，满足行业、企业重大需求的其他形式的成果。

推广应用比例：科研项目成果在湖北省烟草商业系统适用的范围内的实际推广应用比例。公式为：推广应用比例=已推广应用的范围/湖北省烟草商业系统内适用的范围。

预期应用范围：根据项目成果先进性、可行性等因素预估应当且可以推广应用的范围大小。

人力投入效率：项目人员在一定的科研周期内基于该科研项目取得各类科研成果、转化效果与科研活动人力总投入之比。公式为：人力投入效率=(科研成果分值+转化效果分值)/人力投入量。

经费投入效率：项目人员在一定的科研周期内基于该科研项目取得各类科研成果、转化效果与科研活动经费实际投入之比。公式为：经费投入效率=(科研成果分值+转化效果分值)/经费投入额。

4 湖北省烟草商业系统科研项目绩效评价指标权重的确定

选取层次分析法作为指标权重的研究方法之一，是因为层次分析法以其系统性、灵活性、实用性等特点特别适合当前烟草行业现状，可以用于湖北省烟草商业系统科研项目绩效评价指标权重的确定。为了更加客观准确地对烟草科研项目绩效进行评价，采取熵权法对层次分析法所计算出的权重进行修正。

4.1 层次分析法

层次分析法(AHP)是一种多目标综合评价方法，具体来说是将与决策有关的元素分解成目标、准则、方案等层次，在此基础上进行定量和定性分析并做出决策的方法，是一种层次权重决策分析方法。

4.2 层次结构模型

通过前期大量的工作，本研究确定了决策的目标和考虑的因素，根据决策目标、决策准则和决策对象之间的相互关系，建立了科研项目绩效评价层次结构模型，如图1所示。

4.3 构建两两比较矩阵

关于指标间相对重要性的判断，项目组采用专家调查法进行，邀请一定数量的专家，对其认知中的指标相对重要性进行问卷调查，得出指标相对重要性数值。对指标相对重要性的比较采用1-9标度法，标度含义见表2。

4.4 计算指标权重

通过向相关领域专家发放问卷，并对专家问卷结果进行一致性检验，将存在明显且严重前后不一致问题的问卷剔除出去，对一致性检验结果良好的问

图1 科研项目绩效评价层次结构模型

表2 相对重要性标度含义

卷结果进行修正运算，运算出两个类别指标体系的权重结果。

以农业类科研项目绩效这个总目标A为例，其一级指标层内有科研成果、转化效果、项目效率这3个指标，某专家对指标间相对重要性的判断见表3。

表3 相对重要性判断结果

即判断矩阵B为

然后按照层次分析法的流程计算各个指标的权重值。

第1步，计算出判断矩阵各行的乘积，用Mi表示，如Mi表示矩阵中第1行的乘积；bij代表第i行第j列的元素。

(1)

M1=1×1/2×1=1/2，M2=2×1×2=4，M3=1×1/2×1=1/2。

(2)

第3步，将

做归一化处理，求出各个特征向量Wi。

(3)

计算得出：W1=0.25，W2=0.50，W3=0.25。

由W1+W2+W3=1可知，同一层各指标重要性符合同一层各指标赋值为1的规定。得出特征向量W=[0.25,0.5,0.25]T。

第4步，判断矩阵的一致性检验。先计算最大特征根λmax。

然后再计算出判断矩阵偏离一致性指标CI值。通过查询平均随机一致性指标表(表4)，根据矩阵阶数找出RI的值，求出CI/RI，判断矩阵是否通过一致性检验。

表4 一致性指标RI的数值

n=3，由表4查得RI=0.58。

(4)

计算得知一致性比率CR=0<0.10，说明该判断矩阵的一致性比率可以接受。以此类比对各级指标的权重进行计算，通过对计算结果进行修正，得到基于层次分析法的科研项目绩效评价指标权重，见表5、表6。

表5 基于层次分析法的科研项目绩效评价指标权重(农业类)

表6 基于层次分析法的科研项目绩效评价指标权重(非农业类)

4.5 引入熵权法修正

为了更加客观准确地对烟草科研项目绩效进行评价，研究采取熵权法对层次分析法所计算出的权重进行修正。首先，熵权法是客观确定权重的方法，相较于层次分析法等主观法而言具有一定的精确性；其次，该方法确定出的权重可以进行修正，从而决定了其适应性较高的特点。

基于湖北省烟草商业系统农业类和非农业类科研项目的投入产出数据进行计算，得出科研项目绩效评价指标的熵值法权重。并在此基础上得出基于层次分析-熵权法的科研项目绩效评价组合权重，见表7。

表7 基于层次分析-熵权法的科研项目绩效评价指标权重

4.6 结果分析

通过对农业类和非农业类湖北省烟草商业系统科研项目绩效评价指标权重进行比较分析，可以得出以下结论：

1)湖北省烟草商业系统对各类科研项目的总体期望和要求保持一致。基于3E原则，结合湖北省烟草商业系统的实际情况，确定了科研成果、转化效果和项目效率3个准则层指标，这3个指标高度地概括出湖北省烟草商业系统对相关科研项目的期望和要求，为科研项目绩效评价指明了方向，因此无论是农业类项目还是非农业类项目，在进行绩效评价时都应当从这3个维度出发，考虑项目成果研发、转化应用以及提质增效等因素。从指标权重来看，农业类项目科研成果、转化效果和项目效率的权重分别是0.438 7、0.404 9和0.156 4，非农业类项目科研成果、转化效果和项目效率的权重分别是0.477 5、0.398 8和0.123 7，科研成果和转化效果在两类项目的绩效评价中均为极其重要的考核维度。农业类项目和非农业类项目在这3个维度上的权重相对接近，权重大小排序也保持了一致，这充分体现了湖北省烟草商业系统对科研项目先保成果、次求效果、再求效率的工作期望。

2)农业类与非农业类科研项目的绩效评价指标各有侧重。虽然从总体方向上看，农业类项目和非农业类项目保持了高度的一致性，但落实到具体的考核指标上，因不同类项目的成果产出形式、开发转化节奏等诸多方面均存在较大差异，故两类项目指标层指标的权重又各有偏倚，体现了项目的类型特色，从而从一定程度上保证了结果的公平性和相对可比性。如非农业类项目的科研成果较多地集中于注册商标、软件著作和技术标准/标准规范等，其他类型的成果较难产出，故非农业类项目在这些指标上占据更大的权重，分别为0.045 3、0.040 6 和0.122 0，显著大于农业类项目的0.030 2、0.028 6和0.077 0。又如非农业类项目在转化应用时，除了项目成果本身的成熟性、先进性等因素外，还会较大程度地受到行政等外生因素影响，相比于农业类项目成果，在“推广应用比例”指标上存在劣势，但在“预期应用范围”指标上占据优势，故非农业类项目的“推广应用比例”指标权重为0.231 7，小于农业类项目的0.260 0，而非农业类项目的“预期应用范围”指标权重为0.167 1，大于农业类项目的0.144 9。

5 烟草行业科研项目绩效评价的对策建议

基于前文的分析结果，针对湖北省烟草行业科研项目绩效评价工作提出相关建议，并针对国内烟草行业科研项目绩效工作与科研工作，提出更具有适用性和一般性的指导建议和借鉴。

5.1 湖北烟草科研项目绩效评价的对策建议

1)建立烟草商业系统绩效评价数据库。科研项目绩效评价涉及技术进步、社会效益、经济效益和生态效益等多方面内容，因此需要针对性建立相对完备的资料库，如推广应用比例指标的连续监测，对于项目的后续跟踪评价至关重要。项目绩效评价数据库通过评价部门进行数据统计，给不同的科研项目创新主体建立科技创新成果填报、评价窗口，以满足各级单位的查询要求。

2)建立以质量和贡献为导向的科研项目绩效评价机制。准确把握科学研究的成果阶段性和循序渐进性的特点，针对不同地区、不同方向的烟草行业科研项目确定不同的评价标准，开展多层次、差别化的评价。目前的指标体系较为适用于湖北省烟草商业系统当前的科研项目类型，但并不一定完全满足未来的科研项目绩效评价需求，因此应当根据不断变化的科技创新工作重点，对科研项目绩效评价体系进行不断完善。

3)加强人才培养，实现科研人才内生增长。科研项目中的科研人员素质在一定程度上决定了团队的综合能力以及项目绩效。部分研究项目团队人员结构不合理，影响项目的人力投入效率得分的同时，无法实现有效的人才培养目标。对于可能存在的烟草人才断层问题，在科研项目立项过程中应当给予足够的重视，并采取必要的措施加以引导。

4)加大科研成果转化激励力度。为了激励科研成果转化，从而真正实现科技创新对湖北省烟草商业系统高质量发展的推动作用，在建立的科研项目绩效评价指标体系中，转化效果(包括推广应用比例、预期应用范围)所占权重超过40%，是最终的项目绩效得分的重要组成部分，会对项目的综合评价和排位产生关键影响。

5.2 国内烟草行业科研项目绩效工作指导建议

此外，国内烟草行业其他企业也可以此指标体系为参考，根据自身具体情况，建立、改进适合自身发展的科研项目绩效评价机制。

针对国内烟草行业普遍存在的人员结构不合理问题，企业应注重加强员工的内部培训，培育中青年骨干，培育复合型人才，构建科学、合理的创新人才队伍，有助于项目能够更好地完成，提高技术支撑能力。

目前国内烟草行业在发展过程中，缺乏转化推广的积极性，仅在评价时加大转化环节的考核力度不足以促使各创新主体在科技成果的推广应用上投入更多的精力。因此可以建立健全相关机制，通过设立推广应用专项奖等形式鼓励科研人员将相关先进的科研成果积极推广开来，让科研成果实实在在地落地生根、开花结果。

通过本研究发现，烟草行业普遍存在着科研成果转化力度不强、优秀科研成果推广力度不够等问题。在科研成果到成果转化的衔接过程中，烟草企业可以将优秀的科研成果通过企业的经营及农民的生产实践等结合在一起，将已取得的成果与企业、与产区相结合，并在推广的过程中邀请科研单位进行技术指导，不断发现问题，不断完善科研成果。