综合评价方法的应用及评价结果效果损失因素浅析

■冯淑娟/文

综合评价方法的应用及评价结果效果损失因素浅析

■冯淑娟/文

综合评价方法在政府考核评价工作中发挥着重要的作用，可以帮助政府形成对经济社会发展各方面工作较为准确的综合判断，为政府决策提供参考。由于政府考核评价具有自身的特殊性，在选择具体综合评价方案的过程中，会产生影响综合评价结果可靠性和有效性的因素，造成政府考核评价结果一定程度的效果损失。

一、综合评价方法在政府考核评价中的应用及特点

（一）综合评价法

综合评价法，是运用多个指标对评价对象进行评价的方法，又称为多变量综合评价方法，其基本思路是将多个指标通过一定的方法处理转化为一个能够综合反映情况的指标来进行评价。评价者、评价对象、评价指标、权重系数和评价模型是构成综合评价的5个核心要素。在错综复杂的信息社会，综合评价法是一个实用有效的工具，可以帮助评价者厘清头绪，形成对评价对象较为准确的综合判断，既可用于观察同一评价对象在不同时期的纵向发展变化情况，也可用于同一时期多个评价客体之间某一评价对象的横向比较，因而被广泛应用于经济社会等各方面。

（二）综合评价方法在政府考核评价中的应用及作用

在政府考核评价工作实践中，综合评价方法是政府评估各方面工作总体成果和考察工作开展进程的重要手段，考核评价结果表现为综合指数或得分。从考核评价工作的性质分，有单纯对某一经济社会发展现象的评价也有针对具体工作的考核；从评价对象的范围大小分，有综合性也有专项性。用于评价某一经济社会发展总体状况的如全面建成小康社会进程监测评价、统筹城乡一体化发展水平评价、科技进步统计监测评价、生态文明建设综合评价、现代农业化发展水平评价、工业强县建设综合评价、海洋文化产业发展绩效评价等；直接用于对政府部门工作考核的如党政领导班子实绩分析评价、创建法治县（市、区）考核等。综合性和专项性是相对的，如现代农业化水平是针对农业现代化发展的一个综合性评价，但相对于党政领导班子实绩分析评价则是农业方面的专项性评价。

采用综合评价方法进行政府考核评价，有利于帮助更好地树立正确的政绩观，形成全面、统筹、协调的科学发展理念；有利于政府对工作开展情况与成效有一个全面且直观的掌握，做到“心中有数”，特别是通过连续年份的纵向变化比较和多个评价客体的横向综合比较，可为政府决策提供重要的参考依据；也有利于分解任务，促使职能部门对照检查工作情况，更好地调整工作方式方法，落实好决策部署，真正起到推动工作开展的目的。

（三）政府综合考核评价的特点

政府综合考核评价，即政府利用综合评价方法对评价对象形成总体评判的过程。政府综合考核评价具有自身的特点。

一是自我评价性。综合考核评价工作的组织者是政府部门，被评价的客体绝大多数情况也是政府部门。即使有一些评价对象看似反映经济社会发展的各种现象，如全面小康实现程度、环境质量方面等，实则是对政府施政成果的评价，反映的是政府的工作成效。评价指标的选择、权重系数和评价模型的确定均由评价者负责组织完成。

二是工作导向性鲜明。综合考核评价的目的是为了反映政府各方面工作成效，也是为了找到工作的薄弱环节，更科学地部署下一步工作，更好地贯彻落实出成效。因而，综合评价方案制定各环节都与政府工作紧密关联。

三是可操作性强。综合评价方法和模型的选择需简便易操作，直观明了，便于政府领导、社会公众、具体实施人员等不同层面的人都可理解，也便于开展年度间的连续性评价监测和比较分析。

四是时效性要求高。政府综合考核评价一般需在既定时间内完成，才能发挥其咨政建议的作用。失去时效性，评价结果就失去了意义。

二、政府综合考核评价结果效果损失的情况浅析

评价结果的可靠性和有效性是最终检验综合评价方法好坏的重要判断标准。政府综合考核评价结果应能较好反映实际工作情况，形成较好的导向性，对决策实施有明显的促进作用，并能产生良好的社会效应。但实际评价结果并非能达到理想效果，主要原因在于政府综合考核评价方案的制定过程中存在影响评价结果可靠性和有效性损失的因素。一方面是不同评价模型自身的系统性原因，任何一种评价模型均有其优缺点和适用性，会对最终评价结果的效果产生不同的影响。另一方面是由政府综合考核评价自身特点影响的评价工作中的一些常用做法，造成评价结果的效果损失。两方面因素有时会相互作用，进一步叠加或放大评价结果效果的损失程度。

（一）指标的选择

从指标的理论概念、操作性定义到指标的具体选择，只有做到信息不遗漏、不重叠，才能保证评价结果的效果。而政府综合考核评价中自我评价和工作导向的特性，使得指标的选择过程中，既存在信息遗漏、也存在信息重叠的现象。

一方面，政府各部门之间主客观背景较为一致，具有较高的同质性。评价主体结构较为单一，使得对评价对象的认知具有一定的局限性，指标选择过程具有一定的主观偏好，造成信息遗漏从而影响最终评价效果。虽然评价方案设计过程中有征求相关各方专家意见的环节，但评价主体主要是政府部门。另一方面，政府各部门之间相对独立，在选择指标时均有重点突出反映自身工作的内心需求，认为直接纳入综合评价体系的指标才能成为工作抓手，更好发挥导向作用。因而，指标体系中指标数量不自觉中逐渐增多。实际情况来看，一个综合评价指标体系中的指标少的有数十项，多的近百项细化指标也是常有之事。指标数量过多导致指标之间的相关性会越强，指标的重复性无法简单排除。尤其是当经过多个指标综合而成的“复合型指标”、“指数型指标”被纳入其中，信息的重复性更不可避免，评价结果失去直观性意义。

（二）指标的同度量化

同度量化过程是将不同单位和数量级的指标数据通过一定的方法消除量纲，使得处理后的数据可进一步综合成评价结果，以免出现“大数吃小数”的错误结论。政府考核评价更注重可操作，在对指标进行同度量化时，一般采用较为简单的极差法、功效系数法、中心化方法、标准化方法等线性处理方法，而较少采用复杂的、难度较大的指数形式等非线性转化。不同“属性”指标的“敏感性”是不太相同的，即不同指标在同一阶段，实现相同程度的改善其难易程度不同，同一指标在不同的发展阶段，实现相同程度的改善其难易程度也不相同。因而，统一简单线性同度量化方法虽然避免了“大数吃小数”的现象，但同度量化后的各指标评价值无法很好地反映各指标改善所代表的工作努力程度以及对评价结果的真正贡献，有时会出现“一俊遮几丑”的情况。

（三）指标权重的分配

权重代表着各个指标的重要程度，确定权重的方法有主观、客观以及主客观相结合三种。在不同的评价模型中，权重分配的变化对评价结果的影响大小是不同的，其中对简单的线性模型评价结果影响较大，而对非线性模型评价结果影响相对较小。鉴于当前政府综合考核评价中较多采用线性模型，权重的分配是否合理成为评价效果的重要影响因素之一。

由于客观定权法无法根据特定阶段工作开展状况判断指标的重要性，政府综合考核评价多采用主观定权法分配权重，以更好地体现决策者的意图，突出工作导向性，便于操作。在指标数量较少的情况下，主观定权可以做到相对合理，但是指标数量较多时，很难凭经验来对各指标的重要性作出科学合理的准确判断。实际操作中，更为简单化处理的主观定权方法是分层平均赋权或各指标平均赋权，其前提是认为各领域及其所选择的指标都是政府工作的重要抓手和成果，重要性不相上下。这种定权方式造成评价方案中指标重要性信息的较大损失。

（四）指标的合成方式

指标的合成，是将各指标的评价值与权重按照一定合成规则进行综合，得到整体性评价结果的过程。不同的合成方式对评价结果质量影响是不同的。政府综合考核评价，在选择指标的合成方式时，更易倾向于最终评价结果是可简单分解的，即部分之和等于整体，以便于将评价结果直接分解并利用评价结果直接判断具体工作的成效。

采用合法的合成方式，须要求评价体系各指标之间是相互独立的，对整体评价结果的贡献也是相互独立的。但从指标选择环节的分析来看，在指标数量较多的情况下要做到指标完全独立难度较大。指标之间的不完全独立性与合法合成的指标合成方式相组合，必然在一定程度上造成最终评价结果效果的损失。

此外，综合评价体系中不可度量的定性指标转化成定量指标过程、定量指标数据的收集汇总处理过程，以及评价结果的解读和应用等，都有影响着最终评价结果的效果的因素。

三、更好发挥综合评价方法在政府考核评价中作用的几点想法

提高综合评价结果的有效性和可靠性，使综合评价方法在政府考核评价中发挥更大的作用，使评价结果真正体现决策者的意图，达到推动工作的作用，需做好三个转变。

（一）转变观念，合理把握考核评价的度

综合考核评价并非是唯一推动工作的抓手，考核评价越多，评价对象交叉重叠可能性越大，考核评价结果越多，考核评价的权威性反而会降低。尤其是涉及对公众发布的评价内容，更应谨慎严谨，否则容易引起公众的混乱和质疑。过度的考核评价，也会使被评价客体疲于应付，只做数字文章而无力解决考核评价背后反映的问题。

（二）转变评价主体，加大引入第三方评价力度

一方面，引进并发挥高校、科研院所等专业力量，采用政府和第三方合作的方式共同研究完善综合评价方法在政府考核评价中的应用问题。与第三方合作，或直接由第三方独立开展综合考核评价，可以规避政府部门自我评价带来的评价效果损失，提高评价结果的可信度和公众接受度。同时，技术人才力量得到加强，通过不断创新建立更为科学完善的综合评价方法，减少评价方法中的系统性效果损失。任一综合评价方案的设计都应随所处发展阶段、目标导向等因素的变化进行相适应的调整更新，更好满足政府综合考核评价的需要。

另一方面，“适度”引入公众满意度评价，让老百姓参与综合考核评价。老百姓满不满意是最终检验工作成效的标准，可将公众对评价对象的满意程度纳入综合考核评价中。但公众满意度有其适用性，公众对评价对象的满意程度是其期望水平与现实状况结合的综合反映，满意度高低与实际指标改善程度并非完全成正比，且公众只对自身熟悉的评价对象的评价才具备更高的可信度。因而，政府综合考核评价方案设计中公众满意度评价的应用要适度，且开展满意度调查时应科学选择相应的“公众”调查群体。

（三）转变态度，科学解读应用评价结果

既重视考核评价结果，又不能过于看重考核评价结果。只有对综合评价结果分解剖析，真正深入调研发现问题解决问题促进工作，才能使评价结果发挥最高的有效性。若仅纠结于评价体系中每个指标的数据高低，纠结于横向比较时的前后位次变化，不能通过单个指标分析“以点带面”研究相关问题，不能放开手去抓工作，综合考核评价反而会使人误入评价陷阱不能自拔，就指标数据抓指标工作，评价效果也会大大折扣。

（作者单位：浙江省统计局）