综合评价方法与应用的统计学内涵

甄峰

（中国人民大学应用统计科学研究中心，北京100872）

综合评价方法与应用的统计学内涵

甄峰

（中国人民大学应用统计科学研究中心，北京100872）

文章针对综合评价活动在实际工作中的广泛应用，特别是在政府统计中的应用，讨论了综合评价方法和其应用过程所反映的统计学思想。提出了综合评价的金字塔模型其概括为理论演绎和统计计算、统计检验和理论升级，以及提炼问题和统计应用研究三个过程，构建统计信息系统，经济管理监测系统和应用研究系统。

综合评价；统计学；内涵；金字塔模型

0　引言

综合评价研究是统计学应用中的一类非常实用的研究方法，特别是对于复杂现实问题的系统把握，对于经济社会新概念和新问题的阐释上有广泛的应用。该方法要求对统计知识有深入的了解，对数据信息有敏感的反映，同时对经济社会理论和现实问题有较好的把握，是一个既要求理论方法功底，又需要科学灵活应对的应用研究方向，需要不同学科知识，不同专长研究人员的紧密配合，因此在应用过程中有广阔的空间，也产生了多样的争论，特别是在统计科学性上的争论。多数研究从评价问题或评价方法出发，主要是对评价合理性和方法展开研究，还未从统计学学科内涵方面进行思考。

本文以国内外有影响的相关实证研究为基础，提出了综合评价的金字塔模型，讨论综合评价方法及其应用反映的统计学内涵，以及该方法作为一套完整的信息处理和统计应用研究系统应获得的全面认识。

1　文献描述与特点

伴随经济社会问题的复杂化和多样化，要求人们对事物的认识越来越精细和准确，与之相伴的信息多样性和数字化发展，为综合评价研究的发展提供了主客观条件，使得综合评价问题和应用广受关注，评价方法本身也日益完善。以CSSCI期刊刊出的文章为例，1998—2014年就有3.32万篇文章从题目看即与综合评价有关，图1给出了与综合评价密切相关的两组关键词检索结果，论文题目有“综合评价”或“指标体系”字样的平均每年354篇，自2005年起近10年来平均每年496篇；扩大检索范围，论文题目有“评价”或“指标”字样的平均每年1953篇，2005年以来平均每年2678篇，科技类刊物和学位论文的相关发表也是数以万计，苏为华对相关刊载做了详细描述和分类统计[1]。

图1　1998—2014年CSSCI刊物刊载相关文章数量变动

综合评价研究在国际上也有丰富的案例和积极的探讨，至少在以下方向为人们所孰知：如联合国发展计划署（UNDP）推出的人文发展指数刻画了公平共享的人类发展方向；达沃斯世界经济论坛（WEF）背后是其对国际竞争力的深入研究和评价；世界银行国际比较项目（WB-ICP）希望将各国和地区放在一个可比的平台上讨论发展问题；欧盟创新指数（EUR0STAT）则结合创新调查的结果研究了主要发达国家的创新发展问题。国际的相关研究集中在两方面：一是各国政府或国际组织的官方统计活动，二是信息综合提取方法的学术研究。

从这些文章的研究方向来看，可分为如下几类：

一是对经济社会重大问题的综合评价与分析。二是对经济社会专题问题的综合评价与分析。三是对综合评价中具体方法的研究，以及不同评价方法的比较。四是对综合评价方法应用和适应性的讨论。

综合来看，国内外的相关研究至少在以下方面体现了综合评价研究的共同特点：一是时事性，针对时政或经济社会热点问题，将抽象概念具体化，数量化和系统化；二是实用性，对具体工作给出标准和方向，提高工作目标的可操作性；三是灵活性，评价方法和指标体系设定灵活，量化可比方法较多，且二者均能与时俱进；四是一致性，好的评价体系在其结果和应用上与主观认识基本相同，能够揭示一般规律。另一方面，由于指标选择的灵活性，评估方法的多样性，以及主观意识的较强能动性，使得人们亦质疑综合评价的科学性，或除了统计指标和指数构建，它是否能体现现代统计学的方法论和意义。

这些特点表明，综合评价研究的实践既是挑战和争议所在，又有发展与完善空间，在这个空间内，统计学思想和方法大有可为。那么，这些评价活动在现代统计学的引入和发展中，是否是统计学，又体现了什么样的统计思想和内涵？

2　统计学内涵

综合评价研究的过程，包括方法选择、体系构建、指标框架、应用研究等，体现了统计学研究问题的基本思路，即计算、检验与分析应用，三个过程又分别可以概括为统计信息构建系统、经济管理监测系统和应用统计研究系统，用图2的金字塔模型予以概括。

图2　综合评价研究的统计学内涵金字塔

2.1理论演绎和统计计算

从研究过程来看，首先是构建统计信息系统，即明确研究主题，依照评价问题的相关理论对主题进行不同层级的要素分解和指标解释，从不同方面阐释理论涵义，并争取用统计指标量化。构建评价体系和框架的同时，也要考虑如何将基础指标标准化、可比化，或构建不同层级指标和综合层的指数，来量化评估主题。

从现有实证研究来看，这一过程是大多数研究所讨论的重点和主要内容，即如何将研究主题指标化、指数化。这一过程体现了对理论问题的演绎过程和统计计算过程，从统计学角度来看，即用什么样的统计指标来描述研究主题，用什么样的统计计算方法来处理不同量纲、不同方向、不同数据特征的统计指标，如何获得对描述主题有概括性的指数、指数体系或评价标准。图2由上及下的指标体系构建过程体现了这一维度的统计思想。

2.2统计检验和理论升级

其次是构建经济管理监测系统。建立评价体系和指数体系后，评价的结果和指数的情况是否能够客观反映和如实描述评价主题，即在由上而下的体系构建和运算后，结果能否用统计方法检验，并且能够经受研究主题所在领域的专业检验，进而用于经济管理等实务的监测。

检验也无非有两种可能，要么方法有效，误差可控，结果与初始预期一致或基本一致；要么误差不易衡量或结果与初始预期差异较大，进而调整体系方法，或纠正初始认识。这些都是推动评价方法和指标体系进一步完善的动力，也是数据支持下评价活动的理论升级过程，或概括为经济管理监测系统，即由下而上的通过恰当统计指标监控和测量测研究主题。

2.3应用研究

第三个维度是应用统计研究系统，旨在指标和数据层面重新组合，开发新问题和展开深入分析的统计应用过程。这是最容易被忽略的一个过程。从研究的角度来看前两个维度为系统和概览性认识问题提供了依据，统计应用过程的展开则是深入分析和认识研究主题的重要步骤，也是综合评价方法发展的重要方向。

综合评价体系的构建本身是以评价主题为核心的信息平台搭建过程，信息平台上的指标和数据，不仅支持评价过程的计算和检验，同时更是不可多得的统计分析数据信息平台。在这些数据和指标的基础上，可以重新定义问题，组合指标，选择方法，在不同要素和指标间建立专题分析，对以研究主题为核心的问题的内在关系，关键指标和要素间的关联与变动进行探索性研究，乃至于发挥预警和预测功能。

在这三个维度中，前两个维度评价性更强，第三个维度研究性更强；前两个维度实用性更强，第三个维度探索性更强；前两个维度系统性更强，第三个维度专题性更强。它们的恰当结合，体现了实证研究中，统计数据与实际问题相结合，统计方法与研究过程相结合，统计研究与数据发掘相结合的统计学内涵。

3　一般过程

在理论方法和实证研究的基础上，我们提出综合评价研究的一般过程供讨论。这些步骤的科学开展可以保证综合评价研究客观真实性，也是体现统计学方法在不同专业领域应用的系统范例。

综合评价研究从问题分解开始，到研究成果的获得，可分为如图3的四个步骤：

第一步，体系构建与指标检验，即在研究问题主体所涉及的理论支持下，对研究的问题进行不同层级的分解，初步建立评价框架和指标体系。这是一个循环往复的过程，需要检验指标的代表性，数据的差异性，指标的评估方向，以及验证评价体系对参评单元的区分度，且整个体系具有可比性，进而得到初步可用的评价指标体系。

第二步，综合评价，即选择恰当的信息汇总方法，构建评价指数体系或评估标准，得到初步结果。由于统计方法选择的灵活性，使得输出结果也是多样的，不存在绝对最优。哪种方法相对更优，需要下一步的检验，但这并不影响尽量多的使用不同的信息汇总方法，在背景信息，统计方法、信息损失和评价结果的对照中进行选择。

第三步，检验评价结果。对结果的检验应从不同角度着手，首先是直观判断，结果与初始主观判断是否一致，有何差异，差异的来源是主观认识的偏差，还是评价体系的偏差。其次是先验信息对照，即评价结果与经验结论是否一致，是否需要修订其一。再次是不同统计方法得到不同结果的比较，结合方法、结果、背景条件来选择更好的评估方法和结果。这一步也需要在综合评价，甚至指标选择上不断往复，以期达到最优。

第四步，研究与应用。通过以上三步，可获得直观的综合评价结果，也构建了评价主题的综合统计信息平台。在此基础上，首先是展开综合评价活动，对研究主题在综合层次，要素层次和指标层次进行评价和分析；此外还可以在指标层次或要素层次重新组合，设立新的专题问题进行统计研究，分析评价体系内部的深层关系；进而可以形成对评价主题的新的科学认识，指导实践和推动相关理论升级。

图3　综合评价研究的一般过程

4　问题与挑战

系统的综合评价研究过程是一个科学的统计实证研究过程，实践中存在诸多统计学和非统计学的问题与挑战，影响该方法的认可程度，也创造了该方法发展和完善的机遇。

一是指标体系构建问题，即指标选择与框架搭建问题。综合评价体系的灵活性和主观能动性，使得不同研究者对同一评价主题可能选择不同的指标和框架。什么样的指标或框架更合理，并没有统一的标准。这个问题的优化一方面要求对评价主题专业知识的掌握，另一方面要求对统计指标和统计数据的熟悉。一个值得推荐的思路是对评价主题的“多维密集测度”，即在要素方面和指标选择上力求完善，在体系设计上力求均衡与对称，以均衡的设计减小权重的差异和影响，如国家统计局课题组的和谐社会统计监测指标体系[2]，赵彦云、甄峰的创新指数设计都实践和体现了这一思想[3]。

二是数据信息的综合方法，即评价标准的建立和综合指数的计算。评价结果的获得主要有两类：一类是指数化方法，通过对标准化指标的逐级等权或不等权汇总，获得要素指数和综合指数，如杨新洪对文化软实力的量化评价[4]；另一类是针对每个指标提出目标标准，将数据与固定标准对照得出评价结论，如农村社会经济调查司对我国粮食安全的评价[5]。这一大类问题还包括权重的设定，权数的获得，指数体系的设计，对照标准的设定，与标准的距离评判等等，本文不能一一论及，但信息综合的原则应当是：最大化的应用数据所反映出的统计特征，客观反映指标内的差异信息；全面体现指标间的差异信息，特别是关键指标的信息；综合后的结果可以在统计学范畴和评价主题专业领域内检验并得到认可。

三是输出结果的检验，即输出结果如何进行统计学和专业领域的检验。统计学的检验是一个博弈过程，多元统计方法中对多指标的处理是在多维度下寻找非重叠信息，并特别关注能够代表信息最大化的方向。综合评价研究则强调在体系构建过程中尽可能全面的考虑评价方向，即一开始就是发散性思维，引入的指标必然有重叠信息。如何均衡两个相反的方向，在统计上和专业上均能检验结果的有效性是综合评价方法面临的挑战。

四是统计开发和应用，即如何开发指标体系所搭建起来的统计学数据和信息“富矿”。评价体系的构建考虑了评价主题的方方面面，在对主体问题的研究上提供了丰富的指标和数据信息，如何对这些数据进行深入开发研究是综合评价研究的重要延续性工作。在评价体系的科学性和评价结果的有效性之外，基于指标体系的问题选择和数据挖掘是综合评价研究的重要步骤，是深入理解所研究主题的绝好机会，也是检验评价结果和要素关系，正确指导实践的重要参考。

总之，综合评价方法与应用研究体现了统计学在统计计算、统计检验和统计应用的思想和内涵，是统计学结合其他学科的重要应用研究领域。理想的综合评价体系可以构建统计信息系统，经济管理监测系统和应用统计研究系统。统计学的发展和统计方法的应用将有助于解决综合评价中存在的问题和面临的挑战，统计学方法在评价活动中的深入也是保障综合评价活动科学性的重要步骤。

[1]苏为华.我国多指标综合评价技术与应用研究的回顾与认识[J].统计研究，2012,(8).

[2]国家统计局课题组.和谐社会统计监测指标体系研究[J].统计研究，2006,(5).

[3]赵彦云,甄峰.我国区域自主创新和网络创新能力评价与分析[J].中国人民大学学报，2007,(4).

[4]杨新洪.关于文化软实力量化指标评价问题研究[J].统计研究，2008,(9).

[5]农村社会经济调查司.我国粮食安全评价指标体系研究[J].统计研究，2005,(8).

（责任编辑/亦民）

C829.2

A

1002-6487（2016）19-0081-03

国家社会科学基金资助项目（15BTJ013）；国家统计局设计管理司委托课题；北京高等学校青年英才计划项目（YETP0226）

甄峰（1979—），男，河北藁城人，博士，副教授，研究方向：应用统计、国际金融。