应对社会安全事件绩效评估方法鲁棒性分析的参数与指标研究

【摘要】绩效评估方法的鲁棒性是指模型内部参数或环境参数发生变化时，运用绩效评估方法使得政府应对社会安全事件绩效评估的结果能够保持相对稳定的能力。本文基于相关理论，深入剖析地方政府应对行为绩效评估方法鲁棒性分析的参数内涵，并讨论参数的变化规律，采用Kendall和谐系数作为绩效评估方法鲁棒性分析的度量指标，为提高地方政府应对社会安全事件绩效评估方法的鲁棒性提供方法依据。

【关键词】绩效评估方法  鲁棒性  社会安全事件

一、引言

选择科学的方法评价政府应对社会安全事件的绩效既是重要的理论和现实问题，地方政府应对社会安全事件绩效评估方法的鲁棒性是指应对行为绩效评估系统内部或环境参数发生变化时，运用某种绩效评估方法对若干个同一层级地方政府应对行为的绩效水平进行排序时，绩效评估的结果能够保持相对稳定可靠的能力。

国内外对鲁棒性的分析研究主要集中在控制理论方面，将其应用于综合评价方面的研究还比较缺乏，毫无疑问提升绩效评估方法的鲁棒性是应对不确定因素影响的重要手段之一，现有研究大多都是针对环境参数、模型参数或模型偏好结构，较少研究决策方案或系统结构对结果鲁棒性的影响导致评价模型鲁棒性度量结果不准确。然而在不确定性和危机出现的情况下，地方政府应对社会安全实践评估方法的鲁棒性已经成为绩效评估系统能否正常运行的关键，评估方法在运行过程中受环境因素的影响，绩效评估要容许在实际控制中会出现能够承受的偏差，因此评估方法必须是鲁棒的。本文讨论方法鲁棒性的参数控制与指标设置，能够为绩效评估方法的鲁棒性分析提供方法依据。

二、应对社会安全事件绩效评估方法鲁棒性分析的参数

2.1参数类型

2.1.1方法的内部参数

绩效评估方法的内部参数指绩效指标信息数据处理方式，是指政府应对行为绩效评估指标体系指标原始数据处理的各种方法。绩效评估指标体系是由多个相互联系指标组成的复杂多维系统，涵盖地方政府应对行为的综合职能，全面衡量绩效水平。应对行为绩效指标信息处理是对绩效评估指标的信息加以汇集整理，从整体上认识评价对象的优劣状况。绩效评估指标中由于各指标的内涵和信息形式各异，需要将其转化为统一的数据形式，进行无量纲化方法处理，显示了评估者对每个指标原值变动与评价信息量之间函数关系形式。

针对同一个应对社会安全事件行为绩效评估问题，一个绩效评估方法在不同无量纲化方法，其评估结果的排序可能非一致。那么在指标信息无量纲化处理方式变化的情况下，可对不同绩效评估方法进行鲁棒性分析，判定针对同一问题鲁棒性强的绩效评估方法。如果采用某种绩效评估方法对政府行为绩效水平进行评价时，当改变评估指标的数据信息时，如果评估结果的变化不大，则表明该种方法的鲁棒性强;如果评估结果变化很大，则表明该种方法的鲁棒性差。

2.1.2方法的环境参数

环境参数主要指应对社会安全事件绩效评估的客体数量。地方政府应对社会安全事件绩效评估是对参与政府管理活动的效果及社会影响进行全面和客观评价，并划分绩效等级的过程。绩效评估的客体主要指负责应对社会安全事件的市级政府、县级政府以及乡级政府三个层次。各级政府依据法律法规，结合本辖区内的实际情况，承担有效预防和妥善安全事件的职责，各层级地方政府的数量存在差异。

在应对社会安全事件绩效评估的实践活动中，绩效评估的评估客体数量并不是固定不变的，在不同的评估目标和要求下，评估客体的数量各不相同。在一定的绩效评估指标下，采用一种绩效评估方法，如果被评估对象数量变化，而评估结果的排序有很大差异且对数量变化敏感，则说明此种绩效评估方法的鲁棒性较差;如果评估结果的排序对被评估对象数量变化不敏感，即被评估对象数量的变化对评估结果有很大影响，则此种绩效评估方法鲁棒性较好。

2.2参数控制

2.2.1应对社会安全事件绩效评估指标的无量纲化方法变化

绩效评估的指标性质和数据形式各异，不同的原始绩效数据无量纲化处理方法是绩效评估方法的内部参数，从改变指标无量纲化方法角度，分析绩效评估方法的鲁棒性。为了消除数据量纲对评价结果的影响，对类型一致的评价指标进行无量纲化处理，一般有五种方法：

2.2.2 應对社会安全事件绩效评估客体的数量变化

应对社会安全事件绩效评估客体的数量属于绩效评估方法的环境参数，从改变客体的数量的角度，分析绩效评估方法鲁棒性。

假设要对n个评估对象的应对行为绩效进行评价，从少到多改变被评估对象的数量，设一个基准评估对象数量n0，该评估对象数量为绩效评估对象的最低值，从n0开始逐个增加评估对象的数量直到n，可得（n- n0+1）种评估对象样本量，然后运用绩效评估方法对（n- n0+1）种情况进行评估，可得第 i个评估对象在j个评估对象数量下的排名为pij，（                                           ）。这里通过从少到多的逐个增加被评估对象的样本数量，采用多种绩效评估方法对评价结果排序，观察被评估对象的数量变化对评估排序的差异影响大小，据此可以对若干绩效评估方法的鲁棒性进行分析比较。

当选择某一种绩效评估方法对应对社会安全事件绩效进行评价时，如果被评估对象数量变化，而评估结果的排序有很大差异，则此种绩效评估方法的鲁棒性较差;如果被评估对象数量的变化对评估结果排序有很大影响，则此种绩效评估方法鲁棒性较好。

三、应对社会安全事件绩效评估方法鲁棒性分析的度量指标

3.1 度量指标的含义

绩效评价方法鲁棒性的度量指标一般有最优方案一致率、方案排序匹配率、均方差、平均绝对差以及Kendall和谐系数。综合评价的目的就是要找到一个合理排序或最佳排序，本文选擇Kendall和谐系数来分析应对社会安全事件绩效评估方法的鲁棒性。Kendall和谐系数是用于度量多种绩效评估方法评价结果排序的密切程度，或者称之为一致性、相关性。采用Kendall系数计算排序结果之间的一致性或相关性程度，通过观测Kendall系数的变化情况来分析绩效评估方法的鲁棒性问题。

3.2 度量指标的计算

Kendall和谐系数的计算步骤如下：

（1）设多种绩效评估方法所得评价结果为一个排序矩阵

四、小结

本文深入讨论了地方政府应对社会安全事件绩效评估方法鲁棒性评价中的参数设置与指标分析，根据绩效评估参数的变化，观测评估指标的大小，并以此来判断综合评价方法的鲁棒性。如果某绩效评估方法的Kendall和谐系数越大，表示改变模型内部参数无量纲化方法对该绩效评估方法的结果影响越小，那么这种绩效评估方法在各种无量纲化方法下的评估结果排序没有太大差异，这种方法的鲁棒性强;反之，Kendall和谐系数越小，评估排序结果差异大，则该评估方法的鲁棒性差。

参考文献：

[1]P.Vincke. Robust solutions and methods in  decision-aid[J].Journal of Multi-Criteria Decision Analysis，2015，8（3）：181-187.

[2]R. Hites，Y.D.Smet，N.Risse，M.Salazar-Neumann， P.Vincke. About the application of MCDA to somerobustness problems[J].European Journal of Operational Research，2006，174（1）：322-332.

[3]孙世岩，邱志明，张雄飞.多属性决策鲁棒性评价的仿真方法研究[J].武汉理工大学学报（信息与管理工程版），2006，28（12）：58-61.

[4]张立军，陶璐.多指标综合评价模型鲁棒性度量方法研究[J].统计与信息论坛，2011，26（5）：16-20.

课题项目：湖北省教育厅科学技术研究计划指导性项目《地方政府应对社会安全事件绩效评估方法的鲁棒性研究》（B2017283） 阶段性成果。

作者简介：贾晶，女，1983.11，武汉商学院副教授，博士。研究方向：土地管理，房地产管理。