基于大数据的省级政务信息资源共享平台绩效评估方法

李 君，郑爱华，李光宇，刘伟伟，马 坤

(1.山东省工业和信息化研究院，山东 济南 250013；2.济南大学 a.物理科学与技术学院，b.信息科学与工程学院，山东 济南 250022；3.山东汇景市场研究咨询有限公司，山东 济南 250014)

大数据时代背景下，世界各国高度重视政务信息资源共享平台建设。相关数据显示[1-3]，近年来西方发达国家通过规划和立法，加强政务信息资源共享平台建设，推动电子政务的服务能力和水平，取得一定成效。2015年11月中共中央出台了《关于制定国民经济和社会发展第十三个五年规划的建议》，首次明确指出要实施国家大数据战略，积极推进数据资源共享，彰显了国家对大数据下政务信息资源共享工作的重视，为各省、市、自治区加快推进政务信息共享工作提供了良好的条件与政策空间。

相关研究表明[4-6]，随着我国有关政策的出台，各省级政府积极推动省级政务信息资源共享平台的建设并取得了一定成效，政务信息资源共享平台建设已经成为大数据下服务型政府治理体系构建和治理能力现代化水平提升的重要内容。山东省充分利用大数据云平台技术，通过云集成、网络统一和数据融合三大举措，克服了“信息孤岛”和“数据烟囱”等网络平台弊端，构建起涵盖政务服务、协同办公、数据共享和开放等领域的“一体化大数据平台”，促进数据共享和开放，为全省数据管理和开发利用提供全方位服务[7]。

在数据整合共享和开放应用实践中，信息资源共享平台建设还存在许多问题，比如数据开放共享程度不高，协同应用效率低，共享理念还亟待增强，平台的建设缺少统一规划、统一标准等。为此，各国政府正在寻求解决办法。例如，英国开展以通用绩效指标为标准来评估数字服务质量，通过对每项服务的成本、用户满意度、完成率、数字服务接受度等4项指标的测评，确保政府在线服务能够满足用户需求，用户能够轻松完成线上操作，使越来越多的民众了解并广泛使用政府提供的数字服务，从而获得成本效益[8]。

在大数据时代背景下，政务信息资源共享平台的绩效评估工作尤为重要，但目前针对政务信息资源共享平台绩效评估方法的研究多采用定性研究，采用定量研究的方法相对较少。通过建立政务信息资源共享平台的绩效评价指标体系，对政务信息资源共享平台的建设与发展水平进行定量评估，不仅可以提高政务信息资源的协同整合与应用水平，而且还可以为政务信息资源共享平台的可持续健康运行提供智力支撑。本文中构建了省级政务信息资源共享平台的评估指标体系，引入和运用绩效评估方法，为省级政务信息资源共享平台绩效评估研究提供新的视角，有利于各级政府持续推进数据共享、协同、共用，更好地服务于全省经济文化建设，提高政府办事效率，加快政府职能由管理型向服务型的转变，不断提升政务服务能力和水平。

1 绩效评估方法

1.1 评估指标体系的构建

根据相关研究[9-10]，构建省级政务信息资源共享平台绩效评估指标体系，需要遵循系统性、科学性、可衡量性、可操作性等原则。在遵循原则的基础上，通过对省级政务信息资源共享平台核心功能分析，本文中构建了在现行条件下能够对省级政务信息资源共享平台的绩效进行评估的相对合理的指标体系，该指标体系由4个一级指标和16个二级指标构成，各指标具体内容如表1所示。

表1 省级政务信息资源共享平台绩效评估指标体系

1.1.1 平台质量

平台质量是衡量平台整体性能的主要指标，包括平台稳定性、可扩展性和融合性。平台稳定性针对整个平台网站结构、内容完整性、操作便捷性以及运行的流畅程度进行评价；平台可扩展性用来反映平台能否随着新一代信息技术的提高顺利进行升级、扩容和提升；平台融合性主要是对平台与省内各级政府职能部门业务系统、社会企事业单位应用系统连接的兼容性进行评价。

1.1.2 平台功能

平台功能包括数据交换、数据整合、数据存储和数据管理4个二级指标。数据交换用来衡量平台上各部门(单位)政务信息资源实时数据交换共享和数据开放水平。数据整合是对平台开放或共享交换的数据进行专题整合后应用及业务协同水平的衡量。数据存储是对平台数据分类存储的合理性的衡量。例如：是否建立人口、法人单位、电子证照、信用等基础数据库；根据业务分工及用途建立主题库、专题库、通用办公库等进行分类存储。数据管理用于衡量数据资源目录建设、数据共享交换及有效管理应用水平。

1.1.3 运维管理

运维管理是平台长期可持续发展的重要因素，包括基础设施、资金保障、组织机构、人员素质和安全保障5个二级指标。基础设施是评价平台的硬件设施配置及分配利用情况；资金保障用于衡量平台建设资金来源是否充足、支配是否合理、运维资金是否充足等状况；组织机构用来评价平台人员配置的合理性、科学性、适用性；人员素质是衡量相关人员工作技术能力、协调组织能力及业务学习能力；安全保障是衡量平台安全管理体系建设合理性及平台的安全等级保护水平。

1.1.4 运行绩效

运行绩效包括平台访问量、政务协调效率、互动反馈、用户满意度4个二级指标。平台访问量是对平台推广使用程度、平台知名度和平台服务能力的反映；政务协同效率主要是对平台政务信息整合与共享后，政府、企业、公众之间协同办公水平的衡量；互动反馈是针对平台对公众关切问题反馈速度及反馈满意度进行测评；用户满意度是对平台为用户办事效率及办事能力水平满意度进行测评。

1.2 模型建立

1.2.1 设置指标权重

层次分析法(AHP)是对决策相关元素进行定性和定量分析的决策方法之一。本文中使用层次分析法，将信息资源共享平台进行分级，通过采用同一层级内的各指标两两比较的方法构造矩阵，建立数学模型，求出每个指标的相对重要性，计算每个评价指标在本层级的权重。以此类推，最终计算出每个指标在模型中的总权重。使用层次分析法计算综合评价数值，是一种加权求和的计算法则，即

(1)

式中：S为综合指标数值；Wi为各项指标组合的权重值；n为一级指标个数；Pi(v)为测评人对第i个一级指标第v个二级指标给出的分值。

利用AHP方法确定每个指标在评价体系中所占权重，建立多维层次模型，构造判断矩阵进行两两比较，通过计算得到每个指标的权重，即特征向量和最大特征值，然后进行一致性检验。

1.2.2 构建层次结构模型

采用 Saaty的九级标度法对重要性程度进行赋值[11]，构建进行两两比较的判断矩阵A=(aij)N×N,aij表示ai与aj相对于上一层指标的重要性比例标度，ai、aj分别为对行、列指标重要程度的赋值，N为A的阶数。

1.2.3 计算评价指标的权重值

层次结构模型构造后，使用方根计算方法求出各级指标的特征根和特征向量，即得到指标的权重值[12]。

1)将矩阵A的每行元素相乘，得到行元素的乘积，

(2)

2)将所得乘积开N次方，即

(3)

(4)

4)计算判断矩阵A的最大特征根，

(5)

(6)

1.2.4 一致性检验

通过计算获得评价指标权重后，为确保其科学性、有效性，需要对判断矩阵A进行一致性检验。

1)求A的一致性指标ACI，

(7)

式中N′为一致性指标个数。

2)通过1—12阶矩阵的平均随机一致性指标取值表(如表2所示)，查找同阶数的随机一致性指标ARI[13]。

表2 随机一致性指标ARI的取值

3)求A的随机一致性比例ACR,

(8)

4)判断一致性。当ACR<0.1时，认为判断矩阵的一致性可以接受；当ACR≥0.1时，则需要继续调整判断矩阵，使之具有满意的一致性。1、2阶矩阵总是一致的，此时ACR=0。

1.3 模糊综合评估

在构建省级政务信息资源共享平台的绩效评估指标体系时，使用层次分析法计算获得每个指标的权重后，需要找到合适的方法对信息资源共享平台进行评估。省级政务信息资源共享平台的绩效评估涉及多个指标且需要加以综合，考虑到其绩效评估的多目标性和复杂性，本文中选择模糊综合评价法对其进行绩效评估。

1)建立模糊评估因素集和评估等级集。依据省级政务信息资源共享平台绩效评估指标体系，将各个因素进行层次划分。

标层的因素集为

A=(A1,A2,A3,A4)。

准则层的因素集为

A1=(B1,B2,B3)，

A2=(B4,B5,B6,B7)，

A3=(B8,B9,B10,B11,B12)，

A4=(B13,B14,B15,B16)。

将评价结果V划分为5个等级，建立评价结果等级矩阵V=(V1,V2,V3,V4,V5)，其中V1、V2、V3、V4、V5分别代表不合格、合格、一般、良好、优秀，相对应的分数分别为50、60、70、80、90，即V=(50,60,70,80,90)。

2)构建模糊关系矩阵。通过专家打分法对每个评估指标进行合理打分，并按照等级比例建立隶属关系矩阵。根据具体评估的结果建立省级政务信息资源共享平台模糊评估矩阵，依据获得的模糊评估矩阵，构建共享平台绩效评估模型，用于衡量省级政务信息资源共享平台的运行绩效水平，建立模糊关系矩阵[14],即

i=1,2,…,m;j=1,2,…,n，

(9)

式中γij为被评估对象能被评为Vj的隶属度，即第i个指标在第j个评语Vj上的频率分布。

3)综合分析评估。利用构建确立的矩阵Wi(i=1,2,…,n)和Ri(i=1,2,…,n)，进行复合运算Ai=WiRi，通过对Ai归一化处理，算出模糊综合评估向量A1、A2、A3、A4。

依据计算得到的省级政务信息资源共享平台指标集的相关结果，构建模糊评估矩阵R=(A1,A2,A3,A4)T，然后算出评估向量B=WR=(a1,a2,a3,a4,a5)，并按照最大隶属度原则，取aj=max{a1,a2,a3,a4,a5}，得到最终综合评价结果为aj。

4)计算评估结果。按照制定的评估等级集，运用公式E=BM，计算得到省级政务信息资源共享平台评估各级指标的最终得分，其中E为各级评估指标得分，M=VT。

2 共享平台评估

利用以上评估方法，以山东省政务信息资源共享平台为例进行共享平台绩效评估验证。

2.1 计算结果

根据已构建的省级政务信息资源共享平台绩效评估指标体系，通过专家依据指标对照山东省政务信息资源共享平台打分，最后利用层次分析法软件Yaahp10.3进行计算，得到以下评价结果。

平台判断矩阵为

平台质量判断矩阵为

平台功能判断矩阵为

运维管理判断矩阵为

运行绩效判断矩阵为

针对上述所有的判断矩阵，分别进行一致性检验，得出如下结果。

平台一致性比例0.026 6<0.1；对总目标的权重为1.000 0；最大特征值为4.071 0。

平台质量一致性比例0.051 6<0.1；对总目标的权重为0.292 6；最大特征值为3.053 6。

平台功能一致性比例0.045 4<0.1；对总目标权重为0.415 5；最大特征值为4.121 3。

运维管理一致性比例0.043 5<0.1；对总目标的权重为0.184 9；最大特征值为5.194 7。

运行绩效一致性比例0.026 6<0.1；对总目标的权重为0.107 0；最大特征值为4.071 0。

2.2 确定模糊关系矩阵

邀请山东省政务信息化建设领域内15位专业人员，针对当前山东省政务信息资源共享平台建设状况，根据评估等级对各项指标进行评级，然后统计每项指标在每项评语下的专家赞同率，作为每项指标对评语集的隶属度。

表3为山东省政务信息资源共享平台绩效评估专家打分统计表(表中给出部分字段打分值)。依据专家打分计算B1—B16对应等级的关系隶属度，求得平台质量A1、平台功能A2、运维管理A3、运行绩效A4的模糊关系矩阵为

表3 山东省政务信息资源共享平台绩效评估专家打分统计表

2.3 确定模糊综合评估向量

根据上述计算，得到B1—B3对A1的权重为WA1，B4—B7对A2的权重为WA2，B8—B12对A3的权重为WA3，B13—B16对A4的权重为WA4。A1—A4对总目标的权重为WA，它们的值如下：

WA1=(0.310 8,0.493 4,0.195 8)，

WA2=(0.390 5,0.276 1,0.138 1,0.195 3)，

WA3=(0.244 7,0.106 5,0.140 5,0.185 4,0.322 9)，

WA4=(0.190 6,0.418 2,0.120 5,0.270 7)，

WA= (0.292 6,0.415 5,0.184 9,0.170 7)。

分别求出平台质量、平台功能、运维管理、运行绩效的模糊评估向量，结果如下：

BA1=WA1RA1=(0,0,0.066 7,0.560 8,0.372 5)，

BA2=WA2RA2=(0,0,0.150 2,0.355 6,0.494 3)，

BA3=WA3RA3=(0,0,0.057 5,0.443 6,0.498 9)，

BA4=WA4RA4=(0,0,0.141 4,0.573 9,0.284 7)。

在此基础上得出总目标的模糊关系矩阵，

计算得到山东省政务信息资源共享平台评估等级矩阵BA，

BA=WARA=(0,0,0.107 7,0.455 3,0.437 1)。

根据计算结果可知，山东省政务信息资源共享平台绩效评价隶属于“不合格、合格、一般、良好、优秀”的程度分别为{0,0,0.107 7,0.455 3,0.437 1}，根据最大隶属度原则，隶属于“良好”的程度最高。其中平台质量评价隶属于“良好”的程度最高为0.560 8，平台功能评价隶属于“优秀”的程度最高为0.494 3，运维管理评价隶属于“优秀”的程度最高为0.498 9，运行绩效评价隶属于“良好”的程度最高为0.573 9。

2.4 评估结果

将上述各等级转化为V=(50,60,70,80,90)对应的分数，则政务信息资源共享平台绩效总得分为

0.473 1×90+0.455 3×80+0.107 7×70=83.302；

其中，平台质量得分为

0.372 5×90+0.560 8×80+0.066 7×70=83.058；

平台功能得分为

0.494 3×90+0.355 6×80+0.150 2×70=83.449；

运维管理得分为

0.498 9×90+0.443 6×80+0.057 5×70=84.414；

运行绩效得分为

0.284 7×90+0.573 9×80+0.141 4×70=81.433。

采用本文中建立的绩效评估指标体系和评估方法，对山东省政务信息资源共享平台进行了绩效评估，获得各指标的具体分值。从结果来看，目前山东省政务信息资源共享平台绩效评估综合得分83.302，发展情况良好。从各级指标比较来看，各一级指标得分良好，但仍存在进一步提升和发展的空间。

2.5 评估分析建议

基于大数据的政务信息资源共享平台绩效评估方法和对山东省政务信息资源共享平台的评估结果，提出如下建议：1)完善、建立监督考核及绩效评估机制是提高省政务信息资源共享平台建设水平的有效途径；2)建设效能监督考核数据库，帮助省政府发现电子政务建设和管理中的问题，及时纠正和调整，不偏离政府改革目标，有助于提高省级政务信息资源共享平台建设的效率和质量，加强各参与主体间的互动交流，打造满意政府、诚信政府；3)将绩效考核评估纳入人事管理范畴，建立专家考核、公众考核、部门考核、日常督导与定期考核相结合的监督考核机制，确保平台建设科学、有效；4)帮助政务公开管理者不断完善绩效考核系统，对各部门行政权力和政务服务事项在线运行情况进行综合评估、分析和预测，不断推动转变政务职能，促进电子政务服务能力水平，提高政府公信力。

3 结语

本文中通过对基于大数据的政务信息资源共享平台绩效评估方法的分析和研究，构建了信息资源共享平台绩效评估的指标体系。以山东省政务信息资源共享平台为例，通过市场调查和专家打分获得评估数据，对提出的指标评价体系和评估方法进行了系统分析和求证，验证了数据模型的建立和模糊综合评估方法的有效性，为基于大数据下政务信息共享平台绩效评估的方法提供了依据，为推进政务信息共享平台建设提供了借鉴。由于该领域的研究还存在例证的有限性，评价指标体系的复杂性、不确定性等问题，因此共享平台绩效评估方法还需要不断总结完善，有待进一步研究探索和实践。