地理信息标准实施效果评估案例研究

茅海军,诸楚洁

(中国计量大学 标准化学院,浙江 杭州 310018)

测绘地理信息行业关系着经济建设、国防建设、社会发展和生态环境保护服务,维护着国家地理信息安全。标准在地理信息资源共建共享和应用中发挥着日益重要的作用[1-2],及时对标准实施情况进行跟踪了解、评估及定期复审,可以保证标准的科学性、有效性和可操作性。目前常用的综合评估方法有专家打分法、层次分析法、模糊综合评判法、数据包络分析法、人工神经网络评估法和灰色综合评估法等[3]。其中利用层次分析法(AHP)可以对各种影响因素之间的影响程度判断数值化,确定各影响因子所占权重,是一种结合定性和定量的综合分析方法[4],被广泛应用在各类评价中。考虑到标准的内容和实施情况是一个多层次、多要素的复杂体系,本文将运用AHP层次分析法对地理信息标准实施情况展开评估,通过将定性分析和定量计算相结合,建立评估指标体系,结合专家打分全面评估标准实施的具体情况。

1 影响地理信息标准实施评估的因素

1.1 内部因素

地理信息标准本身涉及领域众多,根据性质不同分为技术、管理、工作标准[5]。技术标准应着重对其是否能满足产品的性能和功能要求,是否能保证生产安全性等方面进行评估;管理标准对其展开评估应侧重于是否能合理组织、利用和发展生产力,是否能对处理组织中的管理事务提升效率;工作标准是按岗位制定的有关工作质量的标准,应围绕着工作是否高效完成,是否与组织目标相协调等展开。所以在设计评估方案时应结合行业特点并考虑标准本身的性质,做到兼顾。

1.2 外部因素

国家市场监督管理总局发布《贯彻实施〈深化标准化工作改革方案〉重点任务分工(2019—2020年)》,明确指出提升标准化科学管理水平,强化标准的实施与监督,开展标准实施情况分析处理、监督检查和实施效果评估。在测绘地理信息行业内开展标准实施评估是积极响应国家深化标准化工作改革的一项重要内容。

2 地理信息标准实施评估方案

2.1 评估要素和对象

在开展评估之前,首先确定评估要素,包括评估标准对象、评估的主体,参与评估的对象以及评估的时间、方式等。参与评估的标准要合理有代表性,针对不同阶段、性质的标准要有不同的选择依据,评估实施效果的标准应选择发布了一段时间并经过宣贯和培训有一定使用量;评估的主体要拥有一定的组织性和专业性;参与评估的对象应具有广泛性,且应是标准的直接使用者;评估的时间应定在标准进行宣贯和实施后,一般执行评估的时间可确定为标准宣贯、发布实施后的1～2年[6],具体可根据实际情况做相应调整;评估方式也应根据具体标准进行调整,较为通用的是通过建立评估指标体系展开。

本文以浙江省地方标准DB33/T 817—2014《基础地理信息要素分类与图形表达代码》为例展开评估研究[7]。该标准在2010年12月31日发布,2011年1月31日开始实施,省内有30余家单位实施了该标准,2014年12月进行一次复审,认定其为继续有效的标准。

2.2 评估方法

标准实施评估是一个系统性工作,应针对标准实施全过程和必经环节入手拆解,以保证方案的适用性。地理信息标准的实施过程通常包括标准的宣传、贯彻执行和监督检查等[8]。《基础地理信息要素分类与图形表达代码》属于基础通用类标准,主要应用于基础地理信息数据的采集、整理、建库、更新、管理、共享、交换、制图和相关产品的开发[8]。首先确定标准评估指标体系,在体系的基础上利用层次分析法(AHP)构建层次结构模型,形成判断矩阵,计算出各指标的权重,同时确定评估集和评估尺度[8];通过问卷和专家打分法收集评估数据并进行综合评分计算,从而得出标准的实施效果评估结论。

2.3 评估指标体系

标准实施效果评估指标体系涵盖目标层、准则层和方案层,方案层包括8个一级指标和13个二级指标,其中生产数据时标准使用执行情况与标准使用频率,数据生产质量和生产效率变化等标准检查要点均列入了二级指标。“被其他地方标准引用情况D4”属于定量指标,其他暂定为定性指标,评估指标体系如图1所示。

图1 标准实施效果评估指标体系设计图Figure 1 Design drawing of the evaluation index system for standard implementation effect

标准质量的综合评估指标包括标准的“适用性”、“科学合理性”和“可操作性”,标准在发布初期一般都有较好的质量反馈,但随着技术进步和时代发展,需要再次对标准质量情况进行测量,能较为显著地反映出标准在使用过程中出现的问题,是对标准进行全面评估的重要因素。

标准实施是标准化工作的核心环节,也是标准评估的重要因素。“标准实施情况”包括“标准宣贯”、“标准传播”、“标准执行”3个一级指标,标准宣贯属于标准实施前期的准备工作,包含“标准宣贯程度”和“标准宣贯效果”2个二级指标,主要反映对于标准的宣贯程度;“标准传播”细分为“相关人员对标准的知晓程度”、“被其他地方标准引用情况”、“标准衍生材料的传播程度”3个二级指标,主要反映标准影响力情况;“标准执行”分为“管理者推动标准执行情况”“生产数据时标准执行程度”和“生产数据时标准执行频率”3个二级指标,反映标准的实际执行状况。其中“标准执行”是对“标准实施情况”的评估中最为重要的一部分,是反映标准实施好坏的重要依据。标准执行的程度直接影响标准作用的发挥,影响数据的生产、建库和共享,也会对标准的最终评估得分产生较大影响。

标准实施效益通过“经济效益”和“社会效益”两方面展开评估。着重从数据生产和数据应用共享的角度出发,基本涵盖了标准应用后能产生相关效益的大部分情况。其中“经济效益”包括“数据生产质量变化情况”、“数据生产效率变化情况”和“标准共享后节省经费的情况”三方面;“社会效益”包括“标准化知识传播、人才队伍建设情况”、“易于普及使用、共享的程度”两方面。

2.4 确定权重

通过层次分析法建立层次结构模型,形成标准实施效果评估指标体系表,采用1～9标度法,通过专家打分对各指标进行两两比较,得到重要程度的判断值,构建每两层指标之间的判断矩阵:

(1)

式(1)中:aij表示元素ai与aj相比,ai对aj的重要程度,具体重要程度比较(1～9标度法),如表1。

表1 比例标度Table 1 Scale table

(1)建立判断矩阵A-B

(2)

利用求根法,计算判断矩阵A-B每行元素乘积的n次方根,这里n=3,j=1,

(3)

(4)

同理,得到其他行的特征向量:

(5)

(6)

(3)归一化处理

将上述结果归一化处理,把得到的各权重向量相加,再除每个数,

(7)

W1=0.480 7/(0.482 7+1.817 1+1.144 7)

=0.139 6,

(8)

同理,计算其他行,

W2=1.817 1/(0.482 7+1.817 1+1.144 7)

=0.527 8,

(9)

W3=1.114 47/(0.482 7+1.817 1+1.144 7)

=0.332 5,

(10)

矩阵归一化后得到特征向量为:

W=[W1,W2,W3]T

=[0.139 6,0.527 8,0.332 5]T。

(11)

该特征向量就是评估展开各环节各部分的权重。

(4)计算矩阵A-B的特征根

(12)

AW1=1×0.139 6+1/3×0.527 8+1/3×0.332 5

=0.426 4,

(13)

AW2=3×0.139 6+1×0.527 8+2×0.332 5

=1.611 6,

(14)

AW3=3×0.139 6+1/2×0.527 8+1×0.332 5

=1.015 2,

(15)

(16)

=3.053 7。

(17)

(5)一致性检验

一致性指标为:

(18)

随机一致性比率为:

(19)

说明矩阵UA的一致性可以接受,权重计算结果是合理的。其中随机一致性指标RI由查表得知,具体数值如表2:

表2 1～15阶平均随机一致性指标Table 2 1～15 order average random consistency index

根据以上的方法分别计算各层次判断矩阵B1-C、B2-C、B3-C、C4-D、C5-D、C6-D、C7-D、C8-D,结果如下:

(19)

λmax=3.018 3,CI=0.009 15,
CR=0.015 8<0.1;

(20)

(21)

λmax=3,CI=0,CR=0<0.1;

(22)

(23)

λmax=2,CI=0,CR=0<0.1;

(24)

(25)

λmax=2,CI=0,CR=0<0.1;

(26)

(27)

λmax=3.009 2,CI=0.004 6,
CR=0.007 9<0.1;

(28)

(29)

λmax=3.018 2,CI=0.009 15,
CR=0.015 8<0.1;

(30)

(31)

λmax=3,CI=0,CR=0<0.1;

(32)

(33)

λmax=3,CI=0,CR=0<0.1。

(34)

上述矩阵都符合一致性检验,该评估指标体系由16个指标组成,其具体综合权重值如表3:

表3 标准实施效果评估指标体系综合权重Table 3 Comprehensive weight for the evaluation index system of standard implementation effect

2.5 设立评估集和评估等级

2.5.1 评估集

在对定性指标进行量化研究前必须先确定其所对应的评估集,在专家的意见下,本文为各个定性指标设立评估集(如表4),并据此设计合理的调查问卷。

表4 定性指标评估集及其量化分值区间Table 4 Qualitative index evaluation set and its quantitative score interval

2.5.2 评估等级

为了直观地表现出被评估标准的具体情况,本文根据标准评估业务和标准化管理活动的需要,结合专家意见设定了4个评估等级,分别为优秀、良好、合格和不合格,具体等级如表5。

表5 评估等级划分Table 5 Evaluation level division

3 评估结果和结论

3.1 评估结果

通过邀请6名专家(生产专家3位、质量检验专家3位)对该标准的实施效果评估调查问卷进行填写并完成打分,将收集到的评分数据按照各指标加权求和计算,即:

(35)

S1=72.850 6。

(36)

式(35)中:S1为定性指标的得分总和;n为定性指标个数,共15个;Wi为各指标的综合权重;k为评估专家个数;Fi为第j个专家对第i个指标的实际评估分值。

定量指标“被其他地方标准引用情况D4”通过查阅2014—2019年期间的测绘地理信息地方标准编制清单、各标准项目任务书、生产设计书等文件,共有7个相关地方标准制定并实施,标准引用率为28.57%。定量指标直接将标准引用率作为评估分值:

S2=W×F=0.081 4×28.57=2.325 6。具体指标计算得分如表6。

表6 评估指标综合得分情况Table 6 Evaluation index comprehensive scores

得分相加得到综合评分S=S1+S2=75.176 2,对照评估等级划分表得到该标准的实施情况为“良好”。

3.2 评估结论

根据标准评估综合得分情况,“标准质量”下各指标C1～C3评价都较高,说明该标准质量较高,仍适用于行业内数据生产和共享。“标准实施情况”中的“标准宣贯”程度和效果指标D1和D2得分偏低,这是近些年相关部门展开的培训较少是专门针对该标准,而大多是在其他标准或者政策条例中提到所造成。“标准传播”和“标准执行”下各指标D3～D8总体得分较为平均,可认为相关人员对标准了解程度和标准执行情况较好。“标准实施效益”指标D9～D13指标得分较为平均,评估认为标准实施后产生了一定的经济和社会效益,对数据生产的质量、效率、成本等都有一定的改善作用,对于基础地理数据的共享程度有所提升,但由于受到数据采集制图软件制约等影响,标准发挥的作用不明显。按照综合评估等级划分,该标准总体评估结论为“良好”。

4 建 议

通过此次评估工作,对后续工作提出几点建议。首先,要加强标准之间的协调性。建议和相关国家、行业标准进行一致性对标,扩充地方标准的特色要素,统一要素分类,加强与上层标准的协调性和互补性。优化各分类要素表达代码,简化复杂的应用代码,提高标准在实际生产中建库的质量和效率。其次,要对新进人员展开宣贯培训。由于该标准制订时间较早,近年来没有展开专门针对性的培训宣贯,导致新进人员对具体技术内容未能完全理解和掌握,无法较好地执行标准。建议针对该标准的实际建库、代码转换等应用进行培训,并对相关人员进行考核以保证标准的规范使用,促进标准实施效益最优化。最后,要对标准评估工作继续开展深入研究,建立标准信息反馈系统或平台,加强收集标准实施过程中的反馈数据,保证数据的准确性和全面性,为后期开展科学量化评估工作奠定基础。要进一步优化评估方法和流程,提高评估结果的科学性、准确性和客观性。