面向服务聚合应用的地理信息服务质量评价

张 轶，曹云刚，刘 晰，杨 磊

（1. 国家测绘地理信息局 四川基础地理信息中心，四川 成都 610041；2. 西南交通大学 地球科学与环境工程学院，四川 成都 611756；3. 四川省第二测绘地理信息工程院，四川 成都 610100）

0 引 言

目前，随着互联网与地理信息技术的不断发展，传统的地理信息技术已经从数据提供向信息服务转变[1-4]。地理信息服务提供了网络化、大众化和普适化的服务方式，其为地理空间信息及其产品的共享、综合利用提供了有效的途径[5]。在全球信息化发展的大趋势下，地理信息服务行业也得到了蓬勃发展。近年来，随着谷歌、百度、高德、天地图等地理信息服务提供者的不断涌现，用户可选择的服务不断增加。尽管不同的服务提供者提供了功能相同或类似的信息化服务，但由于服务信息的丰富程度、准确率、响应效率等存在质量差别，最终影响到用户体验，因此人们开始更多地关心地理信息服务的质量问题[6-10]。

虽然目前对地理信息服务质量评价(Quality of Geospatial Information Service, QoGIS)的模型及方法已经开展了大量的研究，但是绝大部分仅仅针对单个服务本身的质量进行评价，即使对工作流的服务形式进行评价时，也未能充分考虑待聚合服务之间的关联特性，也就未能提出针对服务聚合应用的有效的QoGIS解决方案。因此，本文在现有地理信息服务质量评价模型基础上，考虑服务评价的相对性，明确了主服务的概念，并在此之上构建了多层次、多类型的评价指标体系与评价方法，从而可为地理信息服务聚合应用奠定基础。

1 地理信息服务质量评价研究现状

随着地理信息的内容向全球化、实时化、深度融合的方向发展，对地理信息服务提出了更高的要求。在不断完善的地理信息服务环境中，服务构建、描述与发现的最终目的都是为了将分布的地理空间信息服务集成起来满足用户的信息需求，实现这一目标的机制就是服务聚合[21-22]。然而，当前单一过程化的服务质量评价体系还不足以满足服务与信息聚合的需要，迫切需要对现有QoGIS体系进行扩展和完善。

目前，对于QoGIS评价指标与评价方法并没有统一的标准，不同的研究者根据研究需要，分别从地理信息服务类型、层次划分及服务质量(Quality of Service, QoS)属性的采集方式等方面建立了多个评价指标体系与评价模型，并针对网络环境下地理信息服务质量的评价需求，设计了可高效、动态执行的质量评价方法[9-11]。如刘建川等[12]提出了考虑服务本身、网络环境、服务消费者等3个方面的六要素评价模型。杨艳梅等[13]提出了由空间数据质量、信息可达度以及信息交互质量3个指标决定的多要素空间服务质量评价模型。宋爱红等[14]从度量层次、面向领域、刻画对象、指标提供者和何时产生5个方面对服务质量评价指标体系进行了描述，提出了包括11个质量元素的地理信息服务质量评价指标体系。由于地理信息服务处于一个分布式的环境之中，存在着广泛的服务提供者，且不同类型地理信息服务评价的指标也各不相同。为了合理地进行地理信息服务质量定量评价，承达瑜等[15]通过对QoS指标的分类，采用模糊综合评判方法建立了一个可扩展的地理信息服务质量综合评价模型。此外，为了解决目前地理信息服务质量主观量化评价的问题，葛文等[16]对现有QoS通用服务质量模型进行了扩展，构建了一种基于用户偏好的多维地理信息服务质量评价模型。谭玉敏等[17]从数据质量、服务过程透明度和系统可用性3个方面对公众参与式GIS中的空间信息服务质量进行了具体评价。针对主动的地理信息服务的快速发展，黄全义[18]、王伟[19]等也提出了主动式地理信息服务质量的概念，并设计了质量评价的原型系统[20]。

2 面向服务聚合应用的地理信息服务质量评价体系

2.1 评价指标层次及类型划分

针对数据质量、服务质量参差不齐的现状，如何将这些信息或服务进行有效聚合，就面临着服务参考与服务选择的问题。结合地理信息服务补偿机制[23]，我们首先明确了主服务的概念。以地图服务聚合为例，所谓主服务就是服务聚合过程中，被聚合服务进行映射转换、反馈结果融合、相对质量评价的唯一参考服务。由于主服务是所有待聚合服务的参考标准，因此在开展质量评价时也会先以主服务的质量为标准开展部分相对评价。在服务聚合过程中，主服务还有一个特殊的地位，即主服务是服务聚合应用中首先纳入的源服务，当主服务无法满足应用需求时，再考虑引入其他可用的分布式服务作为该源服务的必要补偿。由于主服务地位的特殊性，使得现有的QoGIS模型及其评价体系必须进行扩展才能满足聚合服务质量评价的需求。考虑主服务与补偿服务之间的关联特性，提出了关联评价的扩展指标体系，即增加了一致性评价、兼容性评价等关联评价指标。

考虑在不同类型地理信息服务质量评价中，对评价指标的选取及评价标准有所差异，因此采用自上而下的分析策略，将聚合服务质量评价中的各类指标进行多层次类别划分，并构建与服务类型无关的通用质量评价指标体系。首先依据是否需要利用主服务进行对比分析这一条件，将QoGIS评价指标分为独立评价指标与关联评价指标（1级指标）。对于独立评价指标则按照现有的QoGIS分类方法，从服务本身、网络环境和服务使用者3个层次出发，分别提出了细化的评价指标，并对各指标的权重取值进行了研究。对于关联评价指标，主要考虑补偿服务与主服务之间的一致性与兼容性，并分别细化了该类别的2级指标体系。在2级指标体系基础上，又抽象地提出了3级指标体系，并以此构建了面向服务聚合应用的地理信息质量评价通用模型如图1所示。图中4级指标为针对特定类型QoGIS评价的扩展指标。

图1 面向服务聚合应用的地理信息服务质量评价模型Fig.1 The quality evaluation model of GIS services for service aggregation

2.2 递归加权评价方法

地理信息聚合服务质量评价的目的是对具有相同功能的服务进行综合质量评价，确定相对优劣顺序，辅助用户选择服务并进行信息聚合，从而有效提升服务满意度。地理信息聚合服务质量评价的流程如图2所示。

图2 地理信息聚合服务质量评价与应用流程图Fig.2 Main process for QoGIS evaluation and application

本研究中面向服务聚合应用的地理信息服务质量评价采用层次加权模型。

式中，C为地理信息服务质量综合评价分值，Q为不同层次各类型指标评价分值，w为该类指标对应的权重值。

2.2.1 评价指标细分与权重系数计算

明确了待评价的地理信息服务类型与相应的评价指标之后，还需要确定各指标的权重。指标权重是否合理将影响到评估活动导向及评估结论（总分）是否合理。在综合考虑指标之间的独立性、重要性以及实际使用效果等因素后，基于专家打分法与层次分析法确定了通用指标权重。为了获得较为合理的指标权重，专家打分过程中选择了地理信息科研人员、测绘地理数据作业人员、GIS技术开发人员、地理信息服务用户等4种类型群体、共20人次开展了评分工作，详细的评分指标和评价权重见表1。

表1 评价指标及其含义Tab.1 Evaluation indexes and their meaning

2.2.2 评价指标量化与标准化

确定了相关评价指标之后，还需对指标进行量化。为了方便评价过程中的赋值处理，根据每个指标的属性将其分为定性指标和定量指标两类。实际的量化过程中，无论是定量或定性指标，我们均将其归一化以便于计算评价分值。

1）定量指标的量化方法

定量指标是指能够采用具有明确物理意义数值表示的指标，如执行质量指标中的服务效率和服务稳定性。对于服务效率指标，我们采用了服务平均响应时间来进行评价。基于近6个月来的约10万条测试记录，统计分析了不同类型地图服务的响应时间分布特征，采用累积统计直方图对响应时间在不同时间范围内的分布进行了定量描述，最后建立了转换模型，从而可将响应时间转换为百分制分值。

利用上述统计结果，同时考虑不同网络状态下对服务响应时间可能造成的影响，我们制定了地理信息服务效率的评价标准。如对于瓦片地图服务，若当前服务的平均响应时间小于0.0001 s，得100分，平均响应时间5 s时，得60分，平均响应时间超过100 s，得0分。为了便于评价系统进行自动评分，我们也构建了服务效率的数学评分模型。

式中，ART为服务响应时间（s），SCORE为评价分值（百分制）。对于不同类型的服务，该评分模型中的参数有所差异。实际计算过程中，以连续记录的响应时间为准对该参数进行动态更新，如图3所示。

图3 测试服务响应时间统计分析Fig.3 The statistics and analysis on response time of tested services

对于服务稳定性定量评价，则是利用标准差来确定评分标准。一般情况下，标准差越大则服务稳定性越差。因此，制定如下评分标准：如果平均响应时间的极值与均值之差在1倍标准差以内，得100分，3倍标准差得60分，超过5倍标准差得0分。服务稳定性评价采用评分表的形式实现。对于其他的具有量化值的指标，同样制定了评分表进行数值的转换。

2）定性指标的量化方法

对于没有量化值的评价指标，则采用主观打分的方式实现定量评价。为了避免评价人员在打分过程中采用不一致的评分标准，我们针对目前常用的地理信息服务类型，制定了一些参考评分标准。评价人员可以以此为依据，实现各指标的量化评价。

例如，我们在进行瓦片地图服务质量评价时，由于数据质量中的数据多源性评价指标难以获取量化的评价值，因此制定了如下的参考标准，见表2。评价人员需按照该标准进行打分。若对该评价方案有异议，可采用专家会商的方式对参考评价表格进行修改。

表2 影像多源性评分表Tab.2 Image multi-source scoring table

3 原型系统设计与实验分析

由于不同的服务提供者提供的地名地址、影像、导航等同类服务之间互有优劣，服务响应效率在同一时段也有区别，用户根本无法针对自己在某一时段的特定需求人为挑选出最佳服务进行使用。基于上文提出的面向服务聚合的地理信息服务质量评价模型，我们构建了可用于地理信息服务质量评价的原型系统，其主界面如图4所示。该QoGIS评价系统主要模块包括：数据质量检测（评价）模块、DOM服务评价、DLG服务评价、POI服务评价、路径服务评价等。以天地图·四川作为主服务，以主服务质量为参考，对其他注册服务进行质量参数的定量评定，得到了面向地理信息服务聚合的质量评价分值。基于这一评价结果，使得主服务能够在特定时段，从功能相同的不同服务源中智能地选择综合指标最优的服务进行调度、聚合，从而为用户提供最佳服务。此外，顾及多个源服务质量在不同空间区域的差异，本项研究中以四川省21个地市州的天地图子节点为基本单元，以各地市州的行政范围为空间边界，对待聚合的源服务质量评价指标进行综合计算。

图4 面向服务聚合的地理信息服务质量评价系统Fig.4 Prototype system of QoGIS evaluation for service aggregation

在该QoGIS评价原型系统中，将评价指标分为静态指标和动态指标两类。静态指标包括数据质量、成果质量等独立评价指标，以及一致性、兼容性等关联评价指标；动态指标包括服务连通性、稳定性、效率性等执行质量指标。在应用过程中，对于服务的静态指标，一旦被确定后在一定周期内不会发生变化，仅当服务提供商将服务进行升级或改版后才需进行更新，所以设定间隔12个月再重新进行评定。而动态指标反映了服务质量的实时变化，因此需进行动态实时更新。本项目结合服务质量评价系统，对天地图·四川主服务，以及高德、百度、腾讯等各类地图服务，每隔20 min开展一次系统自动轮询测试，将测试结果结合动态指标进行评分，并实时更新服务质量评价数据库，以动态评分结果为依据实现最优的服务调度与聚合，实验结果见表3。

由于实验数据量较大，本文仅采用2016年10月10日上午9时、下午4时这两个具体时间的动态测评作为示例进行阐述。可以看出，当日上午9时，影像服务中百度的动态执行质量最优，而瓦片服务腾讯最优，地名服务天地图·四川最优，路径分析服务百度最优；下午4时，影像服务高德最优，瓦片服务百度最优，地名服务腾讯最优，路径分析服务百度最优。需要指出的是，测评结果是不断变化的，系统在每个测评时间段内还会将各服务测试对象的动态质量测评指标与静态质量评价指标进行加权，并根据最后的评价分值对参与评价的各服务进行排序，从而为下一步的服务聚合提供依据。

表3 动态执行质量评价实验数据表Tab.3 Experiment data sheet on dynamic implementation of quality evaluation

4 结束语

随着地理信息应用的不断深入，人们使用地理信息服务的方式和频率正在发生巨大变化。从传统的离线地理数据到在线地理信息服务，再发展到当前的地理信息服务聚合，地理信息行业在满足用户需求方面正在不断进步。同时，对多样化的地理信息服务进行质量评价也受到人们的普遍关注。本文在服务补偿机制下对现有QoGIS进行了扩展，提出了与聚合主服务相关的关联评价指标，形成了面向服务聚合应用的多层次、可扩展的地理信息服务质量评价模型，其中不仅考虑了补偿服务数据质量、执行质量、成果质量等评价内容，还顾及了补偿服务与主服务的一致性、兼容性等，同时也对各指标的量化及权重取值方法进行了研究。

以天地图·四川为主服务，利用本文提出的面向聚合服务应用的质量评价模型，构建了在线地理信息服务质量评价原型系统。该系统已初步应用于四川省多个地市（州）地理信息公共平台节点，为实现节点间的数据、信息、服务资源的集成共享，最终实现市（州）节点与省级节点的地理信息服务聚合，为促进地理信息资源的充分利用奠定了基础。