基于Web服务的全球地表覆盖遥感制图大数据集成与应用
2014-08-16何超英廖安平
韩 刚,何超英,陈 军,廖安平
(1. 北京师范大学 资源学院,北京 100875; 2. 国家基础地理信息中心,北京 100830)
一、引 言
全球地表覆盖分布及变化是全球变化研究与地球系统模式发展的重要基础数据,国内部分是地理国情监测与国家宏观调控分析的重要内容[1-3]。近年来,国际社会一直致力于利用空间遥感技术研究全球和区域的地表覆盖及变化情况,积累了大量地表覆盖空间数据资源[4]。中国于2009年启动了全球地表覆盖遥感制图项目,计划三年完成2000和2010两个基准年度全球30 m地表覆盖数据的遥感提取工作。受全球30 m影像获取能力的限制与影像分类自身局限的影响,需要充分参考已有地表覆盖数据和其他相关数据资料,在自动提取基础上加入大量人机交互检查环节[5],尽可能减少有限时相覆盖下复杂现实世界中不同地物的光谱混淆现象[6-7],最大限度提高影像分类的精度。
全球30 m影像及其他各种来源的参考资料数据量巨大、类型多样、格式复杂,而且随着影像的不断获取与研究工作的不断推进,数据还将持续增加。在全球地表覆盖遥感数据检查环节,这些体量巨大并持续膨胀的各类地理信息数据,不被淹没并得以充分利用的关键是有效的集成手段和高效的应用工具[8]。常见的方法是利用通用GIS软件平台进行读取和分析,数据检查人员首先需要拷贝任务区的影像与各类参考数据,非交换格式的空间数据还需进行格式转换后才能被读取,特别是同时使用不同GIS平台时需要转换多次,存在大量重复的数据传递、格式转换、数据裁切等工作[9],影像及各类参考数据的使用异常复杂,在一定程度上造成了数据检查人员的使用倦怠,大量参考数据未得到充分有效应用,严重影响了工作效率与分类精度的提高。本文针对该问题,基于Web服务技术研究并提出了一种全球地表覆盖大数据集成应用的方法,提出了异构数据和服务的集成处理流程,在此基础上研发了服务系统,提高了数据使用的效率与效果,以及全球范围内专家的参与力度,可为全球地表覆盖遥感制图生产提供服务支持。
二、面向服务的大数据集成模型
Web服务技术采用开放式的协议和接口实现跨平台数据的交换,近年来广泛地应用于地理信息的集成与共享[10]。基于Web服务技术集成全球地表覆盖遥感制图大数据,可以对数据使用者屏蔽各类数据的格式、坐标和投影系统,免去大量数据传递和重复数据处理工作,远程数据使用也非常方便。利用该技术研究数据集成模型,关键是分析影像与各类参考数据的特点,根据数据检查的应用需求确定数据用途,进而设计数据的集成处理与服务发布方法,以及异构服务的集成处理方法,最终为生产应用提供服务支持。图1给出了基于服务的全球地表覆盖遥感制图大数据集成模型。
全球30 m地表覆盖遥感精细制图涉及5类数据资料,数据总量达6 TB以上:① 多分辨率遥感影像及其元数据,其中直接用于分类的两期30 m Landsat影像近20 000景;② 已有地表覆盖数据,其中全球范围地表覆盖数据有6套(4套1 km、2套300 m),区域性30 m地表覆盖数据包含中国、美国、加拿大、欧洲等范围,此外还有全球或区域范围内单类型数据(如全球红树林数据、中国湿地数据)等;③ 辅助数据,包括全球生态地理分区数据、全球DEM、近5000篇地表覆盖参考文献等;④ 实地数据,指实地采集的样本、拍摄的照片,由项目组成员、专家或志愿者提供;⑤ 中间成果,中国区域全球30 m地表覆盖遥感精细制图项目的初步分类结果,由影像分类算法自动提取。在数据检查环节,这些数据主要用作参考数据,以判断中间成果是否正确,并发现存在的问题。在全球范围30 m尺度下,该过程需要大量人员参与,这些人负责不同任务区,可能分布在全国,甚至世界各地,传统单机环境难以支撑完成,需要借助有效的方法与工具以提高工作效率。
图1 基于服务的全球地表覆盖遥感制图大数据集成模型
Web服务是实现网络环境下地理信息共享与集成的有效手段。地理信息Web服务主要遵循开放地理信息联盟(OGC)的网络地图服务(WMS)、网络要素服务(WFS)、网络覆盖服务(WCS)和网络处理服务(WPS)规范,其中前三者是数据资料对外共享的主要渠道,而网络处理服务则是实现用户功能需求的有效手段。在基于Web服务的地表覆盖遥感制图大数据集成模型中,涉及的5类影像和参考数据资料分别被发布为5类数据服务。其中,影像服务、已有地表覆盖数据服务、辅助数据服务、中间成果服务主要用于数据浏览比较,这4类服务发布为WMS及在此基础上发展起来的网络地图切片服务(WMTS);实地数据服务涉及在线的编辑修改等操作,发布为WFS。在网络处理服务方面,从需要满足的功能需求出发,涉及的处理服务包括集成显示服务、数据分发服务、在线标注服务、信息挖掘服务、协同管理服务5类。集成显示服务包括同步、叠置、查询、定位、地理浏览等,数据分发服务包括数据的上传、下载、发布等,在线标注服务包括样本标注、错误标记等,信息挖掘服务包括比较、计算等,协同管理服务包括任务分配、通知/确认等。除了项目发布的服务外,其他研究团队或公司企业通过Internet还发布了大量的数据和处理服务,如天地图的影像和数据服务,Google Earth、Bing Map的高分辨率影像服务,Geo-Wiki发布的全球耕地覆盖图服务[11]等,这些服务作为外部服务为数据质量检查提供了丰富资源。
按照不同职责分工,参与人机交互质量检查的人员分为数据操作员、质量检查员、专家3类角色。数据操作员负责数据的修改完善;质量检查员负责检查中间成果中存在的错误,标注错误位置并提出修改建议;专家负责确认质量检查员难以确定的错误,或就本地地表覆盖情况提出建议等。3类角色可分布在不同地方,基于集成的数据与服务,借助在此之上开发的服务系统工作。
三、异构数据与服务的集成处理
全球地表覆盖遥感制图数据来源多样,数据格式、坐标系统、数据量和数据存储方式等各不相同,基于服务的异构数据集成即以服务的形式发布这些不同来源的数据,在服务层次上统一数据的投影、坐标系统,对用户屏蔽数据的格式、存储方式等。此外,项目组发布的服务与从项目外部引入的服务在接口定义、服务粒度等方面也存在较大差异,在全球应用上还存在不同客户端浏览器的适应性问题,需要对异构服务进行集成处理。图2给出了异构数据和服务的集成处理流程。
图2 异构数据和服务集成处理过程
为了达到最好的数据访问速度和数据可视效果,在发布为数据服务之前,需要根据不同数据的特征进行一种或多种处理,即数据预处理、数据粒度处理、重投影与格式转换、地图样式配置等。全球30 m Landsat影像约有20 000景、4 TB,数据量和数据文件的数量太大,影响访问速度。采用分区域拼接的方式得到合适的数据粒度,平衡数据文件数量与每个文件的数据量,同时考虑到可视效果,采用432和743两种方式对影像进行波段组合、色彩增强等预处理,最后经服务发布,形成若干网络地图服务。已有全球或区域地表覆盖数据的数据文件数较少,数据量在几百MB到几GB之间,无需进行数据粒度处理即可达到较好的访问速度,此类数据最大的问题是数据格式各不相同,坐标和投影系统差别较大,需进行格式转换、坐标投影系统转换,并进行地图样式配置,发布为网络地图服务。大部分辅助数据的处理方式与已有地表覆盖数据类似,地表覆盖参考文献例外,由于其需提高在线发布、编辑功能,因此发布为网络要素服务。中间成果数据采用与影像数据类似的处理方式,每一个类型、每一个区域发布为一个网络地图服务。实地数据采用在线方式添加和修改,发布为支持数据修改的网络要素服务。
由于底层空间数据模型与服务接口定义的差异,不同来源的地理信息Web服务通常存在显著的异构特征,在进行服务集成时需要进行适配处理[12]。在全球地表覆盖遥感制图应用中,用户的各种需求通过各种功能按钮映射到不同处理服务上实现,处理服务根据用户请求的数据范围、数据类型与处理要求将多种服务集成在一起,涉及的异构服务集成处理可分为接口定义适配、多服务集成处理、响应结果渲染等。接口定义适配主要是指不同来源的地理信息服务由于遵循不同的接口标准,如OGC标准、表征状态转移(REST)标准,或虽然遵循相同的接口标准但在接口实现上存在差异,或地表覆盖数据类型语义存在差异,需要建立各个服务接口之间的对应关系。不同的地理信息服务提供商在组织、发布服务时,对外提供的服务粒度大小,数据访问层级数也各不相同,如Google把全球影像作为一个服务提供,而项目组则把全球划分为6个区域。在响应全球地表覆盖遥感制图应用需求时,需要准确定位所需(原子)服务,在接口定义适配的基础上进行多服务集成处理,消除在服务粒度、数据层级数等方面的异构差异,对用户提供统一集成的服务。无论用户提出何种需求,服务器处理完成后其服务响应结果最终均要通过客户端(浏览器)渲染展示在用户面前。由于不同的浏览器使用的渲染方式不同,需要根据服务内容、功能需求与客户端浏览器等进行综合选取,最终达到满足用户需求的高效且有效的响应结果。
四、生产支持应用
在全球30 m地表覆盖遥感精细制图中,遥感自动分类算法生成的中间成果存在大量的错分或漏分现象。为了提高遥感制图的精度,必须利用各类数据资料,对中间成果进行人机交互质量检查,修改完善错分漏分类型。质量检查人员可以借助服务系统方便地使用各种数据资料,如比较项目完成的中间成果与已有地表覆盖数据是否一致,比较中间成果与分类影像、高分辨率影像是否一致,比较两期分类成果是否合理等。在这一过程中,针对不同类型的地表覆盖数据和使用的参考数据,可制定相应的数据检查规则。
图3所示为系统的主界面,左侧窗口为全球2010年432波段组合Landsat影像,右侧窗口为全球生态地理分区、中间成果数据的接图表与各类数据服务列表。数据服务采用灵活的图层管理形式,可在单窗口或平行窗口中组合叠加显示,用户无需考虑后台数据的格式与服务的粒度大小,系统根据用户请求自动进行服务组合与服务调用。功能服务按钮位于在界面左上侧,用户可以方便地进行数据质量检查、标注错误分类、修改完善地表覆盖分类数据等。
图3 应用服务系统主界面
图4所示为利用坡度数据检查水体合理性的例子。左侧窗口是2000基准年度Landsat 432波段组合影像,深色多边形区域是该年度水体中间成果;右侧窗口是利用90 m SRTM生成的坡度数据,浅色和深色区域分别表示坡度小于和大于5°。鉴于水体不可能存在于坡度大于5°的地区,虽然A、B区域在Landsat 432波段组合影像中呈现黑色,与水体影像特征类似,但其坡度大于5°,不应该存在水体,而已被提为水体的C、D区域坡度小于5°,它们均与规则相符。E区域在中间成果中被提为水体,但该区域坡度大于5°,不应该存在水体,为中间成果中错提的数据,应该被删除。
图4 利用坡度数据区分水体和山体阴影
检查人员发现中间成果的错误以后,利用系统提供的工具可以在线标注发现的错误。图5所示为系统标注的界面,E即为图4中判定的错提区域。在线标注的点发布为WFS服务,部分难以判断的数据可以单独注明,并将标注点数据推送给相应专家,请专家确认后,再将结果反馈给作业人员。作业人员可将发布的影像服务、标注的错误点导入本地的编辑软件,对标注错误的点进行修改和完善。
五、结束语
本文根据全球30 m地表覆盖遥感精细制图中面临的大数据使用问题,提出了基于Web服务的数据集成模型与数据集成处理方法,研发了应用系统并在项目中广泛应用。针对质量检查过程中频繁使用各类数据资料的特点, 利用本文提出的数据集成处理流程对数据进行处理并发布为服务,采用提出的数据集成服务模型开发了应用服务系统,为用户屏蔽了复杂的数据格式,避免了频繁使用带来的大量重复的数据传递、格式转换、数据裁切等问题,促进了参考资料的使用,提高了最终数据产品的精度。同时,基于互联网的应用系统使全球范围内专家参与的协同质量检查成为可能,提高了工作效率。
参考文献:
[1] VERBURG P H, NEUMANN K, NOL L. Challenges in Using Land Use and Land Cover Data for Global Change Studies[J]. Global Change Biology, 2011, 17(2): 974-989.
[2] HANSEN M C, LOVELAND T R. A Review of Large Area Monitoring of Land Cover Change Using Landsat Data[J]. Remote Sensing of Environment, 2012(122): 66-74.
[3] 陈军,陈晋,宫鹏,等. 全球地表覆盖高分辨率遥感制图[J].地理信息世界,2011(2): 12-14.
[4] GONG P, WANG J, YU L, et al. Finer Resolution Observation and Monitoring of Global Land Cover: First Mapping Results with Landsat TM and ETM+Data[J]. International Journal of Remote Sensing, 2013, 34(7): 2607-2654.
[5] 陈利军,陈军,廖安平,等. 30 m全球地表覆盖遥感分类方法初探[J]. 测绘通报,2012(S1):357-360, 398.
[6] LU D, WENG Q. A Survey of Image Classification Methods and Techniques for Improving Classification Performance[J]. International Journal of Remote Sensing, 2007, 28(5): 823-870.
[7] 何超英,廖安平,陈志刚,等. NDVI时间序列在全球耕地提取中的应用[J]. 地理信息世界,2013(2):66-69.
[8] 王树良,丁刚毅,钟鸣. 大数据下的空间数据挖掘思考[J]. 中国电子科学研究院学报,2013,8(1): 8-17.
[9] 周顺平,魏利萍,万波,等. 多源异构空间数据集成的研究[J]. 测绘通报,2008(5): 25-27, 39.
[10] 申利民,李志伟. 面向服务的柔性异构数据集成模型研究[J]. 燕山大学学报,2013,37(2): 117-123.
[11] FRITZ S, MCCALLUM I, SCHILL C, et al. Geo-Wiki: An Online Platform for Improving Global Land Cover[J]. Environmental Modelling & Software, 2012(31): 110-123.
[12] 武昊,廖安平,彭舒. 面向服务契约的地理信息Web服务自适应集成方法研究[J]. 测绘通报,2012(1): 74-77.