生态环境数据资源集成与共享服务系统实现

张雪，申文明 ，王昌佐，孙中平，初东，付卓

环境保护部卫星环境应用中心，北京 100094

2000年国家环境保护总局组织开展了全国生态环境遥感调查，首次全面获取了全国生态环境空间信息。其后的十年我国经历了经济高速增长，城市化进程加快，工业化和现代化水平迅速提高，基本建设突飞猛进，开发规模空前，自然灾害频发，人类干扰和气候变化胁迫加大等阶段，发展速度远大于历史其他时期。面对十年来生态环境的巨大变化，为全面掌握生态环境及其变化状况，更好地满足国家发展的战略需求，探索新形势下的中国环保新道路，由国务院批准，环境保护部和中国科学院联合实施了“全国生态环境十年(2000—2010年)变化遥感调查与评估项目”(简称“生态十年项目”)工作。对生态环境十年的调查产生了各类数据、产品、成果及为开展该项工作所需的其他各类支撑数据，为实现海量数据的综合展现、成果交换、分发管理等功能，提供数据共享服务的工作非常重要，因此，生态环境数据的共享服务是“生态十年项目”中非常重要的一个环节。

如何实现面向“生态十年项目”的环境遥感数据的共享服务，笔者在分析生态十年环境数据共享服务技术方案的基础上，明晰环境数据共享服务的集成、共享、发布与信息服务需求，利用计算机、GIS、数据库和现代通信等技术，通过数据综合分析、整理和集成，建立了生态十年环境遥感数据库，建成数据集成与成果发布平台，实现数据成果的共享、发布与信息服务，以期为“生态十年项目”及后续定期开展生态监测评估工作提供参考。

1 共享服务数据库设计

1.1 数据类型

该系统在数据存储上不但涵盖了常规信息管理系统所涉及的数据类型，同时还包括了文本、图片等非结构化数据及地理信息数据等空间数据。因此在设计方法上先对数据类型进行归纳，针对不同的数据类型进行多元化设计，以便保证数据库平台最终的数据完整性、准确性、扩展性。系统从数据类型上主要分为结构化与非结构化两大类，地理信息数据是结构化数据中较为特殊的一种类型，对其要采用单独的设计方法。

共享服务系统集成数据内容可分为系统通用数据库、业务辅助数据库、空间数据库、文件数据库和业务数据库(表1)。

表1 共享服务系统集成数据内容Table 1 Data content of data share system

1.2 数据架构总体框架

“生态十年项目”调查数据主要包括全国生态环境背景数据集、全国生态遥感数据集和全国生态调查成果数据集等三大类数据集。

数据架构总体框架标识了共享服务系统中的数据流向，将数据的存储和管理与实际用途分开(图1)。

图1 系统数据架构Fig.1 Data architecture diagram of data share system

数据架构总体框架分为数据采集与处理、存储与管理、数据应用3 个层次，具体内容为:1)数据采集与处理描述了数据在内外网分别通过不同的来源，系统通过接收外部系统交换的数据，进入对应的内外网数据库系统;2)数据存储与管理描述了获取的数据在内网和外网的数据分开存储，系统间定期或不定期手动、自动批量数据同步;3)数据应用描述了生态环境遥感调查成果服务共享门户，实现多尺度、多形式的成果发布，基于权限管理，实现调查数据及成果的快速分发和综合服务。服务内容包括数据发布、数据检索、数据下载等。

2 共享服务系统结构与功能

2.1 系统总体架构

共享服务系统从整体结构上可分为内网和外网2 个子系统。从数据的来源考虑，系统的设计要充分考虑成果数据的集中改造与未来数据的更新上报。从数据的应用服务考虑，系统建设要充分考虑与其他应用服务的数据交换接口和信息服务接口。调查评估成果数据能够按照与其他应用服务的需求进行汇交，能够为其他相关部门提供快速的、多样的数据服务，同时考虑利用其他应用服务提供的数据［1-4］。共享服务系统体系结构如图2 所示。

图2 共享服务系统体系结构Fig.2 Architecture of data share system

2.2 系统功能

共享服务系统是在门户网站上实现“生态十年项目”成果的展现，基于权限管理，实现多尺度、多形式的成果发布，提供多种共享服务，实现成果数据的分发和下载。主要功能包括共享门户、数据成果展示、数据成果分发和数据交换。

2.2.1 共享门户

门户网站作为系统Web 服务的总界面、总窗口，通过单点登录用户认证，实现各类生态环境调查评估成果数据和其他业务信息集成与整合，达到信息资源的全方位共享。主要功能包括界面集成、用户管理、单点登陆、个性化服务、集成开发环境、预定义的风格外观以及Portlet 模版等。

2.2.2 数据成果展示

通过门户网站的形式对“生态十年项目”调查数据成果库中的图件、数据集、成果报告的查询和浏览，同时需要对应用分析的结果数据以及统计分析的统计表、统计图、专题图等统计成果采用多种综合的方式来进行展现。对不同专题、不同时期生态环境数据可进行不同形式的对比分析，支持叠加对比、多窗口并列对比、历史回溯、卷帘、闪烁、设置透明度等多种方式进行对比查看，支持二三维一体化浏览，并且能够对环境监测统计数据、文档数据、照片数据的关联展现。

2.2.3 数据成果分发

主要通过网站的方式实现成果数据的共享服务，包括查询、浏览、申请、审核、下载(或离线分发)、用户访问、权限控制等功能。系统需要利用日志记录用户、访问量、以及数据分发和数据服务的内容、对象、时间、数据量等，可以对数据服务情况进行查询、浏览、统计汇总和输出。

2.2.4 数据成果交换

实现内外网生态评估成果数据的交换。主要为数据成果网上汇集和下发提供支持，负责野外调查/核查数据、成果的内外网交换，支持对数据的存储格式与交换格式的转换。共享服务系统总体功能结构如图3 所示。

图3 共享服务系统功能组成Fig.3 Functional component of data share system

3 关键技术研究

3.1 组织与管理技术

生态环境共享服务系统涉及环境遥感数据的综合展现，环境遥感数据具有多层次、多专题、多尺度、多形态等特点，包括对基础地理信息数据、生态十年业务应用专题数据等多种数据类型与来源。系统建设要充分考虑数据源的多样性、复杂性，空间数据模型可以进行灵活配置，同时通过多种优化手段提高对数据存储、数据检索、数据加载以及数据浏览的效率，实现对多层次、多专题、多尺度、多形态地理空间信息的高效组织与管理［2，5-10］，具体措施包括:

(1)在数据的管理上，系统采用GeoDatabase 数据模型，进行各类数据统一存储、管理与访问。通过在存储、数据库服务器、数据库、中间件、应用系统等多个方面的优化设计来保证系统的存储、管理与访问效率。

(2)对于跨带数据，矢量全部统一到经纬度坐标系下，影像则可以按带区、按比例尺进行分层分区管理。

(3)矢量数据采用要素集的方式进行管理，栅格数据根据数据应用形态的不同，大范围连续影像采用RasterDataset 方式管理，分幅影像则可采用RasterCatalog 方式进行管理。不论何种形式，矢量与影像都可以在客户端通过统一的接口进行访问。

(4)采用空间索引技术实现空间数据的快速检索与分析。该技术包括格网大小与格网索引级别2个方面，应根据数据特点的不同，设计最优的空间索引格网大小与索引级别。

(5)在系统设计上，采用逻辑对象和物理对象分离的方式。通过缜密的整体规划，从各类数据的分层结构、相关属性、编码体系等物理对象中，抽象归纳逻辑数据组织与表达的模型，从而可以适应未来数据种类的扩充而动态扩展。

(6)系统应用层的软件编码将针对系统的逻辑数据组织模型来进行，而不是直接操作物理对象;这些数据表达模型是可以动态编辑和扩充的;通过系统维护工具，用户可以可视化地动态调整系统的配合信息，从而改变系统的数据组织模型，适应不同的需求。

(7)通过逻辑数据组织模型的设计和应用，即使数据组织发生变化，系统代码也无需做任何修改，使得整个系统可以具备开放、易扩展、易维护、工具化等优点。

总之，通过上述多种手段的合理综合应用，可以很好地实现多层次、多专题、多尺度、多形态地理空间信息的高效组织与管理［5］。

3.2 CPU 和并行查询方式的利用

(1)尽量利用多个CPU 处理器来执行事务处理和查询。一个数据库的访问工作可以用多个CPU的并行技术来相互配合完成，加上分布式计算应用已经相当普遍，应该将数据库服务器和应用程序的CPU 请求分开，同时采用将CPU 请求从一个服务器移到另一个服务器。对于多CPU 系统尽量采用并行查询方式进行数据库操作，提高数据库访问效率。

(2)使用并行查询方式进行数据查询。使用并行方式不仅可以在多个CPU 间分配SQL 语句的请求处理，当所查询的数据处于不同的磁盘时，一个个独立的进程也可以同时进行数据读取。

(3)使用优秀工具进行大数据量的装载。使用该方法进行数据装载时，程序创建格式化数据块直接写入数据文件中，不要求数据库内核的其他I/O［5，11-13］。

3.3 利用数据的后台处理方案减少网络流量

(1)合理创建临时表或视图。根据需要在数据库基础上创建新表或视图，对于多表关联后再查询信息的可建新表，对于单表查询的可创建视图，这样可充分利用数据库的容量大、可扩充性强等特点，所有条件的判断、数值计算统计均可在数据库服务器后台统一处理后追加到临时表中，形成数据结果的过程可用数据库的过程或函数来实现。

(2)充分利用数据库打包技术。利用数据库描述语言编写数据库的过程或函数，然后把过程或函数打成包，在数据库后台统一运行即可。

(3)运用数据复制、快照、视图，远程过程调用技术。数据复制，即将数据一次性复制到本地，以后的查询就使用本地数据，但是只适合那些变化不大的数据。使用快照也可以在分布式数据库之间动态复制数据，定义快照的自动刷新时间或手工刷新，以保证数据的引用参照完整性。调用远程过程也会大大减少因频繁的SQL 语句调用而带来的网络拥挤。

(4)栅格数据是按网络单元的行与列排列、具有不同灰度或颜色的阵列数据，其文件格式大多表现为由像素集构成的图片文件。按照需要的分层精度，对图片中的像素进行分组，并以这些像素组为依据对数据进行切片，在不增加数据总量的情况下，达到数据分割的目的。将数据切片进行有序的叠加，能获得各层级的栅格图层数据，从而实现了数据分层。由于数据的分层是基于切片的叠加来实现的，服务器群只需将各层数据切片发送到客户端，地学浏览器就能对这些切片进行像素叠加，并经过一定的插值处理来获取所需的服务数据。基于像素分组切片的栅格数据分层方法，在不增加数据量的前提下实现了栅格数据分层，并将数据叠加放在地学浏览器进行，不但缩短了用户的下载等待时间，而且充分利用了日益增强的用户计算机性能。

3.4 业务建模技术

生态环境数据共享服务系统利用生态环境遥感调查成果服务共享门户，在遵循数据共享规范与接口标准的前提下，基于权限管理，向相关部门提供全国生态环境背景数据集、全国生态遥感数据集、全国生态环境十年变化调查成果数据集等调查数据及成果的快速分发和综合服务。作为系统Web 服务的总界面、总窗口，门户网站通过统一用户登录，提供统一的业务界面和结构更清晰、内容可定制的信息服务，实现各信息资源、各业务应用的集中与整合，达到信息资源的全方位共享。

共享服务系统属于复杂系统，数据将涉及到全国生态环境背景数据集、全国生态遥感数据集、全国生态环境十年变化调查成果数据集各组成部分的复杂应用分析。其中成果数据传输的真实性和实时性更显得尤为重要，成果数据传输应以共享资源之间协作的业务流程为载体，在共享业务流程规范的前提下才能进行成果数据的抽取、优化与设计，以确保成果数据的真实和有效。

因此，在数据库建设过程中，采用一种符合国家地理信息平台标准与规范的复杂系统工程分析方面的业务建模方法和工具作为辅助支撑，完成生态十年数据资源的梳理，采用标准化数据元设计，避免数据库之间产生数据隔断，以及不同的数据格式引发的重复建设［14］。

并且，需要采用相对应的模型管理平台进行统一管理，该平台应符合第三代网络技术的应用，即信息技术的最大化共享，组合服务和高效率开发，互操作性、分布异构、人性化、适配性软件的开发，软件信息资源库的建设管理、服务、交易等要求。符合基于SOA 架构开发的应急业务模型资源管理体系，体现模型的资源化、业务化和服务化理念(图4)。

图4 业务模型驱动的SOA 服务架构Fig.4 SOA service business model driven architecture diagram of data share system

该架构为B/S 结构，由业务模型工作站和业务模型应用服务器构成。其核心模块是制图模型引擎(模型解析器)以及基于成果分析模型内容管理的资源目录，驱动数据化模型产生模型资源目录、环境数据元素目录、文档目录、信息资源目录服务。需要达到的最终目标是对全国生态环境背景数据集，全国生态遥感数据集，全国生态环境十年变化调查成果数据集等模型的可获取、可加工、可存储、可查询、可发布。实现分析模型是体系管理的有效手段和业务导图，可以展现、统计、分析生态十年变化特征等评价十年资源质量变迁成果。

4 系统实现

共享服务系统采用JAVA SSH 框架，即Struts +Spring+Hibernate 的组合框架模型进行开发。通过Struts 的MVC 设计模式对业务逻辑进行清晰的表达［3，15-18］。利用Spring 的IOC 和AOP 特性使系统模块功能在最大限度上解藕。对象持久化采用Hibernate 技术，分为表现层、业务逻辑层和数据服务层，这3 层体系将业务规则、数据访问及合法性校验等工作放在中间层处理。客户端不直接与数据库交互，而是通过组件与中间层建立连接，再由中间层与数据库交互。表现层采用JSP 技术，中间层采用Spring+Hibernate 进行联合管理，为了将控制层与业务逻辑层分离，又细分为:

(1)Web 层，就是MVC 模式里面的“C”(controller)，负责控制业务逻辑层与表现层的交互，调用业务逻辑层，并将业务数据返回给表现层作组织表现，该系统的MVC 框架采用Struts。

(2)Service 层(业务逻辑层)，负责实现业务逻辑。该层以DAO 层为基础，通过对DAO 组件的正面模式包装，完成系统所要求的业务逻辑。

(3)DAO 层，负责与持久化对象交互。该层封装了数据的增、删、查、改的操作。

(4)PO 层，持久化对象。通过实体关系映射工具将关系型数据库的数据映射成对象，很方便地实现以面向对象方式操作数据库，该系统采用Hibernate 作为ORM 框架。

Spring 的作用贯穿了整个中间层，将Web 层、Service 层、DAO 层及PO 层无缝整合，其数据服务层用来存放数据。系统开发框架如图5 所示。

图5 系统开发框架Fig.5 The development frame of data share system

具体部署时，共享服务系统采用B/S 模式，部署在内网和外网，包括1 台数据库服务器(小型机)、1 台外网共享服务器(PC 机)和1 台外网GIS 服务器(PC 机)，通过光纤交换机与外网数据存储设备(盘阵)连接;内网包括1 台内网共享服务系统服务器(PC 机)，1 台GIS 服务器，内网数据库由数据管理分系统统一管理。内网与外网由安全网闸进行网络隔离。

5 应用与展望

生态环境数据共享服务系统通过将生态环境调查形成的生态系统分类数据、生态参数数据、生态系统评估数据和其他辅助参考数据等海量数据进行成果转化与集成管理，形成对多源、多类型、多尺度数据成果的综合管理与服务共享能力，实现了对国家生态管理和环境科研、监测、规划等领域的全方面数据支持，也为进一步推动环境保护数据共享和信息公开提供了基础平台。项目实施过程中，参与“生态十年项目”的国家和地方100 余家科研技术单位和32 个省级环保部门通过该系统及时查询、浏览、获取和下载各类数据成果，实现了项目数据成果的有效共享和及时应用;同时，科研人员、社会公众通过该系统，及时、全面地了解我国生态环境总体状况和变化趋势，推动了相关领域研究的开展，促进了公众生态保护意识的不断提升。

在系统研发和服务中发现系统还存在一些不足之处，主要体现在:系统服务内容以集成的固定数据产品为主，缺少对服务用户的主动响应和产品定制;展现形式比较单一，偏重技术人员使用;服务范围和渠道比较窄，还有很大应用空间等。随着生态保护工作不断深入，云服务、三维可视化等技术不断创新和进步，对生态环境数据的共享和服务需求也会不断提高。

提出今后的发展方向:1)结合云服务技术，集成生态环境综合分析、评价功能，实现基于轻客户端的需求实时响应和产品定制服务;2)借鉴三维可视化、虚拟现实等技术，加强展现形式的丰富性和生动性，更好地为社会公众服务;3)通过环境保护专网和其他服务方式，将生态环境数据成果与环境影响评价、监察执法、环境质量评价和绩效考核等环保重点工作更紧密结合起来，促进数据成果的更广泛和深入的应用。

［1］李琦，易善桢，承继成. 空间信息基础设施的体系结构研究［J］.遥感学报，2000，4(2):161-164.

［2］CAULDWELL P，CHAWLA R，CHOPRA V，et al. Professional XML Web Services［M］.Birmingham:Wrox Press Ltd，2001.

［3］李松，齐文华.面向数据的系统集成架构［J］. 计算机应用，2012，32(增刊2):85-88.

［4］SHAO Z F，LI D R. Design and implementation of serviceoriented spatial information sharing framework in digital city［J］.Geo-spatial Information Science，2012(2):104-109.

［5］覃雄派，王会举，李芙蓉，等. 数据管理技术的新格局［J］. 软件学报，2013，24(2):175-197.

［6］龚红焱，刘奕明，陈涵生. XML 与数据库结合技术的探讨［J］.计算机工程，2005，31(4):114-116.

［7］邓小炼，苏理宏，王锦地，等.基于元数据和快视图的遥感图像库管理与发布［J］. 遥感技术与应用，2002，17(5):255-258.

［8］李军，刘高焕，迟耀斌，等.大型遥感图像处理系统中集成数据库设计及应用［J］.遥感学报，2001，5(1):41-45.

［9］杜晓，晋佩东，郭大海，等.遥感影像快速入库和元数据提取系统的研究［J］.国土资源遥感，2006，18(3):80-84.

［10］王爱玲，李京，刘素红，等. 多尺度遥感影像数据库管理的设计与实现［J］.计算机工程与应用，2007，43(3):227-230.

［11］杜方，陈跃国，杜小勇.RDF 数据查询处理技术综述［J］.软件学报，2013，24(6):1222-1242.

［12］王金杰，周海芳.基于语义的遥感影像数据检索关键技术研究［J］.计算机与数字工程，2012，40(8):48-50.

［13］李同钧，岳丽华，冯朝阳，等.RSID:一种面向遥感应用的数据库系统［J］.遥感技术与应用，2005，20(2):299-303.

［14］KENCHINGTON E，COGSWELL A，LIRETTC E，et al. A geographic information system (GIS) simulation model for estimating commercial sponge by-catch and evaluating the impact of management decisions ［J］. Canadian Science Advisory Secretariat Research Document，2010，40:46.

［15］BERRICK S W，LEPTOUKH G，FARLEY J D，et al.Giovanni:a Web Service workflow-based data visualization and analysis system［J］. IEEE Transactions on Geoscience and Remote Sensing，2009(1):106-113.

［16］杨超伟，李琦，承继成，等. 遥感影像的Web 发布研究与实现［J］.遥感学报，2000，4(1):71-75.

［17］王连备，贲进.基于SOA 的遥感影像共享架构研究［J］. 武汉大学学报:信息科学版，2010，35(11):1314-1317.

［18］ALONSO G，CASATI F，KUNO H，et al.Web Services:concepts，architectures and applications［M］. Berlin and Heidelberg:Springer-Verlag Berlin and Heidelberg GmbH ＆ Co. K，2010:256-279. ○