遥感信息模型在线可视化定制和自动化计算

冉全， 李国庆， 于文洋， 张连翀

(1.中国科学院遥感与数字地球研究所数字地球实验室; 北京 100094； 2.中国科学院大学，北京 100049;3.海南省地球观测重点实验室,三亚 572023)

遥感信息模型在线可视化定制和自动化计算

冉全1,2， 李国庆1,3， 于文洋1,3， 张连翀1,2

(1.中国科学院遥感与数字地球研究所数字地球实验室; 北京 100094； 2.中国科学院大学，北京 100049;3.海南省地球观测重点实验室,三亚 572023)

随着可获取遥感数据的增加和网络技术的飞速发展，遥感数据的在线自动一体化服务需求日益增长，而当前尚无主流的基于服务链的遥感数据在线可视化及自动化计算平台。该文基于B/S构架，应用工作流技术，提出了一种基于服务链的集数据查询服务、模型定制服务及信息发布服务于一体的遥感信息模型(remote sensing information models，RSIM)在线可视化定制和自动化计算的解决方案，使用户在友好的Web界面中可以一体化地按需完成从数据选择、模型设计到模型实现的动态过程。基于遥感数据各处理模块的可复用性，快速构建并实现了RSIM，是对遥感数据在线可视化定制和自动化服务的一次有益尝试。

服务链； 遥感信息模型(RSIM)； 可视化定制； 自动化计算； 工作流

0 引言

遥感数据的处理服务已经逐步转向社会化和高级定制化[1-3]。遥感信息模型(remote sensing information models，RSIM)是一种在遥感数据和遥感信息间建立联通桥梁的科学分析方式，如何实现遥感信息模型的高级定制及自动化计算对于遥感数据处理的社会化服务具有重要的研究意义[4]。而在遥感数据到遥感信息转变的过程中，很多处理模块均具有可复用性，按照遥感信息应用需求，数据处理可由多个处理模块组合而成，为RSIM的快速社会化定制提供了可能。目前，实现一个RSIM的常用做法是用户独立实施各处理模块[5]。但在缺少共享资源的情况下，对各处理模块的反复实施，极大地降低了处理效率，是对人力物力等资源的重复浪费[2]。面对这种情况，如何实现各处理模块的资源共享，同时自动化地满足用户的需求，是亟待解决的一个问题。解决问题的关键在于： 基于资源共享，通过服务链进行分布式资源组织和调度，向用户提供友好、高效的专业遥感影像处理及应用服务。

本文针对以上问题，在网络环境下，根据共享的理念，通过工作流将分布式的计算资源、数据资源及数据处理模块等按需组织成特定顺序执行的服务链，来实现各部分资源间的链接和协作。与此同时，用户可以通过一个直观易操作的可视化流程定义工具，在浏览器的可视化界面中进行RSIM工作流程的按需组织，定制用户所需的RSIM服务链，通过采用自动化计算服务引擎实现该定制服务链的自动计算，并对其运行状态进行实时监控管理。

相较于C/S构架的系统，本研究基于B/S构架，设计并实现了一个基于服务链的RSIM在线可视化定制及自动化计算平台，用户通过浏览器就能一体化的实现RSIM可视化定制、自动化计算及实时监管等功能。

1 技术流程与组织结构

1.1 技术流程

可视化定制以“所见即所得”的思想为原则，用户可通过可视化的界面来构建各个数据处理模块的执行流程[6]。可视化的界面有利于用户更好地理解和设计RSIM的执行流程，分析流程中存在的问题。另外，将可视化技术引入到RSIM的设计中不仅可以使遥感数据处理更加灵活，而且大大提高了数据处理模块的可复用性[7]。在实现单个处理模块功能的同时，还能通过组织已有的处理模块来实现RSIM工作流程的构建，从而降低各处理模块的编写复杂度，提高模型的实现效率。基于服务链的RSIM可视化定制和自动化计算流程如图1所示。

图1 RSIM在线可视化定制和自动化计算流程

用户可以在线查看已注册可用的遥感处理模块并可根据应用需求进行模块选择，如预处理、参数反演、格式转换、数据拼接等。然后通过可视化编辑界面进行模块流程组织和必要的设置，包括参数设置及计算方式的设定。用户定制好服务流程后，选择输入数据，就可以向服务器端提交模型工作流程的处理请求； 服务器端在接受请求后对请求进行解析，通过自动化计算服务引擎进行任务调度和处理； 最后将处理结果以在线可视的方式返回给用户，且提供下载地址供用户下载使用。

1.2 RSIM服务链组织结构

RSIM服务链是对RSIM业务流程中所需的分布式资源进行动态链接，并通过工作流进行全部或部分自动化计算。即根据设定的规则，将模型分解为一系列的处理模块，调用所需资源，将文件、信息或任务从一个参与者传递到另一个参与者依次执行[8]。首先需要按照模块化的思想，针对现有的通用且独立的遥感数据处理模块，将其统一封装成标准化模块，把模型中每一个处理模块都看成是模型的一部分，模型是一个模块化的结构； 再通过工作流将不同的标准化模块按照特定顺序进行链接组织成RSIM的服务链，其组织结构如图2所示。

图2 RSIM服务链组织结构

用服务链组织RSIM，最主要的是把可共享的数据和算法资源发布为标准化的服务后进行链接使用，具体组织结构大体可以分为3部分：

1)处理模块的获得和使用。在服务链组织前，根据用户提供的处理模块和输入输出接口描述，将其封装为标准化资源，再发布为可执行的计算服务，在注册中心进行注册并形成处理模块描述文件，供工作流调度使用。

2)RSIM的组织。从注册中心获取所有已注册可用的处理模块列表和接口描述信息，根据模型所需，将所需处理模块按照指定顺序进行链接，并自动生成模型描述文件。该文件是自动化计算服务引擎进行模型加载的重要文件。

3)RSIM的运行。自动化计算服务引擎根据模型描述文件加载模型，将资源组织成服务链，并自动进行所需服务和计算资源的调度，同时通过文件系统进行后台硬件设备及数据资源的调度。

2 关键技术及其解决方案

针对RSIM在线可视化服务链定制的流程和RSIM服务链组织结构，本文分析了其中的关键技术点及其解决方案。

2.1 可视化定制的图形界面

RSIM的可视化定制是指用户可以通过可视化界面，将遥感处理模块按照执行顺序组织成RSIM，并生成可供自动化计算服务引擎调用的模型描述文件。其中，可视化界面中最关键的技术就是对流程元素的创建。RSIM在线可视化定制的Web界面中，用户每定义一个流程，都会自动生成相对应的流程元素，可分为活动元素、起始元素和处理模块元素3类，并对相应的处理模块接口进行配置与链接。其具体说明见表1。

表1 流程元素的分类表

这3类流程元素是通过JointJS图表库来进行创建的。JointJS是用于图表和图形的可视化和交互的现代HTML5 JavaScript库。可以被用来创建静态图及完全交互式绘图工具和集成开发工具，也可用来方便地创建各种可视化工具。其事件驱动机制与MVC架构的自然结合，使JointJS易于与各种后端技术相结合。

以植被干旱监测模型为例,该模型使用MOD09A1数据，利用归一化水体指数(normalized difference water index，NDWI)来监测旱情。可视化定制界面如图3所示，从左部开始，沿箭头顺序，依次调用处理模块。首先，通过数据选取页面选择模型输入数据File1，通过向服务器发起请求，获取文件File1(wget)，然后调用处理模块AWI接口，进行干旱指数反演，再将结果文件转换成.tif格式并进行多幅图像镶嵌处理(GeoMosaic)，接着进行分级着色(color)和坐标转换(translate)，生成可在Google Earth上显示的.kml格式的处理结果，同时将结果返回至Web页面，供用户在线查看。图中的Start，Complete和End为模型运行的状态，通过自动化计算服务引擎进行监控。除了这几种状态外，还有Running,Waiting及百分比状态。由此可见，使用RSIM在线可视化定制不仅可以很方便地描述RSIM运行流程，而且还可以实时了解模型运行情况。

图3 植被干旱监测模型可视化界面

2.2可视化定制的流程

在可视化图形界面中，RSIM定制主要是通过与服务器端交互，来获取已注册可用的处理模块，然后完成对所需处理模块的执行顺序及相邻模块间的参数传递关系设定。

针对参数传递问题，采取用户手工选择上一步骤处理模块执行后输出参数与当前步骤处理模块的输入参数间的对应关系，要求每个输出参数至少对应于下一步的一个输入参数，并且要保证该输出参数和对应输入参数的数据类型相同，确保处理模块接口在数据类型上的匹配。在定制中需要选取每一步的处理模块，然后在完成流程顺序组织后对传递参数进行设定，最后流程定制完成会自动生成工作流描述文件，被用于后续自动化计算服务引擎解析。其流程如图4所示。

图4 RSIM可视化流程定制

2.3 模型描述文件

用户在可视化定制的图形界面中定制的RSIM，需要以某种形式化方式来进行描述和存储，即需要一个相应的可以被人和机器理解的描述性流程文件。这个描述性流程文件就是本文中所定义的可被自动化计算服务引擎解析的模型描述文件。

本文中使用Karajan的规范语言来生成可被该自动化计算服务引擎所解析的XML文件[12]。该XML文件用来描述RSIM各处理模块的调用接口、参数和调用顺序，从而形成一个RSIM的可执行工作流程。该XML文件即模型描述文件，其详细描述如图5所示。

图5 模型描述文件

模型描述文件中主要包含2部分信息： 各处理模块信息和处理模块运行顺序结构信息。处理模块信息主要包括处理模块的名称、调用接口及其所需参数，通过“set”标签来设置，“provider”属性用来指定处理模块可执行程序的位置； 处理模块运行顺序结构信息主要是处理模块运行及其方式设置，处理模块运行通过“execute”标签设定，由“sequential/parallel”标签来控制其运行是否并行处理，其执行顺序是在“sequential/parallel”标签中按照“execute”标签从上到下的顺序执行，“sequential/parallel”标签可嵌套使用。

2.4 自动化计算服务引擎

用户完成所需的RSIM定制后，系统会自动生成该模型的模型描述文件。为了对该模型文件进行解析和动态执行，引入了工作流引擎——Java CoG Karajan，其主要目的是根据模型描述文件，实现RSIM计算的实例化。

Karajan工作流引擎提供了定义、组织、映射和执行工作流程的功能，能轻松表达并发性和执行大规模计算任务，且其对于XML脚本语言有良好的支持，同时具备良好的跨平台的特性[9-11]，通过该引擎可以实现数据传输、任务提交、自动执行、监控和管理用户提交的计算任务，其结构如图6所示。

图6 自动化服务引擎结构

该自动化服务引擎负责工作流程执行中部分或全部运行控制。主要功能有:

1) 解析流程定义。根据模型描述文件进行流程解析，获得处理模块的调用地址及参数。

2) 创建、刷新、暂停和终止流程实例。根据用户需求，对于模型的各个模块可以进行创建、刷新、暂停和终止操作。

3) 维护运行过程中工作流产生的相关数据，并进行数据传递。在服务链整个运行过程中，自动进行数据传递，并提供检查点、日志等多级容错机制。

4) 监控和管理工作流运行过程。对于流程中的每一模块的运行状态进行动态监管。

2.5 系统架构

针对以上的关键技术的解决方案，结合RSIM的特点，提出了基于服务链的RSIM可视化定制的系统架构。系统自上而下可分为3层： 应用层、业务层和资源层，如图7所示。

图7 系统架构图

资源层提供计算资源和数据资源，主要采用分布式架构存储遥感数据及数据处理模块，并提供用于计算服务的高性能计算设备。

业务层主要是对数据处理模块进行标准化处理，并将数据和标准化后的处理模块发布为服务，通过自动化服务引擎进行模型的计算和管理，是对模型的实例化。

应用层(用户界面)主要是用户在Web界面按需选择相应的处理模块来定制RSIM，也可以监控模型运行流程及管理已提交的任务。

3 应用实例

本文通过工作流引擎将分散的遥感数据处理算法进行集成和组织，把较为抽象的RSIM服务链转换为具体的资源调度过程和可执行的工作流。在该转换过程中，主要是以友好的Web界面的形式为用户提供了直观、便捷、易用、高效的工作流程组织方式； 并采用CoG Karajan引擎实现了模型描述文档的生成和解析，完成了从计算资源选择、模型描述文档生成、服务链组织到RSIM工作流执行的一体化处理流程。

以全球植被变化监测模型为例，用户定制的模型工作流如图8所示。

图8 植被变化监测模型的工作流

用户在运行该模型时，首先通过Web页面，根据时间范围选取模型输入数据，该模型使用GIMMS AVHRR NDVI产品数据，空间分辨率为8 km，再通过自动化计算服务引擎进行计算。在计算过程中，用户可以在Web页面中查看工作流的运行流程及运行状态。运行结果以.tif和.kml格式输出。全球植被变化监测模型运行结果如图9所示，直观地反映了2001—2006年1月上旬全球植被的覆盖情况。

(a) 2001年 (b) 2002年 (c) 2003年

(d) 2004年 (e) 2005年 (f) 2006年

图9 2001—2006年1月上旬全球植被覆盖情况

Fig.9 Global vegetation coverage in early January from 2001 to 2006

在计算前，该图像数据中除水体和无效值的DN值已被拉伸到[-1 000, 1 000]这个范围，水体值为-10 000，无效值为-5 000。本文将该图像数据的NDVI值归一化到[-1, 1]范围内，并根据阈值进行了图像分级着色处理。其中： 当NDVI值为正值时，NDVI值越大，表明植被覆盖度越大，NDVI值均为0时，一般为裸土地(没有植被或植被覆盖度极低)，设0.7以上为高覆盖度植被区，0以下为水体，在图中不显示。

图9中每一副影像的源数据大小约为19.7 M，中间产生数据量约为79 M，总处理时间均在1 min以内，用户只需在线进行待处理影像选择，即可一体化的快速生产所需数据。而传统的模型处理过程用时较长，需要在自行获取遥感数据的前提下使用ENVI或PCI来预处理数据和建模计算，并使用ArcGIS对结果影像做可视化处理。即用户在不编程实现的情况下，需要至少熟悉2种图像处理工具，而在处理大量数据时，用户需要花费大量时间和精力进行多次重复性的手动操作。与此相比，基于Web的RSIM可视化定制系统实现了RSIM从定制到实现的一体化过程，避免大量重复性的工作，优化了可视化定制界面及流程，有效提高了遥感数据处理及自动化计算的效率。

4 结语

本文针对遥感处理模块的通用特征，为避免用户在通用处理模块上花费过多人力、物力资源，通过分析基于服务链的RSIM可视化定制和自动化计算过程中的关键技术，采用Web交互式界面和Karajan工作流实现了RSIM的定制和基于服务链的自动化计算，且得到了实际应用和实施，在资源共享及模型自动化处理方面具有一定的优势，是对遥感影像在线自动化服务的一次有益尝试。

对于基于服务链的RSIM可视化工作流定制和自动化计算，还有可改进和进一步发展的地方： ①分布式多源异构数据的自动化获取，方便用户从数据选择到运行模型的一体化进程的实现； ②RSIM自动化接入接口的提供，实现用户所提供的处理模块的标准化接入； ③在云环境下，如何实现分布式资源的调用及大规模数据计算。

[1] Zeng Y,Li G Q,Guo L X,et al.An on-demand approach to build reusable,fast-responding spatial data services[J].IEEE Journal of Selected Topics in Applied Earth Observations and Remote Sensing,2012,5(6):1665-1677.

[2] 张哲.基于海量遥感数据的集群并行处理技术研究与应用[D].郑州:河南大学,2012. Zhang Z.Parallel Processing Technology Research and Application Based on the Cluster of Massive Remote Sensing Data[D].Zhengzhou:Henan University,2012.

[3] 杨会元,冯钟葵,李山山.基于Web的遥感影像在线分类实现技术研究[J].遥感信息,2015,30(1):101-106. Yang H Y,Feng Z K,Li S S.Implementation of online remote sensing image classification[J].Remote Sensing Information,2015,30(1):101-106.

[4] 孙胜涛.遥感信息模型的层次化模拟和描述方法[J].系统仿真学报,2012,24(9):1831-1834. Sun S T.Hierarchical mapping and description method of remote information model[J].Journal of System Simulation,2012,24(9):1831-1834.

[5] 郑磊,薛勇,罗瑛,等.分布式的遥感信息模型库系统与应用[J].微计算机信息,2008,24(16):259-261. Zheng L,Xue Y,Luo Y,et al.Design of distributed remote sensing model base system and application[J].Microcomputer Information,2008,24(16):259-261.

[6] 仰燕兰,金晓雪,叶桦.ASP.NET AJAX框架研究及其在Web开发中的应用[J].计算机应用与软件,2011,28(6):195-198. Yang Y L,Jin X X,Ye H.On ASP.NET AJAX framework and its application in web development[J].Computer Applications and Software,2011,28(6):195-198.

[7] 王强,李小丽.基于工作流的遥感产品生产可视化定制平台研究[J].计算机时代,2015(2):1-3,6. Wang Q,Li X L.Research of visual customized production platform of remote sensing products based on workflow[J].Computer Era,2015(2):1-3,6.

[8] WfMC.Workflow Management Coalition,Terminology & Glossary[R].Brussels:Workflow Management Coalition,1999.

[9] Talia D.Workflow systems for science:Concepts and tools[J].ISRN Software Engineering,2013,2013:404-525.

[10]von Laszewski G,Hategan M.Java CoG Kit Karajan/GridAnt Workflow Guide[R].Argonne,Illinois,USA:Argonne National Laboratory,2005.

[11]周江华.面向BOINC的网格工作流中间件的设计与实现[D].武汉:华中科技大学,2009. Zhou J H.The Design and Implementation of the Grid Workflow Middleware for BOINC[D].Wuhan:Huazhong University of Science and Technology,2009.

(责任编辑： 邢宇)

Online visual customization and automatic calculation of remote sensing information model

RAN Quan1,2， LI Guoqing1,3， YU Wenyang1,3， ZHANG Lianchong1,2

(1.CASKeyLabofDigitalEarthScience,InstituteofRemoteSensingandDigitalEarth,ChineseAcademyofSciences,Beijing100094,China; 2.UniversityofChineseAcademyofSciences,Beijing100049,China;3.HainanLabofEarthObservation,Sanya572023,China)

With the increasing access to remote sensing data and the rapid development of network technology, remote sensing data on-line automatic integration of the service demand is growing, and there has been no satisfying online visual and automated computing platform for remote sensing data based on services chain so far. This research is based on B/S architecture and services chain as well as the workflow technology. The authors propose an integrated visual platform to store data, design model, compute model, distribute and display result information all in one stop. And Users can integrate the function from data selection, the model design to achieve model on demand in a friendly visual Web interface. Actually, this research is based on the reusability of remote sensing processing module, the goal is to quickly build and implement the process of remote sensing information models (RSIM)，and it is an effective attempt to achieve online automated service for remote sensing image.

services chain; remote sensing information models (RSIM); visual customization; automatic calculation; workflow

10.6046/gtzyyg.2017.01.33

冉全，李国庆，于文洋，等.遥感信息模型在线可视化定制和自动化计算[J].国土资源遥感，2017,29(1)：221-226.(Ran Q,Li G Q,Yu W Y,et al.Online visual customization and automatic calculation of remote sensing information model[J].Remote Sensing for Land and Resources,2017,29(1)：221-226.)

2015-08-14；

2015-09-14

“863”计划项目“星机地综合观测定量遥感融合处理与共性产品生产系统”(编号： 2013AA12A301)和中国科学院“一三五”规划项目“全球环境资源空间信息系统——数字地球科学平台”(编号： Y3SG0300CX)共同资助。

冉全(1991 -)，女，硕士研究生，主要从事高性能地学计算等方面的研究。Email： pollyran@hotmail.com。

于文洋(1974 -)，男，博士，副研究员，主要从事高性能地学计算等方面的研究。Email： wyyu@ceode.ac.cn。

TP 79

A

1001-070X(2017)01-0221-06