海洋观测预报业务多源异构数据与信息集成分析

2013-03-20吴向荣李郅明余肖翰张旭龙贾峰

海洋通报 2013年2期

吴向荣，李郅明，余肖翰，张旭龙，贾峰

（1.中国海洋大学，山东青岛 266100；2.国家海洋局厦门海洋预报台，福建厦门 361008）

海洋观测预报数据信息是地方经济建设和社会发展重要基础数据之一，也是海洋观测预报业务机构服务政府和社会公众的一项重要内容。经济的持续快速发展同时也对本地区防灾减灾、城市突发公共事件应急保障、生态文明建设提出更高要求。近期国务院出台的《海洋观测预报管理条例》也体现了国家对海洋观测预报工作的重视。

近年来，随着各种新兴技术的崛起和数据通讯技术的不断完善，海洋观测要素已由单一的数据类型发展为数据、视频、遥感影像、地理信息等多种形式并存（张峰等，2009），而海洋预报产品也有文本文件、三维动画、音视频等多种类型。由于各数据信息的来源不同，所采用的传输通讯方式也不尽相同，如数值预报所需的日本气象厅JMAT213、美国NCEP-AVN 等再分析格点信息通过Internet 传输，实时观测数据通过点对点传输，音视频信息从视频服务器共享等，如何对这些数据信息进行有效集成分析（刘金等，2011），使多项业务间可以方便地相互配合、辅助、调用和校准，加快信息传递速度，同时又能提高自动化程度。

1 海洋观测预报数据信息分析

目前常见的海洋观测预报业务所涉及到的数据信息主要包括海洋观测数据、海洋预报基础信息、海洋数值预报初始条件及边界条件数据、海洋环境预警报产品信息、海洋灾害信息数据、视频监控信息、地理信息数据等七大部分，具体如下：

1.1 海洋观测数据

海洋观测数据分为实时观测数据和非实时观测数据。实时海洋环境监测数据主要包括常规水文要素（潮汐、海浪、海表温度、海表盐度）、气象要素（气温、气压、风、相对湿度、降水、能见度）和海流、浮标资料等；非实时数据包含各观测要素的月报表、年报表数据。

1.2 海洋预报基础信息

海洋预报基础信息主要有气象图片资料信息、台风资料信息以及其他相关信息。气象图片资料信息包括：卫星云图、雷达图、高空及地面天气图，天气预报图等；台风资料信息包括台风路径、台风中心气压、风速、大风半径和台风登陆地点、时间等。

1.3 海洋数值预报初始条件及边界条件数据

海洋数值预报初始条件及边界条件数据主要包括日本气象厅JMA-T213、美国NCEP 的再分析格点信息、国家海洋环境预报中心下发的大区域预报场。

1.4 海洋环境预警报产品信息

海洋环境预警报产品主要有海洋环境日常预报、海水浴场环境预报、滨海旅游度假区环境预报、专项预报以及海洋预警报信息等。海洋环境日常预报包括潮汐、海浪、海表温度、风等要素；海水浴场环境预报包括水温、海浪、游泳适宜度、最佳游泳时段、海气温差、沙滩娱乐指数、礁石淹没时段；滨海旅游度假区环境预报包括海面状况指数、海上观光指数、海滨观光指数；专项预报包括潮汐、海表面风速、视程、海流等；风暴潮、灾害性海浪、海冰警报、海洋数值预报等海洋预警报信息。

1.5 海洋灾害信息

海洋灾害信息主要有历史上发生的风暴潮、灾害性海浪、海冰、赤潮、海啸等，包括其灾害成因、性质，灾害发生的时间、地点、影响区域、人员伤亡和对农业、渔业资源、海岸工程、临港工业、滨海旅游业等造成的经济损失等相关信息。

1.6 视频监控信息

视频监控信息包括海水浴场、保护区、风险区、国管项目等实时视频监控信息。

1.7 地理信息数据

地理信息数据包括海岸带、近海最新的基础地理信息GIS（遥感影像、地形图点、线、面数据、DEM 数据等）和区域、岸线的高程数据。

2 数据信息源分析汇总

由于海洋观测预报数据信息来源和展示的多样性，海洋观测与预报业务相互间的配合与调用很大程度上受到了阻碍。为了更好地应用海洋观测预报数据信息，拓展海洋观测预报业务，有必要对各项数据信息进行集成，建立海洋环境数据仓库（Data Warehouse，DW）（何伟等，2009；胡金龙等，2011）。海洋环境数据仓库的主要功能设计，是对不同来源、不同类型的各种数据信息进行实时统计、同步分析与自动入库，并针对各数据信息进行优化存储、安全管理，实现数据信息的存储管理、更新维护、查询与显示、导入导出和数据信息分析调用等功能，同时也可以很方便地对海洋观测数据与预报结果进行比对，提升预报准确性。

2.1 数据信息多源异构分析

要进行数据信息集成，首先需要对数据源与信息源进行分析（李扬等，2009）。数据信息的多源性体现在数据信息以Internet 网络、专线（VPDN、帧中继电路、SDH）、VSAT、局域网等多种不同网络为载体进行传输；数据信息的异构性则表现为各数据信息以数据库、文本文件、图片、视频文件等多种不同结构的形式进行存储（刘伟等，2005）。具体如表1 所示。

2.2 网络集成

从数据信息安全性考虑，如何有效地将这些不同来源、不同通讯方式的数据信息集成到统一的平台上，将是解决多源数据信息集成的关键，分析目前国内外相关的数据交换技术，考虑采用安全隔离网闸完成数据交换（董保国，2004；张震，2002）。

安全隔离网闸由内网主机系统、外网主机系统、隔离交换矩阵三部分组成（联想安全隔离网闸产品特性与功能，2012）。内/外网主机系统分别具有独立的运算和存储单元，通过隔离交换矩阵完成应用数据的封包、摆渡、拆包。内外网主机系统的任一网络接口与隔离交换矩阵的一个或多个固化通道绑定，实现多网接入功能。

在海洋观测预报系统中采用外网主机系统的多个网口通过隔离交换矩阵与内网主机系统的一个网口建立多对一的多网隔离交换方式完成数据交换与通讯。

表1 信息源通讯方式与存储方式分析

通过安全隔离网闸的双摆渡技术，各个网络不会直接连接，由于网闸采用硬件加速隔离交换卡进行数据交换，没有任何管理接口，因此内外网主机系统之间无法进行基于网络协议的数据交换，从而从硬件层面保证了在海洋观测预报数据信息集成中各数据源与信息源的安全隔离（陈舒，2010）。

2.3 数据信息汇总

在经过数据源与信息源分析和网络集成之后，海洋观测预报各项数据信息的网络情况与数据存储形式已确认，开始着手海洋环境数据仓库的数据信息汇总。

为实现数据信息汇总，首先要将各项数据信息同步传输到指定服务器上统一操作。安全隔离网闸自带的同步程序包含了客户端与服务端，客户端安装在各个不同网络数据源与信息源的机器上，服务端安装在要做数据信息汇总的指定服务器上，并在网闸上配置相应规则，可实现数据库和文件夹同步更新，从而实现信息汇总。

安全隔离网闸自带的数据库同步功能提供了多种控制策略，支持“覆盖文件”、“丢弃文件”、“重命名文件”等多种方式，可实现数据库同步更新功能，实现对Oracle/SQLServer/DB2/Sybase 等多种主流数据库系统的安全访问控制。海洋预报基础资料数据、海洋环境预警报产品信息、地理信息数据库和部分海洋观测数据都是基于SQLServer 2000/2005 数据库存储（Ramez et al，2002），应用安全隔离网闸的数据库同步功能进行相关库表的同步更新，其效果与本地局域网间数据库的订阅与发布相似。

安全隔离网闸的文件夹同步采用数字证书方式，实现双向身份认证，支持通信SSL 加密，实现密文传输，提供了强化的访问用户控制机制，对发送用户、接收用户的权限进行单独控制，同时支持Windows、Linux 等多种文件服务器平台。通过文件夹同步功能，海洋观测预报数据信息的文本、图片、预警报单、音视频文件等，都可以同步更新到指定服务器上。

至此，所有的海洋观测预报数据信息都汇总到了指定的同一台服务器上。

3 数据信息集成

使用数据库技术进行数据信息集成，可为后期系统开发提供广阔的应用支持空间。本文选择数据库软件SQLServer 2005 作为海洋环境数据仓库的载体。新建一个数据库取名SeaServer，使用网闸数据库同步功能的海洋预报基础资料数据、海洋环境预警报产品信息、地理信息数据库和部分海洋观测数据等数据，可直接将相关库表同步至SeaServer中，在此不再具体展开介绍。

通过文件夹同步功能，传输至服务器的数据信息有如下形式：

1、文本文件：海洋预报基础资料数据、海洋环境预警报产品信息和部分海洋观测数据；

2、图片文件：主要是各数值模式的海洋数值预报结果；

3、视频文件：包括海水浴场、保护区、风险区、国管项目等实时视频监控信息。

要对这些文件进行入库管理，首先要对这些指定的同步文件夹进行实时监控。利用C#语言调用ICopyHook 编写一个文件夹钩子，用来实时监控文件夹。ICopyHook 是一个用于创建拷贝钩子处理程序COM 接口，可监控文件夹内对象是否被移动，拷贝，重命名或删除等操作动作。

3.1 文本入库

文本文件入库较易实现，在数据库中设计创建相对应的库表，定义相关要素，使用文件夹钩子程序监控收到的文本文件，使用C#语言定义对应的二维数组进行数据提取，并导入到对应字段中。值得注意的是，海洋观测数据的文本为分钟级数据，在设计数据库表时，必须设计好主键和唯一标识，做好主键覆盖和丢弃的策略，以避免文本文件重传造成数据重复录入，减少数据库冗余度。

3.2 图片入库

图片文件主要是各数值模式的海洋数值预报结果，每个数值预报图片展示了未来72 h 的计算结果，各模式图片数量不尽相同，24 张、36 张、72张都有，每天分上午和下午两次数值预报。其格式与命名都有非常固定的格式，如每天两次的风场数值模式的图片以 windYYYYMMDD00.png 和windYYYY-MMDD12.png 为命名方式，00 和12 为世界时，代表每天北京时08 时和20 时。在各数值模式中，首张图片为实测资料，需保留，之后的图片为高性能计算机计算出来的，仅作为预报的参考，保留三天后自动删除。

从入库方面，建立一张数值预报库表，建立字段“模式名称”和“时间”，保存各数值模式第一张图片的时间（展示时选择起始时间即可）。各数值模式的结果都以独立文件夹形式存在，通过文件夹钩子监控，入库第一张图片的时间点，三天后将该图片移动至指定位置存储，剩余图片则删除。

3.3 视频入库

由于网络并非直连，无法接收实时视频，只能通过文件夹同步存储的视频文件。视频文件为每半小时接收一个，由于视频文件占用空间较大，且过了预报时效没有保存价值，所以设计保留近三天的视频文件。

视频文件的命名较有规律，为“地名简写”+“YYYYMMDDhhmm”的格式。设计对应库表，添加字段“地点名称”和“时间”，通过文件夹钩子读取相应信息，当时效超过三天时则删除视频，并删除数据库对应记录。

3.4 海洋环境数据仓库构建

海洋环境数据仓库的构建，是建设科学客观的、可以业务化运行的实时在线观测预报集成服务系统的前提。目前，系统构建的海洋数据仓库共15 张库表，涵盖近百万条不同结构的数据记录，业务化运行正常。

海洋环境数据仓库的搭建，为海洋观测预报信息服务展示系统的研发提供广阔的应用支持空间。下一步将开展基于海洋环境数据信息的应用分析及展示。

图2 海洋环境数据仓库构建结果

图3 观测预报信息服务展示系统框架图

图4 厦门海域海洋观测预报信息服务系统

4 海洋环境数据应用

基于多源异构海洋环境数据与信息集成的海洋观测预报信息服务系统研发主要包含观测数据质控及实时数据展示、预报制作与发布以及视频信息在线三个功能模块，通过B/S 架构，在GIS 平台进行展示。借助该系统，社会公众通过网络访问将很方便地实时了解观测海域的海洋观测基础数据、预警报产品信息，并可通过视频查看海水浴场卫生环境、海面漂浮物、游泳人数，对海面状况一目了然，大大提升海洋预报信息的普及性、实用性。

厦门海域海洋观测预报信息服务展示系统的建成将为防灾减灾工作提供基础能力支撑，为涉海工程和资源规划提供基础数据，为海上工程、交通运输、滨海旅游等涉海产业提供信息安全保障，为地方经济社会及民众生活提供更多的海洋信息服务。

今后，随着观测预报业务的不断发展，我们将不断丰富观测预报集成服务系统的内容，继续完善数据信息源，改进系统数据信息集成方式，以期提供一个更加完善、实用的系统，更好地为海洋防灾减灾指挥工作提供技术支撑。

Ramez Elmasri，Shamkant B Navathe，著.邵佩英，张坤龙，等，译，2002.数据库系统基础（第三版）.北京：人民邮电出版社.

陈舒，2010.异构数据库同步模型的研究与实现.上海：华东师范大学.

董保国，2004.网络安全的物理隔离技术.计算机与自动化，23（2）：108-110.

何伟，郝雅青，2009.一种网络隔离环境下数据库同步方法的实践.计算机安全，（12）：15-21.

胡金龙，许卫，等，2011.异构数据库同步复制技术研究与实现.长江科学院报，28（6）：71-75.

联想安全隔离网闸产品特性与功能，2012. http：//www.leadsec.com.cn/Product/Default.aspx@RootID=80&ParentID=164&ClassID=179.

李杨，李文天，2009.多源空间数据集成技术综述与前景展望，测绘与空间地理信息，32（1）：09-14.

刘伟，佟俐鹃，2005.异构数据库集成中的变化捕获方案设计.计算机应用研究，22（7）：213-215.

刘金，朱吉才，姜晓轶，等，2011.海洋信息组织与存储模型研究及其在“数字海洋”中的应用.海洋通报，30（1）：73-80.

张震，2002.网络隔离的技术分析与安全模型的应用.数据通信，（3）：22-28.