海洋空间情报大数据应用发展

万 辉， 李华光， 朱晓华， 徐明强

(东海航海保障中心 上海海图中心， 上海 200090)

空间地理信息技术正在飞速发展，极大程度地影响着我们的思维、生产和生活，如外卖点单、共享单车和无人驾驶汽车等，人们的生活习惯在变，伴随着思维方式也在变。空间大数据也在推动海洋领域的应用变革。世界各国都在积极地投入基于海洋空间大数据的“数字海洋”“智慧海洋”建设，如美国和加拿大制定的“海王星”计划、日本的“ARANA”计划、非洲沿海 25 国的“非洲近海资源数据和网络信息平台”以及中国的“iOcean”平台等。[1]

随着多种对海观测手段、大数据处理和计算科学关键技术的突破，海洋空间情报大数据的采集量呈现急剧增长的趋势，数据呈现出多来源、多种类和多维度等特征。海洋空间情报大数据时间耦合、地理关联性强，是具有时空关联特征的典型大数据。海洋空间情报大数据从空间、时间和属性层面完整地描述海洋时空地理数据的综合现象，时间维记录海洋地理现象的时间变化，空间维记录海洋地理现象的空间变化，属性维则记录时空地理同业务相结合的多维关系特征。大数据特性中数据多元化和高价值是两个重要的特性:多元化使得数据存储、处理等环节成为海洋空间情报大数据的重点研究方向；高价值则需要从大量、复杂及多源的信息中快速提取、挖掘出潜在的价值内容，是海洋空间情报大数据分析应用的核心方向。[2]

海洋空间数据正在从数据资料向数据资产转型，带动海洋新兴产业的发展。各海洋相关行业和领域会产生富有价值的数据，如何从浩瀚的海洋数据中发掘真正的价值数据，实现海洋资源的价值效应，服务国家海洋的战略发展迫在眉睫。从海洋空间情报大数据组成和海洋空间情报大数据关键技术角度展开分析研究，探索海洋空间情报大数据助力全球智能航海保障体系建设、E-航海战略支撑、增强现实(Augmented Reality,AR)海洋环境仿真及海洋空间情报预警决策等应用，并提出未来海洋空间情报大数据发展的主要方向和关键问题。

1 海洋空间情报大数据组成

海洋空间情报大数据利用先进的海洋观测技术和专业的高精度传感器来实现多元化、立体化和实时化的海洋观测数据采集；通过分类数据特征，分析数据关联关系，利用大数据技术建立空间情报信息数据模型和服务模型，实现特定对象、特殊场合和典型应用的深度数据服务。海洋空间情报大数据由基础数据空间、数据融合空间、数据服务空间等3部分组成，见图1。[3]

图1 海洋空间情报大数据结构示意

1) 基础数据空间是以海洋空间地理信息数据为基础，关联航测遥感、海洋水文气象、海洋资源、航行安全和船舶等多来源、多种类、多维度的业务数据而形成的海量综合数据体。利用单波束测深、多波束测深系统和机载激光全覆盖测深等水深测量技术采集海洋空间外业测绘数据，经过专业海图制图软件生成海洋空间地理信息数据产品；利用潮汐水文站、航海灯浮标、无线电标等承载水文气象传感器实现海洋气象环境的动态感知；利用声呐扫测、机载航测和卫星遥感等手段，获取不同角度、不同作用的海洋遥感影像数据[4]；利用船舶自动识别系统(Automatic Identification System，AIS)岸基、天基设施和船载AIS设备完成船舶静态、动态信息的实时采集；采用数据接口、数据爬虫相关技术实现航行安全数据的汇集。基础数据空间采集信息见表1。

2) 特征融合利用异构数据间潜在关系，通过提取数据特征参数，识别内容和噪声，在特征相似性分析的基础上，基于组合特征选择的特征融合策略，实现内容融合提取。[5]决策融合根据决策设计，从内容、特征两个方面归纳决策需求，结合海洋空间情报大数据环境，识别出决策融合的具体目标和问题，进而构建决策应用数据模型，实现数据层、语义层和服务层数据融合。[6]数据融合空间可采用特征融合、决策融合策略对海量的异源数据进行过滤、加工和处理，形成标准的结构化或定量分析数据；采用文献[7]大数据技术对在线或离线数据进行并行融合计算，实现数据的深度分析应用；地图拼接方法是从待拼接的地图中提取局部不变特征作为配准参数, 建立相应的目标函数，借助随机抽样一致性算法分析初始拼接参数，迭代最近点算法求解，实现基于图像配准下的栅格和矢量地图可靠、快速拼接。[8]采用像素配准、栅格拼接和矢量拼接等地图拼接算法形成海陆一张图服务模型，提供全球、全海域一体化地理信息数据；利用MCSVM提取数据特征，构建信息元启发式优化算法，实现信息的自动优化、分类和定向推送服务[9]；利用线性独立函数构造新型智能神经元，基于智能神经元组成广义神经网络，实现更快收敛、更高精度的预测、决策服务。[10]通过采用MCSVM和智能神经元网络深度学习算法来构建海洋空间情报大数据预测、预警、分类和决策模型，实现对价值数据的挖掘、分析服务。

表1 基础数据空间采集信息分类表

3) 数据服务空间提供对外部系统交互、沟通的渠道，通过对深度融合和算法分析后的数据产品进行发布或接口开放等形式，实现数据的共享交换服务,如基础数据服务(基础空间数据、属性数据)、地理信息系统(Geographic Information System，GIS)空间分析服务、海洋AR环境仿真服务、决策信息服务等,能接收外部系统推送、反馈的信息，丰富数据空间内容，优化数据融合产品。

基础数据空间为数据融合空间提供数据源支撑，数据融合空间模型算法的计算结果的反馈信息又能反向拓展，完善基础数据空间内容；数据服务空间依赖数据融合空间特定的分析算法和输出模型来对外提供服务，同时也接收外部数据来完善自身数据空间内容。数据降噪融合支撑、衍生、优化数据服务，数据优化能够带动融合流程优化，创新服务可提升数据的流动性。三者间相辅相成、互为支撑，形成一个有机的大数据服务体系。

2 海洋空间情报大数据关键技术

实现海洋空间情报大数据的深度应用，需要掌握数据降噪融合、数据挖掘分析、数据可视化和数据共享服务等核心关键技术。

2.1 海洋空间情报大数据降噪融合技术

海量数据的积累会带来噪声、异常和异构数据的增加，降噪去维和数据融合成为数据处理的关键。海洋空间情报大数据采用基于hadoop的分布式文件系统存储，将异源、多维、复杂(结构化、半结构化和非结构化)数据转化为标准key/value基本单元数据，存储于就近的计算机分布式节点，便于数据的快速检索、提取。采用布隆过滤器(Bloom Filter,BF)[11]和对称(Symmetric Information Bottleneck,SIB)压缩算法[12]，减少冗余数据，降低数据的体量，提升降噪融合效率；采用方差过滤、惩罚项特征选择、树模型特征选择等方法来减少数据的特征数量，提升模型泛化能力，减少过拟合，增强对特征和特征值之间的理解，实现数据的降维去噪处理；对动态观测数据(如雷达、全球定位系统(Global Positioning System,GPS)等)融合采用回归分析和卡尔曼滤波方法，消除冗余信息，去除噪声和异常值[13]；利用推理方法对数据空间感知的多源、异构数据进行迭代融合，提升数据融合精度、准确度。结合特定的业务需求，以证据理论为基础，建立连接模型，实现数据的筛选、甄别和交互；分析海陆空间数据结构，建立海陆空间数据关联模型，结合相应的空间边界特征融合、栅格和矢量拼接算法，实现海陆空间数据一体化融合。

2.2 海洋空间情报大数据挖掘分析技术

海洋情报大数据挖掘分析包括海量数据离线计算、在线分析和空间分析等。采用Elastic Search检索、MapReduce编程模型，实现离线数据的数据读取、容错、分布和负载均衡的并行计算。MapReduce将数据按映射、清洗(Shuffle)、化减(Reduce)等3个阶段进行执行，目的是分解任务到各节点，可通过大量机器进行并行计算，减少整个操作的时间。采用Spark Streaming方法实现基于内存的分布式计算，通过DataFrame将数据保存为行的集合，对应行中的各列都被命名，非常方便地查询、绘制和过滤实时流数据；通过Spark Graphx方法实现实时图流的计算能力。[14]整个Spark函数生态具备快速、便捷地实现在线数据的处理、分析和输出能力。ArcGIS GeoEvent可对接入的流数据进行实时处理和分析，包括过滤、阈值监控、拓扑运算、地理围栏、字段计算、缓冲分析和投影转换等处理。实时数据接入之后，可输出为ArcGIS的要素服务、流服务、实时动态聚合的要素服务等，可文本、短信、邮件等方式提醒输出，也可是Web Socket、CSV等本地文件或者是HDFS等分布式文件系统输出。

2.3 海洋空间情报大数据可视化技术

利用科学可视化技术展示海洋空间情报数据，能够从感知到认知上利用可视化分析技术挖掘时空数据规律。[1]基于Java平台的Pentaho大数据可视化技术，可实现统计报表，分析图表数据集成、数据挖掘等显示，可接入亚马逊Web服务(Amazon Web Services,AWS)、企业高性能分析服务、Hadoop等海量数据模型，实现海量数据的图表化、在线统计和实时更新显示。空间可视化表达分为相对量化的、抽象的、离散的、连续的等类别，主要的方式有散点、热力、气泡、分组散点、立体柱状、立体热力、道路密度分级渲染、道路热力渲染、飞线、静态线、动态网格密度、蜂窝网格密度等。文献[15]是基于Javascript的Web图形可视化技术，将基础地图模型、可视化组件和Leaflet、OpenLayers、MapboxGL地图库进行集成、融合，能够实现上述空间图表的可视化展现。基于ECharts粒子动画技术，利用大气环流的数值预报模型，如欧洲中期天气预报中心数值预报、美国国家环境预报中心全球预报[16]，实现风、雨、雷、电、云、雾、气压、温度、湿度、能见度、涌浪、海浪、洋流等海洋气象环境的动态仿真、叠加显示。基于电子海图，利用OpenGL、Vega等比较成熟的三维图形开发软件，实现海洋表面、海底地形和实体模型的仿真建模，形象、直观地模拟海洋动态场景[17]，从感知到认知海洋空间情报大数据的价值。

2.4 海洋空间情报大数据共享服务技术

海洋空间情报大数据最终的价值体现在挖掘分析的结果数据对外共享服务上，它包括离线数据、实时数据、联机分析处理(Online Analytical Processing,OLAP)、即席查询和自定义接口开发。

离线数据采用Sqoop,DataX等大数据同步工具实现离线数据的共享交换。实时数据如运载货物的船舶实时推荐，需要实时从情报大数据中获取在港船舶、运载能力、货物情况等信息，并进行实时的综合计算，将结果作为推荐数据进行输出。可采用HBase、MongoDB、Redis等No Sql数据库集群实现低延时和高时效的数据请求。OLAP分析通过建立规范的数据模型，采用文献[18]、文献[13]等查询技术来实现数据查询的快速响应。即席查询由于无法建立通用的数据模型，采用分布式SQL查询引擎Presto实现随机快速查询。

除了利用查询模型、框架技术外，还可采用Webservice、Rest、Http等接口技术开发自定义数据接口，用来对内外提供数据存储、更新、查询服务，提升数据接口的灵活性，同时确保数据访问的安全性、稳定性、可靠性和高可用性。

3 海洋空间情报大数据应用服务探索

3.1 基于一张图的全球智能航海保障服务

基于海洋空间情报大数据的全球海图、矢量地图和航测遥感等基础空间数据，利用GIS数据栅格和矢量拼接算法、数据切片、机器学习和OGC共享接口技术，建立全球智能航海保障一张图服务。一张图服务采用统一、标准、开放、共享的顶层架构进行设计，避免相关服务系统的重复建设，提供从矢量到瓦片、从陆地到海洋、从近海到全球海域的一体化智能空间数据服务。构建从远海到近岸层级递进的立体导助航数据智能服务网络，实现通航水域全面覆盖的导助航分级服务；实现全球航海安全信息整合应用，引领指导交通测绘行业协调发展，航路测绘全域覆盖，确保中远海测绘保障能力；实现主权水域全面覆盖和全球重点水域通信信息适当覆盖的多元航海保障安全信息智能服务。

3.2 E-航海战略支撑应用

海洋空间情报大数据收集了海洋空间、海洋水文气象、航行安全、船舶、岸基等海上各类综合信息，进行融合加工、分析处理，结合船舶用户实际需求，形成特定的海事服务集(Maritime Serrice Protfolios,MSP)，能够为E-航海战略执行提供重要的数据支撑服务。

1) 一张图服务叠加船舶动态应用能够降低未知航路对船舶航行的影响，增强船舶泊位到泊位的全程航行能力。

2) 海事安全信息的智能分类推送能够转变海事管理部门的工作方式(监管即服务)，增强海上信息服务、安全和保安能力。

3) 融合丰富的海洋气象水文、环境资源数据，进行时空环境模拟、反演、跟踪，准确掌握海况和资源分布，提升海洋环境资源的保护能力。

4) 标准数据共享接口实现船到船、船到岸、岸到船、岸到岸和岸到其他平台间的数据交换，最终促进实现对船舶增强服务和对用户按需服务的E-航海目标。[19]

3.3 AR海洋环境仿真应用服务

依托海洋基础空间数据、遥感影像数据、数字高程模型(Digital Elevation Model, DEM)数据、电子海图和实时海洋气象、船舶动态数据，利用异源数据降噪融合技术、空间地物AR仿真技术，建立多维海洋环境交互仿真模型，形成全球海洋三维数字地球，为用户提供直观的海洋环境仿真服务。二维海图和三维影像分屏联动显示，集成关联海洋全要素(港口、码头、水深、岛礁、沉船、航标、管线、油气平台等)仿真模型，结合AR穿戴设备、船舶动态模型，为船员提供更加直观、形象的船舶航行态势，辅助船员分析和预判复杂海洋环境条件下的船舶航行安全，确保用户在不熟悉的水域、狭窄水道等区域的航行、靠泊安全。[20]融合实时海洋环境动态模型，实现海洋生态、资源、环境的跨时空、全方位、多角度动态监控，及时掌握海洋生态资源分布，变化情况；实现大中尺度的海洋和大气现象的快速诊断，掌控海洋气象动态，保障海上业务工作的正常开展。集成高分遥感数据，综合利用军民数据、技术、经验，建立高分辨率的海洋三维环境视场，开展在海岸地形建模、水深反演、海战场环境仿真等应用；结合交通战备、军工科技、民用服务等信息开展综合性数据挖掘，形成军民融合科技互补，协同发展。[21]

3.4 海洋空间情报预警决策服务

利用自然语言处理、大数据分析、可视化和人工智能等技术，促使海洋空间情报大数据与周边数据发生碰撞与聚核，形成价值综合数据，通过建立专业化的数据预警、决策模型，化繁为简，让大数据预警决策自动化、智能化的服务海洋产业，使管理者在战略远见与问题洞察方面获得强力支撑。

1) 结合海洋空间情报数据关联关系、时间轴、问题特征等因素，建立风险识别模型，提炼出风险预警指标，对存在的风险发出预警并及时提醒，如通过对船舶动态关联数据进行分析来发现船舶航行过程的安全隐患并及时告之安全人员，达到事故前解决问题的目的。

2) 结合海洋空间信息、气象信息实现对危险区域预警、障碍物预警、海况预警等；立足于纵向时间轴，积累对频繁问题的判断，拟合事件发展趋势，形成决策指导，通过相关数据的联动，形成基于数据和分析之上的决策与结论，如通过航标数据与船舶动态的空间联动可形成航标优化配布的决策。

3) 深度结合海洋经济、海洋环境和航行安全等信息，还能实现对海洋经济发展、海洋生态演化、海洋气象监测和预报、航行安全保障等各业务领域的分类、聚类、预测和推算等决策服务。区别于传统的基于经验的预警决策模式，海洋空间情报预警决策服务使管理者能够做出更加客观、智能、准确的评价，服务更加可靠。

4 结束语

海洋空间情报大数据未来将持续聚焦于海洋发展主题，以国家发展战略为出发点，于新兴大数据科技、质量、应用和安全角度深耕细作，突破大数据相关技术难点，确保海洋空间情报大数据的正态高速发展，带动海洋数据科学、产业的大发展。

1) 智能机器学习引领大数据分析技术发展。传统的大数据在处理(Trilion Byte,TB)级以上复杂数据的效率较低，数据分析精度难以随着数据量提升而得到有效改进。以机器学习等新兴技术为代表的大数据分析技术采用先进的人工智能、机器学习技术，具有自行识别、自动处理、分布存储和高度容错等特性，非常适合处理非线性、模糊、不完整、不严密的知识和数据。机器学习算法随着大数据样本数据量的不断累积，其自身通过不断的自我学习，其预测分析能力、准确度、效率都会得到显著提升,随着机器学习算法的不断丰富、完善和成熟，将十分适合解决非结构化或半结构化大数据迭代挖掘分析问题，引领大数据前沿分析技术的发展。

2) 数据质量管理是大数据分析的关键。海量数据带来数据冗余、数据错误、数据结构复杂和计算困难等问题。研究一种可执行的数据质量管理制度，建立数据质量指标体系，定期开展评估与监控，对不合格数据，进行常态的数据清洗、数据修正，多方位优化改进，为大数据系统提供高质量的数据支持。[22]

3) 万物智联应用产业大发展。海上万物智联的物联网时代来临，分析海上工业互联网发展、航运物流效能提升等需求，深度结合海洋空间情报大数据的数据、技术资源，利用云计算、大数据与互联网融合技术，促进海洋科技成果落地转化，推进智慧海洋、智能航运等新兴产业发展，促进航运经济发展。

4) 强化海洋空间情报大数据安全管理。海洋空间情报大数据的发展需要确保敏感信息传输与应用的安全性。通过顶层设计大数据安全管理体系，采用风险辨识、脆弱性防控、风险沟通、风险管理和风险问责机制的风险治理流程，构建大数据安全防御体系，防范与化解数据安全风险。[23]

海洋空间情报大数据将紧跟科技步伐，围绕海洋强国战略，构建全球智能航海保障体系，深入探索天、地、海时空一体统筹发展，实践“一带一路”“长三角一体化”“军民融合”“极地开发”等项目[24]，不断提升技术与服务能力，力争成为国家战略执行中不可或缺的数据、技术保障力量。