海上安全监管,数字科技护航
——基于海上区域安全监管的数据服务系统简介
2017-10-19中国科学院计算技术研究所王飞
● 文 |中国科学院计算技术研究所 王飞
海上安全监管,数字科技护航
——基于海上区域安全监管的数据服务系统简介
● 文 |中国科学院计算技术研究所 王飞
一、引言
“谁控制了海洋,谁就控制了世界。”海洋已经成为当今人类社会赖以生存的保障,在经济、军事上都有极其重要的战略地位。十八大以来,党和政府更是把打造“海洋强国”作为新时期的重要战略,加强海上安全监管既是维持我国海域安全的重要保障,也是我国坚持“独立自主和平外交政策”的题中之义。因此,提升海上区域安全的监管水平和服务能力对建设服务型政府和海洋强国具有重要的实践意义[1]。
随着我国信息化水平的不断提升,各种海上安全监管部门越来越多地应用基于船舶自动识别系统(AIS)、北斗、雷达等轨迹时空数据的服务系统辅助海上安全监管,如船舶交通服务系统(VTS)[2]。海上信息系统的广泛应用为有关部门提升海上监管能力起到了巨大的促进作用。
然而,随着海上态势日趋复杂化,以及海上安全监管的领域逐渐多样化,传统的海上安全监管系统存在着一些问题,比如,多源时空数据融合处理技术差,区域实时事件甄别能力不高,缺乏基于大数据基础的深度分析,监管系统信息共享困难等,从而制约了新时期海上监管能力的提高。
中国科学院计算技术研究所作为“大数据分析系统国家工程实验室”,一直致力于推动数据分析挖掘方面的科技创新。中国科学院计算技术研究所的科研团队经过长期的深入研究,自主研发了“基于海上区域安全监管的数据服务系统”,旨在解决现有海上安全监管系统存在的诸多问题,将既有感知优势、数据优势转换为信息优势并形成科学决策。本文将对该系统的功能特点、性能指标以及技术亮点进行详细介绍。该系统在海警、海监、海事等众多机构体系中具有较高的应用价值,未来系统会更加着力于海洋数据的多源融合和判断海上目标的行为能力和行为意图。
二、系统特点
1.规模数据清洗和多源实时数据关联
目前,海上目标接收的原始船舶轨迹数据,存在大量的重复数据、错误数据、野点和噪声。同时,由于部分导航系统(如AIS)采用的是协作式信息传输,常常存在非法船只冒用其他船只的身份ID,造成监管过程中对目标身份识别障碍。
针对这些现象,系统的数据处理程序采用了对原始数据的多层次和多维度的规模清洗,实现对非合作目标点迹、航迹的数据逐条辨别。对于共用身份ID的船舶,把其轨迹数据通过时空平滑关系进行关联,实现了将共用ID的多条船舶的轨迹分离,在多个维度上综合保障了数据高质量,帮助监管部门正确识别目标的身份信息。
为综合判断海上态势,海上监管部门往往需要在监控系统中同时接入多个数据源,如AIS、雷达、北斗等。然而,由于不同数据源的传感设备独立,原始数据格式不一,造成监管人员面对过大的数据量,难以对各个数据源的信息进行综合分析,形成决策。该系统通过自主研发的综合处理程序将不同来源的船舶数据进行了有效关联。
不同来源的船舶数据一旦经程序判断为是同一船舶的,系统将自动进行目标航迹的合并,有效降低了系统监管人员的认知负担。另外,目前普遍认为,程序上对信息的分析不能完全取代人工的分析。所以,监管人员可以在前台对船舶进行人工干预,提高对目标身份识别的准确性。具体而言,对于无法自动融合的原始信息,前端在经过人工分析后,确认为同一目标的,可以人工合并为同一目标;对于自动融合但经人工分析确认为不同目标的原始信息,可人工拆分为多个原始目标。将海上目标轨迹数据进行有效时空关联的最终目的在于将海洋方面的感知优势、数据优势,通过时空融合转换为信息优势,最终促进决策。
2.全方位、多层次的区域实时监控
系统可以对全球在航的十几万艘船舶进行实时跟踪监控。可以通过栅格图或绿点图的形式,实时展现全球或指定区域的整体海上态势。通过特定的检索条件,如ID、船名、国际海事组织(IMO)船舶识别号、呼号等,可以迅速定位至指定目标所在位置,查看其基本目标信息(静态信息、动态信息)和档案信息。
为便于对特殊目标的实时跟踪,系统提供重点目标关注和航迹显示功能。用户可将疑似目标设置为重点关注对象,实时跟踪目标动态,并且,目标随时间移动可动态绘制航行轨迹。系统也允许用户在前台人工设置区域的范围,统计区域的实时船舶数量,并进行可视化展示。
此外,为便于监管机构及时采取措施应对突如其来的异常事件,保障区域船舶的安全,系统提供了对目标和区域的异常事件的实时跟踪功能。基于海洋时空数据,系统可以对诸如船舶驶入区域、区域船舶异常聚集、船舶通讯设备关闭、船速过快等异常事件进行实时警告提醒。监管人员可以根据实际情况或经验进行人为设置各异常事件的阈值参数。对于大规模异常事件,系统以栅格作为单元计算相应海区的安全指数,供监管人员参考。
3.基于大规模历史数据的深度挖掘
在历史数据服务方面,系统利用大数据的设计架构可以对海量的历史数据进行存储。系统可以对自定义区域的历史船舶进出量进行多维统计,并进行可视化展示。同时,还可以对该区域的历史污染物排放量进行计算和可视化展示。
深入分析监管区域船舶的行为规律,对于科学制定监管政策、提升服务能力具有重要意义。系统通过自主研发的独特计算框架可以对全球船舶历史轨迹进行深入挖掘分析,并渲染形成高分辨率的热力图,空间粒度可达1度×1度。从类型上,支持对船舶密度、交通密度、平均船速密度、AIS覆盖密度等进行计算分析和渲染。从船种上,可以对AIS支持的各种船舶类型分别进行计算。热力图具有多方面的优势,可以为进一步分析区域和船舶的异常行为事件提供基础,甚至可以帮助制定改善区域海洋生态环境的政策[3]。
4.多节点、多终端信息共享
目前,我国海上区域监管部门是一个包含着不同节点的系统,包括总节点和下级节点。为保证不同节点之间重要信息可以实现共享,任一节点的数据服务系统都可以按照特定的分发条件,向其所归属的整个安全监管系统内的其他节点进行信息分发。分发条件包括:指定信息类型、指定区域、指定目标等。每个节点可以实时查看信息分发与信息接收的当前状态与详细信息。
同时,系统不但可以保证不同节点之间的信息共享,同一节点的不同终端也可以实现信息的高度共享。系统后台可以在同一节点的不同显示终端上实现对信息的远程访问。比如,用户可以在监管室通过二维软件端对管辖区域的海上实时态势进行监控,也可以在其他电脑终端使用WEB浏览器远程访问该节点系统的海上态势信息,做到同一节点内部信息的高度共享。
三、系统技术指标
1.大数据架构下的海量数据储存
海上目标的数据类型多样,既有数据量较大的历史轨迹数据,也有需要长期保存的结构化数据和需要经常访问的热点数据。比如,就目标轨迹数据而言,我国海域一个小时内接收到北斗消息大概为几万条,而接收到AIS的消息数量可达到十万条,因而对系统的数据存储能力提出了挑战。为了实现对数据的合理存储,系统采用了内存数据库、关系数据库、分布式数据库的分级存储方式,实现了对热点数据和结构化数据迅速查询响应,也克服了海量历史数据不能有效存储的难题。
2.多源数据的并发接入
为保证多源数据的高密度接入,系统利用异步且事件驱动的网络应用程序框架,实时接入不同来源的船舶点迹数据,进行去重和滤除错误数据等预处理工作。针对大流量、高频率的数据接入,在设计中采用了异步非阻塞、零拷贝、内存池、自动解包等技术保证性能的实现。数据处理密度可达到每分钟并发接入15万个点迹,峰值为每分钟120万个点迹。
3.大规模的数据处理容量
对经过预处理的数据,采用特殊的数据关联技术对不同来源的船舶数据进行融合,可以实现对全球近十几万在线船舶数据的处理,大大提高了数据处理的容量。大量船舶目标在前台高性能的标绘显示与用户体验直接相关,因此是整个系统性能的重要组成部分。充分发挥图形引擎渲染技术支持大数据的实时可视化处理的优势,大大提升大数据的处理能力和展现能力,使得更丰富的可视化样式成为可能,在动态时空数据渲染的背景下可充分体现其高效性。
4.高效的数据检索
为提升检索效率,系统自主研发了海上大规模离散实体多属性时空点数据增效引擎。该引擎对轨迹数据进行了压缩处理,在内存中同时保存压缩前和压缩后的数据。更重要的是,引擎建立了覆盖典型近离线场景(时间相关查询场景、空间相关查询场景)、分区域等级(较大区域、中等区域、较小区域)时空索引,大大提高了不同时空场景下的查询响应时间。在小规模集群(5台×8核CPU×16GB内存)下,可以实现对不同类别时空查询的秒级响应。
四、应用前景及发展方向
1.应用前景
系统实现了多源数据的并发接入和融合处理,可以对海上区域的船舶信息进行全方位、多层次的实时监控,同时可以对大规模的数据进行存储和分析,在海上区域安全监管领域中具有广泛的应用价值。海上安全监管部门(如海警、海监等)可利用系统实时监控区域的安全态势,即时捕捉发生的异常事件,并根据异常事件的类型和时空信息迅速做出决策,以应对突发的异常事件。比如,在发现某区域船舶异常聚集量过大时,可采取可行措施,疏解区域船舶,避免出现船只碰撞等交通事故。同时,还可以根据对大规模历史数据的挖掘结果,分析区域船舶的活动规律,科学地制定安全监管措施。
此外,由于系统具有完备的多源数据融合处理技术,以及较高的数据存储容量、数据处理密度、数据处理容量和数据检索速度,也可用于特定场景下的军事情报分析任务。
2.发展方向
第一,提高对目标行为能力和行为意图的判断预测。
鉴于海上安全监管的形势日趋复杂,为保证监管部门及人员更加便利地实施监管行为,未来有必要增加对目标行为能力和行为意图的判断。比如,海上事故频发,事故发生地点能否迅速、及时、有效地接受援助,是保障船上人员和财产安全的重要基础。然而,由于事发地点的距离以及其他因素,搜救船队往往不能及时到达。因此,对周边船舶救援能力的有效评估可极大有助于事故救援,保障事故发生时有船舶迅速进行响应。再如,海上安全监管机构经常需要对重点关注目标(疑似走私船舶)进行实时跟踪。基于目标已有的历史轨迹形成的轨迹预测,结合对其行为能力的判断,有利于监管人员对目标迅速做出应对反应。
第二,结合多类型海洋数据,全方位分析海上态势信息。
海洋数据类型多样,包括海洋基础环境数据、海洋遥感数据、海洋经济统计数据等几个大类数据[4]。结合其他海洋数据有助于综合分析海上态势信息,从而做出科学的决断。计算机和信息技术的快速发展使海洋资料信息服务从单一方式向可视化、网络化的方向发展[5],从而为融合多源数据提供了有利条件。基于此,未来服务于海上区域安全监管的数据服务系统可将海洋水文、海洋气象、海洋生物、海洋化学、海洋地形等数据与船位信息进行融合,以便于监管部门全面分析海上区域的情况,综合保障海上区域安全。
综合考虑了以上两点趋势,中国科学院计算技术研究所的科研团队已经展开了有关的工作,着力打造“海上大规模离散实体多属性时空点数据增效引擎”,旨在把海上可感知的各种数据(包括海洋现象与海洋要素数据,以及海上目标活动数据)进行高质量的时空融合,继续提高数据检索的效率,增强分析目标行为能力和行为意图的技术支持,从而真正实现感知优势和数据优势转化为信息优势,辅助决策制定。
[1] 杨立波,王旺,陈厚忠,严新平,王世伟.海上交通安全监管水域风险判断模型[J].武汉理工大学学报(交通科学与工程版),2017, 39(2):316-319.
[2] 李春光,冯嵘,余啸野,张志玮,孙一,邢侃.自动识别系统(AIS)在交通管理系统(VTS)中的应用[J].天津航海, 2017(1):44-46.
[3] Lin W, Yongjun X, Qi W, Fei W, &Zhiwei X.Mapping Global Shipping Density from AIS Data[J].The Journal of Navigation, 2016,70(1):1-15.
[4] 魏红宇, 张峰, 李四海.海洋数据挖掘技术应用研究[J].海洋通报,2008, 27(6):82-87.
[5] 黄冬梅,张弛,杜继鹏等.数字海洋中海量多源异构空间数据集成研究[J].海洋环境科学, 2012(1):111-113.