APP下载

一种智慧海事监管平台的设计与实现

2022-11-17杨晓环

关键词:海事预警船舶

杨晓环

(中远海运科技股份有限公司,上海 200135)

0 引 言

当前社会已进入信息时代,大数据、云计算、物联网和智慧城市等正在深入影响着人们的工作和生活。随着海洋经济的高速发展,“交通强国”战略、“大交管”改革和“陆海空天”理念相继提出,从融合、创新和效益等3个方面对构建安全、便捷、高效、绿色、经济的现代化综合交通体系提出了新的要求。通过对海上船舶及其通航环境进行动态化监管等,实现对海上交通的全方位管理,促使海事相关系统实现感知、预测和控制等功能,进一步提升海事系统在运行、管理和服务方面的效能[1]。

目前我国市级海事局的信息化程度相对较低,大数据处理能力和数据资产应用能力相对较弱,现场执法还存在人工干预度高、感知识别度低和数据独立性强等不足。

1) 事前管控,通过追踪重点船舶的历史情况,确定是否需对船舶进行登船检查;

2) 事中监控,依照基于雷达信号的VTS(Vessel Traffic Service),对正在航行的船舶进行监控,通过雷达回波大概判断船舶外部信息,基于人工经验对超速、低速和追越等行为进行识别并喊话;

3) 事后处理,当发生事故时,一般通过船讯网查询船舶轨迹。

整个执法过程缺乏有数据依据的风险早发现,事故研判只能基于船舶自动识别系统(Automatic Identification System,AIS)或VTS实现。虽然当前海事部门既有船舶登记系统,也有AIS和VTS等设备,但没有使相关数据发挥其应有的效用。近年来,我国加大了对海事设备的投入,沿海视频监控已实现全覆盖,海事信息化发展取得了一定的成效。为尽快实现海上交通管理全面覆盖、全面感知、动态掌控、智能预判、精准指挥和信息化服务,本文以东海某海事局为例,结合其实际业务需求,建立一套智慧海事监管平台,监管对象主要是进出辖区的各类型船舶(渔船除外,日监控量约为7 000艘次),船舶行为监管信息主要源于AIS和VTS,同时引入感知设备数据。通过建立该智慧海事监管平台,实现对辖区的自动化监管,提前识别风险、消除隐患,最终实现海运安全、畅通。

相比传统的海事信息化平台,该平台以AIS大数据应用为核心,引入专门针对地理信息存储的数据库PostGIS,在处理地理位置计算方面更具优势。

1 系统设计

利用信息技术完成智慧海事平台建设,确保其具备提示风险、提供通航状况、显示水文气象信息和航行警告等功能,并能对航行信息进行自动维护。平台建立之后,要求能利用地理信息系统(Geographic Information System,GIS)平台显示辖区内船舶的AIS动态信息,并通过该系统自动以最佳比例显示船舶位置,可采用CCTV(Closed Circuit Television)高速摄像机、无人机、风速仪、能见度仪等感知设备和AIS对巡航业务进行监控,通过信息采集分析,在出现异常之后自动进行预警和生成预警报表,确保能为海事巡航业务的全面监管提供便利[2]。

1.1 功能设计

海事监管平台主要服务于海事指挥中心值班室,用于对辖区进行安全监管,基于AIS大数据分析船舶异常行为,结合海事业务数据和感知设备,基于算法处理输出的各类预警和提醒,结合人工判断结果,形成海事执法任务或行政处罚,最终形成业务闭环。海事监管平台的功能设计图见图1。

图1 海事监管平台的功能设计图

系统功能设计以船舶安全为中心,从时间维度、对象维度和区域维度展开,辅以24 h自动监控。

1) 多模式操作:针对不同的使用者提供不用的操作模式,主要包括关注模式、疑似模式、双选模式和任务模式。

2) 风控中心:定位为平台的大脑,用于放置所有预警和预警的后续处理操作,包括触发非接触式执法。预警配置和算法模型的支持,可不断叠加新的预警场景,不断提升执法精度。

3) 时间维度:重点时段主要放置特殊时段的专题管控和预警,主要包括台风、恶劣天气预警和能见度不良预警。

4) 对象维度:重点对象包括重点船舶、两船模式、大型船舶和疫情模式,根据管理要求,可随时在这里进行专项行动扩展。

5) 区域维度:重点区域主要包括事故分析、事件分析和违章分布分析。

6) 专题模块:主要包括预警预控、应急搜救、法制管理、监控平台、巡航管理和一船全景。

7) 后台管理:主要包括系统管理、基础数据、日常管理、预警配置和大屏配置等,所有不基于地图的操作都放到后台进行。

1.2 架构设计

采用中远海运科技股份有限公司自主研发的P0技术架构,以Kafka、Flink、PostGIS/Redis和WebGIS/ECDIS(Electronic Chart Display and Information System)等先进的数据管理、服务技术为核心,按照常见的海事监管业务应用场景设计一套具有采集、存储、分析和可视化展现等功能的海事监管平台。该平台的总体架构见图2,主要分为6个层次。

图2 海事监管平台的总体架构

1) 数据源。数据源是数据仓库的主要数据来源,该平台的数据主要来源于内部系统(如协同平台等)和外部数据源(如船名识别系统、现场综合执法系统、协同平台和相关海事数据等)。通过数据源获取的数据需通过数据库、Webservice和消息队列等方式抽取到ODS(Operational Data Store)层。

2) ODS。ODS存储ETL(Extract-Transform-Load)抽取的数据,一般存储一段时间的数据,包括船舶、AIS、舱单信息、码头信息和气候信息等。对于对实时性要求比较高的数据,采用Webservice和消息队列等方式进行抽取,并保证数据的安全性。

3) 数据仓库/数据集市。数据仓库用来存储经ODS清理的数据,并长期保存,为数据分析和数据挖掘提供数据支撑;同时,结合海事局相关部门的实际业务情况,建立多种维度的数据集市,为智慧海事监管服务平台或其他系统提供服务。

4) 服务层。通过标准API(Application Program Interface)接口提供Webservice与数据文件服务、基本数据服务(包括即席查询、企业报表和仪表盘等)、分析建模服务和监控大屏相关服务等。

5) 通信层。API网关,通过Open API平台对服务层提供的服务进行统一认证、统一管理,提高系统的可用性和可扩展性。

6) 展现层。展现层包括PC(Personal Computer)管理端、APP和大屏应用等。

1.3 服务搭建

船舶异常行为是通过分析海量AIS信号得出的,因此在搭建平台服务架构时,必须能支撑AIS的运算量。在充分分析平台的定位之后,引入Redis、Kafka、FastDfs、Flink和ETL等工具搭建服务组件,具体见图3。

1) Redis:用于保存高频使用的信息和船舶最新经纬度点,以及进行船舶异常行为预警,能满足及时性要求。

2) Kafka:高吞吐量的分布式发布订阅消息中间件,解耦生产者和消费者,用于分发AIS信息。

3) FastDfs:轻量级分布式文件系统,对文件进行管理、存储和访问,用于存放船舶、船员和码头证书。

4) Flink:分布式的计算引擎,用来处理实时数据流。

5) ETL:用来为统计分析提供数据清洗服务。

图3 为海事监管平台搭建的服务组件

2 关键技术与功能实现

2.1 数据库的选择

用于存储数据的数据库选择范围主要包括Oracle、MySQL和PostgreSQL,其中:Oracle为收费数据库;PostgreSQL是一种对象关系型数据库,是目前功能最强、特性最复杂、接口最丰富的自由软件数据库,起源于伯克利软件套件(Berkeley Software Distribution, BSD)的数据库研究计划,是目前最重要的开源数据库产品开发项目之一。

2.1.1 Oracle数据库与PostgreSQL数据库对比

从功能上看,PostgreSQL数据库能与Oracle数据库相媲美,Oracle数据库是目前功能最强的商业数据库,PostgreSQL数据库是功能最强的开源数据库。Oracle数据库在集群功能方面比较强,而PostgtreSQL数据库在索引和可扩展等方面比较强。

Oracle数据库与PostgreSQL数据库有很多相似之处,比如二者都使用共享内存的进程结构,客户端与数据库服务器建立连接之后,数据库服务器就启动一个进程为该连接服务,同为数据库的MySQL采用的是线程模型;在日志管理方面,PostgreSQL数据库的WAL(Write-Ahead Logging)日志与Oracle数据库的Redo日志都用于记录物理块数据的变化。

PostgreSQL数据库与Oracle数据库的不同之处在于,PostgreSQL数据库有更多互联网特征的功能。例如,PostgreSQL数据库的数据类型不仅支持网络地址、XML、JSON、UUID和数组,而且有强大的正则表达式函数,如在where条件中既可使用正则表达式匹配,又可使用Perl和Python等语言写存储过程等。

PostgreSQL数据库在主备库方面非常完善,配置备库的过程相比Oracle数据库更灵活、简单。PostgreSQL数据库可搭建同步备库、异步备库和延迟备库,在同步备库中可配置数据同步到任意一个备库中,只读备库提供有更多的参数控制,用以解决查询与应用日志冲突的问题,使数据库管理员更易控制只读备库的查询冲突。

Oracle数据库的安装包一般以GB为单位,需花费数个小时安装;PostgreSQL数据库的安装包只有几十MB,在任意环境下花费数分钟即可完成安装。安装之后,PostgreSQL数据库更小巧,可在内存很小的机器上完美运行,如在512 MB的云主机上运行,而Oracle数据库基本上只有在以GB为单位的云主机上才能运行。

2.1.2 MySQL数据库与PostgreSQL数据库对比[3]

1) PostgreSQL数据库的稳定性较强, Innodb 等引擎在崩溃、断电等灾难场景下的抗打击能力较强,然而很多MySQL数据库用户都遇到过Server级的数据库丢失的场景——MySQL数据库是MyISAM的,相对而言,PostgreSQL数据库在这方面的表现要好一些。

2) PostgreSQL数据库功能强大,支持所有主流的多表连接查询方式,是对正则表达式支持最强、内置函数最丰富的数据库。PostGIS数据库在GIS领域处于优势地位,有丰富的几何类型、大量字典、数组和bitmap等数据类型;MySQL数据库在该领域的表现相对较差。

3) 度量信息和性能优化工具丰富。PostgreSQL数据库提供有大量性能视图,可快速定位问题,例如可定位到正在执行的SQL(Structured Query Language),通过锁视图看到哪条记录已被锁定,以及谁在等待等。PostgreSQL数据库中设计有专门的进程和架构,用于收集性能数据,既有I/O(Input/Output)方面的统计,又有表扫描和索引扫描方面的性能数据。

4) 在线操作功能好。当PostgreSQL数据库增加空值列时,本质上只是在系统表上将列定义上,无需对物理结构进行更新,这就使在增加空值列时能瞬间完成。此外,PostgreSQL数据库还支持在线建索引功能,在创建索引过程中可不锁更新操作。

5) 具有强大的插件扩展功能。PostgreSQL数据库提供了安装、编写插件的整体框架,如提供了create extension等SQL语句,以方便装载插件;写一个动态库可很方便地给PostgreSQL数据库添加函数;提供了外部数据源(Foreign Data Wrappers, FDW)的框架和编程接口,根据该框架和编程接口可方便地编写访问其他数据库和外部数据源的插件。

通过以上分析可知,PostgreSQL数据库具有以下优势:

1) PostgreSQL数据库是目前功能最强大的开源数据库。

2) 稳定可靠。PostgreSQL数据库是唯一能做到数据零丢失的开源数据库。

3) 开源省钱。PostgreSQL数据库不仅是开源的、免费的,而且使用的是类BSD协议,在使用和二次开发上基本没有限制。

4) 支持广泛。PostgreSQL 数据库支持大量的主流开发语言,包括C、C++、Perl、Python、Java、Tcl和PHP等。

PostGIS在对象关系型数据库PostgreSQL上增加了存储管理空间数据的能力,相当于Oracle数据库的spatial部分。PostGIS最大的特点是符合并实现了OpenGIS的一些规范,是最著名的开源GIS数据库。“PostGIS 为PostgreSQL提供了存储空间地理数据的支持,使PostgreSQL成为了一个空间数据库,能够进行空间数据管理、数量测量与几何拓扑分析”[1]。

基于以上分析,该平台的数据储存在含有PostGIS插件的PostgreSQL数据库中。

2.2 数据采集范围的确定

此次平台设计从指挥中心安全监管出发,关联数据主要来源于部级和局级数据中心、海事局自建系统和关联企业,其中关联企业主要指港务局。对于海事局自建系统和关联企业而言,其数据可无条件获取,因此该平台的功能范围主要取决于部级和局级数据中心的开放程度。

自建系统主要包括各种感知设备的接入、本地安全检查、综合执法和VTS等系统;关联企业的数据主要包括进港计划、作业计划、危险品信息、引航拖船、集装箱吞吐量和外轮进港申报等;二级数据中心下发的数据主要包括辖区范围内船舶基本信息、船舶证书、国内安检、行政处罚、报告制、重点跟踪和协查船。此外,平台还用到了东海航保的AIS数据和电子海图。

除了上述有明确来源的数据以外,对于船舶安全航行监管而言,气象信息也是不可或缺的,如台风、潮汐等,在确定数据源之后,由港务局专线通过网闸将其接入海事专网。

2.3 预警处理流程

基于以上服务组件,设计AIS接收和预处理过程,见图4。

图4 AIS接收和预处理过程

平台的运行围绕AIS信息展开,船端发出AIS信号之后,先由地面基站接收,再由东海航保在专网内转发到平台〈AIS Client〉上,触发平台的AIS处理流程。处理过程中的〈预警服务〉是平台的算法服务器,所有智能场景的算法都在此运行,产生预警的记录自动传输给风控中心,使值班执法人员第一时间发现并进行干预。

2.4 AIS数据与VTS数据融合

为尽可能地提高预判的准确性,需对AIS数据与VTS数据进行融合,同时关联海事系统内的相关业务数据,方便海事执法人员一次性获得所有信息,具体融合算法参见文献[4]。

2.5 超速预判算法

在公路交通领域,可通过在公路两侧安装硬件测量瞬时速度和区间速度,进行超速判断。对于航行中的船舶而言,这种判断方式不适用。通过分析发现,只有AIS和VTS含有船舶动态信息,其中VTS中的船舶航速来源于AIS,故该超速算法的数据以AIS数据为准,AIS中的航速是通过在船上安装的硬件自动获取的,一般为对地航速。

较为合理的超速判断逻辑是固定距离区间测速(比如公路超速)或固定时间段平均航速,由于海上没有类似于高速公路的固定航行线路,故该超速算法根据固定时间段平均航速进行超速判别。AIS中的动态信息均为瞬时信息,考虑到AIS信号的稳定性和AIS信息推送周期(详见表1[4]),在与海事法规专家讨论之后,确定测算时间段为10 min,即从船舶进行超速判定围栏开始,在收到AIS动态信息之后,在Flink中进行实时计算,从缓存预警数据中取过去10 min内的所有动态信息点,当有70%的动态信息点超过阈值时,判定该船存在超速行为,生成预警消息队列,最终在风控中心显示。

表1 AIS信息推送周期

3 平台应用效果

平台建成之后,形成了以1张地图(东海航保专业电子海图)和1个大脑(风控中心, 全天24 h实时监控辖区内船舶的航行安全性)为基础的非接触式执法模式,通过平台直接固化电子证据,直接对存在危险行为的船舶开罚单,同时根据规划提供多单项功能入口,基本满足基层海事处的海事安全监控需要。图5为海事监管平台风控中心列表。

图5 海事监管平台风控中心列表

目前该平台的系统级预警有55个,用户自定义预警有80个,平台每天处理的AIS数据约有150万组,每天产生的系统级预警约有1 500个,每天产生的用户自定义预警约有30个。由于系统级预警数量较大,超出了海事处的执法能力,故作进一步分析,将需要执法人员处理的系统级预警控制在可执行的范围内。以2021年11月29日的预警内容为例,单日预警类型统计见表2。

表2 2021年11月29日平台单日预警类型统计

由表2可知:2021年11月29日全天合计预警数量1 079个,其中,1001预警占比 43.56%,1030预警占比43.37%,合计占比86.93%。换算之后可知,1001预警和1030预警以外的预警数量仅141个,在十大基层海事机构的执法能力范围内。1001预警为AIS信号异常消失预警,1030预警为AIS信号异常出现预警,业务上消失之后再出现会触发1030预警,2个预警所占比例近似持平,验证了系统逻辑的正确性。通过走访预警集中高发的几个区域发现,1001预警和1030预警2个高频预警主要是由内河航线基站存在盲点或无卫通船舶离岸线太远造成的。对于第一种原因造成的预警,已建议相关方进行补点;对于第二种原因造成的预警,由于涉及船端硬件成本投入,暂无解决方案。

4 结 语

目前该平台已建设完成并投入使用,取得了良好的应用效果,改善了现有海事监管信息化分散发展、被动海事执法和基层海事执法信息化支撑分散等状况,基于大数据技术提供WebGIS和API等各类型数据应用微服务,形成数据资产和应用资产,为基层海事执法的信息化发展提供支撑,满足自下而上汇总和自上而下管理的需求。下一步计划加强对感知信息的应用能力,通过图像识别技术实现超载、人员落水和碰撞等风险早知道。在此次平台建设中,没有对感知设备(如CCTV)产生的图像信号作进一步的应用,图像信息没有做到完全融合。后续考虑将图像信号处理成结构化数据,使近海CCTV覆盖范围内的一些风险(如沉船、溢油和人员落水等)能第一时间被发现。

猜你喜欢

海事预警船舶
大数据分析的船舶航迹拟合研究
船舶稳性控制系统研究
预警型智能包装在食品安全中的应用和设计
国内首个海事司法案例库正式上线
《船舶》2022 年度征订启事
信息精要与海事扫描
超级秀场 大风预警
船舶上层建筑建造工艺探讨
上海海事大学杂志总社联合征订单
预警个啥