海事信息挖掘与共享发展路径研究

2020-03-02陈琛CHENChen

价值工程 2020年35期

陈琛CHEN Chen

（武汉商学院，武汉430056）

0 引言

交通强国是我国十四五规划的重要内容，交通部《加快编制国家综合立体交通网规划纲要（2021—2050年）》的意见中将明确提出要大力推动交通运输管理和服务数字化、网络化、智能化，加快智慧交通建设步伐，切实提升交通服务水平。必须借助信息化和互联网等一系列新技术，实现向“智慧交通”的升级转变。海事作为现代交通的重要组成部分，一直以来都关注着信息化的发展，经过几十年的发展，我国海事部门已经完成了基本业务的信息化和数据化，随着海事信息化建设的深入，调查海事业务数据挖掘及共享需求，研究海事业务数据的分析模型，推进海事业务数据的在海事系统内、交通运输行业内部以及全社会的共享应用，进而提升海事信息资源开发利用水平，实现交通运输行业从传统服务业向现代服务业的转型的关键。

1 海事信息数据共享发展现状

从十三五以来，在建设交通强国、推动长江经济带发展战略的推动下，我国海事部门积极探索运用现代化通讯技术，提出了通过信息化支撑和引领“数字海事建设”的发展战略，通过积极推进革命化、正规化、现代化的“三化”建设，经过十三五期间的建设，我国海事已经基本建成了职责清晰、管理规范、服务智能的现代化海事服务体系。在三化建设的过程中，为了提升海事管理能力，建设智慧海事，国家和各地方海事管理部门依据各自的行政管理职责进行了一系列信息化建设，已经基本实现了海事管理的数据化和电子化。

首先是从静态信息管理层面，各地方海事管理部门已经基本实现了主要业务的数据化和网络化，能对辖区内的船舶、船员、航道、港口、货物等进行信息收集和管理。从动态管理监管层面，我国主要的通行水域实现了大范围甚至全覆盖的动态监测，尤其是在长江干线全线，通过船舶自动识别系统（AIS）、船舶交通管理系统（VTS）、全球卫星定位系统（GPS）、闭路监控电视系统（CCTV）以及中国船舶远程识别与跟踪系统（LRIT）多种多累识别和监管系统的建设[1]，可以较好的实现海事信息的全方位监管。随着这些动态监管系统的覆盖，也为航行安全、航道检测、应急处理、污染防治等海事管理活动提供管理基础[2]。

在各独立的信息化系统建设完成之后，包括海事管理部门、科研院所和高校等在内的众多管理和科研部门开始关注于信息的共享。目前，已有地方部门建立了海事、船检、运政船舶数据共享系统，另外还有包括“航运在线”、“中国航运数据库”等公共信息服务平台[3]。虽然有着这些信息共享系统或平台的信息化基础，受管理体制、技术条件和思想观念等因素的制约，海事信息“信息孤岛”、资源浪费问题仍然非常突出，目前，由于船舶、船员、船公司、签证、通航环境、AIS、法规、规费等数据种类繁多，缺少能将较多信息共通的信息共享体系，而针对海事业务数据挖掘的研究大多处于设想构建阶段，具体实施工作没有开展，总体来说，海事信息挖掘与共享已经具备了基础基础的实施条件，但目前还缺少成熟和规范的相关共享机制和应用范例。

2 海事信息挖掘与共享存在的问题

随着我国海事信息化的发展，海事管理部门根据各自的业务内容，已经基本上完成了业务流程的数据化和信息化，在这个过程中，建立了船舶管理、船载客货管理、事故与应急管理等众多管理系统。这些管理系统不仅提升了海事管理部门的工作效率，同时完成了我国海事的基本信息化过程，积累了大量的原始数据。然而，在信息数据挖掘与共享的发展过程中，由于过去的分散发展，无法发挥数据集中规模的优势，还存在着以下一些问题，不利于海事信息和数据的挖掘与共享。

①不同的应用系统建立在不同的硬件和软件平台上，不同的应用系统又可能是不同的语言和开发工具开发出来的，有用Oracle 的，有用Sybase 的，有用SQL Server的，使得数据的存储形式无法兼容，难以实现互通和共享。

②数据结构不一致，例如不同的数据中都有“船名”这个字段，但是在不同的数据库中给出的数据类型的定义却不一样。数据类型和结构的不同使得原始数据的存储结构、字段长度和处理方式都各不相同。且不同数据库中含义相同的数据也无法简单匹配和合并处理。

③相同业务语义的信息被反复定义和存储，没有形成全局统一的数据资源编码体系，给应用系统间数据交互造成不便。

④数据资源分散在各个系统和数据库中，从不同的系统中提取同样含义的数据时，将会遇到数据转换等问题。这使得同一业务系统的不同模块间、不同业务系统之间的信息可能会需要人工来对数据进行重新组织，在这个重组过程中，不仅效率慢，还可能导致数据的精确度降低。这些困难使得数据很难进行交换和综合运用。

⑤在数据资源发掘与综合利用方面存在较大不足，现有数据属于不同的行政管理部门，也是用于不同的应用背景，首先需要将现有数据进行聚集，汇聚成统一的数据实体后再基于业务语义数据内容融合。

⑥在数据资源存储方面，随着多个数据库和多个应用系统的建成并投入运行，业务量快速增长，信息存储量和查询量也急剧上升，部分应用和存储系统难以满足未来应用的需要。

3 海事信息挖掘与共享需要解决的关键问题

海事业务数据正在从稀缺走向了极大丰富，然而这些这些数据来源于不同的管理部门，不同的应用系统，数据之间并没有形成有效的整合，要想实现大量海事信息的挖掘与共享，目前还需要从技术和应用场景两个层面解决信息挖掘与共享的关键问题。

3.1 技术关键问题

①海事数据源质量评价和数据汇聚。根据海事数据的来源、采集时间、数据精度等，建立海事数据源质量评价模型，分析海事数据的数据质量，在数据汇聚时选择高质量的数据源。在数据共享过程中，首先要进行数据汇聚，将多途径、多类型的数据进行统一集中的处理，针对不同的海事汇聚场景，建立多模态的数据汇聚方法，在汇聚过程中保证数据完整性、时效性和精确性。

②海事实体的识别方法。海事业务数据记录都与不同的实体一一对应，要使其纳入应用，首先应区分不同的实体，在数据汇聚的基础上，根据不同的海事主题建立实体识别模型，实现实体的自动识别，同时还要对实体识别效果进行评估。

③海事数据清洗和自动修复方法。不同的海事业务数据可能会对相同的海事实体给出不同的属性或者行为描述，数据共享过程中，通过建立不同场景海事业务数据和海事实体的语义模型，对错误数据进行自动识别，完成数据清洗和修复。对于非确定性的描述信息，还应基于海事业务和先验概率，以可靠性、置信度指标的方式进行描述，为后期处理留下可能。

④基于信息融合方法的高质量数据整合方法。在前面海事数据清洗和海事实体识别的基础上，从业务信息的层面实现信息的融合，将各类异构的数据通过抽取转换和模式匹配等，整合成业务层面的信息，实现信息融合。

⑤数据演化的溯源管理。海事业务的动态性和多样性使得数据流转和变化非常迅速，为了保证数据的质量、一致性和精确性，需要建立完善的数据演化和溯源管理机制，实现整个自动采集系统的自我修正与调整。

⑥海事数据仓库在真实的云计算环境中的部署方式。云计算作为一种新的数据服务模式正在日益成熟，也对海事数据仓库的构建、部署和使用提出了新的挑战。主要表现在：首先，云计算混杂了各种计算和存储资源，数据的存在更趋于分散。另一方面基础数据库的异构性更趋复杂，“一数多源”现象普遍存在，数据访问的精确性和一致性难度加大。现有海事数据中心将作为云节点支撑大的云平台，而目前这些数据中心在数据共享上仍然处于割据状态。

3.2 应用场景需求

①海事大数据共享数据平台。海事大数据的共享需要以通用的大数据平台为基础，接入各个应用部门和应用主体的多种还是数据，这些数据不仅包含结构化数据，也包括各类非结构化数据。以此为基础，通过高效的大数据处理技术，以进行快速有效的挖掘分析，从中提炼出高价值的信息，灵活支撑日益增多的各类海事业务应用需求。

②面向海事安全应急的数据挖掘方法。我国在水上交通事故数据、船舶航行、溢油污染和海事监管等方面积累了大量数据，随着数据共享的建成，需要对传统的数据挖掘算法从算法结构、计算模式等方面进行改造和重新设计，针对云计算环境，构建面向海事业务数据的挖掘算法，并以这些算法为基础，构建面向海事安全和应急救援的云服务。

③海事应急决策预案推理与生成。在大量共享海事数据的基础上，通过数据挖掘，综合采用案例推理决策、遗传算法、决策树等方法主要针对物质调度、最佳航线应急规划、船舶和人员救助、溢油应急等海事应急行为和场景，形成最优应急调度和救援方案，再将挖掘结果转化为可行的预案或决策方案，形成便于决策人员理解与海事应急的实施的应急决策预案。