船舶营运大数据挖掘与应用思考

陈昌运，李传庆

（上海船舶运输科学研究所航运技术与安全国家重点实验室，上海 200135）

0 引 言

大数据具有数据体量大、类型多、处理速度快、数据真实性强和价值密度低等特点[1]。

对大数据进行分析，挖掘大数据所蕴涵的价值，应用前景广阔[2]。船舶行业是个传统产业，它与互联网和大数据技术结合相对滞后。但是船舶行业是一个全球性且规模庞大的行业，联系着设计、制造和货物运输，联系着贸易市场和人们的生活，数据来源广泛，蕴涵着许多具有潜在价值的知识与信息，需要去挖掘，需要去发现。正因为如此，大数据在船舶行业的应用也已经启动。欧洲已经发表了“MUNIN（Maritime Unmanned Navigation though Intelligence Network）”项目，旨在发展新一代控制系统与通信技术，显示并控制在港和离港的船舶[3]，这无疑推动了信息化船舶与信息化航运的发展。2014年7月，日本船舶技术研究协会着手船舶“大数据路标”工作，通过搜集多艘船舶的航行及其相关数据形成大数据，计划为船舶的节能航行、船型开发、装备远程维护等项目所使用[4]。何山和马云涌提出了未来航运信息化的发展的趋势[5～7]，论述了航运业对大数据技术的迫切需求，同时也为船舶行业大数据应用提供了启示。此外，在航运业的低谷期，人们也在积极探索大数据时代给航运业的转型发展所带来的积极影响[8]。随着G6、2M、CKYH和O3四大航运联盟的形成，运力将达到全球运力的80%左右。无论是航线设置、港序版图，还是网络覆盖、运力调整、营销设计，都将催生航运的大数据时代。

本文主要探索大数据分析与挖掘以及大数据在船舶行业的应用。分别描述数据的采集和预处理、数据的分析与挖掘，并展望了部分应用前景，如船舶能效指数EEDI验证，监测、报告和验证（MRV）机制实施；风浪对航速的影响研究；节能技术的节能效果评价；船舶进坞清理污底最佳时机分析；船舶设备运行管理等，对于促进造船和航运业的技术进步具有重要的意义。

1 船舶营运数据的监测

通过收集船舶营运数据信息及营运船舶性能监测，将获得大量与船舶营运管理、船舶航行环境、船舶航行性能及营运能耗有关的数据。目前信息技术和通信技术发展迅速，船舶仪器设备已逐步智能化，航行船舶的卫星定位技术已经比较成熟，使得营运船舶很多物理数据的测量已成为可能，通过对营运船舶长期监测，将逐步形成大数据的集合，奠定航运业船岸信息一体化的基础。

1.1 数据采集

最常见的实船数据采集是交船试航测试的数据采集，主要包括航速、航向、风速、风向、主机转速和扭矩等，采用的设备主要是测试人员自带的仪器。但这类数据是在特定环境条件下获取的，采集的时间和数据量都有限，最全面的数据应来自营运船舶的长期监测。目前，营运船舶的航行数据主要是依据定时报送方式，通常每4h或6h由船上报送岸上，而且人工统计抄报的情况仍较为普遍。

实船营运监测是未来获取船舶营运数据较为理想和比较科学的方法。通过营运监测，可获取的数据有船舶姿态，如航速、航向、吃水等；海况环境，如风浪流、水深水温等；船舶能耗，如主辅机工作参数，转速与扭矩、舵角等；船舶驾驶、船舶位置、船舶运动等信息；船上各设备工作参数等。此外，还可以采集燃料加注信息、淡水存量与补给信息、进出港动态、货物装载、防台等信息，构成较为齐全的营运船舶数据的集合。

1.2 数据岸端传输

小批量数据的船舶通信，可以采用无线传输的方式，如无线电话通信、无线电传电报通信、国际移动卫星通讯、卫星手机通讯、电子邮件通讯、网际网路通讯等。目前营运船舶的信息管理普遍采用这种方式。近年来，人们还对近海船岸无线数据传输技术进行了一定的研究。

但是对于营运船舶长期监测的海量数据来说，上述方法还难以适应这样的需求，一是卫星通信成本费用太高，二是难以保证大量数据有效传输。在目前条件下推荐两种简单实用的方法：一是进行数据岸端有线传输。把数据看成货物一样，船舶靠岸或靠码头时将数据采用有线加密方式发送到指定的岸端网络信息平台，该岸端网络信息平台的所有者可以为该船舶所属公司，也可以为合作的科研机构；二是通过移动存储介质，在船舶每个航次返回特定港口时，由指定船员交到岸上指定机构。

1.3 数据预处理

由于海上风浪和船舶各种设备运行环境的复杂性，监测数据难免会有不完整或失真的情况，例如某个时刻浪高未测出，船舶姿态测量值超出合理范围等。对于船舶监测中缺失和失真的数据需要进行数据清洗。

数据清洗（Data Cleaning或者Data Scrubbing）的目的是检测数据中存在的错误和不一致，剔除或者改正它们，以提高数据的质量[9]。王曰芬等，以及郭志懋，周傲英介绍了3个有代表性的数据清洗框框架：Trillium模型、Bohn模型、AJAX模型架[10,11]。对于营运船舶监测数据缺失，视缺失情况可采用不同的方法，如借鉴交通流量数据缺失值的插补方法[12]。若某时刻仅一两个信号无数据，如仅有航速而浪高无数据，可采用数据趋势进行临近插补或其他信号的相关性进行填补；如果一段时间所有信号都没有数据，为了后续的数据分析而又不便舍去该时间段的值，那么采用基于前后时间段的数据样本进行随机插补，并满足各相关信号的一致与统一，例如油耗与船舶主机功率转速有一定的相关性。对于船舶监测数据的失真要对其进行修改，首先要进行失真数据的判断，可以根据监测数据的特性进行，例如船舶吃水通常是有一定区间和范围的；也可以根据数据的量级以及数据变化趋势进行判断；还可以根据其他相关信号量的值进行判断，例如可以根据船舶运动来判断波浪监测数据是否失真。一旦判断出失真，便可以采用一定的数值方法对失真的值进行修补。

海上航行的船舶，信号会有各种各样的干扰，会产生噪声和震动，所以对监测数据的滤波也必不可少。滤波的方法有很多，常见的有卡尔曼滤波、高斯滤波、中值滤波、均值滤波等，对于船舶监测数据而言，可以采用卡尔曼滤波。

进行数据预处理之后，需要将监测数据按照一定的形式导入数据库。对于海量的监测数据宜采用分布式数据库，并注意数据库优化设计以及同步策略。

2 分析航运数据的挖掘与应用

航运数据挖掘（data mining或Knowledge Discovery）是从大量的、不完全的、有噪声的、模糊的数据中提取隐含的、未知的，但也是具有潜在价值的知识和信息，其方法是统计分析方法学的延伸和拓展，可包含分类统计、关联分析、可视化描述、预测、再验证的迭代与逼近等过程。

1）分类统计：是将大量数据进行有目的分类、排序和统计，获取期望得到的相关参数间的函数关系与信息，诸如浮态与油耗、载况与功率等；

2）关联分析：两个或两个以上变量存在某种规律性，就称之为关联。这种关联性对船舶营运过程中某些难以测量或收集数据的获取、推算或验证提供了一种重要的途径。例如：船舶航行过程中的动态吃水和波浪参数及船舶运动参数相关联；海况波浪参数和船舶失速以及船舶运动参数相关联等；

3）可视化描述：对于数据挖掘获得的结果，需要转换成能被人们理解或接受的知识或信息。可视化描述可形成常规的曲线图、表格、分布图、等值图、云图等等；

4）再验证的迭代与逼近：船舶营运过程中通过数据挖掘获得的知识，往往还受到监测数据的精度、船舶运行的状态、船上各种设备运行的状态、海况环境等众多因素的影响，随机因素对于分析结果的准确性和可靠性的影响是存在的。需要通过后续监测的数据进行再验证，通过多次迭代与分析，逐步逼近正确的结果。

通过收集和对营运船舶监测获取的数据进行统计分析以及价值挖掘，可以获得很多有价值的数据信息，如船舶的功率与航速、船舶能耗数据、风浪对船舶航速的影响、各种节能措施的节能效果、污底对功率的影响、航线航区的海况资料和各类设备运行状态等数据，具有广泛的用途。

2.1 功率与航速以及船舶能耗

对于船舶营运中收集或监测得到的大量数据，通过数据清洗后，可以分类提取出类似于交船试航测试的相应数据。对于这些数据中可能存在的一些缺失或失真，可通过数据的关联性分析，从一种数据或几种数据推算出缺失的数据，验证与校正失真的数据，如从船舶运动数据推算、补充或验证波浪环境参数。再应用ITTC或ISO的实船测试分析与换算方法，分析营运船舶的功率与航速指标，换算得到相应的船舶能效营运指数EEOI，为航运能效管理服务，也可为未来的 MRV（Monitor，Report，Verification）机制实施提供支持[13]。

2.2 波浪对船舶航速的影响

波浪对船舶航速的影响可归结到波浪对船舶功率(阻力)的影响。一旦获得比较准确的波浪中船舶消耗功率的增加，就能够用于不同船型气象因子（fw）的验证与评价，为EEDI指标的验证提供支持。

对于收集或监测得到的大量数据，按照波浪参数和载况数据进行分类，可统计出浪高、波浪周期和不同载况所对应的不同航速。当浪高近似为零时，可以视为通常所说的静水情况，此时对应的航速与功率可视为静水中航速与功率，通过与不同等级波浪分类统计的数据比较，可以挖掘出波浪对船舶航速以及失速的影响。从长期监测的角度看，营运中的船舶会遭遇到各种等级的波浪，随着数据积累的增多，数据的分类也将随之越来越细，统计的数据也将越来越齐全，得到的结论也将越来越接近实际情况。

2.3 节能技术产生的节能效果评价

借助于船舶营运数据长期收集和监测，通过分类提取节能装置安装前和安装后的相关数据，对其进行统计分析。同时，借助于数据挖掘得到的相关数据之间的影响关系与修正方法，消除诸如波浪、吃水、浮态、水深、水流等因素的影响，就能获得所用节能装置的节能效果。

2.4 污底对船舶功率影响

应用收集和监测得到数据，提炼出与船舶营运功率有关的系列数据，按照时间序列进行排序，消除其他因素对于船舶营运功率的影响，进一步分析可得到船舶污底与营运时间及航线间的关系。结合坞修时清污成本的测算，可分析求得最低营运成本的坞修清污时间节点。对于船舶营运能效管理，营运成本的管理具有重要的现实意义。

2.5 航线航区海况资料

营运船舶数据监测包含了海况环境的长期监测，如风、浪、流、水深、水温等。按照航线、航区、时间建立统计数据，可建立航区、航线的海况资料。

这些海况资料，作为实时气象信息的补充，可应用于船型开发设计研究、海事法规与管理研究、航线优化和航速优化研究等，是造船、航运和海事管理的具有宝贵价值的资料。

2.6 设备运行状态数据

通过不间断地营运监测和数据收集，对船舶主要设备的运行数据进行挖掘，可判断设备的运行状态，结合设备的运行特性，判别设备的故障前兆，确定必要的维护措施等。为设备日常维护、安全管理以及成本管理提供支持。

3 结 语

综上所述，给出以下几点结论：

1) 营运船舶数据可以通过航运信息管理平台和船舶营运监测两种方式获取。在卫星通信费用比较昂贵的情况下，监测数据可以采用岸端数据传输和移动介质传递两种方式；

2) 通过船舶营运大数据挖掘，可以发现非常有价值的船舶航行性能方面的知识和信息，在造船和航运两大行业具有广阔的应用前景，诸如通过数据挖掘得到的船舶在各种载况下功率与航速的关系，有助于完善船舶能效设计指数（EEDI）实船验证方法，为船舶能效监测、报告和评价(MRV)机制实施提供支持；借助于挖掘得到的各种载况下波浪与失速的关系，进行船舶在风浪中气象因子（fw）研究，为EEDI有效实施提供支持；评价节能附体的节能效果，推进节能技术的有效应用；进行基于最低成本的进坞清污的论证与实施等；

3) 借助于数据的统计与挖掘获取的航线海况、设备运行状态等信息，可以用于船舶营运航线和航速优化、营运安全与成本管理、设备维护等，为船舶节能减排、航运安全、船舶设备的管用养修提供有力的支持。

[1] Barwick H. The four Vs of Big Data [N/OL]. COMPUTERWORLD. (2011-08-05) [2014-08-20]. http://www.computerworld.com.au/article/396198/iiis_four_vs_data/

[2] Linco. 一文认识并读懂大数据[N/OL]. 36大数据. (2013-10-31)[2014-08-20] .http://www.36dsj.com/archives/4203.

[3] MUNIN. Munin Brochure. http://www.unmanned-ship.org/munin/wp-content/uploads/2013/01/MUNIN-Brochure.pdf.

[4] 钢联资讯. 日本船舶着手“大数据路标”工作[N/OL]. 物联网世界. (2014-07-21) [2014-08-20]. http://www.iotworld.com.cn/html/News/201407/936a2ef158665dd7.shtml

[5] 何 山，马云涌. 我国航运业信息化发展趋势及战略选择[J]. 武汉理工大学学报，2010, 32(5):782-786.

[6] 苏 敏. 大数据时代航运业的转型发展[N/OL]. 中国国际海运网. 2013-06-24 (2014-08-20)[2014-08-20]. http://gss2012.shippingchina.com/opening/detail/id/11.html

[7] 马云涌. 航运企业的船岸信息一体化IT架构[N/OL]. 百度文库. http://wenku.baidu.com/link?url=MNttm5Xfl0IFkGPyoBW8T9FC9noZ6DfchTzlCx9I-Kp7olbamb_-LdQ-0NoN3ykja8u16U-954YVctT6YqS0HJ60M7rsA0qK mARlwMMgrIq.

[8] 陈少华. 船岸高速数据传输信道编码与调制技术方案的实现[D]. 大连海事大学，硕士论文，2006.

[9] Rahm,E., Do,H.H. Data Cleaning: Problems and Current Approaches[J]. IEEE Data Engineering Bulletin , 2000,23(4): 3～13.

[10] 王曰芬，章成志等. 数据清洗研究综述[J]. 现代图书情报技术，2007, 12:50-56.

[11] 郭志懋，周傲英. 数据质量和数据清洗研究综述[J]. 软件学报，2002, 13(11):2076-2082.

[12] 韩卫国，王劲峰，胡建军. 交通流量数据缺失值的插补方法[J]. 交通与计算，2005, 23(1):39-42.

[13] ISSC. 欧洲议会确定船舶二氧化碳 MRV规则使用范围[N/OL]. 国际海员服务中心网. (2014-04-18)[2014-08-20].http://www.issconline.com/article.php?id=34020