港口企业大数据中心建设需求及方案分析

2020-09-06孙浩

中国新技术新产品 2020年11期

孙浩

摘要：随着信息化水平的不断提升，很多先进的港口企业尝试将目前新兴的大数据技术、物联网技术及云计算技术等运用到港口生产中，初步建立大数据中心，用数据来指导航运。随着港口企业对大数据概念认知的加深，航运数据的收集和深度挖掘应用对航运的精细管理起到了越来越重要的作用。港口企业的大数据中心建设需求的核心在于数据资源及数字技术，大数据中心建设应把握好数据标准、数据共享、数据挖掘和数据安全等环节。

关键词：港口企业;大数据中心;整体方案

中图分类号：TP39 文献标志码：A

0 引言

大数据指涉及的资料规模过于庞大，无法通过目前小型的处理软件进行自动处理，但是能够通过专业性数据处理，在合理的时间内进行有效信息的选取、加工、整理，并为企业经营、管理或决策所用的数据信息。在当前市场环境下，合理的使用大数据技术能够有效帮助企业做出正确的决策部署，为企业创造更多的价值和效益[1]。港口是物流链条中至关重要的一环，其运输和管理数据通过整理、分析后，能够成为航运模块中丰富的数据资源，反过来能够对港口业务起到精准指导的作用，港口作业、供需关系、业务联系等均可在大数据中心提供的信息中受益[2]。港口企業大数据中心通过对港口航运信息进行挖掘，以此来深入分析数据之间的关系，为航运提供科学合理的运营方案，还能够帮助企业明确经营方向，协助决策层制定相关的发展战略，对于港口企业的航运布局和发展规划的调整也具有重要的指导意义。

1 港口企业大数据中心建设的技术需求

1.1 数据采集

在港口企业的运营过程中，每个环节都会产生复杂庞大的数据，而大数据数据处理的第一步就是收集信息，即获取数据源。因此，通过各种有效的方法来获取数据信息就变得尤为重要。目前，已采用大数据技术的港口企业经常通过数据传感器、RFID射频识别技术、AIS船舶自动识别技术等来获取货品数量、参数信息及航运信息等数据，随着大数据技术的发展和企业应用需求的增加，一些能够初步接收和粗略处理信息的移动软件被开发出来，企业管理者能够在手机或平板电脑上初步浏览各项数据。

1.2 数据存储

港口企业在应用大数据技术时，更注重对于数据的即时处理和应用。因此，大数据技术对数据存储和处理的时效性提出了很高要求，传统的数据存储技术已经不能满足当前需求。借鉴当前先进港口企业的成功案例，以Hadoop和Spark为代表的分布式储存和计算框架，在存储、运算速率及经济上最为适用。目前，港口船舶产生的AIS数据十分庞大，卫星AIS数据和岸站AIS数据融合信息就达到20 000条/min～30 000条/min，船舶的年航运轨迹信息量更是超过百亿条。为实现信息的有效存储和利用并保证存储空间的可扩性，目前可采用基于主机池概念的云存储和计算技术，这种存储技术能够根据信息的状态动态分配存储资源。此外，还可以考虑关系型数据库存储技术，基于这种技术建立的存储系统智能程度更高，并能制定具体的存储表，但存储成本较高，维护较为复杂。

1.3 数据加工

航运环节所产生的的海量数据显然存在重复、偏离、错误和缺失等问题，通过数据加工来进行覆盖、纠正、校正、推导等处理是必要环节。其中重复的数据可以通过排序、聚类、分组等方法进行覆盖。错误的数据通过人工智能和统计分析的方法检测其异常值，利用数据清洗规则进行剔除。偏离的数据通过聚类算法等进行校正。缺失的数据可以通过推导法、均值法或者函数关系进行计算，或者人工输入可接受数值的方法进行处理。为了节省存储空间，初步处理后的数据可采用普克算法进行数据的折线矢量压缩，节约存储空间。

1.4 数据提取和分析

在收集和初步处理的数据中提取所需类型的数据就需要对数据进行查询和提取，进而进行对应指标的分析，目前数据的查询和提取技术需要支持RESTful架构的数据库技术和云计算技术，同时还要具备较高的容错率等特性，目前较为适用的方法有Trie树法、布隆过滤器法、散列法等。

数据的分析是大数据技术的核心内容，传统的数据处理技术已经不能满足大数据处理的需求，当前的大数据分析处理方法有并行计算法、粒度计算法和数据挖掘法等，大数据分析技术能够基于专项数据对各个模块信息进行全面综合的分析，得出最佳的计算结果，为航运决策提供可靠数据。随着大数据技术的深化，数据的分析结果可以通过可视化技术和人机交互技术实现，还可以利用高级数据语言建模技术实现港口大数据的可视化查看、多维数据立体化查看和人机交流互动等。

2 港口企业大数据中心建设方案

2.1 设计原则

港口企业在进行大数据中心建设前，应科学进行总体规划和设计，数据中心的设计应该摒弃传统的设计模式，规避数据中心的功能性弊端，以大数据中心的资源最优化、流程标准化、管理模块化、交互虚拟化和操作智能化作为设计的总体原则[3]。其中大数据中心需要以需求导向、整合共享和高效服务作为设计出发点和落脚点，以需求为导向是要求在进行设计时，要充分参考国家信息发展规划布局，以此来指导大数据中心软硬件的前瞻性设计和应用。整合共享则是为了充分采集和利用数据，变革以往传统数据中数据分散、失真的弊病。高效服务则是保证各个环节的信息处理效率，保证最终输出信息的即时性、准确性。

2.2 设计方案

港口企业大数据中心建设的总体思路是依托云计算、大数据技术、硬件构筑基础数据平台以及数据中心服务系统，将基础设备、信息收集、核心技术、业务需求、安全保障等部分科学的联系起来。基础数据平台利用大数据或云计算等技术对信息进行收集、存储、整合、分析及输出，充分挖掘数据价值，将最终结果传输到虚拟终端供相关部门使用，具体方案描述如下。

首先，大数据中心的建设需要建立统一的数据收集中心，信息的收集包含了生产管理系统、装运管理系统、经济管理系统、运维系统、物供系统、后勤管理系统、人资系统、工程管理系统、科技管理系统等方面的数据。其次，大数据中心的建设需要对数据进行接加工处理，将初步收集的分散、无规则数据进行集成、形成上述对应系统的数据库。最后，通过数据挖掘和输出形成对上述各个系统有价值和指导意义的数据，实现大数据输出成果的应用[4]。港口企业大数据中心建设架构如图1所示。

2.3 港口企业大数据中心建设过程中的要素管理

2.3.1 统一数据标准

港口企业无时不刻不在产生相应的数据，数据类型多种多样，其中包含与货物有关的数据，包含船舶数据、设备数据及能耗数据等，但是这些数据的类型和标准不统一，在实际的收集中，数据格式不统一的现象十分普遍，这给信息的处理和加工带来了诸多不便，造成了信息传递的迟滞。因此，建立统一的数据标准是港口企业在进行大数据建设初期需要着力解决的问题之一。

2.3.2 保持數据共享

“信息孤岛”已经成为通病，这就导致大数据中心的数据价值不能完全发挥出来，港口企业内部各个系统之间的信息被孤立，各自为政，造成互不相让的困局。想要打通“信息孤岛”，在大数据中心建设的过程中就要着手考虑建设信息共享机制和体系，对大数据信息的共享进行科学管理，从之前的信息孤立转变为有价值信息的共享。

2.3.3 港口企业大数据中心建设需求及方案分析数据挖掘

港口企业大数据中心的数据挖掘是深入综合分析数据价值的过程，是着眼当前横向数据变化得出纵向变化趋势，从而提前做出决策部署的过程，也是大数据中心建设的核心意义所在。数据挖掘要点有3个。1）去除无价值的信息。2）保证信息的时效性。3）数据价值的衡量和对比。

2.3.4 保证数据安全

对于港口企业说，其主要目的是盈利，一些通过大数据中心获取的商业结论和资料属于商业机密，如果该部分的数据受到恶意攻击，将会给企业带来无法弥补的损失。同时，由于存储和复制等环节造成数据损失等的风险也较大，需要通过一定的手段进行动态维护，避免不必要的损失。

3 结语

港口企业进行大数据中心的建设符合时代发展的需求，同时大数据中心的建设也是庞大的工程，因此需要实现以数据技术为主体、以硬件和管理为两翼的全面系统建设，大数据中心的建设要统一标准、保持数据共享、保证数据安全。

参考文献

[1]曾小娇，王维.大数据背景下提升港口物流运作效率的对策研究[J].中国商论，2020（7）：14-16.

[2]胡莹莹，赵千里.浅析云计算技术在无线电管理数据中心建设中的应用[J].数字通信世界，2020（3）：43，18.

[3]蔡春久.实施数据治理是数据中心建设关键[J].互联网经济，2020（Z1）：100-103.