基于自动化集装箱码头多源异构数据融合技术研究

徐建峰 胡 静

上海振华重工（集团）股份有限公司 上海 200125

0 引言

自动化集装箱码头是指通过智能化技术实现码头作业自动化、信息化和智能化，提高码头作业效率和安全性的现代化码头。自动化集装箱码头涉及多种类型的设备和系统，例如：自动化堆场、自动化门式起重机、自动化轨道车、车辆位置系统、货物跟踪系统、人员定位系统等。这些设备和系统生成的数据涉及多个领域和业务，例如：物流、安全、质量、成本等。因此，如何将多源异构数据进行有效的融合，提高数据的集成、共享和应用的效率，成为自动化集装箱码头智能化建设的重要技术问题。

本文提出了一种基于自动化集装箱码头多源异构数据融合[1-5]技术，包括管理配置服务、设备数据服务、数据库数据服务、数据融合服务、网关服务、核心模块和公用类模块。

1 多源异构数据融合平台功能模块

在多源异构数据融合平台中，主要包含管理配置服务模块、设备数据服务和数据库数据服务、数据融合服务、网关服务以及监控和管理模块等核心模块。管理配置服务模块负责用户管理、系统配置以及其他方面的操作；设备数据服务和数据库数据服务从不同的数据源提取数据；数据融合服务对原始数据进行清洗、处理、存储以及分析等操作，并处理不同数据源之间的数据不一致问题；网关服务负责加密、权限控制和安全检查等操作；监控和管理模块负责对数据融合平台的各个组件进行监控和管理。

该平台采用了微服务架构，各个服务通过Restful API 进行通信，实现了松耦合、易于扩展和维护等优点。此外，该平台还使用消息队列技术进行数据的异步处理和分发，采用前端框架和其他技术实现了数据的可视化展示和用户交互，为数据集成、共享和应用效率的提升做出了贡献。在实验结果的验证下，该平台已经成功地应用于自动化集装箱码头的智能化建设，为码头的运营和管理提供了有力的技术支持。

2 多源异构数据融合平台技术选型

采用多种技术来实现多源异构数据融合平台。其中，关键技术包括微服务框架、消息队列和前端框架。采用Spring Cloud 作为微服务框架，其提供了丰富的微服务开发工具，可以更加便捷地进行微服务的开发和管理。采用RabbitMQ 作为消息队列，实现对多源数据的采集、处理、存储和传输。采用Vue.js 作为前端框架，有助快速、高效地进行前端开发。

此外，采用Spring Boot、MyBatis、Docker、Jenkins、Canal、Camel 等辅助技术进行开发，并使用了数据压缩技术来降低存储和传输成本。这些技术在多源异构数据融合平台中发挥着重要的作用，提升了系统的灵活性、可扩展性和可靠性。

3 多源异构数据融合平台核心

由于多源异构数据的差异性和复杂性，实现其有效地融合并非易事。以往研究中，存在着许多问题，例如数据来源不明确、数据质量不可靠、数据一致性难以保障等。故如何完成对多源异构数据的精确匹配和深度融合成为当前研究的一个关键问题。

为了解决这一问题，本文提出了一个多源异构数据融合平台的核心实现方法，并展示了其在真实场景下的性能和效果。平台核心采用了开放式架构设计，支持数据集成、转换和管理，并通过采用高性能的融合算法和模型，实现了多源异构数据的精确匹配和深度融合。此外，还为平台提供了完善的数据质量控制和管理功能，以确保所融合数据的准确性和可用性。

3.1 开放式架构设计

为了克服多源异构数据的差异性和复杂性，采用开放式架构设计，即：将多个数据源整合到一个融合平台中，并允许用户根据自身的需求自由定制和扩展。平台核心包括：

1）数据源 平台核心支持从多种数据源（例如关系型数据库、非关系型数据库、Web 服务、OPC DA、OPC UA[6-8]、文件系统等）中获取数据，并将其转换为统一的格式和结构。

2）数据采集与转换 平台核心支持针对不同的数据类型和语义，定义多种转换规则和模板，以便将数据映射到统一的语义空间中。

3）数据层 平台核心提供全面的数据质量监控和管理功能，包括数据采集、清洗、去重、归档、备份等，并提供配置式的数据融合机制，采用高性能融合算法将多种数据源数据组合成自定义数据对象发布给客户端应用。

4）数据接口层 平台核心提供统一Restful API 接口服务，提供多种数据源数据以及融合组合后的数据对象，同时提供基础数据分析、实时分析、自助分析等功能。

5）数据应用层 平台提供的数据可以应用到监控、数字孪生、报表、统计分析等应用，同时还提供历史数据记录和查询接口。

通过这样的设计，可以将各种异构数据源整合在一起，形成一个统一的融合平台，进而实现多源数据的深度融合和智能分析。系统架构如图1 所示。

图1 多源异构数据融合平台的架构

3.2 高性能融合算法

针对多源异构数据的精确匹配和深度融合问题，采用一系列高性能的融合算法和模型。主要采用基于特征匹配的融合算法和基于语义解析的融合算法2 种算法。

3.2.1 基于特征匹配的融合算法

该算法主要针对结构化数据，通过对不同数据特征（例如属性名称、数据类型、数据范围等）的匹配，实现数据的深度融合。实现的方式为：1）确定融合目标和数据源 明确融合信息数据源，在自动化码头中需要融合各种感应器、视频监控、RFID 等设备采集到的信息。2）特征提取 对于每个数据源，需要选择合适的特征提取方法来提取相关信息。例如：从视频监控数据中可以提取SURF、SIFT 等视觉特征；从感应器数据中可以提取时间戳、传感器类型、数值大小等特征。3）特征匹配 通过对多个数据源提取的特征进行匹配，确定关信息。这个过程涉及计算机视觉、信号处理、时间序列分析等多个领域的知识，根据具体情况选择合适的匹配方法。4）加权处理 根据匹配结果以及已有的先验知识，对不同数据源的信息进行加权处理，以反映它们在融合结果中的贡献。例如：可以将来自视频监控的信息赋予更高的权重，因为这些信息通常更直观、准确。5）融合输出 根据加权后的匹配结果，将各个数据源中的信息融合成一个完整的、具有更高精度和鲁棒性的数据集。对于码头自动化来说，这可能包括船只位置、货物数量和种类、设备状态、工作人员分布等信息。使用平均值、混合模型等方法将数据源结合起来。

在项目应用中，平台虑到各种情况下的特征提取、匹配、加权和融合方法，进行相应的调整和优化，以提高融合效果和计算速度，实现全面自动化的多源异构数据融合。

3.2.2 基于语义解析的融合算法

该算法主要针对非结构化数据，通过对文本、图片等语义信息的解析，实现数据的深度融合。融合算法和模型具有高效、准确、可扩展等优点，能够满足大规模、多样化、复杂性强的数据融合需求。实现的方式为：

1）确定融合目标和数据源 和基于特征匹配的融合算法相似，明确需要融合的信息以及从数据源中获取信息。但是对于基于语义解析的融合算法来说，需要考虑每个数据源中的各种信息之间的语义关系。

2）语义解析 选择合适的自然语言处理技术，对文字、语音等语言形式的数据源进行语义解析。例如：可以使用词向量模型将自然语言转换成高维特征空间中的向量表示，再根据向量之间的相似度计算出它们之间的语义关系。

3）实体识别和链接 从语义解析的结果中识别出相关实体，在不同数据源中对实体进行链接。例如：识别AGV、Container、设备类型等实体，并确定它们在不同数据源中的对应关系。

4）语义推理 通过对链接后的实体进行语义推理，提取更丰富的信息以及实体之间的关联关系。例如：可以基于规则或知识图谱来推断出当前AGV 的位置、带箱状态、任务执行状态等信息。

5）融合输出 根据语义推理的结果，将各个数据源中的信息融合成一个完整的、具有更高精度和鲁棒性的数据集。同样可以使用平均值、混合模型等方法结合数据源来完成数据统计。

3.3 数据质量控制和管理

为了确保所融合数据的准确性和可用性，平台提供了完善的数据质量控制和管理功能。具体而言，主要采用数据一致性检测和数据质量评估2 种方法。数据一致性检测是通过对不同数据源的数据进行一致性检测，发现并消除可能产生的错误。数据质量评估是通过对融合后的数据进行质量评估，识别出存在问题的数据，以便用户调整和处理。这些功能的实现有效提高了数据融合的效率和精度，进而支持各种数据应用领域的智能分析和决策。

3.4 数据应用

在真实场景下验证提出的多源异构数据融合平台核心的性能和效果。使用一组包括关系型数据库、Web 服务、OPC DA、文件系统等多个来源的数据集，并通过创建AGV 模板、实现AGV 模板实例，经过多源异构数据融合平台处理后精确的数据信息，给到GUI 监控显示系统。模板应用界面如图2 所示。

图2 对象模板实例与多源数据连接管理界面

4 系统部署

系统采用微服务架构，使用Spring Cloud 作为微服务框架。同时，系统使用了Docker 容器技术进行部署，实现了快速、高效的部署和扩展。在部署过程中，本系统采用容器编排工具Kubernetes，实现了容器的自动化部署和管理。同时，还采用TFS 进行代码管理和CI/CD流程的自动化部署，实现了TFS 代码管理、编译、在线自动发布部署流程。

5 应用案例

截至目前，该数据融合平台已经在最近实施的自动化码头项目中投入应用，其中A、B 自动化码头使用数据融合平台。2 个项目的实施情况如表1 所示。

表1 性能提升百分比表

表1 中，优化前数据点数和数据表数是指未使用数据融合平台每个GUI 订阅的设备数据点数和数据库业务数据表数；优化前GUI 可常开数量是指未使用数据融合平台前，前端GUI 从多个数据源获取数据，因数据源限制、处理限制、性能限制下最多可以常开的客户端数量；优化后数据融合对象数是指应用数据融合平台后每个GUI 订阅的数据融合对象数，该对象包含了设备数据和业务数据；优化后GUI 可常开数量是指基于数据融合平台可常开的客户端数量；性能提升百分比是指客户端GUI 可常开数量提升百分比。引入数据融合平台后，数据处理、数据带宽、客户端处理效率得到大幅提升，因而常开GUI 数量得到较大的提升。

由表1 可知，由于数据融合平台的引入，A 码头可常开GUI 的数量增加了28 台，性能提升百分比约233%；B 码头可常开GUI 的数量增加了27 台，效率提升百分比为245%。以上2 个案例说明，数据融合平台的投入使用，在同等服务器硬件资源条件下，能够极大提升自动化码头客户端GUI 的常开数量，既提升了处理性能，也降低了客户端的重复的数据处理工作量，大大降低了硬件投入成本和项目定制实施成本。

6 结语

本文基于自动化集装箱码头多源异构数据融合技术进行了研究，提出了一种基于微服务架构的数据融合方案。本系统采用Spring Cloud 微服务框架，选用Docker容器技术进行部署，通过开发数据管理平台、设备数据服务、数据库数据服务、数据融合服务等核心模块，实现了不同数据源之间的数据交互和融合，极大方便了客户端对多种数据的组合应用，也为码头管理部门提供了一种高效的数据管理和应用模式。

该研究在技术选型上充分考虑了业务需求和技术特点，使用了消息队列和微服务架构，通过分布式部署和模块化设计，保证了系统的高可用性和可扩展性。同时，使用SnowFlakeId 算法进行ID 生成，避免了数据ID 冲突的问题。

综上所述，本文研究开发的自动化集装箱码头多源异构数据融合技术，为自动化码头项目的实施提供了强有力的支撑，可以有效地提高数据管理和应用的效率，同时也为类似领域的研究提供了一定的参考和借鉴。