基于改进EAST 算法的船舶制造设备数据采集研究*

张洪成 张永林 吴梦宇 戴 磊

（江苏科技大学电子信息学院 镇江 212000）

1 引言

我国船舶工业经过数十年的发展，已跻身于世界造船强国之流，但在高技术船舶领域还有较大的发展空间。为此，《中国制造2025》将海洋工程装备及高技术船舶领域作为重点突破的十大领域之一，并明确将船舶智能制造列为主攻方向［1］。我国“数字化造船”历经十多年的发展，拥有良好的信息化基础，然而在船舶实际制造过程中，制造工艺和生产计划等数据无法直接推送到制造现场，不能有效指导工人生产作业［2］；实际制造现场的情况也无法及时反馈，难以支撑管理层的决策和管控，最终导致船舶中间产品的一次合格率和生产效率偏低［3］。为实现数据的实时交互，首先需要完成对船舶制造设备的数据自动采集工作。然而船舶制造设备年代久远，存在部分数控设备数据传输接口毁坏或不存在的情况，无法直接进行数控设备数据自动采集。因此如何高效、准确、实时地进行船舶制造车间中无数据传输接口的数控设备数据采集工作是一个亟需解决的问题。

鉴于此，本文展开基于改进EAST 算法的船舶制造设备数据采集研究，为船舶制造过程的互联互通平台的研发做先行准备工作。首先利用工业摄像头对船舶数控设备人机界面进行抓拍工作，然后对抓拍得到的图像进行预处理，接着使用图像处理中的OCR技术［4］进行文本检测工作，以读取人机界面的设备信息。本文采用目前OCR 领域中主流的EAST文本检测算法，并使用ASPP网络优化原有网络结构，提升Feature Map 的感受野，利用Dice soft loss 函数替代原有Loss 函数，以此综合提升对数控设备人机界面中长文本数据的识别效果，最终通过对识别结果中关键字进行搜索并读取数据，从而完成对无数据传输接口的船舶制造设备数据采集工作，补足船舶制造过程的互联互通平台中部分设备无法进行数据自动化读取的缺陷。

2 改进EAST文本检测算法

2.1 EAST文本检测算法介绍

传统文本检测算法多为多阶段（Multi-stage）检测算法，在训练模型时需要进行多个阶段调优工作［5］。该调优工作的多阶段性导致调优过程复杂度增大、训练工程量增多且会对最终模型产生未可知因素的影响。East 文本检测算法的端到端检测机制，可降低检测过程中中间冗余部分的占比，进而直接进行文本内容的预测［6］。经典East 检测算法网络结构通常情况被分解为3 个层次：特征提取（Feature extractor stem）、特征合并（Feature-merging branch）和输出层（Output layer）［7］，East 检测算法网络结构示意图如图1所示。

图1 East检测算法网络结构图

特征提取层（图1 黄色部分）：常见特征提取网络为VGG、ResNet、PVANET等［8］。特诊提取以ImageNet数据集上的预训练的卷积神经网络参数进行初始化，当特征提取网络为VGG16 模型时，特征提取分支从其四组卷积层Conv1～Conv4 提取四组特征提取4 个级别的Feature Map（特征图）并用f1、f2、f3、f4进行表示，特征图大小为原始图像的1 /32、1 /16、1 /8 以及1/ 4［9］。

特征融合层（图1绿色部分）：采用逐层合并的方式，从下向上进行上采样操作，将生成的Feature Map 输入到unpooling（池化）层进行拓展，接着使用concat 函数对上下层Feature Map（记为hi）进行连接。然后通过1×1 的卷积层削减通道数量与计算量，最终在最后一个合并阶段，将Feature Maph4使用3×3 的卷积核运算生成最终的Feature Map并传输到输出层［10］。

输出层（图1蓝色部分）：方法一将该层分为置信度（Score Map）、文字区域（RBOX）和文字区域旋转角度共三个部分；置信度由1×1 的卷积核生成，用于表示该像素的置信度；文字区域由4个1×1 的卷积核生成，卷积核的值代表当前像素到所包围文字的最小矩形框的上、下、左、右界距离［11］（分别记为d1、d2、d3、d4），文字区域旋转角度由1 个1×1的卷积核生成，代表该矩形框的旋转角度。

2.2 网络结构优化

经典EAST文本检测网络模型为了增加输出单元的感受野，在池化层阶段加入需要大量下采样操作，进而导致特征样本尺寸降低，上采样阶段提升分辨率的难度加大，最终导致输出中部分特征映射感受野减小，编码时会限制尺度信息。本文针对该问题，使用ASPP［12］（Atrous Spatial Pyramid Pooling）网络进行East文本检测算法结构方面的优化，利用空洞卷积同尺寸下更大感受野的特性进行问题的解决。

首先将EAST 网络结构中的conv stage 4 部分修改为感受野更大的ASPP 网络，修改后的网络结构如图2 所示。空洞卷积层级级关联，逐层扩张，将每个空洞卷积层的输出、输入以及其所有前层输出关联相组，最终特征层便可输出尺寸更大一级的感受野，其通过使用几个空洞卷积层可以生成更密集更大的特征金字塔。本设计中的ASPP网络［13］包含1个1×1 的卷积以及3个3×3 的卷积（扩张率分别为6，12，18），特征图的输出步长为16。

图2 改进后East网络结构

模型训练与测试时使用的图像尺寸大小为512×512，由于输出步长为16，最终ASPP 网络接收的特征向量为32×32。为添加更多的信息［14］，将GAP（全局平均池化层）应用到最后一个空洞块输出的特征上，所得特征被输入到带有256 个滤波器的1×1卷积中。

2.3 损失函数的改进

在经典EAST 检测网络模型中，以类平衡交叉熵 损 失（class balanced cross-entropy loss）作 为score map 损失函数，以此解决样本不平衡分布问题。但交叉熵损失把每个像素都当作一个独立样本进行预测，收敛速度因此受到影响，本文采用dice soft loss 函数，以一种更“整体”的方式来看待最终的预测输出。

Dice soft loss［15］中Dice 系数源自于二分类，主要为衡量两个样本的重叠占比。对于神经网络的输出，分子与我们的预测和标签之间的共同激活有关，而分母分别与每个掩码中的激活数量有关，这具有根据标签掩码的尺寸对损失进行归一化的效果。Dice系数公式如式（1）所示。式（1）中，参数TP、FP 以及FN 分别表示预测正确、预测错误、预测遗漏的文字数。

3 仿真实验与分析

3.1 实验环境与实验流程

为验证改进后的EAST检测算法性能优于原算法，并可对实验数据可以进行更好地分析与处理，实验系统选择Linux 系统与Windows10 系统，仿真软件为Matlab2016a、PyCharm，计算机配置为Intel酷睿i5-9400F、内存16G、显卡GTX1650S。对比实验流程图如图3所示。

图3 模型训练流程图

3.2 构建数据集与模型训练

在外高桥造船厂小组立车间和分段数字化先行车间中，无数据传输接口的数控设备使用的中文字体为宋体，英文字母和数字为Times New Roman。为了提高算法的泛化能力，本实验采用公开的标准数据集——COCOText数据集和ICDAR2015数据集，拍摄场景为存在光线干扰的室外场景，包含中英文、阿拉伯数字等水平或倾斜的文本内容，数据集的场景与船厂设备所处的工作场景具有较大的相似性。本实验采集500 张该数控设备HMI界面（人机交互界面），进行人机界面数据集的构建。

为提高泛化能力，实验在COCOText 数据集和ICDAR2015 数据集上预训练，为提高模型训练速度，采用随机梯度下降法进行改进，批训练数量设定值为20，默认动量设定值为0.9，权重衰减系数设定值为0.05%，学习初始速度为0.001，每两万次迭代后衰减速度降为原来的1/10，直至降为0.000001为止。

3.3 实验结果

本文将截取到的一张具有代表性的数控设备监控画面，放在不同文本检测网络下进行测试。改进前算法识别效果如图4 所示，当使用经典EAST文本检测网络时，能够对大多数的数据进行识别，但由于经典EAST 文本检测网络的自身缺陷，对长文本数据信息无法识别，且会对部分文本进行错误识别，检测得到的数据如图6所示。

图4 改进前算法识别效果

改进后算法识别效果如图5 所示，当使用基于ASPP网络与Dice soft loss改进后的EAST文本检测网络时，不仅能够对大多数的数据进行识别，而且由于更高的感受野，能够对长文本数据信息进行识别，对于部分易错文本也可以进行正确检测，检测得到的数据如图6所示。

图5 改进后算法识别效果

图6 改进前后算法识别结果

为验证改进后的East 文本检测算法能够更好地对数控设备人机界面进行识别，对比实验设置三个指标进行算法有效性的评估：准确率（Precision）、检出率（Recall）、F 值（F-measure）。各参数定义如式（2）所示。

使用400张数控设备人机界面对原EAST算法与结合网络结构优化和损失函数优化的EAST算法进行训练，然后将训练好的模型在100 张数据测试集图像进行测试，以每张图片中各部分检测结果进行权重综合，以更准确地评价算法准确性。100 张测试集数据可大致分为500 个部分，算法改进前后的运算性能对比、检出准确率结果如表1所示。

表1 对比实验结果

综合表1 所示，EAST 文本检测算法的检测准确率在改进后提升5.7%，检出率上提高了约7.8%，F值提高了6.8%。

4 结语

本文提出一种基于图像的船舶制造设备数据采集方法，在EAST 文本检测算法的基础上，利用ASPP 网络改进网络结构，以提升Feature Map 的感受野，增加对长文本数据识别的能力，使用Dice soft loss 函数以提升文本检测性能。对比实验中验证了改进后的EAST文本检测算法能够在工业环境下对数控设备人机界面进行文本数据的检测，具有识别率高、准确率高的优点，为船厂中无传输接口的数控设备数据采集工作提供新的解决方法。