基于改进Unet的起重机攀爬机器人车道识别*

赵章焰 沈齐越

武汉理工大学交通与物流工程学院 武汉 430063

0 引言

起重机的工作强度大，工作环境恶劣，金属结构表面易产生裂纹、生锈等老化现象，会引发一系列安全隐患。人工对起重机进行检测分析和维护保养的效率低，成本高，且人工无法在起重机上的高处死角开展安全有效的工作。起重机攀爬机器人能携带各种探测设备，通过吸附在起重机的金属结构表面，到达人力无法企及之处。通过机载摄像头和图像识别技术，识别攀爬路径，是起重机攀爬机器人实现自主导航进而开展各项检测工作的先决条件。起重机攀爬机器人的路径本质上是识别起重机结构化的金属表面，目前常见的路径识别研究主要包括公路上各色车道线识别、酒店和仓库内AGV小车的路径识别等。由于起重机攀爬机器人运行在一个具有复杂背景的三维空间内，若使用直线段检测和聚类算法，极易受背景区域中具有相同颜色特征的非路径金属影响[1]，使检测结果会混合路径边缘与其他干扰直线段，算法鲁棒性较差，难以达到使用要求。

本文改变了传统以检测路径边缘线作为车道线的思路[2]，选择直接用图像分割的方法，将攀爬机器人可行走的整体平面视作一个车道，搭建了一种结合MobileNet V2的改进Unet卷积网络算法。

1 基于MobileNet V2改进的Unet卷积网络

1.1 Unet

Unet是语义分割模型，它广泛应用于医学领域以及自动驾驶场景的分割[3]。Unet继承了FCN的思想，但相对于FCN又有改变，Unet是完全对称的。

Unet的网络结构呈U字形，整体结构就是先编码再解码，回归到跟原始图像一样大小的像素点的分类。如图1所示，Unet先由左侧的收缩路径即编码器，对图像特征经过4次卷积池化操作来提取特征，再将获得的更深层的语义信息输入到右侧的扩张路径即解码器，在解码器中将像素还原，从而得到与原图相同尺寸的输出结果。由于Unet网络能够连接低层特征的细节信息，所以它能有效弥补下采样过程中造成的空间信息损失，这是其在图像分割中具有优越性能的原因。另外，Unet的编码结构比较简单，便于为不同应用场景的设计改进，且能在较少数据量的投入下实现收敛，计算速度很快。

图1 Unet网络结构

本文根据起重机攀爬机器人在识别车道时既要满足识别准确率，又要满足实时性的要求，在经过实验对比的情况下选用了Unet网络。

1.2 Mobilenet V2

Mobilenet V1的主要思想是深度可分离卷积，而基本结构如图2所示的Mobilenet V2在V1的基础上做了以下改进[4]：

图2 Mobilenet V2的基本结构体

1）加入了残差结构，提出了倒残差模块，该模块能解决梯度消失问题；

2）采用了Bottleneck，该模块可在保持深度卷积的Channel数一致的情况下大大减少计算量和参数量，可使Mobilenet V2在CPU上也能运行；

3）将逐点卷积后面的Relu激活函数替换成线性函数，能解决Mobilenet V1在通道数较少的情况下造成大量节点变为0的现象。

1.3 M2-Unet神经网络

Unet被大量应用于医学领域的图像分割任务，它能快速、有效地将同类目标从背景中剥离出来[5]，但它并不是为工业领域专门设计的，若将其直接运用于机械设备的图像分割任务会存在以下问题：

1）计算量较大，导致分割速度不能满足实时性要求；

2）模型参数量大，这对计算设备的硬件有一定要求，致使成本提高。

鉴于此，本文将Unet与Mobilenet V2相结合，既能利用Unet将不同级别的特征信息连接起来，从轻量的数据集中训练得到优秀性能的优点，又能结合Mobilenet V2有效解决训练过程梯度消失问题的能力和减少模型参数量的优势[6]，从而做到在满足起重机攀爬机器人道路识别的任务要求的同时实现网络结构的轻量化。

2 实验

2.1 数据采集

数据集是采用攀爬机器人在门式起重机上行走后录制的视频（见图3），再用专业后期处理软件AE将视频的每一帧截取成一张图片，总共获取5 213张图片，其中包含迎光、逆光、夜晚等多种使用场景的图片。

图3 攀爬机器人吸附于龙门起重机支腿上

2.2 数据预处理

在使用攀爬机器人机载摄像头录制视频时，由于所用Caddx摄像头没有防抖功能，且起重机表面并不是完全平整的，导致一部分截取的图片存在模糊现象，没有标注和使用的价值，故对这类图片进行筛选清理。总共剔除了3 234张无法标注的图片，剩余1 979张有实验价值的图片。然后将其中的1 500张图片划归为训练集，其余479张图片作为测试集。

2.3 数据标注

使用标注软件Labelme，对训练集的1 500张图片进行手工标注，在标注时使用多边形标注来尽量将攀爬机器人车道区域完全包含。将标注生成的Json文件制作成Masks标签文件。图片标注效果如图4、图5所示。

图4 采集的原图

图5 使用Labelme制作的标注图

2.4 训练环境及模型参数设置

1）模型运行的硬件环境 CPU为Inter Core i5-9 400 F，RAM大小为16 GB。

2）软件环境 Windows10、Pytorch1.6、Python3.7。

3）模型参数设置 网络优化器采用的是Adam优化器，初始学习率LR设置为2×10-4，Batch_Size设置为16，Epoch设置为40。

模型使用的损失函数采用nn.BECLoss损失函数，在使用该损失函数时应在该层前面加上Sigmoid函数，计算公式为

3 实验结果

3.1 训练集和训练结果

在卷积神经网络的训练过程中，判断模型拟合训练程度好坏的关键在于，看模型的正确率即Accuracy的大小、损失函数随Epoch的下降速度以及最终损失函数是否能接近于0[7]。

在实验中不仅训练了M2-Unet模型，同时对U-net和Segnet这2种现有的分割效果较好的卷积神经网络进行了对比实验，实验在同一个数据集下用相同的参数进行设置。训练结果如图6、图7所示。

图6中x轴的Epoch表示迭代次数，y轴的Acc表示训练正确率；图7中x轴的Epoch表示迭代次数，y轴的Loss表示损失函数值。由图6、图7可知， M2-Unet的正确率高于其余2种网络，其损失值也低于其他2种网络，同时它还能做到更快收敛，在经过大约15次迭代后就能趋于稳定。这说明M2-Unet网络对起重机金属结构表面数据集的拟合效果和性能很好。

图6 模型训练精度变化对比

图7 模型训练损失变化对比

3.2 测试集测试结果

为了定量评价3种网络模型在起重机攀爬机器人车道识别任务中的分割效果，本文从准确度和运行时间2个方面进行对比评价。

在攀爬机器人车道识别任务中，运行时间是一个非常关键的指标[8]，表1列出了对479张测试图片进行分割的单张平均用时。

表1 3种网络运行时间对比 s

由表1可知，M2-Unet的运行速度最快，Segnet次之。由于实验所用攀爬机器人最大爬行速度为0.05 m/s[9]，故M2-Unet的运行速度能满足机器人爬行的实时性要求。

评价语义分割任务的准确度（Accuracy）主要有3个评价指标。假设在分割时共有n+1类（包括n个目标类和1个背景类），pii表示属于i类并被正确预测为i类的像素点总数；pij表示本属于i类却被预测为j类的像素点总数；pji表示本属于j类却被预测为i类的像素点总数；pjj表示属于j类并被正确预测为j类的像素点总数。由于本文的分割目标只有车道跟背景2类，故公式中的n=1。

1) 像素准确率（Pixel Accuracy，PA），即预测类别正确的像素数占总像素数的比例为

2) 类别平均像素准确率（Mean Pixel Accuracy，MPA），即计算每一类分类正确的像素点数和该类的所有像素数的比例，然后求平均值有

3)平均交并比（Mean Intersection over Union，MIoU）,即计算模型对每一类的预测的结果和真实值的交集与并集的比值，然后求平均值有

本文的测试结果均在测试集上进行。图8预测原图，图9～图11为M2-Unet、Unet以及Segnet对测试集的预测结果。

图8 预测原图

图9 M2-Unet预测结果

图10 Unet预测结果

图11 Segnet预测结果

由图8～图11可知，M2-Unet的分割效果最好，而Unet因使用了编码器-解码器的结构，也能基本正确地分割出车道，但精度并没有M2-Unet高。Segnet则多次出现将干扰金属结构预测成了车道一部分的情况，精度无法满足任务需求，可以看作检测失败。

本文对测试集的479张图片均作了测试，然后统计了479次预测后的评价指标，求得其平均值并作了数据化，结果如表2所示。

表2 3种网络图像分割结果对比

如表2所示，这M2-Unet的3项指标均最高，尤其像素准确率达到了98%以上，而Segnet的准确率与其他2种网络相比相差甚远，说明将Mobilenet V2作为特征部分的改进Unet网络比原生Unet网络的分割效果更好，检测准确率更高。

4 结束语

实现了基于M2-Unet的起重机攀爬机器人车道分割。使用M2-Unet将Mobilenet V2作为网络的特征提取部分，经过实验证明了此模型对中小型样本量的起重机金属结构有很好的拟合效果。分割指标PA、MPA和MIoU的值均在0.96以上，且运行时间满足应用的实时性要求，证明该网络可满足起重机攀爬机器人的车道检测任务要求。