基于轻量卷积神经网络的钢筋交点识别算法

凤若成FENG Ruo-cheng

（中铁九局集团有限公司，沈阳 110005）

0 引言

在建筑行业中，大型桥墩承台和桥面板的平面钢筋，工作面积广，劳动强度大，钢筋绑扎工序需大量劳动力进行手动完成。尽管近年来在建筑机器人领域取得了许多成就，但仍然缺乏适用于施工现场的钢筋绑扎机器人。CARDNO 等[1]提出了Tybot 钢筋绑扎机器人，通过二维码标签识别定位钢筋。但二维码标签识别方法在复杂的施工现场中极易因杂物产生误差例如电线、工具等，并且无法判断钢筋绑扎的状态，易发生重复绑扎的情况。使用机器视觉可以获得更丰富的图像信息，并具有更好的容错性，且不受主观因素的影响，检测效率高。因此机器视觉技术在目标检测与识别领域应用广泛，何成等[2]基于机器视觉检测灌装液体药品的质量；蒋庆等[3]基于机器视觉设计了空瓶图像检测系统；任少斌等[4]基于机器视觉进行了微小陶瓷基材检测系统研究；汪晨曦等[5]基于机器视觉提出了轨枕裂纹识别方法，董国梁等[6]提出了基于深度学习的钢筋绑扎机器人目标识别定位方法，但仅基于实验室条件下的演示平台,并非适用于施工现场的小型移动式机器人。可见，机器视觉并未应用于施工现场的钢筋交点的识别上，其难点在于传统卷积神经网络难以在低算力可移动平台实现精准识别。本文从钢筋绑扎实际需求出发，提出基于轻量卷积神经网络的钢筋交点识别算法，满足小型移动式机器人对钢筋交叉点位置识别及绑扎状态判断的需求。

1 算法介绍

1.1 YOLOv5 算法

YOLOv5 是一种广泛使用的用于目标检测的卷积神经网络模型[7]，YOLOv5 网络包括输入端、主干网络、颈部网络和输出端四部分。主干网络主要实现特征提取的功能；颈部网络进一步将主干层与检测层进行特征融合，能使模型获取更加丰富的特征信息。该算法的核心思想就是将整张图作为网络的输入，将输入的图像分为若干网格，目标判定和目标识别两个步骤合二为一，可直接在输出层给出预测框的位置和预测框所属的类别，同步完成图像特征识别与分类。与RCNN 等两阶段目标检测算法相比较，其运行速度更快，可直接检测钢筋绑扎交点和施工现场的障碍物，并且高精度工业相机输出的图像可代替两阶段目标检测方法中的生成候选区域（Region proposals）分割的图像，因此，选取YOLOv5 作为本方法的基准模型。

1.2 轻量卷积网络Ghost 模块

小型移动式机器人受算力限制，YOLOv5 的识别速度不能保证现场长时间安全稳定运行的需求。Ghost 模块可以用更少的参数生成更多的特征图[8]。从卷积神经网络的理论上分析，特征层中充足或者冗余的信息总是可以保证对输入数据的全面理解，而且特征层之间有很多是相似的，这些相似的特征层就像彼此的幻象（Ghost）。考虑到特征层中冗余的信息可能是一个成功模型的重要组成部分，在设计轻量化模型时并没有试图去除这些冗余，而是用更低成本的计算量来获取它们，使用Ghost 模块可以大大减少模型的参数量并且降低模型的运算难度。

Ghost 模块首先使用一个卷积运算把输入映射到本征特征图，然后对本征特征图使用深度可分离卷积得到Ghost 特征图，并且将本征特征图和Ghost 特征图在通道维度上拼接，得到最后的输出。Ghost 模块及基于Ghost 模块的残差结构如图1 所示，其中BN 表示批标准化层，Silu表示Silu 激活函数。

图1 使用的Ghost 模块组合的残差结构

最终建立的Ghost-YOLOv5 网络结构如图2 所示，其中Input 表示输入，GBL 表示如图1 所示的基于Ghost 的残差模块，Upsample 表示图片上采样，Concat 表示特征融合。

图2 Ghost-YOLOv5 网络结构

2 实验

2.1 模型训练环境

使用Ghost-YOLOv5 算法进行训练，基础模型为YOLOv5m，实验数据来源于施工现场收集的大型承台、桥面板钢筋图，共294 张，训练环境为Windows10 操作系统，Python3.8，深度学习框架PyTorch1.12，采用GPU 加速，GPU 型号为英伟达RTX3090，CUDA 版本11.3.1，epochs=1000，Batch-Size=16，过拟合后停止训练，从数据集中取10%图片作为测试集。

2.2 模型验证

为评估Ghost-YOLOv5 模型的性能，观察了以下五个性能指标的表现，包括：定位损失（box_loss）、置信度损失（obj_loss）、精度（Precision）、召回率（Recall）和平均精度均值（mAP）。他们的定义如式（1）-式（5）所示：

其中定位损失表示预测框与标定框之间的误差，I 代表预测框与标定框的交面积，U 表示预测框与标定框的并面积，IoU 代表I 和U 的比值，Ac表示预测框与标定框的最小外接矩形面积。置信度损失计算网络的置信，用来衡量模型预测值和真实值不一样的程度，其中tn为真实值，pn为模型预测值。精度是模型找对的待绑扎点/模型找出的所有待绑扎点，其中TP 代表被模型预测为正类的正样本、FP 代表被模型预测为正类的负样本。召回率表示模型找对的待绑扎点/所有本应该被找对的待绑扎点，其中FN代表被模型预测为负类的正样本。平均精度均值衡量的是训练出的模型在所有类别上（待绑扎点、已绑扎点）的好坏。mAP_0.5 代表两类直接求平均，mAP_0.5：0.95 表示在不同IoU 阈值（从0.5 到0.95，步长为0.05）上的平均mAP。不同算法迭代1000 次后的实验结果如图3 和表1所示。

表1 Ghost-YOLOv5 训练结果

图3 Ghost-YOLOv5 训练过程

可以看出，精度（Precision）、召回率（Recall）、平均精度均值（mAP_0.5:0.95）等各项关键指标均表明Ghost-YOLOv5 算法可以满足机器人对钢筋交点识别的要求。

2.3 部署测试

将训练好的模型部署在NVIDIA Jetson Nano 上，测试其运行状态。实验结果表明，检测程序在不同光影条件下的可靠性和检测速度均满足绑扎要求，改进后的Ghost-YOLOv5 可运行在小型低算力平台上。见图4。

图4 Ghost-YOLOv5 检测结果

3 结论

为解决小型移动式钢筋绑扎机器人钢筋交点识别问题，本文设计了一种轻量型改进Ghost-YOLOv5 钢筋交点识别算法，充分的实验验证表明，Ghost-YOLOv5 算法可应用于低算力小型移动式钢筋绑扎机器人的钢筋交点识别，为建筑行业的智能化升级提供了参考。