基于卷积神经网络的吊钩视觉识别系统开发和应用

刘 洋，陈冬玲，

(1.宝钢集团 广东韶关钢铁有限公司, 广东 韶关 512123； 2.柳州职业技术学院, 广西 柳州 545006)

干熄焦技术具有节能、环保和改善焦炭质量的显著优势，截至2019年底，我国共有干熄焦装置325套[1]. 提升机是干熄焦装置的主要设备之一，运行于提升井架和干熄炉顶轨道上，将装满红焦的焦罐提升并横移至干熄炉炉顶，与装入装置配合，将红焦装入干熄炉内，装焦完毕后又将空罐送回到焦罐台车上。干熄焦吊钩能否准确钩住焦罐关系安全生产，目前生产现场判断可靠性的方法是操作人员通过视频观察确定吊钩是否准确钩住焦罐的钓耳，然后再发出命令允许焦罐提升。正常生产9～10 min提升一罐红焦，由于频繁的观察判断，操作人员眼睛容易疲劳，特别是中夜班，容易误判和误操作，发生吊钩偏斜使得焦罐倾斜红焦倾翻等事故，造成焦罐坠落、红焦倾倒流出，引起焦罐损坏、铁轨变形、线路烧损等[2]，直接损失达数百万元。

针对吊钩是否准确钩住焦罐钓耳的问题，宝钢集团新疆八一钢铁有限公司申请了实用新型专利《一种干熄焦焦罐及吊钩定位识别联锁控制装置》，利用RFID检测焦罐与吊具间距离，以此判断吊钩是否钩住焦罐吊耳「3]. 机器视觉是用机器代替人眼来做测量和判断，具有处理速度快、检测精度高、非接触测量等特点[4]. 利用机器视觉替代人工识别吊钩与焦罐吊耳是否钩住，能降低劳动强度，提高判断的准确性，对保障干熄焦安全生产具有重要意义。

1 吊钩视觉识别系统

系统在焦罐上升过程中对吊钩与焦罐的连接状态进行识别，钩好后发出连接成功“1”信号，否则发出报警信号。识别信号传送到提升机PLC控制器，与人工确认进行联锁，控制焦罐的提升运行。

1.1 吊钩视觉识别系统构成

该系统将网络摄像头装在焦罐起吊位置的两侧，硬件系统由光学系统(光源、红外摄像头)、图像采集卡、图像处理系统、I/O模块、显示器组成(图1). 图像采集卡和I/O模块安装在工控机内，通过光纤将摄像头信号传输到图像采集卡，经过图像处理系统识别吊钩与焦罐吊耳钩住，将识别信号输出到I/O模块，模块与原有的提升机PLC系统采用接线方式连接。

图1 吊钩视觉检测识别系统硬件构成图

1.2 吊钩视觉识别系统工作流程

吊钩视觉识别系统是一个利用机器视觉技术对提升焦罐吊钩连接状态进行检测识别的系统，通过监控摄像头采集视频数据，以图像作为训练样本，经过深度卷积神经网络生成特征图像和小样本，再采用扩充技术生成大量训练样本，经过深度学习神经网络的分析和学习，生成检测模型并将其加载到加速硬件上，识别过程中摄像头实时传输吊钩的图像到视觉系统，根据模型分析图像识别出挂钩的当前状态，并达到毫秒级的识别速度，实现实时识别。

机器视觉的识别位置是在提升井的待机位，当焦罐到达待机位后，系统识别吊钩与焦罐吊耳是否钩住，分别采集东、西钩的视频图像，系统对图像进行降噪、特征识别等识别运算后，输出东、西钩是否都挂好的信号给I/O模块，PLC循环扫描I/O模块的输出信号，如果输出的信号为“ture”，等待3 s后PLC再次查询确认，PLC发出允许提升信号，否则报警呼叫人工处理。系统的工作流程见图2.

图2 吊钩视觉识别系统工作流程图

2 基于CNN算法的吊钩视觉识别系统设计

卷积神经网络(Convolutional Neural Network, CNN)是一种前馈神经网络，它的人工神经元可以响应一部分覆盖范围内的周围单元，用于提取图像的特征、图像去噪、增强、边缘检测等图像识别领域。卷积神经网络包括输入层、卷积层、激励层、池化层、全连接层(图3). 输入层用于数据输入，卷积层使用卷积核进行特征提取和特征映射，激励层进行非线性映射，池化层对特征图进行稀疏处理，全连接层对特征进行拟合。通过多层的卷积、池化、全连接等，降低图片维度，最后转化成了一个一维向量[5]. 这个向量就包含了图片的特征。Faster R-CNN模型的运行速度快，在检测速度方面尤为明显，该系统采用Faster R-CNN模型。

图3 卷积神经网络工作流程图

卷积运算用卷积核自上而下、自左向右在图像上滑动，提取图片每个小部分里具有的特征，将卷积核矩阵的各个元素与它在图像上覆盖的对应位置的元素相乘，然后求和，得到输出特征图。最终把一张图片转化为特征向量(图4).

图4 卷积原理示意图

2.1 算法设计

采用CNN的VGG16算法，VGG-16包含13个卷积层+3个全连接层，VGG16的网络结构见图5. 通过反复堆叠3×3的卷积核和2×2的最大池化层来构建深层的卷积神经网络，13个卷积层分别在第2、4、7、10和13层被池化层分割，可将特征图长宽减少1/2.

图5 VGG16的网络结构图

第一步：约定输入图像的尺寸750×600和识别的范围x(57～365)，y(235～569).

第二步：输入图像，将图像进行灰度处理。

第三步：建立VGG16特征变量。

第四步：加载VGG16模型。

第五步：卷积，采用3×3小卷积核并设置卷积步长为1，输出64张特征图。

第六步：池化，进行最大池化操作，采用通过2×2滤波器并设置步长为2，得到新的64张特征图。

第七步：池化输出特征图进行ReLU激活。

第八步：重复第五、六、七步，共进行5次卷积、池化、激活，得到512张特征图。

第九步：全连接，将第五次池化输出，输入至全连接层进行分类判定和类别概率计算、位置确定。

2.2 faster-rcnn VGG16模型训练

步骤1：用VGG-16模型初始化，独立训练一个RPN网络。

步骤2：仍然用VGG-16模型初始化，但是使用上一步RPN网络产生的proposal作为输入，训练一个Fast-RCNN网络，至此，两个网络每一层的参数完全不共享。

步骤3：使用步骤2的Fast-RCNN网络参数初始化一个新的RPN网络，但是把RPN、Fast-RCNN共享卷积层的learning rate设置为0，也就是不更新，仅仅更新RPN特有的网络层，重新训练，此时，两个网络已经共享了所有公共的卷积层。

步骤4：仍然固定共享的网络层，把Fast-RCNN特有的网络层也加入进来，形成一个unified network，继续训练，fine tune Fast-RCNN特有的网络层，此时，该网络已经实现设想的目标，即网络内部预测proposal并实现检测的功能。

3 吊钩视觉识别系统测试效果

吊钩视觉识别系统在韶钢的3#CDQ进行测试。提升机将焦罐提升到待机位，视觉系统识别东、西两边吊钩是否钩住焦罐吊耳，如果检测判断连接牢固(图6)，则发出“吊钩钩好”信号，输出到工控机的I/O模块，控制焦罐的提升。经过3个月的识别准确率和误判率的测试，经统计，误判率为0，准确率为99.9%，调取WINCC曲线截图。曲线运行表明：视觉识别结果与人工识别结果一致(图7).

图6 吊钩与焦罐吊耳连接识别结果图

图7 视觉系统识别结果与人工识别结果对比图

4 结 论

韶钢1#CDQ、2#CDQ和3#CDQ通过使用3套智能视觉检测识别系统，将吊钩与焦罐吊耳连接的图像输送给视觉分析系统，后者将识别信号传送到提升机PLC控制器，将识别信号与人工确认融合，控制焦罐的提升。投入连续运行数月以来，通过调取相关数据，验证了智能视觉检测识别系统能杜绝人工误判和误操作的问题，提高了焦罐提升的安全性，可保证干熄焦的安全生产。