基于卷积神经网络的CO2焊接熔池图像状态识别方法

覃 科 刘晓刚 丁立新

(1.桂林航天工业学院 广西高校机器人与焊接技术重点实验室培育基地，广西 桂林 541004；2.武汉大学 软件工程国家重点实验室，武汉 430072)



基于卷积神经网络的CO2焊接熔池图像状态识别方法

覃 科1刘晓刚1丁立新2

(1.桂林航天工业学院 广西高校机器人与焊接技术重点实验室培育基地，广西 桂林 541004；2.武汉大学 软件工程国家重点实验室，武汉 430072)

为了通过熔池图像对焊接状态进行判断，将卷积神经网络引入到CO2焊接熔池图像状态识别中，提出了一种CO2焊接熔池状态识别卷积神经网络CNN-M。该网络使用简单预处理的熔池图像作为输入向量，避免了人工提取图像特征的主观性对识别率的不良影响。同时，CNN-M采用了ReLU激活函数、随机Dropout及SVM分类器来降低样本集稀少可能导致的网络过拟合现象。试验结果表明，和人工提取熔池特征状态作为输入向量的BP神经网络相比，CNN-M在识别率及识别速度方面均体现出了更好的性能，其良好的泛化能力能够满足在线熔池状态监控的要求。

焊接熔池 卷积神经网络 状态识别

0 序 言

在机器人焊接过程中，焊接熔池的状态信息能够直接反映焊接工艺的科学性和焊接质量的可靠性，因此通过熔池图像特征来判断焊接质量的好坏一直是焊接工艺的研究热点。由于焊接过程是一个多参数耦合的随机时变过程，因此有学者使用基于神经网络的方法研究焊接熔池形态并取得了一定的成果。文献[1]使用基于遗传算法改进的BP神经网络来建立焊接外观与激光焊接熔池阴影特征之间的关系模型，提供了一种有效的方法，来预测焊接外观和实时评估焊接质量。文献[2]通过观测熔池形态，使用BP神经网络和RBF神经网络预测焊缝宽度，为实现焊接质量在线监控提供了基础。文献[3]从熔池图像中提取熔池面积、熔池熔宽及熔池半长，利用ICA-BP神经网络建立特征参数与熔透状态的关系模型，对不同条件下的熔透状态进行预测。

目前，大多数研究均使用BP神经网络或改进的BP神经网络，从熔池图像中提取熔池特征参数，将特征参数作为神经网络的输入向量，来对焊接状态进行识别。然而，作为输入向量的熔池特征参数提取依赖于熔池图像的预处理及人的经验和主观意识，若提取的特征参数出现偏差，整个神经网络的性能及预测精度都会受到严重影响。

卷积神经网络(Convolutional Neural Network，简称CNN)是一种层与层之间局部连接的深度神经网络，直接将图像作为输入向量，把特征提取作为一个自适应、自学习的过程，从而避免了传统识别算法中复杂的特征提取和数据重建过程[4]。卷积神经网络中的特征提取和模式分类同时进行，对图像的位移、缩放、倾斜及其它形式的扭曲变形都具有良好的鲁棒性，已经成为当前图像识别领域的研究热点[5]。基于卷积神经网络在图像处理方面的优秀性能，文中使用CO2焊接熔池图像作为卷积神经网络的输入向量，利用卷积神经网络对CO2焊接熔池图像状态进行识别，并将其性能与人工提取熔池特征参数作为输入向量的BP神经网络性能进行对比。试验表明，文中提出的方法在识别率及识别速度方面均体现出了更好的性能，能够较好满足在线熔池状态监控的要求。

1 图像的获取与预处理

1.1 图像的获取

由于CO2焊接具有生产效率高且质量稳定的特点，在国内外的企业生产中得到广泛应用[6]。但由于CO2气体本身具有较强的氧化性，在焊接过程中会引起合金元素烧损，从而引起较强的飞溅，这使得通过电荷耦合元件(Charge-coupled Device，简称CCD)采集到的熔池图像会受到飞溅、弧光及电磁场等随机因素的强烈干扰[7]。

试验观察表明：CO2焊接在短路阶段，电弧熄灭且很少产生飞溅，此时熔池受到的电弧和烟尘干扰最小；并且熔池表面温度下降，熔池图像灰度分布相对较稳定，有利于熔池状态的判定[8]。因此，在焊接短路阶段采集熔池图像信息是最为理想的时刻。在文中所使用的焊接熔池图像获取方案中，利用CO2焊接短路周期与焊接电流变化的对应关系，通过电流传感器的转换得到与焊机工作电流相同变化频率的矩形脉冲波形，在熔滴短路阶段电流脉冲波形的下降沿产生触发，由触发器来控制高速工业相机的拍摄时刻，得到短路时刻的焊接熔池图像。高速工业相机配备窄带光学滤光片进一步抑制弧光干扰、提高图像信噪比。

1.2 图像预处理

在CO2焊接的短路阶段获取的熔池图像信息虽然能够剔除大多数的弧光、飞溅和噪声干扰，但仍然存在着小部分的飞溅和烟尘噪声。通过对比多幅带有飞溅噪声的图像后发现，每幅图像中飞溅的位置均不相同。若在焊接过程中熔池的成像位置相对不变，考虑使用高速工业相机能够使得图像的两次获得间隔时间Δt足够短，利用机器人学的微分运动理论，将两幅图像的公共区域进行与运算，则能够去除飞溅噪声，保留有用的熔池图像[9]。

为了加快熔池图像处理的速度，将图像中的熔池区域和背景区域进行阈值分割。由于图像中熔池区域和背景区域所占据的灰度级范围有较大差异，因此使用Otsu方法动态选取阈值。对于大小为M×N的图像I(x,y)有：

g=ω1×ω2×(μ1-μ2)2

(1)

式中：g为熔池区域和背景区域的类间方差；ω1为熔池区域的像素点数占整幅图像的比例；μ1为熔池区域像素的平均灰度；ω2为背景区域的像素点数占整幅图像的比例；μ2为背景区域像素的平均灰度。

采用遍历方法得到使类间方差g最大的阈值T，T即为熔池图像熔池区域与背景区域的分割阈值。

2 卷积神经网络识别熔池状态

2.1 网络结构

卷积神经网络结构主要包括输入层、卷积层、采样层及输出层。多个交叠的卷积层和采样层负责提取输入层图像特征。输出层使用一层或两层全连接神经网络，根据提取的特征向量进行分类[10]。

考虑到获取的熔池图像经过前期处理后特征相对明显、熔池形状相对简单，并且样本数据比较稀少的情况，文中采取的熔池图像状态识别的卷积神经网络CNN-M结构如图1所示。

图1 熔池状态识别的卷积神经网络结构

CNN-M使用了C1,C3共2个卷积层及S2,S4共2个池化层对熔池图像进行特征提取，使用F5层进行特征向量分类。前一层的特征图与自学习的卷积核进行卷积计算，计算结果经过激活函数输出，从而形成卷积层的特征图。卷积层的计算公式为

(2)

式中,l为卷积层的层数；f为激活函数；Mj为上一层的一个输入特征图；b为偏置；k为卷积核即共享权重，此处取5×5大小的模板。k与b初始化为随机值，通过网络训练调整至最佳。

池化层对卷积层获取到的图像特征进行下采样，在保留图像有效信息的同时减少计算量。池化层的计算公式为

(3)

式中,l为池化层的层数；f为激活函数；down(·)为下采样函数；β为下采样系数；b为偏置。β和b通过网络训练调整至最佳。

全连接层的计算公式如下：

xl=f(Wlxl-1+bl)

(4)

式中,l为当前层；W为权值；b为偏置。

考虑到样本数据相对稀少，为了防止过拟合并减少计算量，f使用ReLU(RectifiedLinearUnits)函数，即f(x)=max(0,x)，池化均采用maxpooling方式。

输入层图像经过归一化处理后，以32×32大小输入网络。C1层为第一个卷积层，由4个特征图组成，每个神经元与输入层图像的5×5邻域相连，每个特征图大小为28×28。S2层为第一个池化层，由4个大小为14×14的特征图组成，特征图的每个神经元与C1层中相应特征图的2×2邻域相连进行下采样。C3为第二个卷积层，由11个大小为10×10的特征图组成，特征图的每个神经元按照表1的方式与S2层中若干个特征图的5×5邻域相连，表1中×代表选中。

表1 S2层与C3层特征图的连接方式

S4层为第二个池化层，在C3层的基础上进行下采样，由11个大小为5×5的特征图组成。F5层由275个特征值组成，实际上F5层也是一个卷积层，每个特征值与S4层的全部11个特征图的5×5邻域相连，从而构成了F5与S4之间的全连接。

考虑到通过试验采集到的样本集状态，输出层设置3个神经元，分别对应焊接正常、焊偏及焊穿这三种常见的CO2短路过渡焊接状态。输出层的每个神经元与F5层进行全连接，采用SVM分类器进行分类回归。SVM通过寻求结构化风险最小来提高学习机泛化能力，实现经验风险和置信范围的最小化，从而能够在样本量较少的情况下获得良好的统计规律[11]。

为了进一步减少样本数量稀少而导致过拟合情况出现的可能，在F5和输出层的全连接中使用随机Dropout方法，如图2所示。Dropout在网络训练过程中随机让某些隐含层的神经元不工作，保留其值并将其当前输出设置为0。在下次训练过程中恢复这些神经元的值参与网络训练，并再次选择部分神经元重复此过程[12]。Dropout使得网络在训练过程中，每次用于输入网络的训练样本在权值更新时不再依赖于有固定关系隐含节点的共同作用，防止出现某些特征仅仅在其它特定特征下才有效的情况，从而避免网络对某种局部特征的过拟合[13]。

图2 使用Dropout的全连接层

2.2 网络训练

CNN-M采用残差后向传播进行网络训练，使用随机梯度下降对公式(2)中的卷积核k及偏置b、公式(3)中的下采样系数β及偏置b、公式(4)中的权值W及偏置b进行更新，直至满足预设条件或达到迭代次数。

代价函数使用平方误差，则包含有N个训练样本的c类问题代价函数为：

(5)

对于全连接层l，其残差为：

δl=(Wl+1)Tδl+1Of′(ul)

(6)式中,ul=Wlxl-1+bl；O表示每个元素相乘的运算。

对于卷积层l，其残差为：

(7)

对于池化层l，其残差为：

(8)

得到各层的残差表达式后，即可求得每层的梯度，从而对参数值进行调整[14]。

3 试验结果与分析

3.1 试验数据

采集熔池图像的试验平台如图3所示，焊枪与CCD相机固定相连，使得CCD相机镜头位置与焊枪的运动路线保持一致，从而保证在焊接过程中熔池的成像位置相对不变，以便于对熔池状态的跟踪和判定。

图3 CO2焊接熔池图像采集平台

通过CO2焊接试验，共采集到焊接正常状态、焊偏状态、焊穿状态的熔池图像各300张。网络训练过程中使用的样本集图片占图片总数的65%，并且从三种焊接状态图像中以平均分布的方式选取。测试集及验证集图片分别占图片总数的25%及 15%。为了进一步解决训练样本数量相对稀少所导致的过拟合问题，选取样本集中50%的图片进行角度的旋转和亮度、对比度的调节，从而生成新的训练样本，来模拟在不同情况下的多态模式以训练网络，增强网络的泛化能力。图4为样本集中的部分样本图片，其中，图4a为焊接正常状态部分样本图片，图4b为焊偏状态部分样本图片，图4c为焊穿状态部分样本图片。

图4 样本集部分样本图片

3.2 试验结果及分析

采用文中所提出的卷积神经网络进行熔池状态识别。输入层为32×32大小的BMP格式灰度图像，下采样系数β取常量0.25，网络学习率设置为0.01，Dropout随机设置F5层中10%～30%的神经元输出为0。网络训练方式采用批处理随机梯度下降法，每输入50个样本处理一次残差后向传播，对参数权值进行调整。试验环境为Window10(64bit)操作系统，CPU采用Inteli7-5960X八核3.0GHZ，32GB内存，MATLAB2014a软件平台。

为了检测CNN-M的性能，文中使用BP神经网络与之进行识别率及识别速度的比较。BP神经网络采用常用的三层结构，隐含层取400个神经元节点，网络学习率设置为0.01。使用Candy算子提取预处理后熔池图像的边缘信息，利用熔池的边缘信息计算熔池的长宽比、面积及复杂度，将这三个特征值作为BP神经网络的输入向量。熔池的复杂度定义为熔池周长平方与熔池面积的比值，比值越大，意味着熔池轮廓形状越复杂。

图5为CNN-M及BP神经网络在网络训练过程中的识别率曲线图。从图5中可以看到，CNN-M在网络训练过程中的识别率和收敛速度均要优于BP神经网络。在迭代300次以后，CNN-M的识别率能够达到99.2%，而BP神经网络的最高识别率为94.5%。图6为CNN-M及BP神经网络在网络检测过程中的识别率曲线图。从图6中可以看到，CNN-M的识别率要远高于BP神经网络。迭代300次以后，CNN-M的识别率能达到95.8%，而BP神经网络的最高识别率为83.1%。这是因为在CO2焊接过程中，焊偏状态及焊穿状态的熔池图像均为非规则形状，熔池边缘的提取偏差较大，会直接影响到熔池图像特征状态提取的准确性。而CNN-M直接将熔池图像作为输入向量，避免了特征提取的主观性及复杂计算，对于熔池状态的识别具有更高的准确率。从图5和图6可以看到，CNN-M中使用的ReLU激活函数、随机Dropout及SVM分类器有效抑制了样本集稀少可能导致的网络过拟合现象，使得CNN-M具有更好的泛化能力。

图5 网络训练过程中的识别率

图6 网络检测过程中的识别率

表2为CNN-M及BP神经网络对于图像识别速度的对比，识别速度以识别100张熔池图片状态所需时间来衡量。CNN-M的识别速度明显优于BP神经网络，并且识别100张熔池图片状态仅用时0.183s，能够满足CO2焊接熔池状态的在线实时监控要求。

表2 100张熔池图像状态识别时间

4 结 论

(1)提出了一种利用卷积神经网络CNN-M对形态复杂的CO2焊接熔池形态进行识别的方法。该方法将熔池图像经过简单的预处理后，直接作为输入向量，从而避免了对熔池图像特征提取的复杂计算和特征提取的主观性对网络识别率产生的不良影响。

(2)试验表明，CNN-M在网络的训练过程和检测过程中的识别率均要优于BP神经网络，在样本集稀少的情况下仍能够达到较高识别率和较快识别速度。

(3)进一步的研究工作如下:①对CNN-M的结构与识别率之间的关系进行进一步研究，对不同数量的卷积层及全连接层的卷积神经网络进行试验，验证是否存在性能更好的CO2焊接熔池形态识别的卷积神经网络结构;②获取状态更丰富、分类更详细的CO2焊接熔池图像，扩展样本集及验证集熔池图片数量，以期能够通过设置更多的CNN-M输出层神经元对熔池状态进行更丰富的分类识别，并建立起熔池状态与焊接参数之间的关系。

[1] Zhang Y，Gao X，Katayama S. Weld appearance prediction with BP neural network improved by genetic algorithm during disk laser welding[J]. Journal of Manufacturing Systems，2015，34: 53-59.

[2] Gao Xiangdong，Zhang Yanxi. Prediction model of weld width during high-power disk laser welding of 304 austenitic stainless steel[J]. International Journal of Precision，Engineering and Manufacturing，2014，15(3): 399-405.

[3] 林 俊. 电弧焊熔透状态视觉检测模型研究[D].广州:广东工业大学硕士学位论文,2015.

[4] 刘建伟，刘 媛，罗雄麟. 深度学习研究进展[J]. 计算机应用研究，2014，31(7): 1921-1942.

[5] Krizhevsky A，Sutskever I，Hinton GE. ImageNet classification with deep convolutional neural networks[C]. Advances in Neural Information Processing Systems， Curran Associates RedHook，NY，USA ，2012: 1097-1105.

[6] 夏胜全，区智明，孙晓明. 一种降低CO2气体保护焊接能量输入的方法[J]. 焊接，2012(3): 32-35.

[7] 向远鹏，曹 彪. 熔滴短路过渡频率对CO2焊接过程稳定性的影响[J]. 焊接，2010(12): 33-37.

[8] 齐志龙，李 科，孙佳男，等. CO2气体保护焊短路过渡熔滴尺寸的研究[J]. 焊接，2016(11): 34-37.

[9] 刘晓刚，谢存禧，张昌年，等. 基于弧光反射的焊缝图像获取及图像处理[J]. 焊接学报，2008，29(4): 73-76.

[10] 杨 钊，陶大鹏，张树业，等. 大数据下的基于深度神经网的相似汉字识别[J]. 通信学报，2014，9(35): 184-189.

[11] Khemchandani R， Pal A. Multi-category laplacian least squares twin support vector machine[J]. Applied Intelligence，2016: 1-17.

[12] Hinton G E，Srivastava N，Krizhevsky A，et al. Improving neural networks by preventing co-adaptation of feature detectors[J]. Computer Science，2012，3(4): 212-223.

[13] Mendenhall J，Meiler J. Improving quantitative structure-activity relationship models using Artificial Neural Networks trained with dropout[J]. Journal of computer-aided molecular design，2016，30: 1-13.

[14] Bouvrie J. Notes on convolution neural networks[R]. MIT CBCL，2006.

2017-01-21

广西自然科学基金资助项目(2014GXNSFAA1183105，2016 GXNSFAA380226)

TG409

覃 科，1979年出生，硕士，讲师。主要从事图像处理、智能计算及其理论方面的科研和教学工作，发表论文10余篇。