基于深度学习的陶瓷衬垫码片识别研究

□ 魏智锋 □ 肖书浩 □ 蒋国璋 □ 叶荟坤

1.武汉科技大学 机械自动化学院冶金装备及其控制教育部重点实验室 武汉 430081 2.武昌首义学院 机械与自动化学院 武汉 430068

1 研究背景

陶瓷衬垫是一种高导热性能的材料,外观呈纯白色,质地坚硬,主要用于功率器件与散热器之间的传热和电气隔离[1],被广泛应用于桥梁、建筑、船舶等领域的大型焊接件中。陶瓷衬垫码片识别用于检测陶瓷衬垫质量,提高陶瓷衬垫合格率,是陶瓷焊接生产过程中重要的一环。陶瓷衬垫如图1所示。

对陶瓷衬垫检测的研究目前已经取得了一些进展,陈涵[2]提出一种改进的Yolo-v3陶质衬垫缺陷检测方法,李强等[3]提出一种基于机器视觉的陶瓷瓦表面裂纹检测方法,李小磊等[4]提出一种基于滑动滤波和自动区域生长的陶瓷瓦表面裂纹检测方法,周飘等[5]等提出一种基于黑塞矩阵滤波的陶瓷瓦表面裂纹检测方法。

近年来,随着深度学习技术的发展,卷积神经网络(CNN)被广泛应用于图像识别领域,并取得了良好的应用效果。Mask R-CNN(Mask区域卷积神经网络)是在Faster R-CNN之后提出的目标检测方法,不仅可以输出物体的具体类别和物体框,而且能够对物体目标进行实例分割[6]。笔者将陶瓷衬垫码片作为数据源,将最新的Mask R-CNN和Res Net-50特征提取网络相结合,在主流的TensorFlow深度学习框架中进行多线程迭代训练模型,对结果进行比较和分析。

▲图1 陶瓷衬垫

2 数据采集及分类

笔者试验所用的陶瓷衬垫码片样本均来自武汉天高熔接股份有限公司,在实验室中搭建的模拟工厂陶瓷衬垫码片识别图像采集装置如图2所示,所采集的图片如图3所示。图3为正俯视拍摄陶瓷衬垫码片样本得到的图片,无法对码片的下偏位进行有效标识,从而无法准确识别有位置错误的码片。

▲图2 陶瓷衬垫码片识别图像采集装置

调整拍摄的角度,使陶瓷衬垫码片处在自然光照条件下。笔者使用移动电话从俯视倾角拍摄得到陶瓷衬垫码片图片,分辨率为1 920像素×1 080像素,共拍摄2 600张图片。

▲图3 采集的图片

3 数据集生成及预处理

陶瓷衬垫码片图片如图4所示,三种摆放位置分别为上偏位、下偏位、正常位。笔者将摆放位置分为两类——上偏位和下偏位,并使用Labelme标注功能软件对图片进行标注。为了提高训练效果,使模型的泛化性得到提升,对数据集使用数据增强方法。鉴于更改方向和角度都不会改变图片特征,笔者使用水平翻转与竖直翻转两种数据增强方法。在标注过程中,共对2 600张图片中的 4 750个目标对象进行标注,并将所有图片按照COCO数据格式进行批量重命名。在训练和测试之前,将2 600张包含各类错位的图片归一化处理为640像素×360像素尺寸。数据集制作流程如图5所示。

▲图4 陶瓷衬垫码片图片▲图5 数据集制作流程

为了生成测试集,从带标记的图片数据集中选取20%作为测试集。测试集包含需检测的两种摆放位置的图片,且每种摆放位置的图片数量大致相同。对标记完的图片进行微调,将图片信息和json格式文件分别保存,并分为训练集和测试集。陶瓷衬垫码片数据集数量见表1。

表1 陶瓷衬垫码片数据集数量

4 陶瓷衬垫码片识别模型

4.1 Mask R-CNN

Mask R-CNN是由何凯明团队于2017年提出的一种目标检测网络,是基于Faster R-CNN的改进网络架构,可以在高效完成物体检测的同时实现高质量的实例分割。Mask R-CNN框架如图6所示[7]。Mask R-CNN主要分为卷积层FPN(特征金字塔网络)、RPN(区域候选网络)、ROI(候选区域)Align和输出分支四个方面。

Mask R-CNN相比Faster R-CNN,主要有三点不同。Mask R-CNN在基础网络中采用了较为优秀的的Res Net-FPN结构,多层特征图有利于多尺度物体及小物体的检测。在应用时,笔者将传统的Res Net-101网络改为Res Net-50网络。为了解决网络中图像像素和兴趣区域匹配产生错位问题,Mask R-CNN将传统的神经网络池化层替换为ROI Align。得到感兴趣的特征后,Mask R-CNN在原有分类与回归的基础上,增加了一个Mask分支来预测每一个像素的类别,提高了检测效率[8]。

▲图6 Mask R-CNN框架

4.2 FPN

FPN主要解决了目标检测中的多尺度检测问题。FPN采用自上而下的侧向连接,将不同尺度的特征连接融合,再进行卷积以消除混叠现象,之后在不同尺度特征上进行预测。结果证明,Res Net与FPN的组合能够达到很好的检测效果,所以笔者在Mask R-CNN中应用了Res Net-101网络与FPN的组合。

4.3 RPN

RPN通过倍数和长宽比例不同的窗口或锚点在特征图上进行滑窗,从而迅速生成候选区域。RPN的锚框如图7所示。图7中背景图像表示经卷积神经网络提取后的特征图,虚线表示窗口为基准窗口,输入为上一阶段得到的特征图,并产生一系列锚框,各个锚框的大小由像素点数量和长宽比两个参数决定。RPN利用8、16、32三种像素点数量和0.5、1、2三种长宽比共九种尺度窗口对特征图进行滑窗,当交并比大于0.5时,认为属于前景,对类别和边框进行第一次修正。

交并比IoU为:

IoU=SA∩B/SA∪B

(1)

式中:A、B分别为RPN生成的候选框及训练集中正确的目标框;SA∩B为A、B重叠处面积;SA∪B为A、B并集面积[9]。

4.4 ROI Align

Mask R-CNN提出的ROI Align取消了取整操作,保留所有浮点,然后通过双线性插值方法获得多个采样点的值,再对多个采样点进行最大值池化,进而得到这些点的最终值。应用ROI Align,对每个格子都取一个浮点数,对于Feature Map特征映射上的每一个候选区域,都会分割为m×m个格子,并在其中选取四个点,这四个点分别对应格子中四个部分的中点。对每个点所在格子的四个顶点进行双线插值计算,使像素和兴趣区域更匹配。由于使用了采样点与保留浮点的操作,ROI Align获得了更好的性能。

▲图7 RPN锚框

4.5 损失任务设计

得到感兴趣的特征后,Mask R-CNN增加了Mask分支来进行图像分割,确定每一个像素具体属于哪一种类别。具体实现时,采用了FCN(全卷积网络)的结构,利用卷积与反卷积构建端至端的网络,然后对每一个像素分类,实现了较好的分割效果。

损失函数L定义为:

(2)

分类损失为:

(3)

(4)

定位损失为:

(5)

(6)

式中:smoothL1为等价损失函数。

分割损失即二值掩码损失,若候选框检测出为某一类别,则使用该类别的交叉熵作为误差值进行计算,其它类别损失值不计入,从而避免类间竞争。

(7)

对Mask分支上的每一个像素,应用Sigmoid函数送至交叉熵损失中,最后取所有像素损失的平均值作为掩码损失函数Lmask。

5 评价指标

目前通常用均值平均精度APm来衡量检测算法的精度,并将平均精度AP作为每一类别的检测精度的评价指标。APm、AP与准确率P、召回率R有关[10-11],P、R分别为:

(8)

(9)

式中:TP为被模型预测为正类的正样本数量;FP为被错误划分至正样本的数量;FN为被错误划分至负样本的数量。

对于目标检测,每一个类别都可以得到一条准确率-召回率曲线,曲线下的面积即为平均精度AP,其积分式为:

(10)

对所有类别的AP求平均,即为APm:

(11)

式中:M为类别总数;AP(k)为第k类的AP。

速度评估指标为应用模型检测一幅图所耗费的平均时间,即平均检测时间,单位为秒。

6 试验结果

在模型预训练过程中,初始学习率设置为0.001,动量设置为0.9,权重衰减设置为0.001,批大小设置为32,迭代次数设置为20 000次。

笔者对改进的Mask R-CNN应用两类目标数据进行检测,通过训练,多轮迭代,得到最优结果。

将测试集以分辨率为640像素×360像素进行测试,陶瓷衬垫码片分类检测效果如图8所示。从图8中可以看出,码片错位识别都非常准确,没有出现漏检的情况。具体检测结果见表2。由表2可知,改进Mask R-CNN比初始网络在单个分类检测上的AP高出1到1.2个百分点,APm高1.1个百分点,检测时间缩短0.61 s。

▲图8 陶瓷衬垫码片分类检测效果

表2 检测结果对比

7 结论

笔者针对陶瓷衬垫码片人工识别效率低的问题,采用俯视倾角拍摄采集数据集,将Mask R-CNN应用于码片位置识别。在应用中,对Res Net-50网络进行特征提取,利用RoI Align使图片特征点定位精度达到像素级效果,提高了检测精度。通过对比试验,在不提高模型和计算复杂度的情况下,经笔者改进后的Mask R-CNN相比Faster R-CNN和传统Mask R-CNN,精度和检测速度都有所提高。