微型直流电机端盖装配质量在线视觉检测技术

南瑞亭， 黄 坚

(1. 广州市交通技师学院，广东 广州 510540; 2. 华南理工大学机械与汽车工程学院，广东 广州 510640)

0 引 言

中国是全球微型电机的第一大生产国，2019年中国微型电机产量达136亿台，占全球73.9%。目前微型电机产品已有数千品种，下游应用涉及各行各业。电机制造工序多，涉及精密机械、精细化工、微细加工、磁材料处理、绕组制造、绝缘处理等工艺技术，简而言之，微型电机行业是劳动密集型、技术密集型产业。

微型直流电机配质量的在线视觉检测，属于微型直流电机智能制造的关键工序[1]。在电机装配中，端盖面上正负极涂装、电机壳冲压卡接部位、引线、插座等零部件装配质量检测，主要采用人工目视检测，存在劳动强度大、效率低等问题[2]。实现微型直流电机端盖装配质量自动化、智能化检测，有助于提高电机检测技术水平。

中国电子科技集团公司(2017)突破电机铁心的视觉识别与定位算法，提高了机器人适应复杂工况的能力，搭建的系统可实现电机铁心的分拣、搬运和位姿调整[3]。文献[4](2017)为实现小型电机的机器人自动装配，以德国MVTec Software Gmb H公司开发的MERLIC图像处理软件为支撑，实现小型电机装配目标零件定位、锁紧孔位置匹配转角计算和机器人控制三大基本功能，最终控制机器人完成小型电机的自动装配。武汉工程大学(2018)提出了一种基于机器视觉的对比测量方法，通过对待测轴与标准轴图像进行滤波、二值化、边缘提取与最小二乘法拟合直线方程，计算出待测轴与标准轴的左、右边缘差距，经过相机标定实现较高精度的轴承外径尺寸测量[5]；文献[6](2020)提出迁移学习和卷积神经网络电力设备图像识别方法，将卷积神经网络在模拟、真实电力设备图像中进行迁移学习，提高学习效率和精度，最终取得93.5%识别准确率。文献[7](2021)在机器人夹持器前端安装视觉定位装置，并研究视觉相机标定和坐标偏移补偿控制方法，提高微型电机外壳冲压件在冲压过程中转送的准确度；中国计量大学(2021)采用改进Faster R-CNN实现水准泡缺陷检测方法，改进融合递归特征金字塔得到多尺度的特征图输出，有效提高模型检测准确度，在测试集上的均值平均准确度达96.7%[8]；中国计量大学计量测试工程学院(2021)提出一种面向滚动轴承的改进对抗迁移学习模型，在对抗迁移学习的域判别器中采用卷积结构替换全连接神经网络，实验证明模型具有良好抗干扰能力、更高诊断精度[9]。华南理工大学(2021)面向标准件装配质量检测存在的复杂背景下部件识别问题，研究深度学习实例分割技术，优化了部件装配检测与识别的准确度[10]、实时性能[11]。

结合基于深度学习的图像分类[12]、目标检测[13]、语义分割[14]相关综述，本文在分析微型直流电机端盖装配质量检测需求基础上，提出基于Faster RCNN的微型直流电机端盖装配质量在线视觉检测技术框架，实现装配质量视觉检测。

1 微型直流电机端盖装配质量检测需求分析

微型直流电机端盖上装配的主要零部件有轴体、正极、负极、插座、引出线等，装配质量要求零部件安装到位、冲压脚齐全、正极涂装正确。图1为HRS-365S-14137VC-42L的微型直流电机设计图，合格产品上需要有轴体、红色涂装的正极、3个负极、2个插座以及4个冲压脚。

图1 HRS-365S-14137VC-42L微型直流电机设计图

选用中长焦段镜头、彩色工业相机，调节使工业相机光轴与微型直流电机转子轴重合，使端盖位于像平面中心位置。图2为HRS-365S-14137VC-42L的微型直流电机合格产品图像。

图2 HRS-365S-14137VC-42L微型直流电机合格产品图像

可以看出，端盖、轴体、正极、负极、插座、冲压脚等7种零部件视觉特征各不相同，易于分辨，适合采用深度学习目标检测方法实现端盖及其零部件的识别与定位。考虑到视觉检测的高准确性、在线快速需求，选用具有较高识别准确性的R-CNN系列目标检测模型，尤其是其中实时性能较佳的Faster R-CNN目标检测模型，设计面向微型直流电机端盖装配质量在线快速视觉检测鉴别系统。

2 基于Faster R-CNN的微型直流电机端盖装配质量在线视觉检测技术

微型直流电机端盖装配质量检测需求主要有：端盖装配质量要求系统能实现7种零部件的识别与定位；在线快速视觉检测要求系统具有快速特点，每个微型直流电机端盖装配质量检测鉴别时间不超过0.5 s。图3为基于Faster R-CNN的微型直流电机端盖装配质量在线快速视觉检测鉴别技术流程框图。基本步骤：①离线微型直流电机端盖图片，标注端盖边界框与系列、标注零部件训练识别端盖及其零部件的Faster R-CNN目标检测模型；② 基于Faster R-CNN模型识别端盖及其零部件，得到微型直流电机型号，以及质量良好的零部件数量、类型；③根据该型号微型直流电机零部件数量、类型要求，判断零部件安装是否到位、冲压脚是否齐全、正极涂装是否正确，全部符合为合格品装箱。

图3 基于Faster R-CNN的微型直流电机端盖装配质量在线快速视觉检测鉴别技术流程框图

2.1 基于Faster R-CNN的端盖装配质量关键特征识别技术

如表1所示，微型直流电机端盖主要包括端盖、轴体、正极、负极、插座、引出线、冲压脚7种零部件。其中不同型号端盖视觉特征、外径明显不同，标注端盖的类型标签还标注上其对应的型号，采用开源标注软件labelme矩形标注工具(rectangle)，标注机壳冲压脚、正极、负极及端盖最小外接矩形作为边界框，并为其添加类型标签。以3系端盖，代表着微型直流电机外径最大值在27.0～30.0 mm间的端盖；不同型号的轴体、正极、负极、插座、引出线、冲压脚等的视觉特征较为相似，类型标签直接标注为类型。

表1 端盖装配质量关键特征与类型标签及标量对应表

图4为微型直流电机端盖装配质量关键特征识别的Faster R-CNN模型，模型的输入是微型直流电机端盖图像，输出预测检测到实例的关键特征，设对象实例数量N，第n个实例的边界框R1-n、分数R2-n、类型标量R3-n(n=1, 2, 3,···,N)。其中：

1）预测边界框R1-n=(u1-n,v1-n,u2-n,v2-n)、边界框左上顶点 (u1-n,v1-n)、边界框右上顶点 (u2-n,v2-n)。

图4 微型直流电机端盖装配质量关键特征识别的Faster R-CNN模型

2）预测分数R2-n定义域为[0,1]，且有，线性度佳，可直接作为置信度分数使用。

3）预测类型R3-n是标量，值域为R3-n∈{0, 1, 2,3, 4, 5, 6}，

4）位置信息Pn=(up-n,vp-n)从预测边界框R2-n中计算得到：

Faster R-CNN模型可通过训练，学习不同质量关键特征，系采用随机梯度下降(stochastic gradient descent, SGD)算法对Faster R-CNN模型调优，使其拟合到训练数据集上，训练采用Mini-batch策略，学习率为0.001，分批数2，结合数据量大小，迭代训练次数为500。

训练过程中，可观测分类损失loss_cls、定位损失loss_box_reg、总损失total_loss是否减小，判断Fast R-CNN、Faster R-CNN模型是否收敛；模型完成训练后，以重叠率超过50%的平均准确度AP0.5作为主要评价指标；只要AP0.5≥90%，模型满足应用需求。

2.2 基于Faster R-CNN的端盖装配质量检测技术

清点微型直流电机正极、负极及机壳冲压脚数量方法，具体为：设类型m判别函数fm(R2-n,R3-n)：

可见，若预测类型R3-n=m，且预测分数R2-n≥0.9，则fm(R2-n,R3-n)输出为 1；其他情况时，则fm(R2-n,R3-n)输出为0。则正极数量N1、负极数量N2、冲压脚数量N3、插座数量N4、引出线数量N5、电机轴数量N6分别为：

直接以检测出零部件数量对比装配质量要求的零部件数量，数量全部一致则为装配质量合格。

3 实验研究

采集6种微型直流电机图像共60个，其中36构成训练集，24个构成测试集。在训练集上训练Faster R-CNN模型，训练调优算法SGD、学习率为0.001、Mini-batch策略、分批数 2，迭代训练次数500。即模型将训练500次，每次学习是在训练集中挑选2个图片进行。图5为Faster R-CNN模型训练过程损失曲线。

图5 Faster R-CNN模型训练过程损失曲线

检测例1：某型号微型直流电机，装配质量要求为轴体1个、正极1个、负极3个、冲压脚4个、插座2个、引出线2个。图6为检测例1输入图像与检测结果。

图6 检测例1输入图像与检测结果图

图像输入Faster R-CNN模型中，输出的对象数量No=14预测边界框R1-n、预测分数R2-n、预测类型R3-n=[2, 1, 5, 5, 2, 3, 2, 3, 3, 3, 4, 0, 4, 6]。将R3-n、R2-n代入式⑶可得，正极数量N1=1、负极数量N2=3、冲压脚数量N3=4、插座数量N4=2、引出线数量N5=2、轴体数量N6=1。

零部件安装到位、冲压脚齐全、正极涂装是正确，装配质量合格。

检测例2：某微型直流电机装配质量要求为轴体1个、正极1个、负极3个、冲压脚4个、插座2个。图7为检测例2输入图像与检测结果。

图7 检测例2输入图像与检测结果图

图像输入Faster R-CNN模型中，输出的对象数量No=12预测边界框R1-n、预测分数R2-n、预测类型R3-n= [0, 2, 3, 2, 3, 2, 2, 3, 3, 4, 4, 6]。 将R3-n、R2-n代入式(3)可得正极数量N1=0、负极数量N2=4、冲压脚数量N3=4、插座数量N4=2、引出线数量N5=0、轴体数量N6=1。

零部件安装是到位、冲压脚齐全，但正极涂装不正确，装配质量不良。

4 结束语

本文提出微型直流电机端盖装配质量在线视觉检测技术，主要工作为：

1）研究基于Faster R-CNN的端盖装配质量关键特征识别技术，提出微型直流电机端盖装配质量关键特征识别的Faster R-CNN模型，模型可识别端盖、轴体、正极、负极、插座、引出线、冲压脚等7种零部件，模型准确率达到97.3%，实现微型直流电机端盖有关机壳冲压脚、正极、负极等关键键制造质量特征的识别与定位。

2）研发基于Faster R-CNN的端盖装配质量检测技术，通过统计关键特征数量，从零部件安装到位、冲压脚齐全、正极正确涂装三方面评价微型直流电机端盖装配质量。

3）应用本文技术实现不同规格尺寸的微型直流电机端盖装配质量检测，试验结果表明，检测时间不超过0.21 s，能满足微型直流电机端盖装配质量在线视觉检测需求。