基于视觉的汽车线束绑扎胶套检测与测量系统

马国庆，刘珺玮，曹国华,3

(1.长春理工大学机电工程学院，吉林长春 130022； 2.芜湖哈特机器人产业技术研究院有限公司，安徽芜湖 241000； 3.长春理工大学重庆研究院，重庆 401133)

0 引言

汽车内分布着很多组成车辆内部电路网络的线束，其上的绑扎胶套对其安装质量影响极大，但由于线束长度大、分支多、形状复杂等特点，目前应用中线束绑扎胶套的检测和尺寸测量还是以人工为主，严重影响测量精度。

近年来随着人工智能和机器视觉的飞速发展，越来越多制造业厂商开始引入机器视觉的软硬件设施以取代传统人工操作[1]。文献[2]使用机器视觉的方式对大间距空间角度测量方法进行了研究，取得了较好的效果。文献[3]采用机器视觉的方法，对植物的生长过程实现了主动监测。另外，图像中被测对象的准确定位及边缘提取是视觉测量的关键[4]。文献[5]提出了一种基于转轴的外接矩形法定位工件，但在感兴趣区域(ROI)上提取复杂度较高。文献[6]改进传统阈值选取方式，使边缘精确到单像素，但并不适用于多变性目标。文献[7]提出了一种二维切片采样的自适应阈值边缘检测法，噪声抑制能力强，但计算复杂度较高。文献[8]为解决Canny算法对无关信息抑制能力弱的问题，提出一种改进的Canny算法，能提升工件边缘检测准确率，但存在微小边缘抑制过度的问题。

本文使用机器视觉的方法对胶套进行检测和尺寸测量。首先利用深度学习实现胶套数量及位置检测，然后通过Halcon算法库对图像进行处理，最后联合C++编程语言设计了用户功能界面，在实际测量工作中应用效果良好。

1 系统硬件构成

胶套检测与测量系统硬件主要有PLC控制器、图像采集系统、PC上位机组成的图像处理系统和相机运动伺服模组。经测量精度分析，选择500万像素工业面阵相机，镜头焦距为16 mm。为防止外部光照变化对测量的影响，使用稳定光源照明，光源选择长条环形光源。硬件系统如图1所示。

图1 系统硬件构成

如图2所示，系统通过PLC控制器驱动伺服电机带动相机横向伺服模组运动，同时在相应位置控制相机对检测工作台上的汽车线束各部分分别进行图像采集，将采集的线束图像上传到PC上位机图像处理系统中进行图像拼接、胶套检测及测量等处理工作，并将检测结果显示在上位机用户界面。

图2 系统结构关系图

2 图像处理系统及实现原理

通过图像采集系统获得汽车线束各部分图像后，使用Halcon图像算法库对图像进行中值滤波、图像增强等预处理；然后对预处理得到的图像进行特征点提取，进而实现多位置图像的拼接。

图像拼接完成后，基于拼接图像进行胶套检测与测量工作，其长度测量算法流程如图3所示。首先通过深度学习最佳训练模型对图像中的多个胶套进行粗定位并记录胶套数量，然后生成对应的ROI，再分别对其进行形态学处理，精准定位ROI中的胶套。然后通过自适应阈值设定法确定每个ROI中提取胶套边缘应该选择的阈值，确定边缘后通过自适应权重分布的全采样测量方法对胶套进行长度测量。

图3 胶套长度测量流程

2.1 图像拼接

2.1.1 图像特征点提取

使用Halcon算法库对图像进行特征点提取。特征点即图像中与周围像素点在颜色、亮度等特征上存在明显不同的像素点[9]。计算平滑矩阵

(1)

式中：Ix,c和Iy,c为图像每个通道的一阶导数值；S为平滑系数。

矩阵M的迹Trace(M)即为不均匀度，矩阵M的行列式值为Det(M)，则图像像素点的各向同性程度为

(2)

从中选择出不均匀度和各向同性程度分别在设定阈值内的点即为特征点。

2.1.2 特征点匹配

特征点提取完成后，将特征点作为输入，寻找对应特征点之间的变换关系。

首先，确定两张图像输入点周围掩模窗口的灰度值相关性，并通过掩模窗口相似性实现两张图像间的初始匹配；然后在上述初始约束条件下，使用RANSAC算法找到使对应特征点匹配数量最大化的投影变换矩阵，将变换矩阵应用到图像整体，即可实现2张图像的拼接。

多张图像可视为每相邻两图像的特征点提取及匹配，多次应用上述算法即可实现多张图像的依次拼接。

2.2 基于深度学习的胶套检测与粗定位

2.2.1 深度学习基本原理

深度学习在学习特征时采用的是使用低阶特征来表示高阶特征的方式，即使用简单概念来构建复杂概念[10]。深度学习把要学习的复杂映射拆分成一套简单的映射来学习。每个映射由模型的不同数据变换层来描述，每层的数据变换由该层的权重决定[11]。

对于一个模型而言，要确定每一层的合理参数，首先需要找到其输出结果与预期结果之间的差值，衡量该差值的函数就是损失函数，损失函数的输入为模型预测值与目标真实值，输出为两者之间的差值，即损失。为逐步减小预测值与真实值之间的差距，应该对学习过程进行不断调整。深度学习利用两者之间的差距作为反馈信号，对每一层的参数进行调整，以使损失值不断减小[12]。该调节过程由优化器应用反向传播算法来实现[13]。图4为深度学习基本原理。

图4 深度学习基本原理

首先对神经网络权重随机赋值，此时输出结果可能与真实值差别较大，即损失值较大。但随着网络训练样本数的不断增加，权重值会逐步向正确的方向调整，该过程称为循环训练。当训练循环次数足够多时，调整得到的最终权重可使损失值最小，即得到预测值与真实值之间差距最小的模型，称为最佳训练模型[14]。

2.2.2 模型训练

图5为同一线束绑扎胶套沿轴线分别旋转0°、45°、90°和180°的视图，可见该目标在不同的观察角度上存在较大的差异。但是对于自动化检测而言，并不能每次均将其摆放至同样的角度，这就对目标检测的适应能力提出了较高的要求。

(a)胶套0°视图

(b)胶套45°视图

(c)胶套90°视图

(d)胶套180°视图图5 目标不同角度视图

通过相机采集图像和数据增强处理，建立了一个包含1 000张不同规格尺寸胶套的线束图像数据集，并使用该数据集对模型进行训练。训练周期数设置为30，训练结束时的损失值为0.328。训练得到的损失曲线如图6所示。

图6 训练过程损失曲线

2.2.3 胶套粗定位

将训练好的最佳模型应用到要检测目标的图像中，可得到图7所示胶套识别结果，矩形框左上角即为该目标类别索引值及其置信度。至此即完成了胶套的粗定位。

图7 胶套粗定位效果

2.3 胶套精定位

经粗定位图像分析发现，存在部分矩形框并未将胶套边缘完全包含在其中的问题。通过对提取出的ROI图像作颜色空间转换，使得胶套部分与其余部分灰度产生较显著差别，进行二值化和多次形态学处理，使得胶套区域在图像中水平分布，最后求取该区域的最小外接矩形，此时胶套已经完全被矩形框包围。处理过程如图8所示。

图8 胶套精定位过程

2.4 胶套尺寸测量

进行尺寸测量需要对胶套两侧进行边缘检测，而边缘检测首先应当对图像进行平滑处理。ROI中由于线束被编织线围绕，会有很多噪点，而中值滤波不仅可以减少噪声对被测物边缘的影响，还能很好地保留被测物边缘，所以采用中值滤波对图像进行处理。滤波完成后，对该ROI做灰度线性变换，以提升胶套与背景的对比度，便于更好地进行边缘检测。该预处理过程如图9所示。

图9 尺寸测量预处理过程

2.4.1 自适应阈值的边缘检测

由于胶套生产过程影响，不同胶套可能存在一定色差，这就会导致颜色空间转化完成后不同胶套灰度不同，因此边缘检测时设定固定边缘阈值的方式并不能满足测量要求。

以每个ROI的左上角点作为原点，同原始图像坐标系行列轴方向一致建立局部坐标系，如图10所示，可以推算出该ROI内右下角行列坐标。建立一个1×1的最小邻域(阴影部分)，使该邻域从ROI的左上角开始，以水平扫描的方式逐像素获取灰度值，并计算该行像素中最高灰度值与最低灰度值之差。以此类推，直到该小邻域遍历完整个ROI。可以得到与ROI行数相同个数的多个差值，选择不为零的差值中最小差值作为边缘分割的自适应阈值。

图10 自适应阈值获取法

设精确定位后得到的ROI宽和高分别为W和H。详细过程如下：

(1)从该ROI左上角的局部坐标系原点开始，让小邻域沿列轴逐个读取该行像素灰度值，并计算灰度值中最大值与最小值的差值，记为Δt1；

(2)使小邻域下移一行开始遍历，第二行像素灰度值中最大值与最小值的差值记为Δt2；

(3)以此类推，得到一个差值集合{Δt1,Δt2,Δt3，…，ΔtH};

(4)去除掉集合中等于0的元素，求剩余元素的最小值min作为此ROI的自适应边缘检测阈值。

2.4.2 自适应类高斯权重分布的长度测量

由于胶套质地较软，工人操作金属卡扣固定时会使得胶套两端上翘，这就使得在测量过程中，胶套外侧边缘并非一条直线，因此测量位置不同得到的测量结果也就不同，由此造成一定的测量误差。

针对此，提出一种自适应类高斯权重分布的全采样测量方法。人工测量胶套长度时，测量位置基本固定为中间位置，即把胶套中间位置测量长度视为胶套长度，所以实施权重分布时，采用调高中间位置权重，降低边缘位置权重的方式，即离胶套中间位置越近的测量值对最终测量结果影响越大，离胶套中间位置越远的测量值反之。

首先建立胶套左右边缘全采样区域。在自适应阈值获取坐标系中，通过求取精准定位所获得ROI的中间行R=Rm在胶套左右边缘上的对应点，可获得胶套左右两侧的边缘中点，如图11(a)所示，坐标分别为(Rm，C1m)和(Rm，Crm)，然后以左右边缘的中点列坐标C1m和Crm为起始值，取该值左右范围内各10像素，左侧范围区间为[C1m-10，C1m+10]，右侧范围区间为[Crm-10，Crm+10]，如图11(b)所示。然后分别以边缘中点行坐标Rm为起始值，沿行轴向上向下筛选列坐标落在上述范围内的边缘点，遇到未在该区间内的点即停止筛选。若所有边缘点均在范围内，则到达精准定位ROI的上下边缘停止。可得左侧上边缘点(R1u，C1u)，左侧下边缘点(R1d，C1d)，右侧上边缘点(Rru，Cru)，右侧下边缘点(Rrd，Crd)。比较左侧上边缘点行坐标R1u与右侧上边缘点行坐标Rru，取两者中较大的作为上边界行坐标Ru；比较左侧下边缘点行坐标R1d与右侧下边缘点行坐标Rrd，取两者中较小的作为最后下边界行坐标Rd。则行区间[Ru,Rd]的胶套部分即为最终左右边缘全采样区域，如图11(c)所示。在该区间内进行自适应权重分布计算。

(a)获取ROI两侧边缘中点

(b)建立两侧范围区间

(c)获得全采样区域图11 边缘采样区域建立过程

一维高斯函数[15]

(3)

使用原高斯函数在进行权重分配时，由于存在严重的权重衰减现象，不满足本测量系统要求，故对原函数进行简化修改。修改后的权重函数为

(4)

式中f(x)为计算出的权重值。

以胶套右侧边缘中点(Rm,Crm)作为原点，以Rm所在行作为y轴，以Crm所在列作为x轴，建立如图12所示的权重分布坐标系。由于坐标系建立方式近似符合标准高斯分布，故μ为0，最终权重分布函数可以写作

图12 权重分布坐标系

(5)

式中x为当前像素行在上述坐标系下的x轴方向的坐标值。

将各边缘点所在像素行的坐标x代入权重分布函数，得到|Rd-Ru+1|个权重值f(xi)。为保证所有采样行权重值总和为1，用当前行权重值除以所有行权重值总和，作为该行最终权重值ωi，即

(6)

权重计算完成后，对如图13(a)所示的全采样区域内各像素行分别进行长度测量，将测量值li与对应行计算出来的权重值相乘再求和，即为最终得出的胶套长度。计算公式为

(7)

式中L为系统测量胶套长度值，mm。

自适应权重分布的全采样测量方法通过给不同测量位置分配与其位置相关的权重值，既平衡了由于测量位置不同造成的误差，又将各测量位置的尺寸均考虑在内，最终得出的测量结果准确性和可信度更高。由图13(b)可见每行可提取到4个边缘，2个深色部分为胶套，中间浅色部分为固定胶套的金属卡扣，计算4个边缘点中相邻两边缘点的距离再求和即得该像素行所测胶套长度。图13(b)选择了胶套全采样区域中的2个像素行并显示出其测量状态。

(a)胶套全采样区域

(b)2像素行测量状态示意图图13 自适应权重的全采样测量示意图

3 现场实验与结果分析

为方便实际应用，开发了如图14所示的用户功能界面，界面主要包括图像及结果预览区、系统状态及参数设定区、测量数据设定及显示区和功能按钮区4个部分，可以清晰地设定测量过程所需参数，简单高效，操作方便，检验结果直观。

图14 系统用户功能界面

为验证系统应用的稳定有效，首先对同一规格胶套的不同线束进行多次采集图像并测量，记录胶套个数检测值，计算测量值与约定真值之间的差值。约定真值由二维数字式投影测量仪在人工协助下测得。为控制变量，系统测量使用的图像均在与投影测量仪同角度同环境下采集获得。表1为胶套数量检测对比表，表2为测量数据对比表。

表1 同一规格胶套系统检出胶套个数对比

表2 同一规格胶套系统测量数据与约定真值对比 mm

为进一步测试系统鲁棒性，选择3种带有不同规格胶套的线束分别进行检测与测量，检测结果如表3所示，测量结果如表4所示。

表3 3种规格胶套系统检出胶套个数对比

表4 3种规格胶套系统测量数据与约定真值对比

以各规格实验次数为横坐标，测量值与约定真值差值的绝对值为纵坐标，绘制折线图如图15所示。

图15 测量数据对比折线图

由图15可知，系统测量值与约定真值的差值均在0.5 mm以内，计算得测量值平均相对误差为1.12%，并且各规格胶套检出率均达到100%，验证了系统的稳定性与鲁棒性。

针对不同规格胶套，在用户界面上将胶套个数理论值及长度理论值设定，则可用于判定胶套个数检测值及长度测量值与理论值差值是否超过阈值，超过即为不合格，并将检测结果显示在图像预览框中。

4 结束语

针对汽车线束绑扎胶套的检测及测量过程中人工主观影响大、效率低等问题，设计了一种基于机器视觉和深度学习的胶套检测与测量系统。系统通过多张图像拼接、基于深度学习的胶套检测和自适应权重分布的全采样测量算法实现对胶套的检测和测量工作。经现场实验及结果分析，该系统能够满足实际质检工作的基本需求，胶套检出率达到100%，测量的平均相对误差低至1.12%。另外，系统还具有鲁棒性强、测量效率高等优点，能够更好地满足实际应用中线束胶套的检测与测量需求。后续将对系统进行进一步的算法优化，提升算法适应性，提高运行效率，推进工业生产自动化进程。