基于机器视觉的汽车角窗玻璃混线检测算法

2021-07-02李建兴林华良俞斌陈炜林晨煌黄诗婷

福建工程学院学报 2021年3期

李建兴，林华良，俞斌，陈炜，林晨煌，黄诗婷

(1.福建工程学院电子电气与物理学院，福建福州，350118;2.福建省工业集成自动化行业技术开发基地，福建福州，350118；3.福州市工业集成自动化行业技术创新中心，福建福州，350118；4.福耀集团汽车玻璃有限公司，上海，200000)

由于汽车玻璃的制造工艺复杂，需要采用分段式生产，在生产和运输过程中，一些外观、材质相近的玻璃容易混杂到一起，故而在包装前需要对其进行混线检测，解决目标的识别与匹配问题[1]。目前国内大型的汽车玻璃厂商主要是依靠人工对汽车玻璃进行混线检测[2]。

计算机视觉已被广泛应用于图像检索、文字识别、人脸识别、医学图像分析、机器人导航等诸多领域[3]。在现有的基于特征的图像匹配技术中，几何矩特征已经成为了重要的特征区域集。文献[4]提出先利用几何矩进行轮廓匹配，保留每一次匹配过程中重叠窗口区域的计算结果在下一次匹配中使用，但计算复杂、耗费计算机内存大，在高分辨率图像匹配中无法快速检索。文献[5]先利用 Canny 算子提取两幅图像的轮廓，计算两个轮廓的几何矩，进行相似度度量完成形状匹配，但该算法精度不高，无法准确定位。文献[6]结合几何矩和图像偏转角进行分段拟合，实现对车道的快速检测，但该算法检测准确率不高且抗干扰能力较差。

目前的检测技术主要是利用轮廓特征进行匹配。对于角窗玻璃而言，有些型号的角窗玻璃轮廓一样，材质却不相同。若仅依靠上述检测技术无法实现准确的混线检测。由于汽车玻璃材质的不同主要在于成分与厚度，成分的不同主要表现为颜色的区别，而厚度的改变同样也能影响颜色的深浅。本课题提出利用机器视觉技术进行轮廓检测的同时融合颜色特征进行汽车玻璃的材质与厚度的检测，实现混线检测。

1 汽车玻璃的特征分析

汽车玻璃的特征包含3个方面：轮廓特征、材质特征和厚度特征。轮廓特征主要表现为外形轮廓的不同。对不同形状的汽车玻璃提取其轮廓特征，用低阶几何矩表示。如图1所示为部分不同轮廓的检测对象。对其中a、b、c3种轮廓不同的玻璃进行研究，其中b、c玻璃形状较为相似，a玻璃与b、c玻璃轮廓差异较大。用n1、n2和n3表示几何矩的1到3阶几何矩。由表1可得，不同的汽车玻璃，几何矩具有较大的不同。

图1 检测对象Fig.1 Detection objects

普通玻璃配料中需加入0.4%～0.7%的着色剂，不同的着色剂使得玻璃带上不同的色彩，在数字图像中则表现为色彩信息的不同，主要分为白玻-C(clear)、蓝玻-B(blue)、绿玻-G(green)、SOLAR绿玻-SG(solar green)、茶玻-Z(bronze)和灰波-Y(gray)等6大类。厚度特征的变化也会导致色彩信息发生变化。汽车玻璃越厚，色彩越浓重。不同材质与厚度的汽车玻璃样片，其命名规则是以数字则代表厚度，单位为mm，英文字母代表玻璃材质，例如2.0C、3.5SG、4.0G等。

表1 汽车玻璃几何矩轮廓信息

将不同材质与厚度的玻璃样片置于同一位置，在光线均匀的情况下进行汽车玻璃样片的图像采集，对每一张所采集的图像随机抽取3 000个点的色彩信息数据，取平均数作为该玻璃样片的色彩信息。部分采集到的不同材质与厚度的汽车玻璃样片的色彩信息如表2所示，用R、G、B 3个分量的数值来表示色彩信息。

表2 部分不同材质与厚度的汽车玻璃色彩信息

观察表2可知，同一厚度不同材质的汽车玻璃色彩差异较大，易于区分；不同厚度同一材质的汽车玻璃的色彩信息差异较小，但仍然遵循随着厚度的增加，色彩信息变得更加浓重的规则，在表2中则表现为R、G、B分量的数值的降低。

综上可知，外形的不同可用轮廓特征辨别，材质与厚度的不同则可用色彩特征辨别，因此，采用轮廓特征信息和色彩特征信息进行汽车玻璃的混线检测具有一定的可行性。

2 基于改进几何矩的汽车玻璃轮廓检测

在轮廓检测中，形状描述符的选择决定了匹配算法的性能。有学者比较了轮廓检测中4种重要的轮廓描述符的优缺点，包括傅里叶描述符、曲率尺度空间描述符、角度径向变换和图像矩描述符，结果表明图像矩描述符比其他3种方法可靠度更高，性能优异[7,8]。故而选择利用图像矩描述符进行玻璃轮廓的描述。

2.1 改进的几何矩轮廓匹配算法

2.1.1 改进的几何矩轮廓匹配算法流程

在实际的生产线中，镜头到传送带的距离是固定的，因此在本课题的匹配算法中无需使用几何矩的缩放不变性。为了去除缩放不变性的影响，本课题在传统几何矩匹配算法上增加了面积特征进行轮廓检测。在进行几何矩计算时已获得面积特征，因此改进的几何矩匹配算法不会增加额外的计算量，不影响实时检测速度。改进的几何矩匹配算法的流程如图2所示。

图2 改进几何矩匹配算法流程图Fig.2 Improved geometric moment matching algorithm flow chart

2.1.2 改进的图像匹配策略

(1) 形状相似性计算

(1)

式中，i=1,2,···,7，分别用于表示图像的1～7阶几何矩。

利用式得到图像A和图像B的形状相似性I(A,B)，其中I(A,B)越小，相似度越高。

(2)

(2)面积相似性计算

设SA和SB分别为两张图像上汽车玻璃的区域面积，可以通过计算零阶原点矩m00获得。S(A,B)为两张图像的面积相似性函数，如式(3)所示。S(A,B)的值越小，说明两张图像的面积越接近。

(3)

(3)综合相似度计算

为了综合考虑形状相似性和面积相似性对匹配结果的影响，利用形状相似性I(A,B)和面积相似性S(A,B)的加权综合值作为轮廓检测相似程度的判断依据，如式(4)所示。若综合值小于阈值，则表示误差在允许范围，轮廓匹配成功。

I(A,B)+α·S(A,B)<δ1

(4)

式中，α的取值为2；δ1是用于判断轮廓相似性的阈值，本研究取0.1。

当式(4)的不等式成立时，当前检测的玻璃即为排产玻璃；不等式左侧的值越小，待测玻璃与模板玻璃的轮廓相似性越大。若待测玻璃与模板玻璃的外形轮廓完全一样，但只要两者的面积相差超过5%，面积相似性S(A,B)≥0.05，用本算法就能够判断出两片玻璃的不同。

实际上，虽然镜头和输送带的相对位置固定，但是输送带运转起来后总会有微小的抖动，导致输送带上的玻璃也会产生上下抖动，因此镜头和玻璃间的距离每次都会有微小变化，即使是从排产型号的玻璃采集到的玻璃图像的大小也会与模板图像存在微小的变化。为避免上述情况影响检测的结果，允许待测图像与模板图像的面积相差5%以内。

2.2 轮廓检测的实验与结果分析

2.2.1 轮廓检测实验设计

为了验证提出的检测算法的准确性和鲁棒性，分别采用传统的几何矩匹配算法和改进的几何矩匹配算法对检测对象进行匹配测试。检测对象为图2所示的4种汽车玻璃，其中玻璃c与d外观较为相似，视觉检测上容易出现误判。

第一组实验的测试对象均为与模板图像同一品类的玻璃。以玻璃a为例，第一组实验将玻璃a与其经过平移和旋转后的同品类玻璃进行匹配测试。第二组实验的测试对象为与模板玻璃外形轮廓一模一样，但大小不一样的玻璃。以玻璃a为例，将同品类的玻璃图像经过等比例缩放后与玻璃a的模板图像进行匹配测试。第三组实验测试对象是将图2中的1种玻璃与其他3种玻璃进行匹配测试。

2.2.2 测试结果与分析

表3为图1所示的4种汽车玻璃的前4阶几何矩和与其对应的面积特征。n1、n2、n3和n4表示几何矩的1到4阶几何矩，表征汽车玻璃的轮廓信息，面积大小表示在图像中汽车玻璃黑色区域所占像素区域大小。

表3 检测对象的轮廓与面积特征数据

玻璃a与d的轮廓和面积大小有较大不同，体现在表3中显示为低阶几何矩的极大不同和面积差异较大；玻璃b、c的轮廓与面积大小均较为接近，在表3中则表现为低阶几何矩与面积大小的差异较小。

表4为采用传统的几何矩匹配算法的检测结果。第一组测试数据表明传统的几何矩匹配算法对自身匹配(平移和旋转)的识别率较高，其准确率在95%以上。第二组测试数据表明当测试对象与模板玻璃外形轮廓一模一样，大小不一样时，准确率非常差。传统几何矩算法无法区分等比例缩放后的玻璃图像与模板图像的不同，这将导致该算法无法检测出外形轮廓非常相似但大小不同的玻璃。第三组测试结果的准确率较低，主要是由于传统的几何矩匹配算法对于轮廓相近(例如玻璃c与d)的图像无法较为准确地进行识别。

表4 传统几何矩匹配算法

表5为改进的几何矩匹配算法的检测结果。改进的算法保留了传统算法对自身匹配(平移和旋转)的优良性能，成功识别出了缩放后的玻璃与原玻璃的区别，准确率在99%以上，也提高了对其他品类玻璃的识别率，准确率在96%以上。

表5 改进的几何矩匹配算法

3 基于色彩信息的汽车玻璃材质和厚度检测

汽车玻璃在生产过程中添加了不同的着色剂形成了不同的颜色。玻璃的色彩浓度也会随厚度的变化而变化。色彩检测的算法流程如图3所示。

图3 色彩检测流程图Fig.3 Color detection flow chart

3.1 边缘色彩信息的处理

色彩检测需要对汽车玻璃的原图像进行色彩分析，先对原图像进行滤波处理，排除异常区域，使预处理后的图像能够呈现出汽车玻璃的真实色彩。

彩色图像在数字系统中是用RGB色彩分量的三维数组来表示的，故而预处理时需要对图像的每个色彩分量分别进行均值滤波处理。

由于汽车玻璃具有黑色边界部分(包括黑边和标签区域)，若直接采用均值滤波进行平滑处理会导致位于边缘位置的像素值出现明显的模糊现象。图4为直接进行均值滤波后部分边界图像，其中标记部分为异常部分，若在信息采集时采集到该区域的色彩信息，会导致所采集的色彩信息不符合真实的汽车玻璃的色彩信息。

图4 均值滤波后部分边界图像Fig.4 Part of the boundary image after mean filtering

为了防止上述现象导致最后得到的色彩数据不精准，结合形态学处理技术和感兴趣区域提取技术，完成对边缘色彩信息异常区域的剔除。首先利用感兴趣区域提取技术获得掩模板；再对掩模板进行形态学操作，令得到的掩模板的掩盖区域扩大，在图像中则表现为黑色区域变大、白色区域减小，由此获得经形态学处理后的掩模板如图5所示。

图5 掩模板Fig.5 Mask

最后，对已完成均值滤波的原彩色图像进行掩模板覆盖，得到的结果如图6所示。图6(b)为边缘部分的局部放大图，与图4比，图6(b)的边缘部分不存在模糊区域。

图6 均值滤波结果图Fig.6 Mean filtering results

3.2 色彩匹配数据的确定

获得玻璃的R、G、B色彩分量数据后，若用R、G、B分量直接作为判断依据，因为色彩相近的两块玻璃的单个R、G、B分量的差值非常小，甚至小于设定的阈值，容易造成检测错误。为了避免上述问题，需在进行色彩数据比对前，对采集到的R、G、B数据先进行预处理，以便获得以下这3个数据：C1( R、G、B分量之和)、C2(R分量占3个分量的比例)和C3(G分量占3个分量的比例)。利用这3个数据可以扩大玻璃色彩数据的差异，提高检测的正确性。

3.3 采集量的确定

色彩信息的采集将影响汽车玻璃材质与厚度的确定，而采集量N的大小将影响玻璃色彩信息的准确性和数据采集的速度。在工业现场，影响色彩信息的因素有很多，例如灰尘、污渍、光照不均等因素。N较大时，能准确地呈现出色彩信息，它是通过降低异常值所占采集量的比例来减小外界因素对于色彩的影响，降低了偶然性，但计算量较大，增加采样和处理时间；N值较小时，计算量小，处理时间短，但异常值对于色彩信息的影响较大，对于两块色彩十分近似的汽车玻璃，采集到的数据会较容易出现误判。综合考虑计算速度和精度，N值取值为500。

3.4 汽车玻璃色彩匹配策略

为了实现色彩检测，设计的匹配策略如下：设A为被测汽车玻璃图像，通过检测能够获得3个待匹配数据分别记为CA1、CA2和CA3。设B为标准玻璃，它的3个匹配数据分别为CB1，CB2和CB3，采用欧式距离来衡量A，B两块玻璃的色彩相关性，如式(5)～(7)所示。

(5)

(6)

(7)

式中，δ2、δ3和δ4是设定的比较阈值。经实验确定，色彩信息最接近的两块玻璃，其δ2、δ3和δ4的差值分别为9、5、5 pixel，比较阈值需保留一定余量，经归一化处理后，取δ2、δ3和δ4的值分别为0.010、0.013、0.013。只有当式(5)(6)(7)均成立时才表明A和B的材质与厚度是相同的。

3.4.1 色彩检测实验设计

玻璃的原料成分和厚度会影响玻璃的色彩。当玻璃较薄时，白玻(C)与绿玻(G)的色彩难以区分；当玻璃较厚时，绿玻(G)与绿玻(SG)的色彩难以区分。故而取材质为2.0C、2.1C、2.1G、2.1SG、3.5G 、3.5SG、4.0G、4.0SG和4.2SG的汽车玻璃各20片作为测试玻璃，每片均采集5组数据；并以2.0C、2.1C、3.5G和4.0G的汽车玻璃作为标准对象，进行色彩匹配实验。如表6所示为部分汽车玻璃的色彩模板数据。

表6 部分汽车玻璃色彩模板

3.4.2 材质与厚度检测结果分析

表7为色彩检测的匹配结果，由表7数据可见存在部分匹配失败案例。分析图像，发现型号一致但厚度不同的汽车玻璃，其色彩数据差异相对较小，色彩数据受外界影响较大，不能完全准确区分同型号厚度相近的汽车玻璃。例如当以2.0C为模板时，会将部分2.1C的待测图像误判为2.0C或将部分2.0C的待测图像误判为2.1C。