一种零件综合质量评定方法研究

李 梦，尹宗军

（安徽信息工程学院机械工程学院，安徽 芜湖 241000）

零件的质量评定与分拣是工业生产过程中十分重要的环节。随着大数据信息处理技术的广泛应用，逐渐开始利用人工智能算法，如支持向量机［1］、多层感知层［2］、卷积神经网络［3-4］和其余机器学习算法［5-10］等，来实现零件图像数据集的训练与测试，完成其质量预测。但利用人工智能算法处理图像的速度受计算机处理器硬件水平的影响较大，一般仅用于数据集的离线处理。

零件的关键尺寸是否符合加工图纸的要求是判断其质量的重要依据。对于某些轮廓复杂的零件，须求解多个重要位置处的尺寸误差以进行精度分析，图像处理工作量较大。有些学者通过图像模板匹配直接得到零件图像与其CAD（computer aided design，计算机辅助设计）机械加工图不匹配所产生的误差。例如：Sun等［11］提出了基于相对熵的小样本特征区域匹配的零件识别方法。Ucev等［12］提出了用等分面积法对图像形状进行归一化描述的方法，其可自动识别并提取零件的轮廓。Bohlool等［13］通过采用尺度不变特征变换（scale-invariant feature transform,SIFT）来获取良好的模板匹配精度，以适用于样本大小、位置和照明条件不同的情况。Piccinini等［14］通过分割目标物体图像与模型对应点来进行匹配，较为准确地获得了目标物体的轮廓特征，但该方法的分类准确性在一定程度上受目标物体表面质量的影响。

除零件的几何尺寸外，表面缺陷也是衡量其质量的重要指标。不少学者针对零件表面缺陷对其质量的影响展开了研究。例如：Rashad等［15］、Alamoudi等［16］、刘丽等［17］和李晖等［18］基于被测零件表面的纹理特征，展开了零件的分类识别。Yang等［19］提出了一种多尺度傅里叶描述符，基于其可以准确地提取零件表面的局部特征。Lee等［20］提出了一种基于递归神经网络的图像局部特征学习与训练算法，该算法可借助零件表面的纹理特征完成分类识别，但其实现过程较复杂，易受周围光线与环境变化的影响。

基于此，笔者拟提出一种结合几何特征和表面缺陷特征的零件综合质量评定方法，以进一步提高零件分类识别的准确性。

1 零件综合质量评定方法构建

零件综合质量评定方法的总体框架如图1所示，其包括机器视觉与机器学习两个模块。首先，利用机器视觉技术完成待测零件图像的实时采集与处理，用于获得其几何特征和表面缺陷特征，并形成四维特征数据集，作为后续展开机器学习训练的数据来源。其中，零件的几何特征由图像灰度匹配算法与几何匹配算法求解获得，即通过比较被测零件图像与其CAD机械加工图，计算得到灰度匹配分数与几何匹配分数；零件的表面缺陷特征则是针对其表面的常见缺陷（如划伤、磨损、边缘缺料以及锈蚀等），通过图像预处理（灰度化、图像增强、高斯降噪和二值化）获得零件图像灰度的均值与标准差。然后，在机器学习模块中，利用主成分分析（principal component analysis，PCA）对获得的零件四维特征数据集进行降维处理，并利用K最近邻（K-nearest neighbor，KNN）算法对降维后的数据集进行训练和预测，实现零件综合质量评定。

图1 零件综合质量评定方法总体框架Fig.1 Overall framework of comprehensive quality assessment method for parts

2 零件图像处理与质量分类方法

2.1 基于机器视觉的零件图像处理

2.1.1 几何特征提取

零件的几何特征用于评判其尺寸参数是否符合加工精度。本文借助模板匹配处理算法来求解被测零件图像与其CAD机械加工图的灰度匹配分数和几何匹配分数，作为零件的几何特征参数。其中：图像的灰度匹配具有平移不变性，能够将旋转不变性与实时性提升到较高程度，但其不具备尺度不变性；图像几何匹配是以被测目标的几何外形（综合角点、直线段和曲线段等描述）为特征，比较其图像模板与标准模板的形状差异，几何匹配弥补了灰度匹配的不足。因此，本文选择这2种匹配方式对被测零件图像进行处理，获得相应的匹配分数。

1）图像灰度匹配。

灰度匹配以像素灰度或灰度梯度为特征，通过计算零件图像模板与其CAD机械加工图标准模板（下文简称标准模板）的归一化互相关值来确定匹配区域。本文采用金字塔匹配法对零件图像进行灰度匹配处理，获得其与标准模板的灰度匹配分数。令I表示原始图像的灰度，Imax和Imin表示原始图像灰度的最大值和最小值，Inewmax和Inewmin表示线性归一化图像灰度的最大值和最小值，由此可以计算得到线性归一化图像的灰度Inormalized：

尺寸为K×L的零件图像模板t(xn，yn)在尺寸为M×N的标准模板s(xn，yn)中从左到右、从上到下移动时（K≤M且L≤N），当t(xn，yn)移动到点(a，b)处时，t(xn，yn)与其所覆盖的s(xn，yn)区域的互相关值C（a，b）可表示为：

通过计算零件图像模板与标准模板的互相关值R来确定灰度匹配分数。鉴于互相关值对图像灰度幅值的变化极为敏感，对其进行归一化处理：

归一化互相关值对零件图像模板和其标准模板的幅度变换均保持不变性。由此可知，归一化互相关值越大，零件图像模板与标准模板越相似［21］。

2）图像几何匹配。

几何匹配采用广义霍夫匹配，即提取零件图像的边缘曲线后，计算边缘曲线上各点的灰度梯度方向角，如图2所示。

图2 边缘点灰度梯度方向角示意Fig.2 Diagram of gray gradient direction angle of edge point

在图2所示的极坐标系中，已知零件图像的几何中心为（xc，yc），某边缘点(xi，yi)的坐标可表示为：

式中：θ为边缘点(xi，yi)与几何中心(xc，yc)连线与水平方向的夹角。

令边缘点(xi,yi)的灰度为f(xi,yi)，则其灰度梯度方向角φi为：

基于此，以边缘点的灰度梯度方向角为索引，将边缘曲线上具有相同灰度梯度方向角的点归为一组，构成描述零件图像的模板特征。若零件图像模板中包含与标准模板匹配的区域，则该区域边缘曲线上的点具有与标准模板相同的几何特征。故在图像几何匹配阶段，先获得零件标准模板边缘曲线上各点的灰度梯度方向角，再从零件图像模板特征中检索得到具有相同灰度梯度方向角的边缘点，并反求匹配中心的坐标。最后通过累加器记录各匹配中心坐标被重复计算的次数，取计算次数最多的为最佳匹配结果［21］，进而可获得几何匹配分数。

2.1.2 表面缺陷特征提取

在零件的实际生产与装配中，除几何特征外，其表面缺陷特征的提取与量化也尤为重要。针对表面存在划伤、缺损、边缘缺料以及锈蚀等缺陷的零件，对采集的彩色图像进行预处理，即完成灰度化、图像增强、高斯降噪和二值化处理。将零件表面存在缺陷的区域设置为白色（灰度为255），无缺陷区域设置为黑色（灰度为0），计算零件图像灰度的均值和标准差，以对其表面缺陷特征进行量化。对于尺寸为K×L的零件图像，经预处理后图像中某点的灰度为f(xn，yn)，则图像灰度的均值μ和标准差σ分别为：

2.2 基于机器学习的零件质量分类

利用基于机器视觉的图像处理技术获得了由灰度匹配系数、几何匹配系数，灰度均值和灰度标准差组成的零件四维特征数据集。

为提高数据处理效率，利用PCA对原始的特征数据集进行降维处理。PCA是一种应用最为广泛的数据降维方法，以m维样本数据集降至k维为例，说明PCA降维处理的原理，其主要过程如下。

2）计算样本数据集的协方差矩阵。

3）对协方差矩阵作特征值分解。

4）对所得的特征值按从大到小进行排序，取降维后k个特征值所对应的特征向量w1，w2，…，wk，将其组成特征向量矩阵W∗=[w1w2…wk]。

通过PCA降维处理可获得相关的主成分，从而减少数据集中的变量个数，提高了数据处理效率［22］。

利用PCA对获得的零件四维特征数据集进行降维处理，形成二维特征数据集。而后，借助KNN算法对二维特征数据集进行训练和预测，完成零件综合质量分类。KNN算法是最常用的分类算法之一，通过比较各待分类样本最近的K个样本所属的类别来完成分类识别，其具体步骤为：

1）确定K值；

2）计算待分类样本与训练样本的欧式距离；

3）选择离待分类样本最近的K个训练样本；

4）将获得的K个训练样本中出现次数最多的类别作为待分类样本的类别。

KNN算法简单且效率高，结合PCA降维处理可进一步提高零件综合质量评定效率。

3 零件综合质量评定实验

3.1 光学检测与处理系统搭建

根据所提出的零件综合质量评定方法，在工业现场搭建如图3所示的光学检测与处理系统。该系统的硬件主要包括MER2-2000-19U3C相机（2 000万像素，帧速率为17～19帧/s，卷帘快门，USB 3.0接口，可拍摄彩色图像）、VISIONHOMESHI-C3514 GFL光学镜头（300万像素，焦距为5～55 mm）和ES400300500S可调支架。

图3 光学检测与处理系统Fig.3 Optical detection and processing system

3.2 质量评定实验与结果分析

借助搭建的光学检测和处理系统对被测零件的图像进行实时采集。以某待加工零件为例，结合工业现场作业环境和零件质量评定的要求：光源照度为200～500 lx，质量评定的准确率达到95%以上，光学检测与处理系统的运行速度高于42帧/s，展开其综合质量评定实验。

该零件的CAD机械加工图如图4所示，对其进行灰度化、图像增强、高斯降噪和二值化处理后，对采集的零件图像（作上述相同处理）进行灰度匹配和几何匹配，结果分别如图5（a）和图5（b）所示。

图4 零件的CAD机械加工图Fig.4 CAD machining drawing of part

图5 零件图像的模板匹配结果Fig.5 Template matching results of part images

由于实际生产中作业环境比较复杂，不可避免地存在一定光线干扰，影响光学检测与处理系统对零件图像高质量采集的稳定性。由图5所示的匹配结果可知，本文所提出的零件综合质量评定方法中的机器视觉模块对处于不同光源环境、呈不同放置状态的零件均具有较好的鲁棒性与适应性。

针对常见的划伤、磨损、边缘缺料以及锈蚀等零件表面缺陷，借助灰度化、图像增强、高斯降噪和二值化处理等，求解得到零件图像的灰度直方图并提取图像灰度的均值与标准差，作为衡量零件表面质量的指标。存在不同表面缺陷的零件的原始图像（左）及其预处理结果（右）如图6所示。

图6 存在不同表面缺陷的零件图像预处理结果Fig.6 Image preprocessing results of parts with different surface defects

通过对零件几何特征和表面缺陷特征的提取，形成了每个零件的四维特征数据集，部分结果如图7所示。其中：上方的5列数据分别为零件图像的序号、几何匹配分数、灰度匹配分数、灰度均值和灰度标准差；下方的3列数据分别为零件图像序号、零件质量等级（target）及其对应标签（label）。标签为0表示质量等级为“NG”，即零件综合质量不合格；标签为1表示质量等级为“First level”，即零件综合质量较好；标签为2表示质量等级为“Second level”，即零件综合质量一般。

图7 零件的四维特征数据集及其综合质量评定结果（部分）Fig.7 Four-dimensional feature data set of part and its comprehensive quality assessment results(part)

利用PCA对零件的四维特征数据集进行降维处理。将原始四维特征数据集在新空间超平面上的投影记为PC1～PC4，其方差比如图8（a）所示。选择方差比较大的2个主成分组成二维特征数据集，并利用KNN算法进行训练和预测，得到的零件综合质量分类结果，如图8（b）所示。

图8 基于PCA+KNN算法的零件综合质量分类结果Fig.8 Comprehensive quality classification results of part based on PCA and KNN algorithm

为了验证本文选用的KNN算法的优越性，选取文献［4-9］中的其他机器学习算法（K均值聚类算法、异常点检测算法和决策树）进行比较。为方便比较，对本文零件的四维特征数据依次两两组合，得到几何匹配分数—灰度匹配分数、几何匹配分数—灰度均值和几何匹配分数—灰度标准差等共计6组二维特征数据集，分别利用K均值聚类算法与异常点检测算法对该数据集进行训练和预测，部分分类结果如图9和图10所示。其中图9是基于几何匹配分数—灰度匹配分数获得的，图10是基于灰度匹配分数—灰度标准差获得的。需要注意的是，异常点检测算法仅可对零件质量不合格与否进行判定，而无法对合格零件的质量进一步分类。

图9 基于不同算法的零件综合质量分类结果对比（几何匹配分数—灰度匹配分数）Fig.9 Comparison of part comprehensive quality classification results based on different algorithms(geometric matching score-gray matching score)

图10 基于不同算法的零件综合质量分类结果对比（灰度匹配分数—灰度标准差）Fig.10 Comparison of part comprehensive quality classification results based on different algorithms(gray matching score-gray standard difference)

同理，利用决策树对零件的二维特征数据集进行训练与预测，利用不同颜色的分枝来表示零件综合质量的不同等级：紫色的表示零件质量不合格；绿色的表示零件质量一般；其他颜色的表示零件质量较好。当决策树的最小样本叶取值不同时，零件综合质量的分类结果有所不同，结果如图11和表1所示。由图11和表1可以看出，随着最小样本叶的增大，决策树的分类准确率逐渐降低，但最小样本叶取值过小会加大处理系统的工作量和增加运行时间。对于本文所评定的零件而言，宜选择最小样本叶为3。

表1 基于决策树的零件综合质量分类准确率对比Table 1 Comparison of accuracy of part comprehensive quality classification based on decision tree

图11 基于决策树的零件综合质量分类结果Fig.11 Comprehensive quality classification results of parts based on decision tree

为进一步验证KNN算法的优越性，对基于KNN算法、K均值聚类算法、异常点检测算法和决策树的零件综合质量分类结果进行比较，主要对准确率、召回率、特异度、精准率和F1分数等指标进行分析，结果如表2所示。

由表2可知，在光学检测与处理系统硬件条件（相机、镜头、光圈等）不变的前提下，利用PCA与KNN算法相结合的方法来预测零件的综合质量时，其在准确率、召回率等指标上均具有更好的表现。

表2 基于不同算法的零件综合质量分类结果比较Table 2 Comparison of part comprehensive quality classification results based on different algorithms %

此外，由于PCA与KNN算法在不同光源照度、快门时间和图像处理速度下对零件综合质量的预测准确率也有所不同，利用所搭建的光学检测与处理系统采集不同光源条件下的零件图像并进行处理，同时利用PCA与KNN算法进行综合质量分类预测，结果如表3所示。

由表3可以发现，当光源照度为500 lx时，所搭建的光学检测与处理系统的图像处理速度达到45.2帧/s，质量分类准确率达到96.15%以上。

表3 不同光源条件下基于PCA+KNN算法的零件综合质量分类准确率Table 3 Accuracy of part comprehensive quality classification based on PCA and KNN algorithm under different lighting conditions

4 结论

本文提出了一种基于机器视觉和机器学习的零件综合质量评定方法。通过对生产线上已加工零件的图像进行采集与处理，获得其几何特征与表面缺陷特征，即几何匹配分数、灰度匹配分数、灰度平均值与灰度标准差，可作为其综合质量评估的依据。同时，利用PCA降维处理提取所获得的零件四维特征数据集的关键信息，提高了KNN算法的分类预测效率。

相较于传统零件质量评定方法仅能针对不合格品进行剔除，本文所提出的方法优化了零件质量分类的输出形式，能够识别更多的质量等级，这可为合格零件的进一步再加工提供参考依据。实验结果表明，基于所提出方法搭建的光学检测与处理系统在不同环境下具有良好的运行效率，对零件综合质量的分类准确率较高，能够较好地满足工业现场高速、实时的性能要求。