快速监督学习在显示器配件分类及识别中的应用

吴海波，崔禹，王森，王晨，潘云龙

（昆明理工大学 机电工程学院，昆明 650500）

精密电子、零件制造、工业自动化等行业均涉及零部件的分类和装配。目前，零件分拣工艺中无论是人工分拣还是自动化分拣，都存在着机械零件种类繁多、数量庞大、分类环境单一且分类精度不高的问题[1]，影响产品的分拣质量并增加了生产成本。随着计算机视觉理论的快速发展，视觉检测在工业上的应用越来越广[2]，比如：人脸识别、目标检测、零件识别等领域。其中零件识别是计算机视觉与模式识别在机械工业领域中的一个重要应用，它作为机械加工自动化的基础，解放了劳动力，降低了工业生产成本，并提高了工业生产效率[3]。显示器配件分类识别准确率和识别效率要求较高，且人工分拣出错率高。因此，如何有效解决此类问题是实现工业自动化面临的关键挑战。

近年来，日趋成熟的计算机视觉已经应用于零件的分类识别，主要包括以下3 个方面的研究：

1）图像预处理 逄增治等[4]利用形态特征与图像分割算法相结合，实现工件图像分割；金鹏等[5]利用阈值分割和边缘提取，实现图像关键区域的确定；王立忠等[6]利用高斯平滑图像预处理，实现最佳滤波参数的寻找并提高了图像匹配的精度。

2）图像特征提取 孙丽萍等[7]利用KPCA 对航空发动机滑油滤磨屑进行特征提取，实现发动机磨损故障预报准确率的提高；陈付梦等[8]利用提升小波算法，实现铁谱图像边缘的检测；Cao 等[9]利用一种新颖的零件图像特征提取算法，实现图像特征的有效提取；葛为民等[10]利用一种基于泛化的增量式2DPCA（GI2DPCA）特征提取算法，实现箱梁结构件焊缝表面缺陷的特征提取和分类识别。

3）零件的分类识别 零件在分类识别过程中常用的算法有最邻近算法、K-邻近算法（K-nearest neighbor，KNN）、支持向量机、最小平均距离等。谢长贵等[11]利用模糊Kohonen 神经网络，实现热态重轨表面缺陷的检测；李静蕊等[12]利用基于ART2神经网络，实现机械零件的模式识别；李养胜等[13]利用支持向量机与K-邻近的工件表面缺陷识别算法，实现工件表面缺陷的检测和识别；刘桂华等[14]利用基于形状的模板匹配和三维重建算法相结合，实现隔水管法兰端面位姿的检测。

此外，传统的图像模式匹配方法主要根据零件的灰度、边缘、外形结构及面积等进行特征匹配，达到零件识别的效果，但是这种方法适用于单个独立、纹理和边缘较少的零件识别，当零件的数目庞大、纹理和边缘较多时，该方法的计算量很大，需要不断的调整参数，分类识别耗时较长，不适用于显示器生产线上配件的快速实时分类识别。

因此本文将工厂中的显示器配件作为研究对象进行图像采集硬件平台的搭建，设计了一套基于监督学习的显示器配件快速视觉识别系统，该方法采用机器学习分类识别算法，能够实现利用较少的训练样本模型，达到较高的识别精度，且处理速度快，泛化能力强，能够满足实时分类识别的要求。首先，通过对显示器配件图像进行低通中值滤波，消除图像中的噪声、孤立亮点或暗点，使用高斯算子滤波削弱图像像素灰度变化，使图像表面均匀平滑；其次，使用样本集对监督学习分类器进行6 次训练；最后，利用监督学习分类器对显示器配件进行分类识别。通过与最小平均距离、模板匹配及KNN（灰度）算法进行对比，本文所提方法在实时性和鲁棒性方面明显优于其他3 种分类识别方法，完成分类识仅需12.9 ms，每一种配件的识别准确率达到96%以上，分类准确率达到100%，证明该算法满足显示器配件分类识别的工程应用及实时分拣需求。

1 配件分类识别系统设计

显示器包装入库前，需要根据工艺要求将生产线上的支座、底座和适配器（装盒）分别放置在包装箱内的指定位置，整个生产工序均需要在生产线上完成。为了解决人工分拣效率低和出错率高的问题，针对显示器配件提出了基于监督学习的显示器配件快速视觉识别系统，其方案研究与实现的系统整体框架如图1 所示。

图1 配件分类识别框架图

显示器配件快速视觉识别系统方案主要分为3 部分：

1）建立样本集 以显示器配件为研究对象搭建图像采集硬件平台，获取若干张配件的原始图像，采用非线性低通中值滤波和高斯滤波对配件的图像进行图像预处理。其中，非线性低通中值滤波主要用来消除配件原始图像中的随机噪声和椒盐噪声；采用高斯算子滤波主要用于削弱图像像素灰度变化，滤除图像中的高频噪声，使图像表面光滑和柔和。在对邻域内像素灰度进行平均时，赋予不同位置像素不同的均值[15]，保证图像细节模糊处理的同时，最大限度地保留图像总体的灰度分布特征[16]。二维高斯函数式为

如图2 所示，高斯分布的二维曲面是一个钟形曲面，当标准差σ取不同值时，二维高斯函数的形状会有所不同。如果标准差σ过小，偏离中心的像素权重就会很小，曲面越高越陡峭；反之，曲面越低且平缓。不同标准差的高斯核对图像的处理也会不同。

图2 二维高斯滤波器三维特性图

2）特征提取 提取的显示器配件样本特征向量由样本图像的形状、颜色、纹理等特征构成。对预处理后的配件图像样本进行特征提取，从而确定训练所依据的特征向量，设置合适的特征提取及训练参数使样本的大小、旋转和镜像保持不变性。

3）建立分类器 基于监督学习的显示器配件的视觉快速识别系统主要采用二值图像的K-邻近法分类器并确定各相关参数，通过显示器配件样本集对监督学习分类器进行6 次训练，将训练和提取的显示器配件样本特征向量信息进行保存，便于后续的实时分类识别过程的使用。

2 方法设计与实现

为了更好的利用图像处理方法实现显示器配件的快速识别，将对采集的显示器配件进行图像预处理和特征提取。

2.1 图像的预处理

在显示器生产线包装过程中，从摄像头采集的支座、底座及盒装适配器的表面图像像素较高，且在较大的数据量中包含大量冗余信息。为了提高后续实时分类的准确识别率，采用低通非线性中值方法和高斯算子对采集的配件样本原始图像进行滤波处理。

首先，采用邻域大小为3×3 的非线性低通中值滤波对采集的配件图像样本进行滤波处理，最大限度地保留图像目标中的有效边缘，并消除噪声和去除孤立亮点或暗点。公式表示为：

式中μ是像素P(i，j)周围邻域3×3 内像素灰度的平均值。

假设图像的大小为H×W，则均值μ和标准差σ计算公式为：

由于是基于3×3 邻域对图像进行N阶非线性低通滤波，所以中值滤波的阶次计算公式计算为：

实验结果表明：当K=3，N=4 时，图像中孤立的亮点或暗点、椒盐噪声将被有效滤除，而其他区域则保持不变。

采用卷积核为3×3 的高斯滤波可以削弱配件样本图像像素的灰度变化，从而滤除样本图像中的高频噪声，使图像表面光滑柔和，高斯算子滤波表示为

式中：a、b、c、d为正整数；x＞1，且大于算子中任何其他因子（各因子的大小以x为中心呈正态分布）。

现场采集的显示器配件经非线性低通中值滤波和高斯算子滤波处理后有利于特征的提取，显示器配件预处理过程如表1 所示。

表1 显示器配件预处理

2.2 配件特征提取和训练

对预处理后的显示器配件样本图像的特征提取和训练是分类识别必备的过程，主要用于提取显示器配件样本的特征向量值、分类信息和分类器参数配置。显示器配件样本集分为底座、盒装线材和支柱共3 类。基于样本颗粒特征的各种属性参数有助于快速准确地针对二值处理后的分类识别任务进行特征提取。图像的特征提取方法多样，而图像特征描述的核心问题则是鲁棒性和可区分性[17]。根据训练和分类过程对目标尺度不变性、旋转不变性和镜像对称不变性的要求，样本的特征提取向量可由基于样本的点、线、边界和Hu 不变矩特征参数的颗粒特征和颜色特征构成，将样本图像的这些特征作为提取特征值以提高系统的鲁棒性。引入平均类标准差和类间距dij两个指标衡量待训练配件样本集合的优劣。配件样本集合中的每一个样本的N维的特征向量Xi可表示为

针对配件样本集合中训练每一类的L个样本，将属于同类的样本用类标签j标记，因此配件样本集合可用以下的N×L矩阵表示，即

N×L矩阵的均值可表示为

计算样本特征矩阵中第n行元素的标准差可表示为

为了定量表示配件样本集中的类标准差并直接反映样本矩阵的分散程度，利用公式可以得到类样本矩阵中的平均类标准差，即

两类的特征向量均值Mi与Mj之间的距离dij可表示为

式中每两个类之间的距离dij可采用曼哈顿距离计算。若所有样本集属于n维空间Rn，任意特征向量Xi=(xi1，xi2，···，xin)∈Rn和Yj=(yj1，yj2，···，yjn)∈Rn，其中xin表示第i个样本第n个特征值，则样本Xi和Yi之间的距离可表示为

计算得到的显示器配件样本集平均类标准差和类间距离如表2 和表3 所示。

表2 配件类标准差

表3 配件类距离表

由表2 可看出，对显示器的3 个配件分别采集50 个样本图像，计算得到的平均标准差较小，说明配件样本较集中，分类准确度较高。

由表3 可看出，不同配件之间的特征向量平均值距离均大于1，同一种配件的特征向量平均距离均为0，说明不同类之间分离度较大，同一种配件较为集中。综上通过计算配件样本的平均标准差和类间距dij可得显示器配件样本集较好。

2.3 基于监督学习的分类识别方法

目前，在机器学习领域模式识别算法主要分为监督学习和非监督学习。其中监督学习算法主要有K-邻近法[18]、决策树、朴素贝叶斯和逻辑回归及改进算法。采用基于监督学习二值图像的KNN 分类识别算法作为快速识别系统的主要方法，该算法是一种直观的分类算法，比其他算法更适合处理配件的分类问题。KNN 的核心思想为：在特征空间中，如果一个样本的k个最邻近的样本中的多数属于某一个类别，则该样本也属于这个类别，并具有这个类别样本的特性[19]。目前，KNN 分类方法还存在以下不足：训练集维度较高时，其分类效率较低[20]；训练集存在噪声特征或噪声样本时，分类精度会被严重影响[21-22]。因此，通过对配件图像样本集的预处理，弥补了KNN 分类算法的不足。KNN 算法的步骤[23]如下：

1）构建训练样本集T；

2）设定k的初始值；

3）在训练样本集中选出与测试样本最相似的k个样本，这里相似标准定义为曼哈顿距离。若所有样本属于n维空间Rn，任意的样本Xi=（xi1，xi2，···，xiN）∈Rn和Yj=（yj1，yj2，···，yjN）∈Rn,式中：xin表示第i个样本第n个特征值,则样本Xi和Yj的曼哈顿距离可由公式（12）计算可得；

4）对于测试样本(Xq，X1，···，Xk)与Xq距离最近的k个样本，设离散点目标函数为F：Rn→vi，vi表示第i个类别标签，标签集合定义为V={v1，v2，···，vs}。

其中，当a=b时，δ(a,b)=1；否则δ(a,b)=0。

5）使用多数投票法作为待测样本的预测值。

在显示器配件KNN 分类识别过程中，利用分类准确率和识别准确率两个指标来衡量目标分类系统的优劣。分类准确率是指被检测样本归属某类时比归类到其他分类结果的程度，可表示为：

式中：d是被检测样本与它被归类到的类之间归一化距离；d1是被测件到距其最近的一个类的归一化距离；d2是被测件到距其次近的一个类的归一化距离。识别准确率是指被检测样本归类至某一类时它与该类的相似程度，可表示为

3 实验结果分析

3.1 实验环境的搭建

分类识别算法检测平台如图3 所示。装置由模拟背景桌面、工业相机、镜头组件和计算机组成，工业相机选用Basler ace-acA2500-14gc 的相机，相机分辨率为500 万像素，采用Basler C 口镜头，镜头的光圈范围是：F1.4-F16，焦距为8 mm；采用GigE 线材与计算机进行数据传输。通过采集不同状态的支柱、线材和底座图像作为实验对象，对每个配件分别采集50 张图像作为训练样本，采集76 张图像作为检测样本，对本文的算法进行验证和测评。

图3 分类识别算法检测平台

3.2 实验结果的对比分析

为验证系统的优越性和可靠性，将典型的最小平均距离、图像模板匹配和基于灰度图像的K 邻近分类识别算法与文中算法进行实验对比，利用识别准确率、分类准确率和平均耗时作为定量比较指标。为了便于分析基于监督学习二值图像的KNN法、基于灰度图像的KNN 法、图像模板匹配算法和最小平均距离这4 种算法的稳定性，同时引入识别准确率误差e进行误差判断，计算公式为

式中：yt表示识别准确率；y表示设定的识别阈值。

通过对配件识别准确率测试实验的分析，将识别阈值设定为y=97%，n=1。4 种不同算法的定性比较如图4 所示，显示器配件识别准确率如图5 所示，显示器配件分类识别准确率误差如图6 所示，显示器配件分类准确率统计如表4 所示。

表4 显示器配件分类准确率

图4 4 种不同算法的定性比较

图5 显示器配件识别准确率

图6 显示器配件识别准确率误差

显示器配件分类识别结果分析如下：

1）由图4、图5 和表4 可以看出，采用的基于监督学习二值图像的KNN 分类识别算法对3 个配件的识别准确率均达到96%以上，且每一种配件的分类准确率均达到100%。对于非均匀光照和噪声干扰图像，最小平均距离和基于灰度图的KNN 算法识别分类能力较低，综合识别准确率分别在92.99%和92.33%以下，且分类准确率也明显低于基于监督学习二值图像的KNN 算法。

2）图4、图5 和表4 所示的基于灰度图像的KNN算法和基于监督学习二值图像的KNN 算法在对显示器配件分类和识别的准确率上有明显差距，说明经过中值滤波和高斯算子预处理的图像弥补了KNN 算法因噪声影响而导致分类识别精度下降的不足，也使得基于监督学习二值图像的KNN 算法具有更好的鲁棒性。

3）由图5 和图6 所示的配件识别准确率和识别准确率误差可以看出，基于监督学习二值图像的KNN 算法在检测过程中的可靠性均优于其他三种算法，识别准确率的波动范围也更小。基于监督学习二值图像的KNN 算法具有更好的鲁棒性，可以实现快速分类识别，引导完成生产线显示器配件的实时分拣任务。

4）图4 和图5 所示的基于模板匹配和基于监督学习二值图像的KNN 分类识别算法在对显示器配件的分类识别准确率上差距较小，稳定性差距也较小，但是在分类识别所消耗的时间上有明显的差距，模板匹配算法在对显示器配件进行分类识别的过程中，由于底座和支柱表面的纹理较多，姿态也各不相同，模板匹配算法需要大量的计算和不断的调整参数，消耗的时间为572.3 ms，但基于监督学习二值图像的KNN 分类识别算法只需要12.9 ms，因此本文算法更适用于显示器生产线上快速的分类识别。

4 结束语

以显示器的3 个配件为研究对象，将一种快速监督学习方法应用在显示器配件分类及识别中，先后对配件的图像采集、图像预处理、图像特征提取、分类器配置和分类识别和分析。以图像分类及识别为核心的显示器配件分拣系统，在模拟背景桌上对显示器配件原始图像进行采集，通过非线性低通中值滤波和高斯算子对显示器图像进行预处理，该预处理方法有效的弥补了KNN 分类及识别算法因噪声影响而导致分类识别精度下降的不足。基于4 种分类及识别方法的实验对比结果表明：所采用方法在实时性和鲁棒性方面明显优于其他3 种分类识别方法，完成分类识别时间仅需12.9 ms，每一种配件的识别准确率达到96%以上，分类准确率达到100%，该算法满足显示器配件分类识别的工程应用及实时分拣需求。