基于模糊松弛约束的外观缺陷多核学习技术

(北京工商大学 计算机与信息工程学院，北京 100048)

随着工业生产水平的不断提高，产品外观质量也越来越受到重视。传统的人工检测手段已经不能满足现代工业生产的需求，利用机器视觉技术对产品外观缺陷进行检测是实现工业现代化的必然趋势。由于产品外观缺陷种类较多，采用多种图像特征融合的方式可以取得更好的检测效果，并且在检测中需要对各类缺陷进行学习分类[1]。不同的图像特征，最适合的核函数不同，同一种特征，选择不同的核函数其分类结果也会有较大差异[2]。

多核学习(MKL)针对单核学习的劣势，提出将多个不同的核函数进行组合获得一个组合核函数，采用该组合核函数作为线性不可分问题的核函数进行学习分类，这样可以有效地提高分类精度。近几年来，国内外也有不少学者针对MKL进行了相关的研究与改进，典型的有：Duan等学者进一步改进了多核学习的交叉验证方法[3]；Wang等学者结合典型相关分析获取核映射空间的共有信息，提高了模型的分类精度[4]；Gonen等人针对多核学习在整个输入空间中对某个核都分配相同权重的问题，利用一种选通模型局部地选择合适的核函数，提出一种局部多核学习方法[5-6]。张凯军等人将稀疏MKL算法与Multi-MHKS算法进一步改进，提出一种改进的显性多核支持向量机(IDMK-SVM)，该方法既考虑到如何充分利用已经选用的核函数中的共有信息，同时还考虑到核函数的筛选问题，提高了分类精确性[7]；李琦等人针对核函数选择对最小二乘支持向量机回归模型泛化性的影响，提出一种新的基于lp-范数约束的最小二乘支持向量机多核学习方法[8-9]。

针对多核学习方法中各个核函数的权重求解问题，笔者提出一种基于模糊松弛约束的求解方法。首先提取图像的几种不同的特征，对不同的特征选择合适的核函数，划分每个核函数的模糊权重，每个权重包括上下的松弛边界，求解各个权重获得组合核函数，然后使用SVM对各类外观缺陷分类。最后将所提出的方法应用于实际的生产流水线。结果表明，所提出的方法可以满足外观检测对于实时性以及检测精度的要求。总体工作流程如图1所示。

图1 总体工作流程

1 基于模糊松弛约束的多核学习方法

1.1 模型的建立

在建立多核学习模型以后，如何确定每个核函数的权重直接关系到最终的缺陷分类结果。根据不同的图像特征对不同的检测评价指标的影响程度，以及外观的不同表面对检测精度的不同需求，划定每个基核权重的松弛边界，求解得到组合核函数的多核学习模型，并根据该模型进行学习分类，从而最终将检测到的模型进行正确分类。具体过程如下。

(1) 建立式(1)所示的初始多核学习模型。

(2) 建立模糊约束条件模型：

(1)

式中，A为每幅图像包含的图像单元个数；γi为第i个特征对融合特征性能的影响程度。划定核函数松弛权重范围如式(2)所示，其中权重满足0≤ρ≤1且ρ1+ρ2+ρ3+…+ρm=1。

(2)

根据不同检测面的不同需求，选择权重松弛边的上边界或下边界：对于正面来说，检测精度最为重要，确定上下边界的时候要着重考虑提高精度；对于底面或背面来说，精度要求可以适当减低，确定上下边界的时候需要着重考虑节约时间；对于顶面或侧面来说，则需要中和两者考虑。松弛边界划定流程如图2所示。

图2 松弛边界划定流程

(3) 在划分模糊松弛边界的时候，考虑图像特征对检测评价指标的“影响程度越大，权重越高”这一模糊行为，将其量化[10]。调整第i个特征的影响因子为ωγi，其中ωγi∈(0,γi]，称其为“虚拟”影响程度。该特征对需求的影响越大，ωγi越大，用ωγi代替模型中的γi，可以满足影响越大，分配的权重越大的条件。选取ωγi=γi[1-μk(γi)]，其中k为参数，反映了对约束条件的重视程度，重视程度越高，k越小。

选取ωγi的理由如下：

①ωγi满足0<ωγi<γi；

②ωγi是连续递减函数，对于“影响程度大”的隶属度越大(γi越大)，相对应的ωγi则越小，并且为原γi的整数倍；

③ 该参数的选择使得计算更加有利。

(4) 建立“影响较大”的隶属度函数。

γ={γi|i=1,2,…,n}，Y={γi|γi大,γi∈γ}，把Y看作是γ上的一个模糊子集，定义隶属度μ:Y→[0,1]为

(3)

其中：

(4)

该隶属度函数确定的理由如下：

① 该隶属度函数μ的定义域为[0,+∞)，值域为[0,1]，与实际情况相符合。

② 该隶属度函数为连续递增函数，与“影响程度越大”，其隶属度越大的事实相符合。

③ 该隶属度函数μ的导函数μ′为

(5)

该导函数为连续递减函数。

求解模型，得到各项参数，获得每个基核的权重。基于模糊松弛约束多核学习流程图如图3所示。

图3 模糊松弛约束多核学习流程

1.2 模型的求解

设模型的非基变量指标集合为R，基变量指标集合为S，令任意有序指标m∈R1，其中ρm=0；令任意有序指标m∈R2，其中ρm∈(ωm3,ωm4)。R1和R2分别被称为第一类非基变量指标集合以及第二类非基变量指标集合，并满足R=R1∪R2且R1∩R2=∅。

把上述ρm代入模型中，得到一个基解{ρm}，其中m∈S，这个基解如果满足约束条件，则称其为基可行解。记λm=Um-Lm，其中Um是模型的一个基解，若满足：

(6)

则基解{ρm}被称为模型的正则解。若一个基解既是模型的正则解，也是模型的可行解，则该基解被称为模型的最优解。某一特征与权重对应的回路的顶点若增加一个调整量，则称该顶点为接纳元素；若减少一个调整量，则称该顶点为释放元素。接下来执行下述迭代过程。

(1) 令R1=R2=∅，{ρm}为一个正则解，若其满足模型约束条件，且m∈S，则该解即为最优解，转入步骤(7)。

(2) 若某一ρpm>ωm4，则转入步骤(3)；若某一ρpm<0，则转入步骤(5)。

(3) 取R1中某一元素使对应的ρqm满足以下条件：

① 存在一条回路，该回路除去ρqm以外全部是基变量；

② (p,m)是释放元素，(q,m)是接纳元素。

转入步骤(4)。

(4) 释放元素减去Q，其中Q=ρpm-ωm4，余下元素依次交叉+Q和-Q，ρpm变成第二类非基变量，ρqm变成基变量，从而得到一组新的基解并返回步骤(1)。

(5) 取R2中某一元素使对应的ρqm满足以下条件：

① 存在一条回路，该回路除去ρqn以外全部是基变量；

② (p,m)是接纳元素，(q,m)是释放元素。

转入步骤(6)。

(6) 释放元素减去Q，其中Q=-ρpm，余下元素依次交叉-Q和+Q，ρpm变成第一类非基变量，ρqm变成基变量，从而得到一组新的基解并返回步骤(1)。

(7) 得到最优解。

模型求解的算法流程如图4所示。

图4 模糊松弛模型求解流程

2 实验结果分析

2.1 实验数据来源

在青岛海尔集团滚筒洗衣机生产流水线上进行实验，实验数据为实时采集的洗衣机机身照片，各个角度的图像共5200张。部分产品外观图像如图5所示。

图5 部分产品外观图像

2.2 产品外观缺陷种类

通过对生产车间现场的深入调研和跟踪，再结合工业产品工艺特征的不同，总结出常见的外观缺陷主要包括五大类[11-12]，分别是机身划伤、表面凹凸坑、拼装缝隙过大、商标错误、色差这几大类型[13]。每一类还包含不同的表现形式，如图6所示。

图6 不同种类缺陷实例

2.3 图像特征提取与核函数的选择

本文的研究共提取3种图像特征，分别为SIFT特征、多尺度等价模式LBP特征和HSV颜色特征。对应的核函数分别为高斯核函数、Sigmoid核函数、线性核函数。采用3种核函数建立缺陷分类模型。通过反复交叉验证，确定3种核函数的最优参数如表1所示。

表1 3种核函数最优参数选择

2.4 缺陷分类实验

采用基于模糊松弛约束的多核学习方法进行缺陷分类试验，选取5类缺陷共计200个样本进行实验，从样本集中抽取100个作为训练集，其他的作为测试集，步骤如下：

① 对样本图像进行预处理；

② 提取样本图像的图像特征；

③ 选取核函数，采用模糊松弛约束的求解方法，得到组合核函数；

④ 进行分类实验，得到结果。

2.5 单核学习与多核学习对比

采用多核学习方法，针对多特征融合以后，单一核函数不能满足分类需求，为了对比单核系统与多核系统性能上的差异，采用对照实验法，分别单独采用3种核函数建立分类模型对缺陷分类，再采用组合核函数对缺陷分类。分类结果如表2所示，其中百分数表示分类精确度。

表2 单核学习方式与多核学习方式实验对比

其中，4种分类方式仿真图像如图7～图10所示,其中图中的“+”、“*”、“▷”和“□”均表示测试数据，“▷”表示被分类到1中的测试数据，“□”表示被分类到2中的测试数据，支持向量被“○”圈出。

图7 线性核函数

图8 Sigmoid核函数

图9 高斯核函数

图10 组合核函数

根据表1中的确定参数，确定组合核函数。经过反复交叉验证，该组合函数得到的分类曲线没有过拟合现象，分类效果较好。

2.6 实测结果

在系统运行时间段内，误检率可以控制在10%左右，为了能够得到更加真实客观的测试数据，采用随机抽样法。统计某一时段内，连续检测500台洗衣机的各类缺陷的漏检率与误检率统计，如表3所示。表中检测的缺陷种类包括五大类，每一大类中还有若干小类，同时，还给出了出现次品以后的差异原因、处理方式以及解决方案。

2.7 有无松弛约束实验对比

引入松弛边界是为了能够解决大尺寸工业产品不同表面需要采用不同的检测标准的问题，即根据所需要的标准，选择松弛边界的上边界或是下边界。为了验证加入松弛边界后系统性能的优越性，实验对比了模糊松弛约束求取核函数权重与模糊约束求取权重后的实测结果，结果表明，模糊松弛约束的性能要优于模糊约束。

表3 检测结果统计

3 结束语

本文提出了一种基于模糊松弛约束的多核学习缺陷分类方法。首先提取图像特征，针对每种特征选择适合的核函数，然后给每个特征划定一个模糊边界，根据一件产品不同表面的不同检测需求的特点，为模糊边界划定上下松弛边界以提高系统性能，最后求解模型得到分类结果。实验对比了单核系统与多核系统的分类精度，以及有无松弛约束的检测性能，实验结果表明，多核系统的分类精度要高于单核系统，当系统中加入松弛约束时可以提高对产品外观缺陷的检测精度并且满足外观缺陷的实时检测。