基于特征融合的多尺度窗口产品外观检测方法

王 炎，连晓峰，叶 璐

(北京工商大学 计算机与信息工程学院，北京 100048 )

基于特征融合的多尺度窗口产品外观检测方法

王 炎，连晓峰，叶 璐

(北京工商大学 计算机与信息工程学院，北京 100048 )

为提高产品外观质量的检测精度和实时性，提出一种基于特征融合的多尺度滑动窗口机器视觉检测方法；在训练阶段，首先提取图像的HOG特征和Lab颜色特征，并采用典型相关分析法(CCA)进行特征融合；接下来，采用支持向量机(SVM)对融合的特征进行训练，生成分类器；在检测阶段，产品外观不同区域对精度的要求不同，为提高检测效率，生成不同尺度的滑动窗口，在每个窗口中都进行图像的特征提取与特征融合；最后，对采集的图像序列进行匹配，实现产品外观划痕的实时检测；实验中，选取不同的特征提取方法进行对比，并分别生成大小不同的滑动窗口，通过分析实验结果，结合检测时间与精度，确定各个区域的窗口尺度；实验表明，与传统的检测方法相比，所提方法在检测精度和实时性上具有显著提高。

机器视觉；质量检测；特征融合；多尺度滑动窗口；支持向量机

0 引言

随着生产力的提高以及生产资料的丰富，人们对工业产品质量要求也不断在提高，产品外观缺陷问题愈发受到重视。现有的外观缺陷检测方法有Blob检测算法、LBP特征检测算法等。Blob检测算法是依据所需要的检测精度将目标图像划分成为一个个的小区域，计算时将每个小分区内的RGB平均值代替分区颜色信息，然后再将待检测的目标图像和标准图像的对应的分区进行对比[1]。这种检测方法检测速度慢，内存消耗大，不能满足对产品的实时检测,并且如果待检划痕的颜色和机身本体颜色很接近，该算法的精度不高。LBP特征(局部纹理特征)检测方法是将目标图像划分为若干个3*3的小区域，通过对比区域中周围8个点和中心点的灰度值来得到中心点的LBP值，并用该值来表示整个区域的LBP特征，这种特征提取方法并不能很好的描述工业产品的外观特征，其精确度也不能满足一般的工业要求。除此以外还有基于小波分析的外观缺陷检测方法[2]、Hough变换法[3]、自适应阈值分割算法[4]等外观检测方法，但是目前仅限于实验研究阶段，未能应用于实际工业生产，对产品外观进行实时快速精确的检测是当前亟待解决的问题。

本文提出一种基于特征融合的多尺度滑动窗口检测算法，可以实现对产品外观的快速精确的检测。整个过程分为样本训练阶段和实际检测阶段。在训练阶段，对训练样本进行图像的HOG特征和Lab颜色特征提取，特征提取完毕采用CCA进行特征融合，然后送入SVM进行训练。在检测阶段，先在采集到的图像上选取同样的感兴趣区域，在图像上生成多尺度滑动窗口，即对待不同精度需求的产品检测面，生成大小不同的滑动窗口。尺度分为三个等级，精度需求不同，窗口的尺度大小也不同，这样既能保证检测精度，又能保证检测的实时性，大大提升了检测效率。接下来在滑动窗口中进行特征提取与特征融合，将融合的特征送入已经训练好的分类器中，检测是否存在外观划痕缺陷，检测完毕后滑至下一个窗口继续检测。总体的检测流程如图1所示。

图1 检测流程

1 特征提取与融合

特征提取包括基于局部的方向梯度直方图(HOG)特征提取和基于全局的Lab颜色特征提取。

1.1 HOG特征提取

HOG特征是一种机器视觉与图像处理中用来进行图像检测的特征描述算子[5]。相比较其它的特征描述方法，其优点在于它对图像的几何形变和光学形变拥有良好的鲁棒性，因为这两种形变只会出现在大的空间领域中，而HOG特征是在图像划分的小区间内进行操作的。HOG特征提取的步骤如下：

1)将目标图像进行规范化(归一化)，其目的主要是降低光照对图像的影响；

2)分别用[-1,0,1]和[1,0,-1]T梯度算子对图像做卷积运算，得到水平方向和竖直方向的梯度分量。然后计算像素点(x,y)的梯度：

Gx(x,y)=H(x+1,y)-H(x-1,y)

(1)

Gy(x,y)=H(x,y+1)-H(x,y-1)

(2)

在式(1)、式(2)中，Gx(x,y)表示目标图像中像素点(x,y)的水平方向梯度，Gy(x,y)表示该像素点竖直方向梯度，H(x,y)表示像素值。像素点(x,y)的梯度幅值和梯度方向如式(3)所示：

(3)

3)将目标图像划分为大小为6*6个像素的图像单元，统计每个图像单元的梯度直方图。

4)将小的图像单元组合成空间上连通的区间，每个区间上所有的图像单元的特征向量串联起来就可以得到该区间的HOG特征向量。最后将目标图像内所有的区间HOG特征向量串联起来，得到整个图像的HOG特征向量。

HOG特征提取流程图如图2所示。

图2 HOG特征提取流程

HOG特征提取如图3所示，图(a)为产品外观图，图(b)为该图提取的HOG特征，横轴表示每一个block中的特征数量，纵轴表示block的个数。

图3 产品外观HOG特征提取

1.2 Lab颜色特征提取

与RGB等颜色空间相比，Lab颜色空间色域更加宽广，包含了RGB和CMYK等其它颜色空间的所有色域，人类肉眼所能感知的颜色都可表现，同时Lab颜色空间又弥补了RGB和CMYK等其它颜色空间的色彩分布不均匀的缺陷。多次实验表明，使用Lab颜色空间来描述图像的颜色特征，比其他颜色空间有更高的精度和更低的误检率。因目前常用的图像获取设备都是以RGB颜色空间为标准的，所以要先将RGB空间转换为Lab空间[6]:

(4)

(5)

1.3 特征融合

常用的特征融合方法有CCA、D-S证据理论法和主成分分析法(PCA)[7]。主成分分析法考虑到变量内部各维数据之间的关联，误差较小，但是其求解复杂，应用困难，且本课题研究只需要融合两种特征，所以主成分分析法不适用。D-S证据理论是一种多源信息融合方法，但是该方法要不同特征之间必须相互独立，特征之间的关联会导致融合出现较大的误差，故也不适用。本文特征融合采取CCA。该方法通过提取两组特征向量中有代表性的综合变量，可以从整体上把握两组特征向量之间的相关性。在融合特征的同时，又降低了特征表示维数。具体融合方法描述如下：

设从图像中提取的HOG特征和Lab颜色特征分别为两组向量空间X=[x1,x2,…,xm]和Y=[y,y2,…,yn]，m和n分别为两组特征向量的维数。两组特征向量的相关系数如式(6)所示：

(6)

式中，Cxy为X，Y间互协方差矩阵；Cxx为X的协方差矩阵；Cyy为Y的协方差矩阵。找到一组合适的投影矢量矩阵u和v，使得投影分量z1=uTx和z2=vTy的相关性最大。

2 SVM学习分类器

2.1 SVM基本原理

SVM是针对线性分类器提出的一种设计准则，相比起其他的分类方法，其泛化性能强、精度高，在解决非线性小样本的识别问题中具备很明显的优势[8]。

SVM的目的是求得一个超平面使得该超平面与训练样本的距离最大。求取超平面的极大化泛函如式(7)所示：

(7)

式中，N为样本的个数，x为样本，y为类别编号，ai为函数优化时拉格朗日系数。求得函数最大值Q(a)，即可求得最优解，最优权向量为：

(8)

式中，Ns为支持向量的个数。求得拉格朗日系数ai，即可求得最优超平面。

2.2 分类器生成

将采集到的图像进行HOG特征提取和Lab颜色特征提取，经过特征融合以后送入分类器进行训练，然后将训练好的分类器用于后续的外观检测中。在进行检测时，对待检图像进行特征提取以及特征融合，然后送入已经训练好的SVM分类器中，得到检测结果。

3 多尺度滑动窗口的生成

由于产品外观划痕的位置分布具有不确定性，所以检测时在检测面生成矩形窗口进行检测，选取大小合适的矩形窗口在图像上进行滑动，使其包含整个图像，每滑动一次，就对窗口内的图像进行一次特征提取。窗口的大小对检测时间以及检测精度会产生很大的影响，若是窗口选择太大，包含过多的像素点，则会使窗口内分辨率下降，降低检测精度；若是窗口选择太小，则会因为多次提取特征导致检测时间过长并且内存消耗过大，而且可能会将机身上的灰尘或是水珠等误检为划痕。

一件产品不同的面对于外观缺陷的精度要求也是不同的。通常来说侧面及正面对于检测精度要求较高，生成尺度较小的窗口进行检测；而背面和顶面对于检测精度要求较低，则需要生成尺度较大的窗口进行检测。

4 实验结果与分析

4.1 数据集

本文所采用的数据集是来自海尔集团滚筒洗衣机生产流水线上的产品实际外观图。每张图片的尺寸为2 456*2 058。

4.2 实验设计

4.2.1 特征提取方式对比

采取HOG特征和Lab颜色特征相结合的特征提取方式，为了体现该方法的优越性，另外选取不同的特征提取方式来进行对比实验。在特征提取方式中，另外选取了Blob特征提取和LBP(局部二值模式)特征提取两种特征提取方式。

实验中将机身贴上划痕标签(如图4所示)，用不同的特征提取方法来进行检测，比较检测结果。

图4 机身外观划痕

4.2.2 不同窗口尺度对比

滑动窗口的尺度选取不同会较大程度地影响检测结果，本实验所采用的检测图像较大，对于精度要求较低的检测面，若窗口尺度选取较小，则需要相当长的时间，不能满足流水线的实时检测。实验中分别选取尺度为20*20、25*25、30*30、35*35、40*40、45*45、50*50的窗口，每种尺度测试数量为200台，将产品的检测面上人为贴上划痕标签，最终得到窗口尺度和检测时间以及检测精度的关系曲线图。

4.3 实验结果分析

4.3.1 特征提取方式对比结果分析

分别采取不同的特征提取方式对同一批产品进行检测，选取几组典型的检测结果，可以明显看出，相比起HOG特征和Lab颜色特征想结合的特征提取方法，其他特征提取方法效果并不理想(见图5～图7)。

图5 Blob特征提取检测结果

图6 LBP特征提取检测结果

图7 HOG与Lab颜色特征结合检测结果

4.3.2 不同窗口尺度对比结果分析

实验中选取大小不同的窗口，得到窗口大小和检测时间的关系如图8所示。

图8 窗口大小和时间的关系

在生产过程中机身会沾染少许灰尘，在实验中若将灰尘检测为划痕，则判定为误检，若未能检测到贴上的划痕标签，则同样判定为误检。设定精度为正确检测的机器数量与总量的比值。窗口大小和检测精度的关系如图9所示。

图9 窗口大小和精确度的关系

窗口大小15*1520*2025*2530*3035*3540*4045*45时间/s9.06.24.84.03.53.23.0精度96.1%96.9%98.8%98.3%98.2%97.8%96.5%

表1为不同大小的窗口的检测时间与检测精度对应的具体数值。分析图表，在窗口大小为25*25时，精确度会达到一个峰值，之后缓慢下降，结合时间，选取大小为25*25大小的滑动窗口用于检测产品的正面以及侧面；35*35大小的窗口相比起30*30大小的窗口，精确度几乎持平，而时间却明显减少，所以选取大小为35*35的滑动窗口用于检测产品的顶面；背面对于精确度的要求较低，可选取大小为40*40的滑动窗口用于检测背面。

5 结论

提出了一种基于HOG特征和Lab颜色特征融合的多尺度

滑动窗口检测方法，可以对产品外观质量完成快速准确的检测，且具有实时性，多特征融合可以保证检测结果的准确性，多尺度滑动窗口既能保证较高的检测精度又能降低检测时间。实验过程中对比了其他几种特征提取方法，结果表明本文采取的HOG特征和Lab颜色特征具有最高的检测精度；通过分别选取不同大小的窗口，结合精度和时间，在不同的检测面生成大小合适的窗口。在实际的生产流水线进行实验，结果表明该研究具有很高的工业应用价值。但是经过实验，发现还是会存在误检漏检的情况，在生产密集的时候，检测速度还是略微有些跟不上生产速度，在未来的研究中，还需要继续改进，逐步完善性能。

[1] 孙 浩，王 程，王润生.局部不变特征综述[J]. 中国图象图形学报，2011,16(2)：141-151.

[2] 蒋年德，王耀南.一种新的基于主分量变换与小波变换的图像融合方法[J]. 中国图象图形学报，2005，10(7)：910-915.

[3] 陈培俊，伍铁军.去除阴影后利用霍夫直线变换检测茶叶中的杂质[J].机械工程与自动化，2014(5)：63-65.

[4] 龙建武，申铉京，陈海鹏.自适应最小误差阈值分割算法[J].自动化学报，2012,38(7)：1134-1144.

[5] Dragan V， Morozan T， Stoica A M．Robust Stabilization of Linear Stochastic Systems[J]．Mathematical Methods in Robust Control of Linear Stochastic Systems，2013，52:381-436．

[6] Guo Q， Chen G X， Luo J. A Blind Watermarking Algorithm Using DWT and DCT Techniques for Color Image[J].2015,731(1)：179-182.

[7] 刘金梅，王国宇.基于特征接近度的多特征融合方法[J].中国海洋大学学报，2015，45(11)：109-113.

[8] 唐银凤，黄志明，黄荣娟.基于多特征提取和SVM分类器的纹理图像分类[J].计算机应用与软件，2011，28(6)：22-26.

Product Appearance Detection Based on Feature Fusion and Multi - Scale Window

Wang Yan，Lian Xiaofeng，Ye Lu

(School of Computer and Information Engineering,Beijing Technology and Business University,Beijing 100048, China)

In order to improve the detection accuracy and real-time performance of the product appearance quality, we present a method of machine vision on the basis of feature fusion and multi-scale sliding window. In the training phase, in the first part of the paper, the HOG feature and Lab color feature of the image are extracted, and then the feature are fused using the classical correlation analysis(CCA). Next, support vector machine(SVM) is used to train the fused features to generate a classifier. In the detection phase, the accuracy requirements of different regions of the product are different. In order to improve the detection efficiency, the sliding window of different scales is generated. In each window, the feature extraction and feature fusion are carried out. Finally, the acquisition of the image sequence to match, to achieve real-time detection of product appearance scratches. In the experiment, different feature extraction methods are selected to compare and generate sliding windows with different sizes respectively. By analyzing the experimental results and combining the detection time and precision, the window scales of each region are determined. Experiments show that compared with the traditional detection method, the proposed method has a significant improvement in detection accuracy and real-time.

machine vision; quality inspection; feature fusion; multi - scale sliding window; SVM

2017-05-26；

2017-06-10。

北京工商大学两科基金培育项目(LKJJ2017-23)。

王 炎(1993-)，男，天津人，硕士研究生，主要从事机器视觉与智能检测方向的研究。

连晓峰(1977-)，男，山西长治人，副教授，硕士研究生导师，主要从事图像处理、机器视觉、智能控制与网络测控方向的研究。

1671-4598(2017)12-0039-04

10.16526/j.cnki.11-4762/tp.2017.12.010

TP391

A