联合LBP与SOM的多分辨率织物疵点检测

林似水，郑力新

（华侨大学 信息科学与工程学院，福建 厦门 361021）

织物疵点是影响织物品质的重要因素。长期以来，织物疵点检测都由人工完成。这种方法自动化程度极低，检测速度慢。而且该方法是一种单调繁重的重复性劳动，它极大地损伤人的视觉，检测结果容易受到疲惫、紧张等主观因素的影响。因此，开发一种快速、有效、可靠、实时的疵点检测系统成为迫切需要解决的问题。

近年来，出现了很多疵点检测方法[1-11]，其中应用与人眼视觉近似的小波及Gabor是使用比较多的方法，这两种方法都具有多尺度、多分辨率的特点，非常适合检测尺度不同的疵点。但这两种算法都比较复杂，计算量大，不能满足生产线上对疵点检测的实时性要求。本文在结合国内外相关参考文献的基础上，针对从企业获取的疵点图像，提出了一种应用LBP金字塔与SOM的织物疵点检测方法。该方法结合了图像金字塔的多分辨率特性，LBP对图像局部纹理特征的卓越描绘能力，以及SOM对输入数据的优秀聚类能力。实验表明，该方法运行速度快、检测效果好，适用于不同纹理织物的不同疵点检测。

1 LBP与SOM原理

1.1 局部二进制模式（LBP）原理

LBP是一种有效的纹理描述算子，对图像的局部纹理特征具有卓越的描绘能力，同时又具有很强的分类能力、较高的计算效率，对于单调的灰度变化具有不变性。

LBP的主要思想是以某一点与其邻域像素的相对灰度作为响应，正是这种相对机制使得LBP算子对于单调的灰度变化具有不变性。图1给出了一个LBP算子，应用LBP算子的过程类似于滤波过程中的模板操作。逐行扫描图像，对于图像中的每一个像素点，以该点的灰度值作为阈值，对其周围3×3的8邻域进行二值化，按照一定的顺序将二值化结果组成一个8位二进制数，以此二进制的值（0-255）作为该点的响应。

图1 LBP算子

1.2 自组织映射神经网络SOM

自组织映射神经网络（SOM）是由芬兰赫尔辛基大学神经网络专家Kohonen教授在1981年提出的。这种网络模拟大脑神经系统自组织特征映射的功能，是一种竞争式学习网络，能无监督地进行自组织学习。自组织特征映射神经网络根据输入向量在输入空间的分布情况对它们进行分类，使得输入信号可以映射到低维空间，并保持相同特征的输入信号在映射后的空间中对应邻近区域。图2表示SOM的两种基本网络结构。

图2 SOM神经网络结构图

令输入信号为 x=[x1，x2，…，xp]，输出神经元 j的权向量为 wj=[wj1，wj2，…，wjp]，j=1，2，…，N，设 输入 信号 x按顺序依次输入，每输入一个向量（模式）时，首先寻找其权向量wj与x最佳匹配的神经元e，一个简单的方法是计算它们之间的欧几里德（Euclidean）距离，最小者即为最佳单元：

然后应确定最佳匹配单元的邻域，此邻域是随迭代次数n变化的，因此称为邻域函数 Ni（n）。最后应确定一个在Ni（n）内神经元的权值修改公式：

SOM网络的学习过程如下：

（1）权值初始化，用小的随机数对各权向量赋初值wj（0）；

（2）在样本集中随机选一个样本x作为输入；

（3）在时刻 n，根据公式（1）选择最佳匹配单元 e；

（4）确定邻域函数 Ni（n）；

（5）按照式（2）修正权值；

（6）n=n+1，返回（2），直到形成有意义的映射图。

2 本文方法实现

本文算法的主要思想是，对织物图像应用图像金字塔进行降级采样，得到不同分辨率的多级图像，然后分别对每一级图像进行检测，最后再对检测结果进行融合，去除孤立点后得到检测结果。本算法充分利用图像在不同多分辨率下所呈现出的整体与局部的特性，提高了算法的检测效果。

算法步骤如下：

（1）获取源图像

获取图像大小为 M×N（本文为 512×512）的织物疵点图像，对图像进行灰度化，将彩色图像转化为灰度图像 f（x，y）。

（2）图像金字塔分解

这里使用高斯金字塔向下采样，获得下一层图像tn（x，y），n=1，2，3…。 执行的过程为先用高斯核对图像f（x，y）进行卷积，然后删除所有偶数行和偶数列，这样得到的图像面积变为原来的四分之一。本文采用3级采样，得到不同分辨率的图像如图3所示。

图3 图像金字塔向下采样结果

（3）预处理

对图像 tn（x，y），n=1，2，3 进行高斯滤波，剔除噪声获得平滑信号和较好的图像边缘；再对图像进行直方图均衡化，增加图像灰度的动态范围，提高图像对比度。从图4（c）中可以看出，均衡化后图像的对比度得到了显著增强。

图4 图像预处理

（4）LBP 算子处理

LBP使用的是邻域单元作为处理单元，使用中心点与周围像素的相对灰度作为响应，这样可避免图像因为受光照而产生的灰度变化的影响。应用LBP对tn（x，y）进行处理得到 Tn（x，y），如图 5（b）所示。

图5 LBP算子效果图

（5）特征提取

由于织物都具有一定的纹理特征，这个特征又可以用纹理基元来表示，即纹理基元以一定的排列方式在织物图像中周期性的重复。而纹理基元又是不同的灰度值按一定的排列方式形成，因而本文所提取的特征为一子窗口的特征，方法如下。

定义一个 M×N 大小的模板 g（x，y），用式（3）为模板中的每个元素赋予一定的权值（式中L为绕中心点的层数，从最外层开始依序为 0，1，2，…）。然后用该模板对图像进行卷积，得出的结果再归一化到[0，1]，得到模板所对应的图像区域的一个特征c1。接着再计算模板g（x，y）所对应的图像区域的平均灰度值，归一化后得到另外一个特征 c2。模板大小M和 N应满足式（4），其中wh为基元之间的水平距离，weh为基元的宽度；wv为基元之间的垂直距离，wev为基元的高度。

（6）SOM神经网络识别

在使用神经网络识别之前，需要提取正常织物图像的特征对SOM网络进行训练，得到网络的密码本向量，即网络的权值。网络训练好后，统计每个输出神经元对应的欧几里德距离的最小值min与最大值max，并定义该神经元的置信区间为[min，max]。识别时，对于落在置信区间内的特征值，认为是正常的织物元素；对于置信区间外的特征值，则认为是疵点元素。图6为不同层的织物图像对应的识别结果。

图6 不同层对应的识别结果

（7）识别结果融合与孤立点去除

结果的融合采用金字塔向上采样的方法，即首先在每个维度上扩大为原来的两倍，新增的行以0填充，然后用拉普拉斯滤波器进行卷积，估计新增的像素的近似值。融合结果如图7（b）所示。孤立点的去除采用形态学中的开运算去除一些小点，然后计算孤立点的周长和面积，将一些小的孤立点当噪声处理掉，得到图像Q（x，y），如图 7（c）所示。

图7 识别结果融合与处理

3 实验结果

本实验是在OpenCV 2.1以及Visual Studio 2008环境下进行的，计算机配置为Intel E5300 2.6 GHz CPU，2 GB内存。OpenCV是一个开源的跨平台计算机视觉库，由一系列的C函数及C++类组成，提供面向Intel IPP高效多媒体函数库的接口，可针对用户使用的Intel CPU优化代码，提高处理性能[12]。

实验分别对断纬、缺经、破洞和勾丝这四类最为常见的疵点进行了测试，疵点图像的大小为512×512。并与参考文献[9]提出的算法进行对比（使用两个方向，3个尺度的Gabor算子），结果如表1所示。

表1 实验结果表

从表1的实验结果可以看出，对于不同纹理的织物，本文算法能将疵点从织物图像中较准确地分割出来，证明了该检测算法具有良好的检测效果，适用于不同纹理类型织物的不同疵点的检测。并且本文算法在处理时间上开销较小，检测速度快，能够提高疵点检测系统的实时性。

本文提出了一种联合LBP与SOM的多分辨率织物疵点检测方法。将织物图像应用图像金字塔进行降级分解，得到不同分辨率的图像，再对每一级的图像应用局部二进制（LBP）算子，提取特征后送入事先训练好的自组织映射神经网络（SOM）进行识别。最后对已识别的多级图像进行融合，计算轮廓的周长和面积去除孤立点后得出最终的检测结果。实验结果表明，本文方法能将疵点从织物图像中较准确地分割出来，检测速度快、效果好，适用于不同纹理类型织物的不同疵点的检测。

[1]BISSI L， BARUFFA G， PLACIDI P， et al.Patch based yarn defect detection using Gabor filters[C].I2MIC，2012 IEEE International， 2012： 240-244.

[2]PRIYA S， KUMAR T A， PAUL D V.A novel approach to fabric defect detection using digital image processing[C].ICSCCN， 2011： 228-232.

[3]Ding S， Liu Z， Li C.AdaBoost learning for fabric defect detection based on HOG and SVM [C].International Conference on Multimedia Technology， 2011：2903-2906.

[4]Guan S， Yuan J， Ma K.Fabric defect detection based on wavelet reconstruction[C].ICMT 2011， 2011：3520-3523.

[5]Zhang L， He Xh， Zhang Hb.A fabric defects detection method usingSAR imaging[C].2010 6th International Conference on WiCOM， 2010：1-4.

[6] Jia X.Fabric defectdetection based on open source computer vision library OpenCV[C].2010 2nd International Conference on ICSPS， 2010：342-345.

[7]Zhang YH， Yuen CWM， Wong WK.A new intelligent fabric defect detection and classification system based on gabor filter and modified elman neural network[C].ICACC，2010：652-656.

[8]付蓉，石美红.基于自适应LBP和SVM的织物疵点检测算法[J].计算机应用，2010，30（6）：1597-1601.

[9]赵波.改进的基于最大熵和Gabor滤波器的织物疵点检测[J].微型机与应用，2011，30（13）：29-35.

[10]管声启.方向性纹理织物疵点检测方法研究[J].计算机工程与科学，2011，33（3）：73-76.

[11]卢亮，赵静.基于小波变换和图像最大熵的织物疵点检测[J].科学技术与工程，2011，11（22）：5446-5450.

[12]BRADSKI G， KAEBLER A.Learning OpenCV[M].南京：东南大学出版社，2009.