基于特征提取和图像分类的螺旋网疵点自动检测

王博润,张 宁,卢雨正

(江南大学生态纺织教育部重点实验室, 江苏无锡 214122)

螺旋网是一种具有特殊结构的过滤用干网,由聚酯、聚酰胺、聚乙烯等高分子单丝经过绕环装置形成类似弹簧结构的左、右异向螺旋环线,通过左、右螺旋环线反复啮合并在交叠部分插入联接芯丝后形成网片,随后依次通过热定型、插芯、裁切、封边涂胶等后续工序,最终形成螺旋网[1]。过滤用纺织品是产业用纺织品的重要组成部分,其通过传统织造、非织造及现代复合技术加工而成,被广泛应用于各种行业。与传统过滤用纺织品相比,螺旋网空隙结构特殊,截留精度高,网面平整度高,拼接自由,结构强度大,使用寿命长,抗腐蚀性能强,可以实现各种场景的固液分离[2],被广泛应用于环保、造纸、煤矿、食品、医药等领域。螺旋网疵点主要分为破洞、芯丝缺失和错环3类,其大部分生产流程虽都已经实现自动化生产,但质检环节仍然依赖于人工检测,人工检测存在着诸如主观性强、成本高、效率低、劳动强度大、伤害视力等缺点,无法保证检测精度和准确率。人工检测的速度和准确率已不能满足螺旋网生产的要求[3],运用机器视觉实现螺旋网疵点检测的自动化变得尤为重要。

目前基于机器视觉的疵点检测技术在纺织及其他工业领域都较为成熟,刘启浪等[4]通过提取带钢表面缺陷图像的多尺度LBP及LBP 联合特征,利用SVM进行分类,发现对于带钢表面缺陷图像的LBP特征,两种尺度联合特征分类准确率高于单一尺度特征,证明了LBP具有良好的鲁棒性和抗噪性。刘秀平等[5]提出一种基于LBP与低秩稀疏矩阵分解的网状织物纹理缺陷检测方法,该方法分类总正确率达到92%以上。Qin等[6]提出了一种基于剩余能量分布和Gabor特征融合的织物疵点检测新算法,利用信噪比指标和遗传算法对参数进行了优化,该算法优于目前最先进的缺陷检测算法。周静等[7]提出一种基于最小生成树和图像矩的缺陷检测算法,该算法对于检测陶瓷过滤器的裂缝、堵孔缺陷的准确率达到了95%以上。Chen等[8]提出了一种快速导向滤波融合塔式方向梯度直方图(Pyramid histogram of oriented gradients,PHOG)与快速鲁棒性词袋特征(BOW-SURF)融合的算法,对于接触网绝缘子缺陷的检测精度达到了100%。螺旋网是由一定基元按照固定规律排列组合而成,区别于传统织物和普通滤网,其颜色单一,纹理周期性强,具有特殊的空隙结构,相比于传统织物其背景纹理显著,相比于普通滤网其纹理更为复杂。对螺旋网疵点进行精确识别,需同时实现对螺旋网背景纹理的抑制和纹理特征的有效提取,上述疵点检测方法在螺旋网上有待考究。

基于螺旋网图像的特点,本文提出了一种基于LBP特征和SVM分类器的螺旋网疵点自动检测方法。通过提取多模式多尺度的LBP特征,表征螺旋网的局部特征信息,区分局部破损和异常的有疵图像和无疵图像。在样本量较小的情况下,利用SVM分类器对小样本、高维度、非线性的数据进行有效学习和分类的能力,实现有疵和无疵图像的自动检测。

1 图像采集与系统搭建

本文提出的图像采集设备主要要求：在实验中简单易行,采集环境稳定,光照统一,高清晰度,低噪声。结合实验室现有仪器,所组成机器视觉系统如图1所示,包括光源控制器、LED面光源、工业相机、计算机。实验采用大恒水星MER-132-30GC面阵工业数字相机、鹰视L100-100-20面光源和鹰视ACS24V-1L光源控制器对螺旋网图像进行采集。其中工业相机分辨率为400 dpi,面光源最大额定最大功率为40 W,螺旋网置于面光源上方,通过光源控制器对光源亮度进行无级调节,提高螺旋网与背景的对比,便于图像处理时螺旋网边缘和细节的提取。本文硬件环境为：Intel(R)Core(TM)i5-8300H CPU,主频为2.30 GH,内存16 GB;在螺旋网数据集上进行实验。

图1 螺旋网疵点检测系统Fig.1 Spiral mesh defect detection system

螺旋网由于颜色和纹理单一、幅宽较长,肉眼难以精确识别各类疵点,这也导致了人工检测疵点的误检率高、效率低下,需构建在线疵点检测系统以满足纺织企业中螺旋网的工业生产需求,但本文主要为验证算法,实验环境为静态检测。借助该疵点检测系统,共采集无疵点网面图像225张,其纹理重复单一,周期性强;芯丝缺失类疵点图像83张,芯丝为单列或多列缺失;破洞类疵点图像93张,具有不规则的纹理;错环类疵点图像15张,错环处纹理发生不明显变化,面积较小,较难识别;所构建数据集共包含416张图像,有疵和无疵图像比例基本达到 1∶1,训练集和测试集比例为4∶1。采集到图像实例如图2所示。

图2 图像采集实例Fig.2 Examples of image acquisition

2 螺旋网LBP特征与提取

图像特征是指能够反应不同图像特点和特性的集合,根据像素分布情况通过计算处理得到,图像特征多以数据的形式表现出来。含有疵点的螺旋网图像与不含疵点的螺旋网图像存在特征差异,根据纹理特点选择合适的特征是疵点检测的关键。LBP是Ojala等[9]提出的一种描述图像纹理特征的算子,LBP特征具有对光照变化不敏感、计算简单、旋转不变等优点,在多种领域得到广泛应用。目前常用的算子包括基础LBP算子、圆形LBP算子、旋转不变LBP算子、均匀模式LBP算子和旋转不变性均匀模式LBP算子。

2.1 圆形LBP算子

Ojala等[10]使用圆形邻域的像素值插值允许在邻域中任意半径和数目的像素点,实现了不同尺度纹理特征的提取。其原理如式(1)所示：

(1)

其中：P为领域采样点个数,R为邻域采样半径,gc为像素中心点灰度,gp为领域像素点灰度。

(2)

其中：s(x)是描述邻域内相邻像素点灰度大小的符号函数。自定义采样半径和采样点个数的圆形LBP模式如图3所示。

图3 不同P,R值的对应圆形邻域Fig.3 Circular neighborhood for different P and R values

2.2 改进LBP算子

圆形LBP算子虽可以适应不同尺度的纹理特征,但该LBP模式的向量维度会随着采样点个数的增加而呈指数增长,不利于对螺旋网图像的纹理特征进行描述。为减少含纹理信息较少的低频信息,降低LBP维度,提高计算效率和速度,Ojala等[10]提出改进LBP算子,包括旋转不变LBP算子、均匀模式LBP算子和旋转不变性均匀模式LBP算子。

旋转不变LBP原理如式(3)所示：

(3)

其中：ROR(x,i)是为旋转函数,i表示x循环右移的位数。

均匀模式LBP原理如式(4)和式(5)所示：

(4)

(5)

式中：U记录了LBP内0和1之间的跳变次数。非均匀模式LBP其特征维度为2P,而均匀模式LBP维度降低至2+P×(P-1)且能够有效地表达图像纹理信息。

旋转不变性均匀模式LBP算子是前两种改进LBP算子的结合,其特征向量维度仅为P+1。其原理如式(6)所示：

(6)

2.3 特征向量提取过程

首先将检测窗口划分成16×16的小区域(cell),根据不同的算子和尺度计算每个cell内中心像素点的LBP值,计算每个cell内每个数字出现的频率,统计为直方图,再对直方图进行归一化处理,以提高模型的精度,最后输出为LBP特征向量。以旋转不变性均匀模式LBP算子为例,螺旋网LBP特征向量的提取过程如图4所示。

图4 螺旋网LBP特征直方图提取Fig.4 LBP feature histogram extraction of spiral meshes

3 疵点检测

本文采用LBP特征对螺旋网疵点图像检测进行探究,但目前获取的螺旋网疵点种类较少,所采集的图像样本量较少,SVM在解决小样本、非线性模式识别中有众多优势[11],其决策函数由少数支持向量决定,剔除了冗余样本,对于低维数据和高维数据都有良好的分类性能和鲁棒性,故本节采用SVM进行试验,实现螺旋网图像的疵点检测。

3.1 支持向量机

SVM的本质模型是特征空间中最大化间隔的线性分类器,尤其可对小样本、高维度、非线性的数据进行有效学习和分类,拥有良好的泛化能力。对于线性可分数据,SVM直接对其线性可分情况作出分析;对线性不可分数据,SVM利用核函数将其映射到高维空间,构造高维空间中最大分类间隔超平面达到二分类目的[12]。SVM寻找最优超平面的原理如图5所示,图5中黑色圆形代表不含疵点的螺旋网图像,白色菱形代表含有疵点的螺旋网图像,其中最接近分类超平面的点为支持向量,螺旋网图像的数据样本形成两个分类超平面,最优分类超平面即要求将有疵和无疵的螺旋网图像完全正确的分类,并使分类间隔d最大,从而在螺旋网图像数据进一步增多时,保证错误最小化原则。

图5 支持向量机原理Fig.5 Schematic diagram of the support vector machine

针对螺旋网图像数据样本集合S,包含有疵图像和无疵图像两种类型,为得到最优超平面H(yi=±1),yi对应两种不同类型的螺旋网图像,需根据H1和H2计算与H之间的空间距离d,根据计算设定无疵螺旋网图像的分割超平面H1满足式(7)。

(7)

有疵螺旋网图像的分割超平面H2满足式(8)。

(8)

用线性函数总结表示为式(9)。

y=(ωxi+b)

(9)

式中：ω为权值向量,b为偏置,x为输入量,xi为计算时向量的内积。

通过计算可知,超平面的间隔距离为d=1/‖ω‖。所以二分类问题的最大间隔转换为求0.5‖ω‖2最小值。惩罚因子(C)表示对螺旋网疵点检测产生误差的容忍程度,C越高越不能容忍误差的出现,模型越复杂,运算时间较长。引入C后模型计算可转化为式(10)。

(10)

其中线性核函数只用于线性可分情况;高斯核函数是使用最为广泛的核函数,通过调整参数可以适用于任意分布的样本,将非线性的多维样本映射到高维空间中,核值可以在有效范围内改变,同时避免空间复杂度过高,而且其相较于多项式核函数和Sigmoid核函数,其参数少,决策边界多样[13],为得到理想的螺旋网疵点图像分类准确率,本文采用高斯核函数,其原理如式(11)所示。

(11)

式中：‖x-x′‖表示空间中任一点x和某一中心x′之间的欧氏距离,σ为数据在特征空间的分布方式。

引入拉格朗日乘子αi>0,yi>0对核函数计算后,转化为式(12)。

(12)

经过高斯核函数处理后,根据式(13)即可求解超平面最短间隔,从而求得螺旋网有疵和无疵图像的最优解。

(13)

式中：f(x)为高斯核函数。

3.2 基于SVM的检测方案

基于所构建的数据集,将无疵点网面图像标记为0,将有疵点网面图像标记为1。基础LBP和圆形LBP特征存在向量维度过高的问题,不利于螺旋网纹理信息的描述;改进LBP可以在保留像素变化剧烈的高频纹理信息的同时降低特征维度,采样点个数为P时,非均匀模式LBP其特征维度为2P,均匀模式LBP特征维度为2+P×(P-1), 旋转不变性均匀模式LBP算子特征维度仅为P+1。LBP特征向量的维度越小,运算速度越快,所包含的纹理信息越少。

为保证分类器的准确率,将通过5种不同LBP算子所提取到的特征向量输入分类器中进行学习,实现螺旋网有疵点网面图像的分类检测。按照4∶1的比例构造训练集和测试集,即训练集包含333张螺旋网图像,测试集包含83张螺旋网图像。同时使用网格搜索和5折交叉验证,对SVM的超参数进行调优。检测流程如图6所示。

图6 实验流程Fig.6 Flow chart of experiment

4 结果与分析

为了验证本文算法对螺旋网疵点检测的有效性和可行性,实验采用Python编程语言实现。所采集到螺旋网图像物理尺寸为8.20 cm×6.12 cm,图像大小为1292×964像素,本节将从参数优选、检测结果和方法对比3个方面对实验结果进行分析。

4.1 参数优选

在对螺旋网提取LBP特征时,为避免螺旋网LBP特征维度过高,优先考虑三类改进LBP算子;由于螺旋网背景纹理性强,较难抑制,特征维度过低时对螺旋网纹理信息的描述可能不足,故在确定参数时采用特征维度较低且纹理描述较为全面的均匀模式LBP算子。随着采样半径和采样点个数的增加,对螺旋网纹理信息的描述会更加详细,但也会使计算量增大,降低运算速度,且直方图过于稀疏,不利于分类器分类。本文采用(1,8),(2,8)和(1,12)这3个尺度的LBP特征进行实验。

对于SVM分类器,采用高斯核时,C和核半径(γ)选择对SVM性能产生较大的影响,C过大会使模型泛化能力差,导致过拟合,C过小容易会使分类效果不佳,导致欠拟合;γ值越小单个训练样本影响越大。本文经过多次试验探究,预设惩罚系数C范围为0.01～20,γ默认值为特征数目的倒数,γ范围为默认值至0.1,通过网格搜索的方式对于预设的C和γ组合训练模型,每组超参数都采用5折交叉验证进行评估,获得最佳参数。

由图7可知,SVM分类器的参数C=10,γ为默认值1/243时,分类准确率最高为100%。

图7 SVM参数调优Fig.7 SVM parameter tuning

4.2 检测结果

分别提取多尺度下圆形LBP,旋转不变LBPri,均匀模式LBPu2和旋转不变性均匀模式LBPriu2的统计直方图作为特征向量,对螺旋网图像的LBP特征参数进行优选,采用SVM分别对LBP特征进行评估。其中SVM通过迭代实现对模型的训练和优化,迭代是不断通过变量旧值递推新值的过程,从而获得全局最优解,SVM训练过程如 图8 所示。

图8 SVM训练过程Fig.8 SVM training process

通过观察和分析图8可知,SVM在迭代至第227次时,达到最优分类准确率。

基于LBP特征和SVM分类器实现螺旋网疵点图像分类的结果如表1所示。

表1 基于LBP特征螺旋网图像分类结果Tab.1 Spiral mesh image classification results based on LBP features

通过观察和分析表1, 在对螺旋网图像提取均匀模式LBPu2特征时,(8,2)尺度的分类准确率达到了100%。疵点通常属于局部的破损和异常,局部纹理的周期性遭到破坏,LBP对于局部特征比较敏感,可以对有疵和无疵区域进行有效区分,LBP采样半径会影响特征的精细程度,采样点个数影响运算时间,(8,2)尺度的分类准确率高于(8,1)和(12,1)尺度,因此(8,2)尺度均匀模式LBPu2算子在保证运算速度的同时更能有效地描述螺旋网特征。相较于非均匀模式LBP,运行速度得到明显提升,达到0.48 s/张。此时LBP特征数目为243,故此处取到γ=1/243。

4.3 方法对比

4.3.1 特征对比

为了验证LBP特征在螺旋网上的优越性和实验结果准确性,同时提取了螺旋网图像的其他五个常用的特征作为对比[14],这5个特征分别是：灰度共生矩阵(Gray level co-occurrence matrix,GLCM)[15],灰度差分统计(Gray-scale difference statistics,GDS)[16],小波分析(Wavelets)[17],方向梯度直方图(Histogram of oriented gradient,HOG)[18]和塔式方向梯度直方图(PHOG)[19]。其中,小波分析特征是通过提取经小波滤波后螺旋网图像的一维信息熵作为特征向量;由于本实验采集到的图像大小为1292×964像素,则所提取到的HOG特征维度达到了40716,为了避免维度灾难,采用主成分分析(Principal component analysis,PCA)对所提取到的HOG特征进行降维[18]。基于该五个特征的螺旋网疵点图像的分类结果如表2所示。

表2 基于其他特征螺旋网图像分类结果Tab. 2 Spiral mesh image classification results based on other features

通过对表2 进行分析,螺旋网图像提取LBPu2 (8,2)特征的运行速度虽不及GLCM、GDS、HOG-PCA特征,但分类准确率高于这5个常用特征,即LBPu2 (8,2)最能有效全面地描述螺旋网图像的纹理信息,验证了LBP特征具有良好的鲁棒性。

4.3.2 分类器对比

采用最邻近结点算法 (K-NN) 作为对比的分类器,使用本文所优选的(8,2)尺度的均匀模式LBP特征进行分类,预设K-NN近邻数k为1-10,同时使用5折交叉验证寻找最优的参数k,分类结果分别如表3所示。

表3 基于不同分类器的螺旋网图像分类结果Tab. 3 Spiral mesh image classification results based on different classifiers

由表3可知,SVM最优分类准确率为100%,检测速度为0.47 s/张;K-NN分类器的最优分类准确率为98.6%,检测速度为0.60 s/张。本文数据集仅包含416张螺旋网图像,SVM和K-NN分类器的分类准确率相差较小,但随着实际生产中螺旋网数量的增多,准确率的差异会随之增大,这就需要螺旋网疵点检测算法有良好的稳定性和检测速度,而SVM分类器的准确率和速度都优于K-NN分类器,人工检测受主观因素和疲劳的影响,误检率高,检测速度慢。因此为保证螺旋网实际生产效率,本文采用分类效果更好的SVM分类器。

5 结 论

为了解决了现阶段人工检测螺旋网疵点误检率高、效率低和成本高等问题,本文基于分类思想,提出了一种适用于螺旋网疵点检测的算法。研究发现最适合螺旋网疵点检测的特征是采样点个数为8,采样半径为2的均匀模式LBP算子;SVM最优参数为C=10,γ=1/243。实验结果显示对螺旋网有疵和无疵图像的分类准确率达到100%,验证了LBP算子具有良好的鲁棒性,平均分类速度达到0.48 s/张,验证了文本所提方法的有效性和高效性。通过对比不同的特征和分类器,验证了本文方法对于螺旋网疵点检测的适用性。本文所采集到螺旋网疵点图像的样本量较少,后续将在此基础上继续增加样本数量,建立更加稳定的螺旋网疵点检测系统。