基于视觉显著性与RBF 神经网络融合的织物瑕疵检测

徐伟锋，祝新军，刘 山

(1. 绍兴职业技术学院机电工程与交通学院，绍兴 312000；2. 浙江大学控制科学与工程学院工业控制技术国家重点实验室，杭州 310027)

随着计算机视觉技术与图像处理技术的发展，机器视觉检测已广泛应用到缺陷检测中。 而目前，大部分纺织企业仍采用织物传统人工检测方法，检测质量受人状态影响，生产效率低，易产生误检、漏检现象。 近年来，国内外关于机器视觉在织物瑕疵检测中的应用研究，主要涉及空域法、频域法、模型法和机器学习算法[1－2]。 如Hanmandlu 等[3]提出通过空间统计分析不规则图像的灰度级表面分形维数特征，得到图像的粗糙度和自相似性，但由于局部信息易被忽略，对织物较小的缺陷难以检测。刘伟斌等[4]提出采用频域滤波分析法，通过傅里叶变换获得织物频谱图，利用频域滤波获得织物纹理信息，并通过高斯平滑后二值化分割出织物瑕疵，适用于规则纹理的织物检测。 周文明等[5]针对织物纹理多样性与织物瑕疵外形不确定性，提出一种应用上下文视觉显著性模型的检测方法，通过织物图像输入视觉显著性，生成织物显著图，确定织物瑕疵区域位置，能较好检测出织物瑕疵，但容易将正常区域的织物图像误检为有缺陷的织物图像。同时，随着人工智能技术的逐渐成熟，机器学习神经网络算法也逐步应用到织物瑕疵检测中。 如吴志洋等[6]通过机器学习算法中的卷积神经网络，对单色织物瑕疵进行设别与分类检测，有效提升检测速度和检测准确率，但算法参数量大、计算复杂，实效性不理想，不能满足实际需求。 另外，由于神经网络算法对图像有较强的分析和数据处理能力，能快速识别分类图像缺陷[7]，但神经网络算法在织物瑕疵检测中的应用还处于初期阶段，研究相对较少。 而在织物瑕疵检测中，尽管织物瑕疵种类较多、背景较为复杂且位置不确定等特点，如典型的缺经、断纬、破洞和污渍缺陷，其缺陷特征各不相同，但从视觉显著性来看，织物瑕疵区域必然与正常区域的对比度、纹理粗糙度和方向等特征存在差异，可通过提升缺陷区域的显著度，从而提高织物瑕疵检测准确率和有效性。 所以，本文引入具有上下文感知的视觉显著性，提出一种基于视觉显著性与RBF 神经网络相融合的织物瑕疵检测方法。

1 织物瑕疵检测方法

本文织物瑕疵检测方法流程框架如下页图1所示，包含检测阶段和训练阶段两部分。 检测阶段织物图像输入后，为去除图像干扰，先对织物图像采用空域中值滤波进行预处理，接着引入视觉显著性计算模型，进行图像区域对比度、纹理粗糙度和方向的视觉显著性计算，将计算图像区域对比度的异常特征定义为高显著值，而图像纹理粗糙度强调突出异常特征，正常特征为低显著值，选取空间方向位置较为集聚的缺陷区域显著性特征，对视觉显著性织物瑕疵特征归一化，并利用通过RBF 神经网络训练输出图像映射函数对显著性图像进行重构，结合网络特征字典，提取织物瑕疵图像特征，最后，对织物瑕疵显著图进行定位分割，输出检测结果。 而训练阶段主要利用现有织物图像库数据，构建织物图像样本集进行网络训练，获得图像映射函数和网络特征字典。

1.1 图像预处理

织物图像采集过程所用的CCD 工业相机易产生散粒噪声和暗电流尖峰噪声，同时还会受现场复杂环境不确定因素的影响，需先对织物图像进行图像降噪处理，避免织物图像失真，便于后续织物瑕疵图像的检测。 常用的图像降噪处理方式主要有高斯滤波、均值滤波和中值滤波[8].而相比而言，中值滤波在空域滤波中具有较好的抑制非线性信号噪声，假设织物原图像f(l，j)和中值滤波后图像g(l，j)，其数学模型为[9]:

g(i，j)＝med{f(i－k，j－l)，(k，l∈W)} (1)

式中，i、j分别为横坐标像素和纵坐标像素，W为二维模板，通常空间区域为3×3 或5×5。

本文采用空间区间3×3 的中值滤波分别对典型缺经、断纬、破洞和污渍织物瑕疵进行图像滤波降噪，处理效果如图2 所示。

图2 典型织物瑕疵中值滤波处理前后对比

1.2 视觉显著性计算

1.2.1 区域对比度显著性计算

织物图像可分为多个局部图像像素单元，按照区域显著性特点，织物瑕疵显著区域的像素单元较为聚集，而背景区域的图像像素单元则较为分散，图像的像素单元之间差异性可通过上下文感知显著性进行表示，采用CA 模型[10]计算公式如下:

式中:dc(pi，pj)为空间区域上像素单元pi和pj之间的欧几里得距离，dp(pi，pj)为空间区域上像素单元pi和pj之间的位置距离，λ为空间位置关系的调节因子。

而在图像区域对比度显著性中，图像背景的相似图像像素单元会存在于不同的尺度，显著图像像素单元仅在某些尺度上存在。 假定以像素单元pi为中心的一组多尺度图像的像素单元集合可表示每一个像素，pi的像素单元集合Rq＝{r1，...，rk}，则各个尺度上的显著值计算公式如下:

1.2.3 纹理方向显著性计算

根据织物的织造工艺，织物纹理方向主要涉及经纱方向和纬纱方向，织物区域的经纬取向性较强，可通过织物图像经纬方向投影向量来表征织物纹理方向的显著性。 而织物正常纹理的投影向量呈现规则且稳定特性，织物瑕疵纹理的投影向量则呈现不规则或有突变现象。 所以，设H(i，j)为h×w织物图像像素块，经向和纬向的投影向量分别为Ph(i)和Pw(j)，则织物纹理方向投影一维向量的显著性计算[12]如下:

1.3 基于RBF 神经网络的织物瑕疵特征提取

针对织物多维度的视觉显著性特征，引入具有最优逼近且多变量插值的径向基函数(Radial－Basis Function， RBF)神经网络算法[13]，包含输入层、隐含层和输出层的网络结构，如下页图3 所示。其中，RBF 神经网络的径向基传递函数和网络隐含层到输出层之间关系如下:

图3 RBF 神经网络结构

式中:ci为RBF 中心参数，σ2为RBF 宽度方差值，wi j∈Rn2×n3为隐含层至输出层之间权值。

本文结合RBF 神经网络映射函数与织物显著性缺陷图像进行重构，通过网络训练获得的网络特征字典对织物瑕疵重构图像进行特征提取。 并利用反向传播算法[14]，对RBF 神经网络权值参数优化与网络特征字典更新学习，通过前向传播的误差和结果对反向传播权重参数进行调整，并将构造的RBF 神经网络对织物图像进行训练。 假设输入图像样本集为m(x，y)，前向传播输出的误差代价函数为:

1.4 织物瑕疵的定位分割

为获得最终织物瑕疵图像检测目标，还需对织物瑕疵图像显著性特征图进行定位分割。 而对比目前在缺陷分割中几种较为实用的算法:大津法阈值、固定阈值、全局阈值、最大熵阈值等[15]。 本文采用基于MeanShift 聚类的最大熵自动阈值法进行定位分割，以图像像素中的向量众数为中心，通过平滑滤波将图像分割成小区域，合并相邻差异小的像素块，获取较突显缺陷区域，并对突显区域采用最大熵自动阈值定位分割，获得最终织物瑕疵检测结果并输出。

2 实验与分析

2.1 图库构建及试验环境

本文使用的织物图像库图片数据从浙江省某纺织企业获得，含有织物瑕疵图片1865 张和常规模板图片78 张，图片分辨率为4096×2160，在实验中，将1728 张缺陷图片划分为训练样本集，剩下的215 张作为验证样本集，主要涉及缺经、吊边、破洞、断纬、污渍、带纱等30 种典型的织物瑕疵。 而由于在神经网络训练过程需要大量的样本数据，故对现有织物图像库图片数据进行切割和翻转等增强处理，将原图片数据集扩容6 倍，以达到训练效果。 本文试验硬件环境CPU Intel Core(TM)2.81GHz， GPU NVIDA GeForce GTX 1660Ti，软件编程环境操作系统Windows10、Matlabr2018a、Tensorflow1.9 和Python3.7。

2.2 结果与分析

为验证检测方法的有效性，实验通过对织物典型缺经、断纬、破洞和污渍瑕疵检测，将本文检测方法与SR(Spectral Residual，剩余谱)模型检测方法(方法1)、文献[11]方法(方法2)检测的显著性特征图进行对比，检测结果如上页图4 所示。

图4 典型织物瑕疵检测结果对比

从检测结果和检测性能对比来看，方法1 在对缺经、污渍瑕疵的检测中，部分缺陷特征没有突现，未能被检测出，同时从检测性能对比表1 可知，该方法平均检测准确率不高。 方法2 对织物瑕疵显著性的检测效果较好，但在部分瑕疵检测过程中，出现将正常图像误检为瑕疵缺陷，平均检测时间较长。 相比而言，本文基于视觉显著性与RBF 神经网络融合的织物瑕疵检测方法能有效突出异常瑕疵区域，对显著性较强的缺经、断纬、破洞瑕疵的检测效果较好，并且对于背景纹理结构较为复杂织物污渍瑕疵也能有效检测，同时，从实际检测效果和性能数据来看，本文方法在从平均检测时间花费也较少，平均检测准确率较高，能确保检测效率，达到工业现场的预期检测性能要求。

表1 三种检测方法的检测性能对比

3 结语

本文结合织物瑕疵显著性特点，提出视觉显著性与RBF 神经网络融合的织物瑕疵检测方法。 织物图像经最佳中值滤波预处理后，通过计算获得织物瑕疵区域对比度、纹理粗糙度和纹理方向的异常显著性，并对其显著图加权归一化，同时融合训练获得的映射函数重构织物图像，通过网络特征字典对织物瑕疵重构图像提取特征，采用MeanShift 聚类最大熵自动阈值法分割定位，能有效获得织物瑕疵检测结果。 从实验结果对比表明，本文所提方法能实时有效对多种异常特征较弱的织物瑕疵进行检测，适应性强，检测准确率大幅提升，可满足实际工业环境下织物瑕疵检测要求。