应用多尺度多方向模板卷积的筒子纱缺陷检测

蔡逸超， 周 晓， 宋明峰， 牟新刚

(武汉理工大学 机电工程学院， 湖北 武汉 430070)

筒子纱作为纺织织造中的关键一环，其质量直接影响纺织成品的好坏。由于纱线原料质量不佳或络筒工艺不良，筒子纱在成型过程中可能产生各种缺陷。筒子纱的缺陷检测是保证其自身以及后续纺织产品质量的关键工序。传统纺纱厂采用人工方法检测筒子纱缺陷效率低，检测结果的可信度依赖于工人的受训水平。筒子纱的表面缺陷在视觉上表现比较明显，在不破坏其已成型结构的前提下，采用机器视觉技术进行检测可降低人工检测的成本，提高检测速度和准确率[1]。

网纱缺陷是筒子纱表面常见的纹理缺陷，其产生原因主要是设备清洁维护不到位，如槽筒回头点损伤。目前，基于机器视觉对纹理缺陷自动检测的方法主要有3大类[2]：基于统计的、基于频谱的和基于模型的检测方法。基于统计的纹理缺陷检测方法通过计算图像局部邻域内或其间的依赖关系，将窗口内的一致性和特异性描述成纹理特征。基于统计的方法包含互相关、分形维数、边缘检测和灰度共生矩阵[3]等方法；基于频谱的方法主要有Gabor滤波器[4]、小波变换[5]和离散傅里叶变换等；基于模型的缺陷检测方法通过控制参数的模型分布，并将模型参数作为纹理特征，马尔科夫随机场模型[6]是典型的基于模型的缺陷检测方法。Jing等[7]提出基于Gabor滤波器和黄金图像减影的方法，该方法正确检出率可达95.62%，但不适于筒子纱这类没有规则纹理基元织物的检测。Hanmandlu等[8]使用灰度共生矩阵(GLCM)结合ROSETTA方法，针对普通织物有较高的识别率。何薇等[9]提出一种有效提取Gabor滤波最优参数的方法，通过离线构建Gabor小波神经网络重构出无瑕疵的匹配图像，有效地削弱了织物本身纹理对瑕疵检测的影响。Zhang等[10]针对织物起球的缺陷提出一种基于小波分解的方法，并利用主分量分析将起球缺陷量化成 5个量级，细化了瑕疵品的分类等级，但检测对象局限于起球缺陷。Cao等[11]根据有缺陷织物通常由相对一致的纹理基元和稀疏的缺陷组成的特性，在特征空间中将缺陷织物抽象成1个低秩矩阵加上1个稀疏矩阵，实现了对织物各种缺陷的精确定位并具有较高的鲁棒性。然而，利用神经网络训练需要采集大量缺陷产品样本。筒子纱瑕疵品占比很小，且缺陷表现形式不规则，宜采用非训练方法进行识别。针对筒子纱在成型过程中产生的网纱缺陷，本文提出一种基于多尺度多方向模板卷积的网纱缺陷检测算法，根据筒子纱网纱缺陷的图像特征，该算法构造多个尺度、多个方向的边缘模板与网纱纹理图像进行卷积，然后分析卷积响应实现筒子纱的网纱缺陷检测。

1 系统框架

1.1 系统组成与工作原理

在前期研究中，已设计了基于机器视觉和图像处理技术的筒子纱缺陷检测系统[1]。该系统主要由传送带、对照式光电开关、LED光源组和工控机组成。系统自动采集待检筒子纱的图像，并利用图像处理算法判断其是否有表面缺陷。

系统通过对照式光电传感器信号驱动。当待检筒子纱到达指定工作位置时，对照式光电开关受到遮挡发出工作信号。系统接收到信号后，光源组配合相机组采集筒子纱图像。然后，利用图像处理算法对采集的图像进行缺陷检测。最后执行机构提出有缺陷的筒子纱。系统工作原理示意如图1所示。

图1 系统工作原理Fig.1 System working flowchart

1.2 图像采集

缺陷的在线检测要求筒子纱随传送带运动，为同时保证实时性和图像分辨率，系统选用大恒图像的工业相机，型号为MER-125-30UM。该相机分辨率为1 292像素×964像素，传感器像元大小为 3.75 μm×3.75 μm，相机支持多级采集调速，最小曝光时间为19.875 μs。选用型号为FL-CC0814A-2M的Ricoh镜头，焦距为12 mm。

为使采集到的图像中筒子纱纹理清晰，设定筒子纱占图像0.75倍宽度即已占据绝大部分像素。根据中心成像原理，计算出相机与筒子纱之间的标准工作距离。

(1)

式中：μ为像元大小,μm；N为筒子纱在图像中所占的像素宽度,mm；f为相机焦距,mm；l为筒子纱在成像方向上的实际尺寸,cm；d为相机的工作距离,cm。

筒子纱顶面圆环的外直径一般为24 cm，但在实际检测过程中，不同批次的筒子纱尺寸可能不同，并且其位置会随传送带的位置产生少许偏差。根据中心成像公式，设置相机与筒子纱顶面的工作距离为110 cm，且镜头光心位置与筒子纱理论的中心位置保持一致。按照该尺寸参数，当筒子纱的位置偏离标准位置4 cm以内，且筒子顶面圆环直径不超过32 cm时，系统均能采集完整、清晰的筒子纱图像。

在图像采集过程中，还需要考虑相机的曝光时长问题。如果将曝光时间设置得过长，相机的采样速率降低，采集运动图像会产生拖影；反之，易使图像中产生超出容许范围的大量噪点。根据中心成像原理，曝光时间的设计应综合考虑镜头焦距、待测物体距离以及物体运动速度等因素。

(2)

式中：u为像元尺寸大小,μm；n为容许的最大拖影像素数量；v为筒子纱的运动速度，m/s，其值约为0.15 m/s。

为保证成像中筒子纱的缺陷纹理清晰，将n设置为2个像素，可计算得到曝光时间应该设置小于4.1 ms。

在本文系统中，为提高算法的处理速度和鲁棒性，通过系统的结构设计隔绝外界自然光照。然后为系统安装人工光源，通过设计光路和时序控制系统的光照，使系统的光照条件为算法所需状态。在本文系统中，相机曝光时间设置为3 ms，通过调节LED光源的亮度配合相机拍照。这样做可保证采集到的图像质量，减少算法的复杂度，以提高处理速度和系统稳定性。

2 检测算法

本文检测算法主要分为预处理和缺陷检测二部分。预处理过程：首先确定筒芯位置，根据筒芯位置对原始图像进行极坐标展开；然后，在展开图中提取待检测的有效区域(下称待检测图像)。缺陷检测部分：首先利用水平方向的一维高斯差分算子提取待检测图像的垂直边缘，通过改变高斯核的标准差获取不同尺度下的边缘图像；然后，将0°～180°离散成多个方向模板，并构造各方向模板图像分别与多尺度的边缘图像进行卷积；然后逐个像素投票各方向模板卷积结果的最大值；最后，对最大相关强度进行阈值处理得到缺陷检测结果。图2示出检测算法的整体框图。

图2 算法框图Fig.2 Algorithm framework

2.1 预处理

预处理主要功能是提取筒子纱顶面的纹理区域，并将其展开成易于处理的矩形。在采集到的原图中，筒子纱的顶面呈圆环状，如图3(a)所示。首先，利用OTSU算法对原图进行阈值分割，图3(b)为阈值分割结果。利用分割的前景区域的质心作为中心极坐标展开原图，并利用竖直方向Sobel算子处理展开图，得到水平方向的梯度图像。然后，将梯度图像竖直方向进行投影，标记投影的最小、最大值位置作为筒子圆环状纹理区域的起始半径和结束半径。

图3 图像预处理过程Fig.3 Image preprocessing. (a) Original image; (b) Threshold segmentation result; (c) Elliptic fitting result; (d) Ring expansion image

利用二值图像的前景区域质心作为中心进行极坐标变换只能得到粗略的展开图，不能准确地将径向与切向方向映射到矩形的宽、高方向。本文利用展开图的梯度图像找到筒子内、外半径的位置，将这些点进行反变换求出原图中的坐标，并利用椭圆拟合确定筒芯的位置。图3(c)中白色标记为椭圆的拟合结果。然后，将拟合椭圆的中心作为中心，将原图进行极坐标展开。最后利用筒子圆环的起始位置和结束位置信息在展开图中提取有效检测区域，如图3(d)所示。

2.2 缺陷检测

提取有效的待检测区域后，结合筒子纱表面纹理在展开图中的特征，本文提出一种基于多尺度多方向模板卷积的网纱缺陷检测算法。

首先，根据网纱缺陷的纹理先验信息，利用水平方向的一维高斯差分算子提取边缘。通过设置不同标准差的高斯核，提取多个尺度下的边缘图像。然后，将0°～180°角度区间构造多个方向模板，与各尺度下的边缘模板进行卷积。最后，通过投票方式，记录每个像素点各尺度下的最强模板卷积结果，作为该点的最大卷积强度图像。图4示出缺陷检测算法示意图。

图4 缺陷检测示意图Fig.4 Defect detection diagram

2.2.1多尺度边缘提取

高斯拉普拉斯算子(LoG)对噪声的鲁棒性，是一个常用的边缘检测算子。但随着高斯核尺度的增加，LoG的计算量变得较大。所以，常使用高斯差分算子(DoG)来近似LoG。

(3)

式中：x、y为像素对于中心像素的相对坐标；σ1和σ2分别为高斯滤波核的尺度参数(σ1>σ2)，当二者比例为1.6∶1时，DoG算子可达到近似LoG的效果。高斯差分边缘通过分别用不同的高斯滤波结果图像做差得到，滤波核的窗选取 6σ+1 (σ为高斯滤波核的尺度)时可保留绝大部分信息。

筒子纱由纱线卷绕而成，其纹理表现为纱线卷绕产生的切向纹理，而网纱缺陷表现为与筒子自身纱线卷绕方向不同的纹理。在展开图中，筒子纱自身纹理为水平方向的较弱纹理，网纱缺陷为非水平方向的强纹理，如图5所示。

图5 缺陷纹理与正常纹理对比Fig.5 Comparison between normal texture(a) and net-yarn(b) defects

为抑制筒子纱自身纹理的干扰，凸显网纱缺陷的边缘，使用水平方向的一维高斯差分算子对图像进行边缘提取:

(4)

g1(x,yi)=Gσ1(x)⊗f(x,yi)

(5)

g2(x,yi)=Gσ2(x)⊗f(x,yi)

(6)

g(x,yi)=g1(x,yi)-g2(x,yi)

(7)

式(4)为一维高斯函数,式(5)、(6)分别表示对图像的第i行用尺度为σ1、σ2的高斯核进行滤波，式(7)表示第i行2个尺度高斯滤波的差分结果。分别对图像每一行进行2个尺度的一维高斯滤波，然后将滤波的结果相减便得到垂直边缘图像。图6示出普通DoG算子和水平DoG算子提取的边缘图像。

图6 普通和水平DoG提取的边缘图像Fig.6 Extracted edge images by normal(a) and horizontal(b) DoG

DoG算子高斯核的标准差σ决定提取边缘的精细程度，σ越大，边缘提取算子的尺度越大，提取的边缘越粗大。本文通过选用不同标准差的差分算子，提取多个尺度下的边缘，可保证一定范围内的尺度鲁棒性。

2.2.2多方向模板卷积

由于纱线的表面为纤维材质，筒子纱表面的基本纹理比较粗糙且不完全表现在水平方向上，从高斯边缘图像中无法直接确定缺陷位置。本文提出基于多方向模板卷积的方法，在差分边缘图像中分割出缺陷的位置。首先，将0°～180°角度范围离散为多个方向边缘模板图像。角度步距的大小决定了模板数量，步距越小生产的模板数量越多，效果越好，但模板数量的增多也增加了算法的时间消耗。为保证检测算法的实时性和检测精度，本文以10°为步距，将0°～180°等距离散为18个边缘模板图像。通过纵向的参数比较，选取模板图像大小为26像素×26像素，模板图像边缘为3个像素宽度。图7示出离散化的18个方向的边缘模板。

图7 多方向边缘模板Fig.7 Edge template images in multiple directions

图9 缺陷检测结果Fig.9 Defects detecting results of net-yarn (a) and cheese (b)

然后，将上述18个方向的边缘模板图像分别与多个尺度下的边缘图像进行卷积。模板卷积反映各方向模板与边缘的卷积，响应强度反映边缘图像与该方向边缘模板的相似程度。边缘越强烈且与该方向模板相似程度越高，相关结果的值越大。在每个像素位置，对各方向模板与各尺度下的边缘图像的相关结果投票，得到最大卷积响应图像。最大卷积响应结果反映筒子纱表面的纹理在非水平方向上的最大强度值。图8示出最大卷积响应结果经过归一化之后的图像。

图8 最大卷积响应结果Fig.8 Maximum convolution value

最后，通过选取经验阈值判定最大相关结果图像中各像素位置是否为缺陷位置。

(8)

(9)

式中：mi为第i个边缘模板，i的取值范围为0,1,2,…,17；j为不同的尺度序号；gj(x,y)为第j个尺度下提取的边缘图像；h(x,y)为每个方向的边缘模板与各边缘图像卷积结果的最大响应值；T为经验阈值；fd(x,y)为最终的缺陷检测结果。

3 实验结果与分析

为评估算法的缺陷检测效果，本文对一系列样本进行实验。采用的计算机处理器为Intel core i7-6700HQ，8 GB内存，平台为Windows 10 ×64和VS 2015。图9示出部分实验样本的缺陷识别结果。

算法中需要设计的参数有高斯滤波核的尺度参数σ1、σ2，以及分割最大方向相关强度的经验阈值T。本文选取经验阈值T=1.0，在此基础上设置不同尺度的滤波核的缺陷识别结果，其中σ1=1.6σ2。高斯核的尺度参数过小，会存在明显的缺陷漏检现象；但是尺度太大时， DoG边缘算子除提取缺陷之外，还增强了一些单独疵点和筒子纱的本身纹理。考虑到筒子纱表面的疵点主要是附着在表面的赃物而非成型不良造成，在后续工序中可方便地去除，本文选取σ2分别为0.8、1.0、1.2、1.4、1.6尺度的DoG算子提取边缘。

得到检测结果图像后，根据检测结果二值图像中的前景像素的区域特征判断是否为网纱。因为筒子纱表面在生产过程中可能会附着一些脏点，这些脏点会产生很小范围的响应，但并不是网纱缺陷。 在检测结果图像中，如果前景像素构成连通域的主方向的长度超过30像素，认为该结果对应1处网纱缺陷。否则，当连通域的主方向长度小于30像素，判定该检测结果对应正常筒子纱。

本文使用检测成功率评价算法效果，当筒子纱的网纱缺陷与识别的缺陷结果的像素重合率达到80%以上时，视为1处正确的检测，否则视为检测错误。选取100处缺陷进行检验，本文算法的识别准确率为0.96。经过优化后，算法检测1个筒子纱耗时约为230 ms，具有较高实时性，可满足实际生产过程中的筒子纱缺陷检测。

4 结 论

本文提出基于多尺度多方向模板卷积的筒子纱缺陷检测算法。该算法首先利用阈值分割和极坐标变换等技术对筒子纱图像进行预处理，将其展开成便于处理的矩形。然后根据筒子纱自身纹理以及缺陷特征的先验信息，构造多个尺度的DoG算子提取边缘，再构造多方向边缘模板与多尺度边缘图像卷积，最后利用经验阈值分割最大卷积响应图像得到缺陷。通过实验验证，该算法能够有效检测筒子纱表面的网纱缺陷，并具有较高实时性和识别准确率。