基于机器视觉的织物缺经检测系统
2022-10-13宋志峰徐自立林富生余联庆
石 全 宋志峰 徐自立 林富生 余联庆
(1.武汉纺织大学,湖北武汉,430200;2.三维纺织湖北省工程研究中心,湖北武汉,430200;3.湖北省数字化纺织装备重点实验室,湖北武汉,430200)
随着现代纺织工业的发展,织机效率越来越高[1],然而机织物缺陷检测的工作还是主要由人工完成,这就导致了缺陷检测效率与织机效率不匹配[2]、工人劳动强度过大等问题[3]。为了使织物缺陷检测工作与现代纺织工业的发展相适应[4],需要更加高效可靠的织物缺陷检测方法来代替人工检测[5]。
目前已经有一些学者针对此问题进行研究,并取得了一定成果[6]。利用能量差对比法检测织物缺经缺纬[7],速度快,可行性较强,但由于织物边缘位置与缺陷位置能量特征相似,采集图像时应避免采集到织物边缘位置。利用小波变换检测织物疵点[8-9],计算成本低,成功率较高,但如果边缘周围存在与疵点相似的痕迹,就容易造成算法的误判。利用双混沌机制粒子群算法检测织物疵点[10],利于粒子群搜索最优解,但是该算法较为复杂,检测速度不高。深度学习算法也被应用到织物疵点检测中[11-12],但为了提高该算法的检测精准度,前期需要大量的样本进行训练,而且织物的生产过程较为复杂,出现的疵点随机性较大,有时难以准确判断。
缺经是织物疵点的主要类型之一[13-14],本研究提出了一种基于Halcon 的织物缺经检测系统,首先通过预处理增强缺经特征;然后构造滤波器进行方向滤波提高缺经部分与非缺经部分对比度;最后通过灰度投影曲线差分判断缺经情况。该方法不仅可以区分出织物的边缘部分和缺经部分,而且针对不同光照条件下的织物图像有较强的自适应能力[15]。经过试验证明,该方法可有效检测出织物的缺经情况,检测速度快,结果准确,有较强的鲁棒性。
1 检测系统设计
该系统由计算机、工控柜、传送带、光源、相机组成。计算机收发数据和图像处理;工控柜控制传送带运动;传送带运送织物;相机采集织物图片;光源增强织物特征。检测系统示意图如图1所示。
1.1 采集图像
一般纱线颜色较浅,缺经部分与非缺经部分的对比度非常小,难以区分。因此采集图像前,在织物下方通过红色高频率荧光灯光源进行打光处理[16],使缺经部分与非缺经部分的对比度提高,以便于后续检测。使用工业CCD 相机对图像进行三通道采集[17-18]。打光处理后采集到的缺经织物样本图像如图2 所示。
图2 缺经织物图像
1.2 预处理
虽然采集图像时用红色光源进行了打光,使缺经部分与非缺经部分的对比度有了一定提高,但此时仍然不能清晰区分。将原本的三通道图像分解为三个单通道图像即R、G、B 通道图像,如图3 所示。可以看出,R 通道的缺经部分最为明显,因此对R 通道图像做后续检测处理。
图3 单通道织物图像
R 通道图像中,缺经部分是白色,而以黑色为主的非缺经部分占据了图像大部分位置,缺经部分仍然不易区分。因此,对R 通道图像进行灰度反转处理,如图4 所示。可以明显看出,缺经处的灰度值与非缺经处有明显不同。
图4 灰度反转后的织物图像
1.3 方向滤波
方向滤波是利用卷积的方法对像素值进行梯度差分运算,增强灰度值突变处的特征,其原理如图5 所示。方向滤波器从原图像的左上角依次向右移动,对应位置的数字相乘并相加,得到的值为新图像在滤波器中心位置处像素点的灰度值。由水平方向滤波器的构造可知,灰度值变化平滑的位置,滤波器中左右两侧像素点的灰度值发生了很大程度的抵消,卷积后灰度值变化不大。而灰度值变化剧烈的位置,左右两侧像素点的灰度值无法抵消,并对原灰度值进行了增幅。因此,可以使用方向滤波进一步增强缺经特征。
图5 方向滤波原理示意图
为了获得理想的滤波效果,构造了不同阶数的滤波器,并对滤波效果进行比较,如图6 所示。滤波后的织物图像如图7 所示。
图6 不同阶数的方向滤波器
图7 不同阶数方向滤波后的织物图像
在后续试验中发现,经3 阶方向滤波的样本,漏检情况较多;7 阶方向滤波的样本,错检情况较多;而5 阶方向滤波的样本,效果较好。为了控制整体灰度值处于合适的范围,使用5 阶方向滤波器后,给滤波器赋予不同的权重,进行后续检测试验,滤波后的织物图像如图8 所示。
经过大量测试,权重为-1/4 时检测准确率最高。因此,将滤波器确定为权重-1/4 的5 阶方向滤波器。
1.4 灰度投影
为了准确得到灰度值分布情况,对织物图像进行垂直灰度投影,方向滤波前后的灰度投影曲线如图9 所示。
图9 方向滤波前后的垂直灰度投影曲线
从图9 中发现,经过方向滤波,缺经特征得到了充分的增强,但织物边缘部分的灰度值特征与缺经部分难以区分。因此采用均值滤波进一步处理。
1.5 均值滤波
一方面,由于不同织物采集到的图像整体灰度值有所不同,同一织物在不同光照条件下采集到的图像整体灰度值也会发生变化。另一方面,由于织物边缘的灰度值投影也会突然增大。因此,仅仅根据垂直灰度投影的值并不能准确判断出缺经的位置。为了使不同光照条件下图像的检测具有更强的鲁棒性,以及消除将织物边缘误检测为缺经的情况,采用均值滤波平滑灰度投影曲线。
均值滤波后的灰度投影曲线如图10 所示。可以看出,缺经部分的灰度投影值大大减小,边缘部分和其他非缺经部分的灰度投影值和原曲线相差不大。
图10 均值滤波后的灰度投影曲线
1.6 灰度投影曲线差分
在相同坐标系下分别表示出均值滤波前后的灰度投影曲线,可以更加直观地看出缺经部分两者的差值远远超过其他部分,如图11 所示。其中,蓝色曲线为均值滤波前的灰度投影曲线,红色曲线为均值滤波后的灰度投影曲线。
图11 均值滤波前后的灰度投影曲线
由于灰度投影曲线仅在缺经部分发生了明显变化,将均值滤波前后的灰度投影曲线差分,得到差值较大的部分,就可以判断为缺经部分。同时,由于织物边缘部分的灰度投影值变化不大,经过差分,就消除了将织物边缘误检为缺经的情况。另外,由于新曲线的整体灰度值与原曲线正相关,通过差分也可以在一定程度上消除不同光照条件对检测系统的影响,提高了检测的鲁棒性。
差分后,通过差值来判断缺经情况。如果存在差值大于阈值,说明存在缺经,可根据横坐标位置得到缺经位置,并将其用红色线条绘制在图像中。如果不存在差值大于阈值,则表示织物完整,不存在缺经情况。为了保证阈值选取的合理性,选取了不同的阈值进行检测试验,结果如图12所示。
经试验,阈值小于18 时,容易出现错检情况,如图12(a)和图12(b)所示;阈值大于22 时,容易出现漏检情况,如图12(d)所示;阈值为18~22时,检测准确率最高。综合考虑,将阈值定为20。
图12 不同阈值下的缺经检测情况
2 结果分析
本系统使用的计算机CPU 为Intel I7-9750H,GPU 为NVIDIA GTX 1660 Ti,相机为工业CCD相机,图像分辨率为2 560 pixel×1 920 pixel。
2.1 检测准确率分析
为了检验本系统的检测准确性,采用了100组试验样本,按照上述方法分别在5 个不同的时间段按顺序进行5 轮试验,每轮试验进行3 次重复采集并测试。其中1 组~50 组为合格织物,51 组~100 组为缺经织物。试验结果如表1 所示。
表1 准确率检测结果
经计算,该系统的平均检测准确率为99.47%,其中合格织物的检测准确率为99.20%,缺经织物的检测准确率为99.73%。
2.2 检测稳定性分析
在实际生产环境中,不同的光照条件可能会对检测过程产生影响。为了测试系统的稳定性,在不同光照条件下对1 号~10 号合格织物和11 号~20 号缺经织物进行50 次重复检测试验,检测结果如表2 所示。可以看出,本系统对不同光照条件的适应性良好,合格织物的平均检测准确率为99.4%,缺经织物的平均检测准确率为99.6%,具有良好的鲁棒性。
表2 检测稳定性结果
2.3 检测效率分析
20 次的检测耗时统计结果如图13 所示。其中,1 次~10 次为合格织物,11 次~20 次为缺经织物。可以看出,平均检测耗时为164.5 ms,比人工检测的效率提高了约1 倍,可满足现代纺织工业的生产需求。
图13 检测耗时统计
3 结语
本研究运用机器视觉软件Halcon,将机器视觉运用到织物缺经检测系统上。该方法先运用一系列图像处理手段增强缺经部分,使缺经部分与非缺经部分的对比度提高以便于后续检测处理;再利用灰度投影的方法得出投影曲线,并对其均值滤波处理;通过灰度曲线差分判断是否超过阈值,得出缺经情况和位置。试验结果表明:该方法具有较高的检测准确率和较快的检测速度,并在不同光照条件下拥有较强的鲁棒性。这也为缺纬、重经、重纬等其他织物缺陷检测提供了参考。