基于视觉特征强化的环锭纺细纱断头在线检测方法

陈泰芳, 周亚勤, 汪俊亮, 徐楚桥, 李冬武

(1. 东华大学 机械工程学院, 上海 201620; 2. 东华大学 人工智能研究院, 上海 201620;3. 上海交通大学 机械与动力工程学院, 上海 200030)

目前,环锭纺纱在纺纱领域占生产总量80%以上,其生产品种广,原料适应性强,纺纱质量好,在环锭纺纱的诸多过程中,细纱工序直接影响其生产效率和产品质量。在细纱工序中,断纱现象时常发生且难以避免,直接导致细纱工序的中断,进而影响纺纱的生产效率和产品质量,同时增加了工人的劳动强度。环锭纺细纱断纱的自动化检测能实时反馈细纱作业状态[1-2],并根据断头信息,及时进行接头处理提醒,进而可提高生产效率。目前现有自动化断头检测主要以光电或磁电为核心的单锭式检测法,准确率高,寿命长,但需要对细纱机进行改造,实施成本高,难度大。因此急需一种低成本、高准确率的断头检测方法来解决问题[3]。

现有的机器视觉断头检测方法主要分为3类:第1类方法为激光照射法,对线激光照射纱线形成的光点进行统计,计算纱线数量,并和事先预设的纱线数量进行对比分析,从而检测纱线是否断头[4-5]。第2类方法为纱线图像图形学处理法,对获取到的纱线图像进行图形学处理,实现纱线特征提取,通过判断断头线间距离实现断头检测。史鹏飞等利用基于机器视觉的方法进行整经机的断头检测,将图像转化为一维数据,然而图像中纱线的特征难以通过一维数据所包含的信息量进行分辨[6];姚俊红基于纱线像素值较高的特点,采用阈值分割法进行纱线特征和背景特征的分离,但该方法要求图像背景单调,检测目标清晰[7];王雯雯等采用prewitt算子获取图像中所有边缘,再通过霍夫变换(Hough transform)提取纱线特征,进行断头检测[8];孟立凡等采用FPGA灰度投影法找寻投影中的波峰点间距来判别断头现象[9]。第3类为深度学习方法,通过神经网络将图像转化为高维度信息识别断头现象。吴旭东等采用基于深度学习的方法,升维纱线图像,并对高维信息进行解码,进而判断断头现象[10]。

现有研究主要针对视觉驱动的纱线断头检测理论方法展开,在实际应用中仍存在以下难点[10-11]：1)纱线拖影下的弱特征。巡测过程中,拍摄的图像会因为运动导致图像模糊,同时环锭纺纱高速旋转也会导致纱线拖影,因此难以直接提取到纱线目标;2)纱线小目标特征难以提取。在纱线图像中纱线像素量占比在3.5%～5.5%之间,易受到光照变化和背景干扰,因此纱线特征难以自适应的提取。

针对以上难点,本文提出了基于视觉特征强化提取的细纱断头在线检测方法。针对纱线拖影导致的纱线特征难以提取的问题,设计了邻域梯度强化算子对纱线聚类,实现纱线特征强化。针对纱线目标小、易受环境干扰的问题,设计了一种启发于谷底的Otsu小目标分割阈值搜索法,实现纱线与背景分割。

1 环锭纺纱断头检测总体方案设计

本文环锭纺巡游检测系统安装在移动智能小车上,如图1所示。该装置由1台宽为400 mm的阿克曼小车作为巡游装置,其中图像采集装置安装在铝合金搭建的图像采集平台上,保证相机在合适的高度。小车自身搭载1台工控机用于巡检导航并对获取的图像进行断头判断,同时与云端进行通信。

图1 断头巡游检测小车Fig. 1 Broken yarn patrol detection car

1.1 外部硬件

断头检测采用英伟达Jetsonnano-4GB工控机,搭载ARM的CORTEX-A57处理器,美光LPDDR-4 GB 运行内存条和闪迪-32 G内存卡;采集相机使用威鑫200万像素广角摄像头,采集纱线图像为灰度图;图像采集装置中配置了科麦视觉LEDBRD18030条型光源。小车外部硬件底层主控系统使用的是32F103RCT6,用于控制小车运动和信息的处理;巡检导航使用的传感器为思岚RPLIDAR-A1激光雷达传感器;车轮驱动装置采用MD36 N-35W直流电动机;转向使用HWZ020-20 kg 扭矩数字舵机,还搭载IMU、陀螺仪、OLED显示屏等配件。

1.2 软件配置

主控系统使用ubuntu18.04版本系统,小车巡检导航使用的是ROSmelodic操作系统,底层主控使用FreeRTOS作为操作系统,断头检测算法基于Python3.6进行编写并搭载在主控系统中。

2 细纱断头特征提取方法

本文细纱断头检测算法由4个步骤完成。首先对图像进行平滑处理,平滑背景噪声,再通过弱特征强化算子强化纱线特征,之后对特征强化后的图片设计了启发于谷底的Otsu小目标分割算法获取纱线特征,最终对提取到的纱线特征计算欧拉距离,判断是否发生断头现象,总体流程如图2所示。

图2 断头检测流程图Fig. 2 Flow chart of broken yarn detection

2.1 基于L0范数细纱图像平滑

在环锭纺纱工厂中有大量电磁设备导致采集图像出现噪点,同时背景存在的铁锈油污都会干扰纱线提取。由于巡检过程中纱线拖影特征弱,传统图像平滑方法易平滑纱线特征,为此需要在保留细纱特征的同时平滑背景噪声。细纱图像中,可利用纱线的梯度特征信息,在进行背景噪声平滑的同时,最大程度保留纱线特征。为此,本文采用L0范数[12]的平滑方法平滑背景噪声,同时保留细纱梯度信息。L0范数的平滑目标函数如式(1)、(2)所示:

(1)

C(S)=#{p‖∂xSp|+|∂ySp|}

(2)

(3)

C(μ,ω)=#{p‖μp|+|ωp|≠0}

(4)

式中,改进前的C(S)是对整张图片进行判断平滑,添加了(μ,ω)后可以通过对每个像素点进行梯度计算,表示|μp|+|ωp|梯度不为零的p的个数。β用于控制变量(μ,ω)和其对应梯度之差。最终采用交替最小化算法求解策略迭代优化到最优解。

在式中,λ权重越大图像存在梯度数量越少,代表平滑效果越高,通过实验观察,纱线与背景的像素值相差在10左右,因此选择λ权重为0.000 8;β选择为默认数值2。

2.2 细纱图像弱特征强化算子

在使用相机进行巡游检测的过程中会导致图像失真,同时纺纱过程中纱线高速旋转会产生拖影,导致纱线特征难以提取,但是,可利用图像中纱线的梯度信息从而解决以上难点,因此本文先对细纱图像梯度进行分析。纺纱过程中,纱线为竖直条状物,因此在竖直方向上梯度变化较小,只需关注横向梯度信息,如图3所示。

图3(b)中横坐标代表纱线图像的横向坐标轴,纵坐标为像素值大小,对图像中的横向梯度进行分析可发现,图像背景中存在的噪声(见图3(a)中黑色方框)干扰了梯度信息,从而对纱线特征的判断产生了干扰(见图3(b)中灰色方框),导致纱线特征无法直接从梯度图中获取,但在纱线周边,梯度存在着相似性。因此,本文通过加权邻域梯度实现对纱线的增强,并采用中心差分梯度的思想来抑制特征相似的背景(见图4)。

图3 纱线图像分析图Fig. 3 Yarn image analysis diagram. (a) Yarn and background interference image; (b) Yarn image gradient diagram

图4 邻域梯度增强算法示意图Fig. 4 Schematic diagram of neighborhood gradient enhancement algorithm

基于邻域梯度强化的算子如式(5)所示:

Sxy=fxy·(G(x,y)+R(x,y))

(5)

式中:Sxy为经过基于邻域梯度强化的算子处理后原图像中(x,y)位置处的像素点;fxy为原图像中(x,y)位置处的像素点;G(x,y)和R(x,y)为图像增强和背景抑制算子,其设计如下。

1)图像纱线增强算子。

G(x,y)=λf(x,y)+f(x-1,y+i)+

f(x+1,y+i)+2f(x,y+i)

(6)

式中:f(x,y)代表原图像中像素点的像素值;λ代表强化系数,在后续3.1节中会对其进行讨论。纱线图像中,拖影纱线像素在横向方向存在小梯度,因此,将拖影纱线周围的像素进行加权相加,可增强纱线特征。式(6)中通过对目标像素特征进行加权相加,从而达到增强纱线特征的目的。

2)图像背景特征抑制算子。

R(x,y)=-η(f(x+2,y+i)+f(x-2,y+i))

(7)

式中,η代表抑制系数。由于在算子设计中各权值之和应当大于0且小于1,避免对图像过度增强或抑制,因此本文η取值设为2。当目标像素处于纱线区域时,其中加权相消的梯度处于非纱线区域,在纱线特征区域与背景特征区域存在着梯度差,通过加权纱线区域特征与非纱线区域的差来实现增强纱线特征的效果。当目标像素处于背景特征区域时,背景区域梯度变化较小,2区域梯度差值之和较小,最终实现对背景区域特征的削弱。

2.3 启发于谷底的小目标Otsu分割方法

在环锭纺纱断头巡检的过程中,增强后的纱线目标小,易受到光照变化影响,无法直接提取到纱线特征,如何从高频特征中自适应获取小目标特征有重要意义。

Otsu[13]是一种用于解决图像自适应二分类方法,适用于本文自适应提取纱线的需求。因此在这一部分中,本文重点研究Otsu自适应阈值分割方法,其原理如下:

(8)

(9)

g=w0(u0-u2)2+w1(u1-u2)2

(10)

式(8)中:pi对应图像中像素值i∈[0,255]在图中所占比例;w0、w1表示阈值为k时,0～k之间像素值和k～255之间像素值分别占图像的百分比。式(9) 中:u0为0～k之间像素值图像的平均灰度值;u1为k～255之间像素值图像的平均灰度值;u2代表整张图像的平均总灰度值。式(10)中;利用类间方差g进行阈值评判,通过类间方差对比,确定阈值最优分割点,如式(11)所示:

(11)

式中:gk为像素值k所对应的类间方差;P为处理的目标图像。

Otsu法适用于处理背景和目标均衡的图像,在纱线在线检测图像中,由于纱线目标很小,Otsu法无法自适应提取纱线小目标特征。本文在此基础上,设计一种启发于谷点的小目标Otsu分割方法,以实现对纱线小目标特征的提取,具体改进如下所示:

(12)

图5示出增强后的纱线图像直方图,阈值分割点依然处在波峰附近(见图中圆圈),由于最佳分割点与波峰的类间方差相差很大,因此无法很好分割。为解决波峰附近占比权重小的问题,本文重新设计了权值,如式(13)所示:

图5 增强后的纱线图像直方图Fig. 5 Feature category contained by the pixel changes

(13)

本文将图像最大占比像素值设置为像素遍历起点,以提高遍历速度,如式(14)所示:

(14)

式(14)中,根据纱线图像中背景占比大的特点,分割阈值搜索的起始点,从图像像素值占比最大的区域开始,从而可减少15%～25%的运算时间。

高速纺纱过程中,由于纱线分段现象的存在,导致图像中纱线区域包含少量的背景特征,如图6所示。

图6 纱线特征提取图像Fig. 6 Yarn feature extraction image

采用轮廓筛选法进行非线段特征的去除,如式(15)所示。

(15)

2.4 基于欧拉距离识别断头

对于获取到的纱线特征之间距离相等,当断头现象发生时,间距增大,可通过计算纱线之间的欧拉距离进行断头现象的识别。首先对图像中识别出的纱线获取重心位置,然后计算相邻纱线的重心之间欧拉距离,按式(16)进行断头现象的识别:

(16)

式中:l为相邻纱线重心的横向坐标x之差;x为纱线重心的横向坐标;x′为相邻纱线间的正常距离,当l大于1.5x′时,判断出现断纱,否则,无断纱。由图7可看出,当有断纱发生时,断纱处的相邻纱线间距远远大于正常纱线间距x′,因此,由式(16)可判定是否有断纱现象。

图7 基于欧拉距离断头识别方法Fig. 7 Identification method of broken yarn based on Euler distance

3 实验与结果分析

本文实验所使用的电脑处理器为英特尔11th Gen Intel(R) Core(TM) i7-11 800 H@2.30 GH,内存为美光-16 GB,同时搭载使用pthon3.6 IDE编写器以及配置了pytorch1.6和OPENCV3.4.1进行实验。本实验通过搭载巡检装置在无锡某纺织厂进行数据采集与实验,该厂主要生产纯棉高支纱线,每车有400锭纱线。选取拍摄所得1 000张图片,其中断头图片占200张,未发生断头的图片占800张。

3.1 细纱弱特征强化算子验证与权重选择

为验证本文提出的细纱弱特征强化算子的优异性,本文与Retinex、同态滤波和直方图均值化进行增强实验对比。

图9 不同权重下清晰图像与模糊图像增强效果图Fig. 9 Distinct image(a) and dim image(b) enhancement renderings under different weight

通过实验,Retinex是一种消除光照不均的影响,以改善图像的视觉效果的算法,但在纱线图像中纱线与背景像素接近,因此无法实现纱线特征增强和抑制背景特征(见图8(b));同态滤波通过去除乘性噪声,增加对比度实现特征增强目的,对比图原始图像见图8(a),同态滤波(见图8(c))中纱线部分得到了增强,背景得到了削弱;直方图均值化可扩大像素值之间的距离,从而区分纱线与背景,直方图均衡化中,与纱线同像素级的部分噪声背景也得到了增强。本文算法利用图像中纱线存在梯度特征,增强纱线特征的同时,也有效抑制了背景区域特征,本文算法如图8(e)所示。

图8 特征强化方法对比Fig. 8 Comparison of feature enhancement methods. (a) Original image; (b) Retinex; (c) Homomorphic filtering; (d) Histogram averaging; (e) Our algorithm

选择不同的邻域梯度强化算子权值,将会影响纱线特征与背景特征分离的效果。本文采用控制变量的方式进行最佳权值的选择,对权值在2～3之间进行实验对比,图9示出不同权值下,清晰图像与模糊图像的增强效果图,图10示出不同权值下清晰图像和模糊图像的直方图。

图10 不同权重下清晰图像与模糊图像直方图Fig. 10 Histograms of distinct image(a) and dim image(b) under different weight

当权值为2时,清晰图像可分离出部分纱线的特征,但模糊图像中,无法将纱线与背景噪声进行很好的分离,二者直方图背景区域都处于最小端,阈值筛选区域无法减少。当权值为2.4和2.7时,清晰图像和模糊图像均出现了明显的波峰。背景噪声区域随着权值的增加而逐渐向纱线区域靠近,在清晰图像中,部分纱线特征超过最大像素值时,无法对纱线进行进一步强化,能清晰地看到纱线,而在模糊图像中,由于纱线特征弱,直方图中只能明显显示背景特征;从图9可以看出,当权值为3时,纱线区域和背景噪声区域已重叠,此时纱线特征已最大强化,从而导致背景区域与纱线区域靠近。因此建议最佳权值选择范围为2.4～2.7之间,本文后续实验选择权值2.5。

3.2 启发于谷点小目标阈值分割方法验证

为验证本文纱线特征提取阈值分割方法的有效性,分别对图像进行Otsu、添加像素占比权重的Otsu和本文提出的启发于谷点的Otsu阈值分割法处理,并对阈值结果和处理结果进行对比,最终实验结果如图11、12所示。

从图12(a)可看出,图像经Otsu处理后,阈值取在波峰附近,大量背景噪声被归类为纱线特征,因光照不均,图中中间大量明亮部分背景被归类为纱线部分,从而无法有效提取纱线特征;图12(b)中,图像经添加像素占比权重的Otsu处理后,阈值仍然处于波峰附近,有较多背景部分被归类到纱线;图11(d) 中,经本文算法处理的图像,有效纱线特征及少部分同像素级别的背景部分取,图12(c) 中,本文算法可以有效地搜寻到谷点阈值并实现纱线特征的提取,因此,本文算法明显优于其它阈值分割算法。

图11 不同阈值分割方法提取纱线特征的效果Fig. 11 Extraction effect of different threshold segmentation methods. (a)Original image; (b) Otsuthreshold segmentation; (c) Added pixel proportion weight OTSU; (d) Our algorithm

图12 不同阈值分割方法分割所得阈值Fig. 12 Threshold of different threshold segmentation methods. (a) Otsu threshold segmentation; (b) Added pixel proportion weight Otsu; (c) Our algorithm

注:1～3列分别为模糊、正常、过曝的特征图像及不同算法检测结果。图13 各算法实验结果对比Fig. 13 Comparison of experimental results of each algorithm. (a) Original image; (b) Optimized Hough transform; (c) LSD line detection; (d) Robert-Otsu; (e) Sobel-Otsu; (f) Linknet algorithm; (g) Our algorithm

3.3 纱线特征提取效果对比

为验证本文所提出的纱线特征提取算法的有效性,对多种特征提取算法的处理效果和检测结果进行分析对比,用于对比的算法包括霍夫变换直线提取方法[8]、LSD直线检测算法[14]、Robert,Sobel Otsu结合算法[15]、Linknet[16]算法和本文算法,实验前,先对图像进行L0范数平滑预处理。

优化霍夫变换法主要利用图像中纱线的特殊性进行直线的提取,在参数平面a～b寻找直线y=ax+b,当在此直线上存在目标总长度大于ρ时,则判断存在直线,否则,不存在直线。实验中,ρ值取40,采用canny算子进行特征提取,并将阈值low和high分别设置为20和40。Robert算子和Sobel算子,对图像进行阈值分割进而区分纱线和背景噪声部分,因此本文采取Otsu自适应阈值分割法,进行纱线和背景部分的分割。Linknet通过反向传播训练模型,实现图像的非线性处理识别,但在训练模型中需对目标进行人工标注。

各算法对高噪声,高干扰的图像分析处理的结果如图13所示。优化霍夫变换可识别线状目标,以直线形式显示,能够有效过滤小噪声,但是,会把连续的噪声错误地判断为纱线,如图13(b)中灰色框选所示;图13(c)中,LSD直线检测法,以直线形式展现可能的线状目标,但只适用于对边界明显的区域进行直线提取;Roberts和Sobel算子采用滤波器处理方法,但Roberts算子着重考虑边角梯度,对横向梯度的敏感度不高,因此,许多角点明显特征被提取,而纱线特征难以提取,如图13(d)所示;Sobel算子可对横向梯度进行特征提取,但在高背景噪声和弱特征情况下,无法正确进行纱线特征的提取,如图13(e)所示,该方法难以在像素级上将纱线特征和背景噪声进行区分;深度学习方法可有效提取纱线特征,但是需要进行人为标签后再进行训练,得到的结果与标签更加贴合,如图13(f) 所示;本文提出的算法能够有效地进行纱线特征提取,并且得到的结果与原图像更加拟合,如图13(g) 所示。

3.4 断头检测准确率与召回率

本文采用准确率AACU和召回率TTP作为断头检测的评估指标,如式(17)、(18)所示。准确率为预测正确数量占总预测数量的比值。

(17)

(18)

式中:Tn代表负样本的预测正确数量;Tp代表正样本的预测正确数量;Fn代表正样本被错误预测为负样本的数量;Fp代表负样本错误预测为正样本的数量。本文纱线断头检测中,正样本为纱线断头图像,负样本为纱线未断头图像。

各种算法断头检测指标的实验结果见表1。由表可看出,Robert和Sobel算子处理方法中,部分纱线没有被提取,更易被判断为断头情况,因此纱线断头检测的准确率较低,但断头召回率较高。由于Hough变换和Canny算子对边缘过于敏感,从而会将边缘误判为纱线,导致纱线断头检测准确率较低,而对纱线未断头部分能够进行正确的识别。Robert算子、Sobel算子和LSD直线检测中,因纱线特征难以提取,导致误判概率大,纱线断头判断的准确率反而较高,而未断头部分判断准确性低。Linknet算法检测纱线断头的AACU和TTP均优于前面几种算法,但计算时间比较长,难以满足检测的实时性要求,本文算法,AACU和召回率TTP均达到97%左右,接近深度学习算法,同时计算时间能够满足检测实时性要求。

表1 各算法断头检测结果Tab. 1 Detection result of broken head of each algorithm

4 结束语

本文算法将获取纱线特征分解为强化和提取二部分,解决了在环锭纺断头视觉检测动态环境中存在的纱线特征分散、特征弱、背景噪声干扰强等问题。实验证明,本文所提出的算法能够满足工厂检测所需的实时性和准确率要求。

由于线性滤波器只考虑了形态特征,而没有综合考虑纱线颜色,因此,本文所提出的算法,目前还难以区分识别纱线特征和线性噪声。纱线特征和线性噪声的区分可利用神经网络方法进行解决,未来,可通过神经网络模型的优化精简、配置更高性能的硬件设备,从而达到工业对纱线检测实时性的要求。未来可进一步研究如何将纱线断头检测的特点和深度学习方法结合起来,实现高精度、高鲁棒性和高效率的纱线断头检测。