APP下载

面向织物疵点检测的图像处理技术研究进展

2021-12-03吕文涛林琪琪钟佳莹王成群徐伟强

纺织学报 2021年11期
关键词:纹理织物图像

吕文涛, 林琪琪, 钟佳莹, 王成群, 徐伟强

(1. 浙江理工大学 信息学院, 浙江 杭州 310018; 2. 浙江理工大学 纺织科学与工程学院(国际丝绸学院), 浙江 杭州 310018)

图像处理是对人类视觉进行延伸的一种重要方法。它是将图像以数字矩阵的形式存放在计算机中,通过一定算法进行处理,以达到特定目标的一种手段[1]。图像处理的具体过程为:图像预处理、特征提取、分析决策,由此实现图像信息的信号数字化,从而根据具体要求输出结果。随着图像处理技术的不断发展,纺织工业数字化水平的不断提高,图像处理技术在纺织工业中的应用也越来越广泛。

织物疵点检测在纺织工业中占有重要地位。由于机械故障、纱线断裂等导致的面料缺陷问题时有发生,给企业造成了巨大的经济损失,所以产品质量控制是纺织品生产时必不可少的环节。如今,纺织业已定义的织物疵点种类有70多种。由于疵点种类繁多、形状不一,传统的人工检测成功率仅为60%~75%[2-3],因此,将快速和可靠的图像处理技术应用在疵点检测中,实现织物疵点自动化检测,具有重要的意义。

本文综述了织物疵点检测中图像处理技术的研究进展,分析了其最新研究成果和应用前景,总结了各个方法的优缺点,介绍了现有成品设备,并提出了对未来发展的构想,为今后的深入研究和应用提供了参考依据。

1 织物图像的预处理技术

在进行织物疵点检测时,数据集的质量会直接影响疵点检测算法的性能表现,因此,图像的预处理在织物疵点检测技术的发展中至关重要。在获取织物图像时,不同的光照等外界干扰因素,会导致图像质量降低,因此,在进行织物疵点检测之前,通常会先对图像进行预处理,以达到更好的疵点检测效果。织物图像的预处理一般包括:图像复原,图像增强,图像分割和图像融合。

1.1 织物图像复原技术

织物图像采集工作中存在的噪声,会影响图像处理时织物图像的纹理结构,所以一般会利用图像复原技术对织物图像进行处理,复原出图像的结构信息,以减少图像信息的损失。织物图像复原是将退化模型复原成理想图像的一种消除模糊的技术。图像复原技术通常采用逆滤波和维纳滤波[4]2种方法。

逆滤波是复原方法中最简单直接的,它的理想情况是没有噪声,但是在现实情况中往往会存在噪声问题,所以一般情况下会采用维纳滤波来综合解决退化问题和噪声问题。但如果在原始织物图像和噪声功率都未知的情况下,维纳滤波的复原效果也会不太理想[4]。

1.2 织物图像增强技术

由于受到成像系统和织物表面材料的电子干扰,织物纹理细节不能真实体现,因此,在提取特征之前增强织物图像的纹理特性,突出缺陷纹理与背景纹理的区别尤为重要,可以使织物图像中的疵点更易被识别。织物图像的增强处理技术,可以改善所使用图像中的有用信息,衰减掉无用的特征,使图像的视觉效果更清晰。织物图像增强方法一般分为空间域增强法和频率域增强法[5-8]。

空间域增强法是直接增强图像像素的一种方法,包括灰度增强、直方图增强以及图像平滑等方法[5-7]。Sun等[5]用灰度增强法消去背景图像再进行中值滤波消除噪声;梁金祥等[6]通过进行直方图增强处理来反映图像中各灰度值的分布情况;Cheng等[7]在对棉纱进行图像处理时,使用了平滑化处理,降低了边缘区域的灰度值。频率域增强法是将图像从空间域变换到频率域,然后在频率域空间通过滤波器进行处理[4]。织物疵点通常处于低频率,采用低通滤波器过滤高频背景部分,使得织物疵点更加明显[8]。

1.3 织物图像分割技术

在实际检测过程中,直接处理像素大的织物图像需要耗费大量的时间,所以需要进行切割来同步检测,以节省检测时间。同时精准的切割方法有利于降低计算的复杂度,并且能够提高检测精度。通常将织物图像分割技术分为基于灰度图像分割、基于彩色图像分割以及基于颜色和像素空间分割三大类。

常用的边缘检测的分割算法如Sobel算子、Laplacian算子和Canny算子[9]等,都是面向灰度图像的。通过将Mean-shift[10]算法、K-means算法[11]以及FCM算法[12]等聚类算法应用到彩色图像的自动分割中,实现了对彩色图像的切割。除了对于颜色信息的考虑,还应考虑空间的信息,所以研究者们提出了基于颜色和像素空间的分割方法,包括作为区域生长技术的JSEG算法[13]、Markov随机场(MRF)模型[14]等方法。

1.4 织物图像融合技术

织物图像融合技术能够充分考虑织物图像的颜色和纹理,消除干扰区域的影响,为织物图像后续的检测做好铺垫。织物图像中纹理信息多种多样,不同的传感器因为其性能特点不同,所提供的图像信息也不同。将多个传感器的输出,通过特定的算法,融合成一个具有更强鲁棒性的新图像,再进一步处理得到最终的图像。图像融合自下而上分为3级,即像素级、特征级和决策级[15]。

像素级融合因处理起来简单方便,是图像融合的研究热点。特征级融合是将各个传感器所提取到的特征进行综合分析,对提取到的局部特征进行融合处理获得复合特征。决策级融合针对具体的决策目标,对设备的要求非常高[16]。

2 织物图像疵点检测方法

过去20年以来,随着学者们对图像处理技术的研究,织物图像疵点检测技术也取得了巨大进展。按照对织物图像处理的方法不同,织物疵点检测方法可以分为以下5类[17]:基于结构的方法、基于统计的方法、基于频谱的方法、基于模型的方法以及基于学习的方法。其中基于结构、统计、频谱、模型的检测方法其流程大致可分为图像预处理、目标提取、特征选择以及模式分类4个部分。这类方法中的每个环节都会对最后的检测结果产生影响,并且针对不同的检测需求需要设计相应的不同算法,非常依赖于设计者已有的经验与知识,因此在复杂场景中进行有效检测的难度较大。

随着纺织业智能化的发展,基于学习的疵点检测方法越来越受欢迎。基于学习的方法主要是通过模仿人脑机制,构建神经网络对数据进行表征学习。这种方法可以直接对图像进行学习,减少了人为因素的影响,降低了算法之间的耦合性,实现了端到端的算法框架,具有适用范围广等优点,是近几年来的研究热点。

2.1 基于结构的织物图像疵点检测方法

基于结构的织物疵点检测方法是将纹理视为纹理基元的组合,通过从图像中提取织物的基础纹理结构得到结构特征,由于疵点破坏了织物原有的结构纹理[18],因此通过比较与正常纹理之间的相似度可以检测出疵点[19-20]。基于结构的疵点检测方法分为纹理分割和识别2个部分。

2005年,Abouelela等[19]提出了纺织品自动视觉检测系统,将相机捕获的图像,利用简单的纹理特征(平均值、方差、中值)来进行故障检测,其计算简单、快速,适用于实时场景。实验结果表明,该系统在缺经、打结疵和切割等疵点上的检测准确率达91%。这种方法虽然计算简单;但是由于工业生产过程中难以保持稳定的基础纹理结构,会给疵点检测带来较大的误差,因此,此方法检测的可靠性不高,仅在纹理简单、分布均匀的织物图像中适用[20]。

2.2 基于统计的织物图像疵点检测方法

基于统计的方法主要利用像素及其领域的灰度属性来提取织物图像的标准差、方差、平均值等纹理特征[21-29]。常用的统计方法主要有直方图统计法[21-23]、灰度共生矩阵[24-27]、数学形态学[28-29]等。

2.2.1 直方图统计法

直方图包含图像的灰度像素的统计分布数据,常见的直方图统计属性有均值、标准差、方差和中值等[21-23]。

2011年,Ding等[21]提出了基于方向梯度直方图(HOG)和支持向量机(SVM)的织物疵点检测方法,用HOG将32像素×32像素的500个正样本和500个负样本进行特征编码,利用AdaBoost算法降低计算复杂度,选用简单的SVM对疵点进行分类。此方法对于规则图像可以检测到大多数缺陷,但存在一定的误检率。为弥补这一不足,可以将图像分割得更小,但这会耗费更多的时间,影响效率。2016年,Gao等[22]提出了基于Gabor-HOG(GHOG)的方法来凸显出缺陷区域,用HOG从Gabor的映射中提取特征,将Gabor滤波器和HOG结合起来用于目标检测。在香港大学织物疵点图像数据集上的结果显示,该方法可以有效提高织物疵点检测的精度。2019年,Li等[23]在有效的二阶方向描述子GHOG的基础上,在这个模型中加入基于人类视觉机制的空间融合策略。实验结果显示,该方法在缺经、破洞、网纹、粗条纹、细条纹等疵点上,检测准确率均大于95.52%。

直方图统计法计算简单且计算成本低,但是对噪声敏感,误检率高,比较适用于经向和纬向疵点的检测。

2.2.2 灰度共生矩阵

灰度共生矩阵(GLCM)是通过计算图像空间中某2个像素间的相关特性来计算图像纹理特征的二阶统计法[24-27]。

2015年,Arnia等[24]提出了基于GLCM能量和对比度特征的检测方法,这是在没有参考图像的情况下,直接选取能量高且对比度低的图像进行检测,减少了计算量。在TILDA数据集上的实验表明,该方法可以实时监测织物疵点,但是存在漏检的问题。同年,Zhu等[25]提出了基于自相关函数和欧氏距离的织物检测方法,这种方法需要根据不同的织物类型来改变阈值。基于缺纬、孔洞、错纬、油污等疵点图像的实验结果表明,该方法虽然对于组织周期小的色织布检测效果较好,但是计算量大,实现起来比较复杂。在此基础上,2016年,Hamdi等[26]对此方法进行了改进,通过计算图像在水平方向和垂直方向上的平均向量来确定织物图案周期,将参考无缺陷图像和缺陷图像分割为与织物图案尺寸相同的块,计算灰度共生矩阵。然后,计算无缺陷图像和缺陷图像的每个灰度共生矩阵与参考矩阵之间的欧氏距离。最后,将得到的欧氏距离与预先计算的阈值进行比较,在香港大学织物疵点图像数据集上的结果显示,该方法对缺经、粗条纹、细条纹3种疵点检测的平均准确率为98%。这种方法能够在不同的织物类型下,自动确定阈值,使得织物疵点检测更加全自动化。2019年,Gustian等[27]利用灰度共生矩阵和主成分分析方法进行特征提取,多类支持向量机采用的是一对所有(OAA)和一对一(OAO)的高斯核或径向基函数作为分类方法。在3种类型的troso织物图像上进行实验,结果表明,troso织物使用SVM OAA和SVM OAO这2种分类方法分别可以达到90%和86.7%的准确率。在未来的研究方向上,可以使用更多的训练数据或增加预处理来获得更好的精度,但是由于灰度共生矩阵法的计算量大,所以一般不适用于高分辨率织物图像。

2.2.3 数学形态学

数学形态学是基于几何学的特征提取方法,它需要根据不同的图像选择特定的结构元素对图像进行运算,从而提取图像中对应形状的特征,基本运算包括腐蚀、膨胀、开运算和闭运算[28-29]。

2009年,Mak等[28]使用了Gabor小波神经网络提取特征,并将提取的特征用来设计形态滤波器,以检测织物的疵点,在油斑、毛刺、打结疵等疵点上,误报率为3.3%。这与传统的监督检测方法相比,很大程度上降低了检测误报率。2016年,Rebhi等[29]提出了基于局部均匀性和数学形态学的织物疵点检测算法,对以每个像素的局部均匀性构造表示的新均匀性图像计算出一个经典的直方图。然后,选择一个最优的阈值来生成相应的二值图像。最后,对图像进行一系列形态学操作,以检测可能存在的织物疵点。此方法可以检测不同织物的各种不同的疵点,在香港大学织物疵点图像数据集上的检测准确率为95.6%,具有很强的鲁棒性,并且误报率较低,但是此方法对计算的要求较高。

2.3 基于频谱的织物图像疵点检测方法

织物的纹理具有周期性,这与频谱特性相类似,因此可以把频谱分析的方法应用在图像纹理上。基于频谱的织物图像疵点检测方法就是根据这一原理,将织物图像从空间域变换到频域后来检测织物疵点[30-32]。傅里叶变换[30-33]、小波变换[34-37]、Gabor变换[38-41]等是频谱法中应用较多的方法。

2.3.1 傅里叶变换

傅里叶变换具有较小计算量的特点,可以用傅里叶变换的总和表示任何频率和幅度的正弦和余弦信号,将图像空间域信号变换成频域信号,可以减小噪声对检测的影响[30-32]。它具有平移不变性和表征周期性,但是不能对空间域的疵点进行区域定位,只能应用在全局检测上[33]。

2008年,Guan等[30]使用傅里叶变换方法去除正常纹理,分割出多个子窗口,将标准差作为特征提取与正常子窗口特征进行比较来判断疵点。该方法能够检测到弱小的疵点以及与背景灰度相近的疵点,在平纹和斜纹织物图像上的检测准确率基本大于90%,但是此方法只能用来检测疵点是否存在,无法给出疵点的类型和位置。2015年,Sakhare等[31]将光谱域方法与空间域方法相结合,首先使用相机捕获缺经、缺纬和破洞等疵点图像,通过光谱域方法检测疵点的存在与否,再通过空间域方法得到疵点的类型和位置,有效提高了疵点的定位精度,准确率大于87.94%。针对织物疵点在线实时检测的问题,2017年,Pan等[32]提出了基于统一计算设备架构(CUDA)的快速傅里叶变换(FFT)的方法。该方法面向跳花、勾线等疵点图像,在GPU平台上采用多线程并行实现FFT算法进行织物疵点检测,在保证检测的正确率的前提下,可以显著缩短检测的时长;但是傅里叶变换受织物结构变化的影响较大,且为全局方法,考察的是全局的织物纹理特征,无法对图像进行局部分析,因此这种方法不适合检测细小的局部疵点。

2.3.2 小波变换

小波变换以傅里叶变换为基础,对傅里叶变换不能应用在局部分析的缺点做出了改进,可以进行空间和频域的局部变换,具有多尺度多分辨率的特点[34-37]。

2001年,Yang等[34]研究了基于非下采样小波变换,针对穿错、断头、缺纬、稀密路、松经5类织物疵点,设计了自适应小波滤波器,提高了缺陷区域与背景的小波变换能量比,从而提高了对织物疵点的检测准确性,但是其准确性还是不能满足工业生产需求,还需进一步提升。2013年,Li等[35]提出了一种改进的基于高频系数的直接阈值分割方法,利用小波变换对图像进行分解,结合数学形态学进行滤波,这种方法在经编机上获得了令人满意的检测率,并已在工厂中实际运行。2015年,Karlekar等[36]将小波变换应用于织物纹理建模和疵点检测上,应用直接阈值分割技术对经编织物疵点进行检测,取得了满意的效果。实时性也是织物疵点检测的重要指标之一,2020年,Li等[37]根据织物疵点的特点,提出了一种疵点方向投影算法(DDPA),主要解决了多通道Gabor小波数据冗余和运算效率低的问题。在竹节、双纬、错纬、环纬和断头5种疵点数据集上的实验显示,DDPA算法在精度和运算速度上表现优异,具有一定的性能和应用优势。但是小波变换会由于颜色变化和边缘平滑而无法检测到疵点,检测效果受小波基选择的影响。虽然它具有较高的准确率,但是同时其计算成本较高。

2.3.3 Gabor变换

Gabor变换需要根据纹理结构不同,设计不同比例和方向的滤波器,从而对织物纹理进行空间和频域分析[38]。Gabor滤波器可以看作是高斯核函数在频域由复正弦函数调制而成的高斯分布函数,它是一种边缘提取的线性滤波器,很适合纹理的表达和分离[39-41]。

2002年,Kumar等[39]利用一类自相似Gabor函数,提出了一种用于无监督织物疵点检测的多通道滤波方案,它利用虚Gabor函数实现了低成本的web检测,对于打结疵、穿错、网纹和缺纬等疵点,均能达到很好的检测效果。2014年,Agilandeswari等[40]利用预训练的Gabor小波网络提取织物中重要的纹理特征,通过在Gabor小波网络的隐层中设置一个虚Gabor小波,减少了不良纱线、渗色和气孔等疵点图像训练时所需的计算量,并且通过形态滤波器降低了虚警率。2019年,曹桂红等[41]通过SIFT算法进行特征点的提取,剔除了无效匹配点后,采用二维Gabor滤波器实现了织物疵点的检测。在TILDA织物疵点数据集上的实验结果表明,该方法具有较好的检测效果。Gabor滤波器比较适合对织物纹理结构进行描述和分析,拥有较强的实用性,但是Gabor变换较难选取最佳滤波器的参数。

2.4 基于模型的织物图像疵点检测方法

基于模型的织物疵点检测方法是根据正常织物纹理建立模型,然后根据假设验证的方法,对被测织物图像是否符合模型进行判断,以此来实现疵点检测,适用于织物表面特征变化没有规律的情况[42-44]。但其计算量大、适用的疵点检测类型较少,实用性并不高,因此近年关于此方法的研究较少。常用的基于模型的方法包括自回归模型[42]和马尔可夫随机场模型[43-44]。

2.4.1 自回归模型

自回归模型是根据纹理图像中不同像素之间的线性依赖关系来表示纹理特征,它只须通过对线性方程组进行求解即可实现预测,具有计算时间短,成本低的优点,但是由于使用的样本有限,所以准确率不高[42]。

2014年,Vaddin等[42]研究了基于直流抑制傅里叶功率谱特征总和(DCSFPSS)的平纹织物周期性建模方法,以一维DCSFSS数据为信号,进行了普通平纹组织样本的非参数建模和参数化建模实验,验证了参数化方法在普通织物建模中的有效性。然后,在一幅正常织物图像的DCSFPSS上测试了参数化方法,即自回归(AR)和自回归滑动平均(ARMA)模型,实验验证了在DCSFPSS上使用AR(32)模型更好,AR(32)模型在纬向/经向方向显示出约84%/95%的拟合值。它具有计算量小,复杂度低,同时准确率较高的优点。但是自回归模型可以检测的疵点种类有限,且不能很好地提取细小疵点的特征。

2.4.2 马尔可夫随机场模型

马尔可夫随机场(MRF)模型是建立在马尔可夫模型和贝叶斯理论基础之上的,它利用无噪声织物图像中像素点之间的相关性,通过计算局部区域每个像素的密度值,从而得到像素与突变间的关系[43-44]。

1996年,Ozdemir等[43]研究了以MRF为纹理模型的织物疵点检测方法和基于Karhunen-Loeve变换的织物疵点检测方法。实验证明了这2种方法都能成功地发现纺织品的疵点,并且该方法在双TMS320C40的并行处理系统上可以实现实时检测。然而,MRF方法比基于Karhunen-Loeve变换的方法具有较快的速率。2013年,杨晓波[44]提出了一种高斯-马尔可夫随机场(GMRF)纹理模型来自动识别不同种类的统计特征畸变织物疵点,并通过仿真实验证明了GMRF模型对统计特征畸变疵点的有效性,能够通过其模型参数简洁地表示跳花疵、稀密路疵、粗纱、断经等多种疵点织物。但是研究表明,对于区域面积较小的疵点,或类似散弹噪声的杂质,此方法的检测效果不佳。

2.5 基于学习的织物图像疵点检测方法

基于学习的织物图像疵点检测方法的研究重点主要包括卷积神经网络(CNN)[45-54]、递归神经网络(RNN)[55]等深度学习模型[56]。卷积神经网络具有很强的非线性拟合能力,具有鲁棒性好、泛化能力强等优点[57]。2013年,Kumar[45]提出了利用线性神经网络进行织物疵点检测的方案,在相机拍摄的640像素×480像素的低分辨率织物图像上进行了实验,证明了此方法的有效性。随着模型结构日趋复杂,模型层次也不断加深,Jing等[46]提出了基于CNN的织物疵点自动检测方法。首先将织物图像分解为局部区域,并对每个局部区域进行标记。然后将贴片传送到预先训练好的深层CNN进行迁移学习。最后利用训练好的模型在整个图像上滑动来检测疵点,得到每个疵点的类别和位置。实验结果表明,与传统的浅层学习方法相比,CNN的方法可以通过自适应调整参数来有效地学习疵点特征,提高了检测效率,缩短了检测时间,可以获得准确率较高的结果。为进一步提高织物疵点的检测效果,Ouyang等[47]在CNN中引入了新的成对电位激活层,采用了统计疵点信息和CNN相结合的方法对织物疵点进行检测,提高了对特征复杂、数据集不平衡的织物疵点的检测精度。Faster R-CNN算法是基于候选区域的目标检测算法中的代表算法,在目标检测领域展现了其优异的性能。2018年,AN等[48]提出了一种改进的Faster R-CNN方法,使用深度残差网络代替传统的VGG-16进行特征提取,增加了特征金字塔模块,并且增加了锚框的数量,使用了Softmax分类器用于训练。该算法模型收敛速度快,性能优良,在TILDA数据集上的平均精度达到了94.66%。随后,针对织物图像采集过程中存在疵点样本分布不均,现有色织物疵点样本多样性贫乏的问题,李明等[49]提出了应用生成对抗网络(GAN)和Faster R-CNN相结合的疵点识别算法,先对疵点织物进行GAN训练扩充样本,然后再利用Faster R-CNN算法得到最后的识别结果。该方法在色织物图像数据集中能准确获取疵点位置和类别,并且提高了疵点图像的检测效率,但是检测速度仍然有待提升。

相比于上述基于候选区域的检测算法,基于回归的YOLO系列、SSD系列算法在检测速度方面取得了很大的进步。2018年,Zhang等[50]提出了一种基于YOLO V2的色织物疵点自动定位与分类方法。实验结果表明,该方法能达到较高的精度,满足色织物疵点实时检测的需要。但是此方法在对特征复杂的织物进行检测时,检测性能会有所下降。基于SSD目标检测网络,张丽瑶等[51]在2020年提出了一种织物疵点检测方法。该方法首先利用图像处理技术减弱不同织物的背景纹理信息,然后用SSD网络模型对样本中的疵点进行学习,生成的网络模型可以实现较高的准确率和较好的实时性。

针对计算资源受限的应用场景,2020年,Zhu等[52]对DenseNet的结构进行了改进,提出了更适应资源受限的边缘计算场景的轻量级卷积网络。改进的DenseNet优化了交叉熵损失函数,通过增加Dropout层,降低了网络训练过程中过度拟合的风险。在来自阿里天池竞赛2 560像素×1 920像素的数据集上,能有效检测11种疵点。

对于在实际生产中经常存在的数据不平衡的问题,2020年,Wang等[53]提出了一种轻量级深度学习模型。该算法模型对DeeplabV3+模型进行了改进,借鉴其在多尺度目标检测方面的优势,使得网络结构更轻,同时也提高了检测速度。此外,Wang等设计了一个疵点样本生成器来生成疵点样本,通过生成的疵点样本来训练模型,使用真实样本来进行验证,一定程度上解决了数据不平衡的问题。2021年,Huang等[54]提出了用于疵点分割和检测的高效卷积神经网络。该方法大大减少了对数据集进行人工标注的昂贵成本,结合非疵点样本,只需少量的疵点样本就可以学习疵点的潜在特征,并获得高精度的疵点定位。基于公开PTF数据集和3个自制织物数据集的实验结果表明,该方法只需要50个疵点样本就能得到准确的分割结果,并能达到25帧/s的实时检测要求。然而,这种扩大样本的方法也存在不足之处:一是难以生成高分辨率图像;二是生成过程仍然需要少量的真实疵点图像。

长短期记忆人工神经网络(LSTM)是一种特殊的递归神经网络,它可以很好地解决递归神经网络的长期依赖问题。2019年,Zhao等[55]提出了基于视觉长短期记忆的综合CNN模型,提取了3类特征,分别是由层叠卷积自动编码器提取的视觉感知信息,以浅卷积神经网络为特征的视觉短时记忆信息以及以非局部神经网络为特征的视觉长时记忆信息。这3类特征是互补的,且不是完全冗余的,在DHU-FD-500、DHU-FD-1000和阿里云-FD-10500这3个数据集上的实验结果证明了此方法的性能。

3 织物疵点检测系统研究进展

3.1 国外织物疵点检测系统

在国外,主流的自动验布系统包括Fabriscan自动验布系统、I-TEX系列自动验布系统、Cyclops自动验布系统以及USTER Q-BAR 2织物检测仪等。

3.1.1 Fabriscan自动验布系统

瑞士Uster公司开发的Fabriscan自动验布系统,运用了高分辨率摄像机和神经网络技术。验布工作时,先进行神经网络的训练,然后再进入检测阶段,把检测到的疵点信息发送到上位机,再通过质量管理软件对织物质量进行最终判定[58]。该系统不仅适用于简单的坯布,而且适用于各种复杂的织物。其检出率达90%左右,检验速度达120 m/min[59]。

3.1.2 I-TEX系列自动验布系统

以色列EVS公司的自动验布系统技术来源于军事用途的目标搜索侦测技术[60],第一代产品I-TEX100主要用于坯布及工业用布的检验。第二代产品I-TEX200主要用于单色染色织物的检验。第三代产品I-TEX2000能检测不同的纺纱、织造、整理和涂层工艺的任何织物上,检测速度为300 m/min,检测织物幅宽达600 cm,最小可检测出0.5 mm的疵点[61]。近年推广的IQ-TEX4自动视觉检测系统,利用高分辨率的彩线扫描技术以及增强缺陷分类算法,实现了疵点的检测和演示。该系统可在生产过程中提供实时视觉监控,能在检测速度达1 000 m/min的情况下,检测出小于0.1 mm的疵点,包括破洞、断经、异物、污点、破边等[62]。

3.1.3 Cyclops自动验布系统

Barco公司的Cyclops系统与上述2种系统有所不同,其扫描头安装在正在织造的机器上,而上述2种系统的扫描头则通常安装在卷布机上。Cyclops系统采用相机拍照,再经过图像处理和计算分析图像,发现疵点后Cyclops系统会发出警报或停机,并记录疵点位置和特征[58]。但此系统需要使用专门的硬件以及需要中型计算机完成大量图像处理运算[63],成本偏高。

3.1.4 USTER Q-BAR 2织物检测仪

EVS公司具有优异的智能视觉检测和故障识别算法技术,生产的USTER Q-BAR 2织物检测仪可提供不同的算法来识别特定疵点及其原因。如若在织物织成阶段检测到疵点就会停止织造,避免疵点问题的扩散,以此保障所要求的织物质量。该系统可以从织机设置到整卷,对机织织物进行连续的幅宽测量,处理整个织物幅宽。此外,因Uster公司在质量管理体系上的多年经验累积,使得USTER Q-BAR 2织物检测仪能够提供友好的用户交互环境,提示操作员疵点位置,并通过装置侧面的灯来显示系统状态,并且该装置还会对织物疵点进行分类和保存,能够在触摸屏上呈现出“疵点地图”供操作员调用和查看[64]。

3.2 国内织物疵点检测系统

近年来国内也有许多企业致力于研发织物疵点自动检测系统,包括陕西长岭纺织机电科技有限公司的FS220型光电自动验布机,数优(苏州)人工智能科技有限公司Textile A.I.Solution(TAS)验布系统,常州范视电子科技有限公司和常州工图视觉科技有限公司的纺织瑕疵检测系统以及深圳灵图慧视科技有限公司的灵图慧视智能验布机等。

3.2.1 FS220型光电自动验布机

FS220型光电自动验布机基于机器视觉和图像处理技术,通过图像空间域的变化,增强了疵点特征。图像处理流程为:图像采集,图像分割,高斯滤波,直方图初步识别,二值化,轮廓变换,疵点识别[65]。系统可以设定30和60 m/min 2档验布速度,正检率高,误判率低于15%,发展潜力巨大,对提升纺织企业的布匹质量水平有着重要的意义。

3.2.2 Textile A.I.Solution验布系统

基于深度学习开发的Textile A.I.Solution(TAS)验布系统[66]主要检测的是布匹印花、印染等染色工序中产生的疵点。该系统提高了深度学习算法的速度,有助于快速准确地检测疵点,检测幅宽达300 cm,检测速度为80 m/min,检测精度为0.2 mm。

3.2.3 纺织瑕疵检测系统

纺织瑕疵检测系统采用深度学习建模技术,检测幅宽为0.5~2 m,最高检测速度为100 m/min,检测精度在0.1~0.5 mm之间可选,纺织瑕疵检测系统适用于素色布料,可以检测多种常规疵点,如断经断纬、缺经缺纬、粗节、稀经稀纬、飞花织入、破洞、色点以及破边、门幅异常等。对于明显的疵点识别率为100%,对不明显的疵点检出率也能达80%~90%,误报率基本为0。

3.2.4 灵图慧视智能验布机

基于深度学习和机器视觉技术开发的灵图慧视智能验布机通过自建ABC(AI、BigData、Cloud Computing)深度学习模型,实现在复杂的面料环境下的学习,提升了检出率。与此同时,该系统的开发公司创建了关于织物疵点大数据库,其中包含了针织疵点9大类,机织疵点8大类,共计100多种疵点类型。该大数据库形成了纺织行业新的生态系统,仍在不断完善中。在现有的疵点种类范围中,该智能验布机的检出率可达95%,高速检测验布速度可达1 m/s,是人工检测的3~5倍。该系统可以24 h不间断地自动检测,工作周期高达10 a。

4 结束语

本文介绍了主流的织物图像的预处理技术,并简要综述了基于结构、统计、频谱、模型和学习的织物疵点检测方法,并对这些方法的原理进行了介绍,分析了其优缺点与适用范围。最后梳理总结了国外织物疵点检测系统的研究进展,并对织物疵点检测方法的未来发展作出了展望。

1)由于织物图像特征空间的类间模糊性和类内差异性,目前特征提取方法的性能受到较大限制,影响预处理效果,因此,需要通过研究织物图像的特征分布属性,以此设计鲁棒可靠的预处理方案,是未来研究的重点。

2)基于深度学习的织物疵点检测方法依赖于大量的数据样本,但是公开的数据资源非常稀缺,并且数据集的标注也需要非常昂贵的人工标注成本,因此,在没有数据集标注的情况下训练网络,实现无监督学习也是未来的研究重点之一。

3)当前算法优化的3个方向主要是检测精度、实时性以及通用性,大部分算法都只在部分指标上具有很好的效果,因此,未来需要发展各方面性能都更加鲁棒的算法,才能更好地满足纺织工业发展需求。

4)目前尚没有免费向研究者提供的通用织物疵点纹理数据集,研究者在实验中采用的数据集样本来源多种多样,且样本的大小和质量也存在差别,所以导致不同算法之间的性能对比不太直观。

5)随着疵点检测技术的不断发展,基于图像处理技术的自动验布系统必将逐步取代传统人工检测,具有很大的市场前景,因此,需要进一步增加自动验布系统的智能化程度,构建满足生产需求的软硬件系统。

FZXB

猜你喜欢

纹理织物图像
无Sn-Pd活化法制备PANI/Cu导电织物
《丝绒织物》等103项纺织行业标准发布
《纺织品织物折痕回复角的测定》正式发布
基于生成对抗网络的CT图像生成
竹纤维织物抗菌研究进展
浅析p-V图像中的两个疑难问题
巧用图像中的点、线、面解题
基于BM3D的复杂纹理区域图像去噪
肺纹理增多是病吗?
TEXTURE ON TEXTURE质地上的纹理