面向织物疵点检测的机器视觉方法

韩佳，邱 莉，陈晓东，董琪婧，龙天瑜

（内蒙古工业大学 轻工与纺织学院，内蒙古 呼和浩特 010080）

纺织品的纹理图案或者颜色与背景接近都会对疵点的检出率产生很大的影响。目前的检测算法有很大的限制，不能很好地应用于疵点检测。传统的目标检测方法是在特征工程和分类器的基础上进行的，需要手动设计和提取特征，并针对不同的数据集进行调整和优化。这种方法或许会受到算法复杂度的制约，并且通常需要大量的标记数据进行训练，需要更多的人力和时间资源。此外，这种方法可能会受到标记数据质量的限制，影响到算法的性能和准确性[1]。随着人工智能技术的迅猛发展，以深度学习为基础的检测方法已成为主流趋势。通过对多层神经网络进行组合和调整，深度学习算法在疵点检测方面表现出更高的准确性。对海量数据进行学习，能够自适应地掌握疵点的形态、大小、色彩等特征，从而在各种织物类型中表现出更强的适应性。同时，深度学习算法也能根据输入图像的变化自动调节参数，提高算法的鲁棒性[2]。其可以利用GPU 的并行计算显著提升图像处理和识别的速度，因此在对实时性要求较高的场景中具有广泛的适用性。

针对如今学术界与产业界以深度学习为核心的目标检测技术已经获得很大成果这一现状，本文系统地归纳分析了以深度学习为基础的目标检测技术，介绍了图像处理的方法。鉴于深度学习在目标检测领域的卓越表现，对比国内外发展现状，对未来发展趋势进行综述和探讨。

1 图像预处理

由于多种干扰因素的影响，线阵相机的输出图像呈现出明显的灰度分布不均，这对目标识别和分类算法造成了严重的影响，因此必须进行校正[3]。

图像预处理就是在对图像进行处理之前，对其做一系列的变换，减少无关信息的影响，从而获得强化后的有效信息。它可以使得采集到的图片全局一致，对原始采集的图片采用噪声过滤、图像增强等图像方法来去噪、使图像均匀清晰、提取图像并突出图像特征。图像处理过程中预先的操作便是滤除噪声，使图片的信噪比提高从而达到能肉眼主观改善的效果，才能进行后续的各种图像处理操作。在尽可能地保留图像细微特征的前提下，对图像噪声进行抑制或去除来使图像质量改善的操作称为图像滤波。常用的图像滤波方法有：均值滤波法[4]、中值滤波法[5]等。

1.1 均值滤波法

均值滤波法是一种线性空域去噪法，运算速度快，复杂度低，具有显著的优势，在图像去噪领域内得到了广泛的应用。它的原理是将图像中的一个像素点以及其邻域中的所有像素点的平均值赋值给输出图像中所对应的像素点以消除噪声[6]。采用均值滤波的图像去噪方法，可以降低图像的锐度，实现了对高斯噪声的高效去除。但是使用均值滤波进行去噪处理后，图像的边缘会变得模糊不清，从而无法完整地保留边缘所包含的细节信息，这是其存在的缺陷。

1.2 中值滤波法

中值滤波是一种非线性的抑制噪声的处理方法，核心思想在于利用图像中的每个像素点作为中心点，生成一个矩形滑动窗口，然后按照从小到大的顺序排列窗口中所有像素点的灰度值，将排序后的中值计算出来，最终用该中值代替原窗口中心点的像素值[7]。

对于中值滤波法而言，选择合适的滤波窗口尺寸是至关重要的决策[8]。因此，在中值滤波的应用过程中，必须根据实际信号和噪声的特性，设定适当的窗口尺寸，以确保滤波效果的最大化。

2 织物疵点检测方法

2.1 两阶段目标检测算法

当前利用深度学习来求解的目标检测主要有两阶段检测法与一阶段检测法。两阶段目标检测算法以R-CNN 系列为代表，是一种基于候选区域的目标检测方法[9]。完成待选区域的生成后，对特征进行提取，然后将产生的特征图输入到分类器中，确定目标物体所属的类别信息，并经过回归损失函数来修正目标物体的边界框以确定目标物体的位置信息[10]。其主要有AlexNet[11]、VGG[12]、ResNet[13]、Fast-RCNN[14]、Faster-RCNN[15]。虽然其检测精度优于传统方法，但是检测速度略显不足，特征提取过程耗时长，难以达到实时检测的效果。两阶段检测算法识别的流程图见图1。

图1 两阶段检测算法识别流程图

2.1.1 R-CNN 算法

Girshick 等[16]在2014 年将区域建议与CNN 结合在一起，提出了一种两阶段检测算法R-CNN。Thakur等[17]利用深度学习算法，即通过迁移学习的CNN，对实心染色机织物进行了孔、污、节、结4 种不同类别织物缺陷的识别。Ouyang 等[18]结合图像预处理、织物图案确定、候选缺陷图生成和卷积神经网络（CNNs）技术，在CNN 中引入成对电位激活层，对具有复杂特征的织物可以实现准确的疵点分割。Li 等[19]研究了一种用于检测几种常见织物缺陷的紧凑卷积神经网络结构。所提出的架构使用多个具有多层感知器的微架构来优化网络。Jing 等[20]采用了微调卷积神经网络模型AlexNet对织物缺陷进行分类。所需样本数据相比于原网络极大地减小，对于缺陷样本数量有限也可以有效地检测和分类疵点。

以上改进的R-CNN 算法在检测效率和检测速度上均有很大提高，但仍有需改进的问题：（1）需要存储大量的特征，对空间的要求高；（2）因为各个区域缺乏特征共享，导致重复计算，训练过程耗时较长。

2.1.2 Fast-RCNN 算法

Fast-RCNN 与RCNN 相联系的是，它们的网络都是最大规模的，但是前者的训练时间为9.5h，测试所用的时间也缩短到了0.32s，与RCNN 相比有了非常明显的优化效果。在运行时，Fast-RCNN 在0.3s 内处理图像，mAP 在VOC 2012 上达到66%的准确率[21]。但是此算法采用选择性搜索算法来提取候选区域的特征，将产生正负样本候选框，耗时大，算法的实时性问题没有解决[22]。

2.1.3 Faster-RCNN 算法

Faster-RCNN 的核心思想在于，通过对已提取的特征图进行分析，对潜在的候选框进行判断识别。其在PASCAL VOC 训练集上显示出的目标检测速度为17 fps，准确率59.9%；复杂网络的fps 值为5，准确率达到78.8%。

蒋晨等[23]在喷水织机的织物疵点检测上采用了一种改进的Faster RCNN 方法，具有更好的检测效果，得到算法的mAP 值为95.50%，在分类精度与定位精度两方面均有提高。李明等[24]提出疵点识别算法，该算法采用GAN 和Faster RCNN 相结合的方法，通过GAN对疵点织物进行扩充样本，然后在Faster R-CNN 上使用VGG 神经网络对输入图像进行特征信息提取，达到了在保证效率的同时提高算法准确率的目的。Chen 等[25]将Gabor 核嵌入到网络中来改进区域卷积神经网络（Faster R-CNN）模型，解决纹理干扰的问题，设计了一种基于遗传算法和反向传播的两阶段训练方法，来训练新的Faster GG R-CNN 模型，准确率更高。

2.2 一阶段目标检测算法

为了保证检测精度和提高检测速度，提出了一阶段算法。单阶段目标检测算法如YOLO[26]、SSD[26]，是一种基于回归分析的高效目标检测技术，算法直接对原图进行特征提取、定位检测与分类，整个过程不需要区域建议检测，直接实现了对输入图像的端到端检测，算法结构简单，从而极大地提高了检测速度[27]。然而，在那些目标密度过大或目标重叠度较高的场景中，检测精度的损失极大，常常会出现漏检的情况。图2 为一阶段检测算法的识别流程。

图2 一阶段检测算法识别流程

2.2.1 YOLO 系列算法

YOLO 将目标检测任务转换成一个回归问题，检测的速度得到了很大提高。因为每个网络预测目标窗口时使用的是全图信息[28]，可以将预测背景的错误率降低50%，相比其他目标检测算法的准确率高很多。局限在于检测小目标以及邻近的物体会影响检测效果。

Jing 等[20]结合CNN、非极大值抑制算法以及特征金字塔，采用独立逻辑回归分类器和二值交叉熵损失，采用k-means 算法对标记数据进行聚类，增加了YOLO 检测层，有效提高了疵点检出率。章永鉴等[29]利用轻量主干网络GhostNet，与Light CBAM 注意力机制结合，采用特征自适应融合ASFF 的策略和改进的NMS 算法，mAP 达到了92.71%，检测速度达到52 fps，提高了检测精度和速度。

2.2.2 SSD 算法

SSD 算法融合了YOLO 中的回归思想和Faster R-CNN 中的锚点机制，利用多尺度区域特征进行回归实现目标检测。利用前馈CNN 网络、SSD 算法实现了图像特征值的提取，并对不同尺度的特征层进行了分类和定位。相较于Faster R-CNN 算法以及YOLO 算法，SSD 算法在运算速度和检测精度方面表现更为卓越。

SSD 的预测虽然采用了多尺度特征图，但是浅层特征图感受野过小无法提供足够的目标语义信息；深层特征图感受野过大则无法提供充足的目标细节信息，需要进一步提高识别效果。

3 总结及展望

智能化织物疵点识别技术需要对织物结构、形态特征等进行提取，要求的样本量很大，对设备算力和存储空间的要求也很高，采用的算法较复杂。而检测行业本身具有大量的数据样本，提供了海量的数据基础。国内机器视觉技术的发展不同于国外的成熟度，还处于起步阶段，国内缺少系统完备的机器视觉研究理论，在由国外引进之初，国内相关研究领域还是空白。如今国内各高校、研究所以及企业在数字图像处理和机器视觉技术应用方面进行了积极探索，国内的机器视觉技术有了一定的积淀与规模。

以深度学习为基础的目标检测还处于发展阶段，具有十分广阔的发展空间，需要进一步加强研究深度学习相关理论知识，以提高检测的速率以及准确性。在人工智能的发展下，更多基于深度学习的方法被开发出来，会有更多融合优越性的方法可以用来指导生产，为企业带来切实的利益转化。