基于神经网络的棉麻混纺纱纤维检测

刘瀚旗，邓中民，李相朋

基于神经网络的棉麻混纺纱纤维检测

刘瀚旗1, 2b，邓中民2a, 2b，李相朋*1, 2b

（1. 纺织服装智能化湖北省工程研究中心，湖北 武汉 430200；2. 武汉纺织大学 a.省部共建纺织新材料与先进加工技术国家重点实验室，b. 计算机与人工智能学院，湖北 武汉 430200）

纺织业中棉麻混纺制品具有透气性、透汗性强等优点，但其中的棉麻纤维配比会影响实际制品的质量，而为了检测纤维配比需要对检测人员经过专业训练，并通过人眼观察来判断检测棉麻混纺纱中棉麻纤维比例。这存在着人力资源与时间资源损耗大，且主观影响因素过强等缺点，为了解决这个问题，本文提出利用神经网络来代替人工自动检测棉麻混纺纱中的棉麻比例，在经过试验后，利用YOLOv3网络并经过一定改良，对于测试集数据的最优平均精度均值(mAP)达到0.973，且测得棉麻混纺比平均值符合实际样本棉麻混纺比数值。由此可以证明，利用神经网络对棉麻混纺纱进行自动的比例检测是成立的。

棉麻检测；神经网络；深度学习；目标检测

0 前言

棉麻混纺纱中的棉麻纤维比例会影响实际棉麻混纺布的质量，是纺织业中重要的一项检测参数。目前对于棉麻混纺纱中棉、麻纤维的检测方法有化学检测法[1]、溶解吸光法[2]与着色法[3]，这几种方法有着操作方法繁琐的弊端，并不适用于实际工业检测，暂时只能作为理论实验。也有人提出了利用图像处理[4]的方法提取计算图像中的棉、麻纤维的各项数据，例如扭曲度、结节数等数值再经过BP网络训练来区分棉麻纤维的方法，但该种方法必须先提取图片中的棉、麻纤维，且人工设定的特征值并不一定准确且同样步骤繁琐，在棉麻数量多且复杂的图片中难以保持较高的准确度，同时由于是需要提前提取样本的棉麻，无法做到实时的棉麻纤维根数的计数，因此无法在实际检测项目上发挥太大的作用。而目前主要所用方法是检测人员通过对棉麻混纺纱取样[5]，再经过显微镜观察直接判断样本中棉麻纤维数量，这种方法耗时耗力，也不能算是对纤维检测最好的方法。

而目前，有作者提出了利用FasterRCNN[6]网络架构进行的棉和大麻混纺纱比例检测研究[7]，很好的证实了棉、大麻纤维是可以利用神经网络进行实时检测的，而考虑到大麻与亚麻有着接近的形态，同时麻纤维和棉纤维在纵截面上有明显的区别，因此本文提出可以利用不同的网络构架对棉亚麻纤维进行检测并计数，利用程序来代替人眼进行棉亚麻混纺纱比例检测。考虑到FasterRCNN网络是2阶段网络，本文认为利用YOLOv3[8]网络框架可以做到更快的检测速度，并且在精度上也有不逊于FasterRCNN网络框架的优势。

1 实验原理

目前对于人工检测棉麻纤维比例的方法主要依据纺织行业的标准FZ/T30003-2009FZ/《麻棉混纺产品定量分析方法——显微投影法》。该方法规定，通过人为的制作样本切片，显微镜成像，最后通过肉眼判别棉麻纤维个数，且棉麻纤维个数需在1000根以上方可具有代表性。本实验目标为利用神经网络代替人工肉眼观测计数，将制作好的样本通过电子显微镜成像到电脑上，再通过训练好的神经网络模型直接对图像进行识别检测，将图像中的棉麻个数自动检测出来，以此来达到节省人力资源与时间资源的目的，同时达到更好的检测结果的目的。

1.1 网络模型介绍

本文将用到FasterRCNN与YOLOv3两种神经网络模型，理论上而言，由于FasterRCNN是2阶段网络，较一阶段网络的YOLOv3在精度上略有优势，而在检测速度上则不如。但由于YOLOv3相比较于早期版本的YOLOv1[9]与YOLOv2[10]加入了SSD[11]网络中提出的锚点（anchor）机制，因此在精度上也进行了优化，两个网络大致模型图片如图1、图2所示。

图1 FasterRCNN网络模型图

图2 YOLOv3网络模型图

在图2中，YOLOv3网络会将获取的图片数据利用三种大小不同的网格进行切割，每一种网格都有同样的深度（维度），也即是图中文字的“4+1+num_classes”，其中4代表着目标物的长宽以及中心点坐标，num_classes代表着该网络需要进行的分类数量，在本次实验中，该值为2，直接在图片上获取目标候选区域，而不再像FasterRCNN利用RPN网络选取目标候选区域，因此在速度上是明显快于FasterRCNN网络模型的。

1.2 评测方法介绍

本次实验的评测主要是对网络的直接评测，一方面评测训练网络所需总时长，另一方面采用mAP值进行对比，mAP值是数据的精度均值，在网络模型中该数值结合了数据的交并比（IoU）值以及分类准确度的数值等因素，作为评测依据较为稳定，在计算mAP之前需要计算精准率与召回率，计算准确率的公式如公式（1）所示，计算召回率的公式如公式（2）所示。

计算准确率的公式如公式（1）所示：

该公式代表着被检测的麻或棉纤维中，有多少是被正确检测的，一般用来测算误检。

计算召回率的公式如公式（2）所示：

该公式代表的是，所有的正确的棉麻或棉花纤维中，多少被检测出来，一般用来测算漏检。

同时式（1）、（2）中TP、FP、FN分别以棉麻纤维举例，TP代表实际样本为棉纤维，检测出来也为棉纤维；FP代表实际样本为除了棉纤维的其他事物，而检测出来为棉纤维；FN则代表实际样本为除了棉纤维的其他事物，检测出来的也为除了棉纤维的其他事物。

计算AP值的公式如公式（3）所示：

而mAP值就是测试数据集中所有类别的AP值的平均数。

其中，阈值变化代表着对IoU值的容忍度变化，而IoU的计算公式如公式（4）所示：

式中，代表着目标真实区域，代表着目标被程序检测出来的区域，称为预测区域。为了判断网络确实在图像中找到了某一件东西，在实验前会人为的将图片上这件东西打上一个边框，然后利用网络去找到这个边框，人为手动打上的边框称为真实区域，网络预测出来的区域称为预测区域，表现效果如图3所示。

图中，虚线矩形区域为人为手工打上的区域，指示这个区域有目标物，而实线矩形区域可能是网络预测出来的某一个区域，称为预测区域。

2 方法与经过

本次实验的全部流程如图4所示。

图4 整体实验流程图

2.1 数据集制作

本次数据分为训练数据与检测数据，数据的主要形式为像素大小640×640后缀为.jpg格式的图片，在将训练数据投入到网络模型中训练之前，会先使用LabelImg软件将图片中的棉麻样本提前划分出来，同时数据集将以VOC2007标准进行制作。

考虑到本次使用图片仅有300张，作为训练数据集较小，因此在实际训练时会对每张图片进行一定的数据增广操作，例如普遍的平移，水平以及垂直翻转，角度旋转等增强操作，同时将所得数据依据训练集比验证集的比例分为8:2的数据。

2.2 模型改进

考虑到网络模型针对不同的数据样本会有不同的表现形式，且对于网络模型的优化和改造也有诸多方案，因此本次实验对于两个网络模型进行了部分的优化和调整。

本次网络模型的优化主要在于对学习率以及数据增强上的调整。在学习率衰减上，分别使用了普通的固定步长的学习率衰减（StepLR）以及余弦退火学习率衰减[12]（CosineAnnealingLR）两种学习率的示意图如图5，图6所示。

图5 StepLR学习率衰减

图6 CosineAnnealingLR学习率衰减

在数据增强上，则使用了Mosaic数据增强[13]，该增强方法是将四张图片随意切割之后组合成一张新的图片，以此来增强数据的复杂性以及网络的泛化性。Mosaic数据增强效果如图7所示：

图7 Mosaic增强效果图

2.3 对比结果

本次试验采用硬件为单张NVIDIA GeForce RTX3060显卡，网络训练参数为：初始学习率0.001，batch-size（批次训练量）为4，epoch（训练次数）为300。

检测效果图如图8，图9所示：

图8 FasterRCNN效果图

图9 YOLOv3效果图

可以看到，目标物被神经网络很好的检测了出来，并且在类别上没有出现问题，对于两个网络的mAP值，如图10以及图11所示。

图10 YOLOv3的mAP

图11 FasterRCNN的mAP

当取IoU值为0.5时，YOLOv3最高mAP值达到了0.973，而FasterRCNN仅有0.816，可见在网络性能上，由此YOLOv3是整体优于FasterRCNN的。

网络结构的改变以及最后测算结果的详细情况见表1。

表1 网络测试数据表

其中mpre、mrec、mAP分别为棉麻纤维的平均准确率、平均召回率以及平均精度，time为在300epoch下，300张原始图片训练所使用的总时长。从表1中可以看出，YOLOv3模型在各项数据上都优于FasterRCNN，无论是在对于棉、麻纤维是否检测出的recall值上还是对于棉、麻纤维是否正确检测的precision值上，并且在时间上YOLOv3网络模型要平均比FasterRCNN模型快1.142小时。

3 结论

根据本次实验，在棉麻纤维检测上，无论是FasterRCNN还是YOLOv3网络模型，均能做到将棉麻纤维检测出来，但相比于参考文献中的BP神经网络，YOLOv3与FasterRCNN不再需要人工提取特征数据，可以直接利用图片进行训练同时进行检测，而本文中的YOLOv3网络模型在实际检测的准确率和检测时间上又优于FasterRCNN，并与实际样本的棉麻纤维比例符合，但在对于复杂的情况下，例如单张图片上的棉麻纤维个数过多且交织在一起，则会出现严重的漏检和错检，这是之后需要解决的问题之一。

同时，在纺织领域，对于棉、亚麻、苎麻、大麻等的检测区分已经有了一定的发展，而目前的难题在于如何将亚麻、苎麻、大麻的混合纤维进行检测，即使用人工检测也会有很高的误检率。

由于亚麻、大麻、苎麻纤维在纵截面上的特点过于接近，人眼也较难区分，而神经网络的训练数据需要先用人工进行数据标注，这就给神经网络对于亚麻、苎麻、大麻纤维的检测产生了一定难度，而这是之后神经网络需要解决的难题之二。

同时，由于神经网络在目标检测上有优秀的特征筛选功能与分类检测能力，人眼能够进行有效区分的物体，只要传送给网络训练的图片清晰度合理，那么均可以利用神经网络进行直接检测与分类，而不再需要人工来进行检测，可以将此技术广泛的运用在纺织品检测项目中。

根据本次实验的结果，本文认为，在实际应用当中，如果重视检测效率则应当采用YOLOv3模型。

[1] 贾立锋, 饶高昶, 孟会娟. 基于着色法的棉与苎麻混纺含量测定[J]. 纺织学报, 2011, 32(7): 28-34.

[2] 高山．溶解—吸光法测定亚麻/棉混纺比[J]. 山东纺织科技, 2011, 42(2): 46-48.

[3] 俞凌云, 温演庆, 朱谱新, 等. 三原色染色法测定棉麻纤维混纺比初探[J]. 中国测试, 2013, 39(5): 62-64.

[4] 赵宇涛, 黄仰东, 邓中民. 基于图像处理的棉亚麻纤维的自动检测[J]. 棉纺织技术, 2019, 47(09): 7-12.

[5] 杨元, 李永贵, 丁志强. 棉/麻纤维混纺纱的定量分析方法探讨[J]. 上海纺织科技, 2009, 37(07): 48-51.

[6] Ren Shaoqing，He Kaiming，Girshick Ross, et al. Faster R-CNN: Towards Real-Time Object Detection with Region Proposal Networks[J]. IEEE Transactions on Pattern Analysis and Machine Intelligence，2017, (6):1137-1149

[7] 肖登辉, 李立轻, 汪军. 基于Faster rcnn的棉麻纱混纺比自动检测[J]. 纺织器材, 2020, 47(03): 1-4.

[8] Joseph Redmon, Ali Farhadi. YOLOv3: An Incremental Improvement[J]. arXiv e-prints arXiv:1804.02767, 2018.

[9] Redmon Joseph, Divvala Santosh, Girshick Ross, et al. You Only Look Once: Unified, Real-Time Object Detection[J]. arXiv e-prints arXiv:1506.02640, 2015.

[10] Joseph Redmon, Ali Farhadi. YOLO9000: Better, Faster, Stronger[J]. arXiv e-prints arXiv:1612.08242, 2016.

[11] Wei Liu, UNC Chapel Hill, et al. SSD: Single Shot MultiBox Detector[C]. European Conference on Computer Vision, 2016. 21-37.

[12] Loshchilov I, F Hutter. SGDR: Stochastic Gradient Descent with Restarts[J]. arXiv preprint arXiv:1608.03983, 2016.

[13] Alexey Bochkovskiy, Chien-Yao Wang, Hong-Yuan Liao. Mark. YOLOv4: Optimal Speed and Accuracy of Object Detection[J]. arXiv e-prints arXiv:2004.10934, 2020.

Fiber Detection of Cotton Flax Blended Yarn Based on Neural Network

LIU Han-qi1, 2b，DENG Zhong-min2a, 2b，LI Xiang-peng1, 2b

(1. Engineering Research Center of Hubei Province for Clothing Information, Wuhan Hubei 430200 China; 2.a State Key Laboratory of New Textile Materials and Advanced Processing Technology, b School of Computer Science and Artificial Intelligence, Wuhan Textile University, Wuhan Hubei 430200, China）

Cotton flax blended products in the textile industry have the advantages of good air permeability and sweat permeability, but the cotton flax fiber ratio would affect the quality of actual products. In order to detect the fiber ratio, the inspectors need to be professionally trained and detect the cotton flax fiber ratio in cotton flax blended yarn through subjective judgment of human eyes, which has a large loss of human resources and time resources, and the subjective influencing factors are too strong. In order to solve these problems, it is proposed to use neural network instead of manual automatic detection of cotton flax ratio in cotton flax blended yarn. After the test, the mean average precision(MAP) of the network for the test set data is 0.973, which obtained by using improved yolov3 network, and the average value of cotton linen blending ratio measured is consistent with the value of cotton linen blending ratio of actual samples. Therefore, it can be proved that it is feasible to use neural network detection automatically.

cotton and flax detection; neural network; deep learning; object detection

李相朋（1963-），男，教授，硕士生导师，研究方向：软计算，模糊集、粗糙集，信息系统与知识发现.

TS131.9

A

2095－414X(2021)06－0003－06