基于深度学习的SEM纤维图像分割方法研究

文/王雯 张芳

1 引言

为了能生产出满足服装、装饰及产业需求的纺织品，获取纺织材料纤维的直径、取向度等参数信息至关重要，而纤维参数测量，首先需要对纤维图像进行准确分割，该工作对评价纤维性能、改进纤维材料生产工艺等具有重要意义。

传统的图像分割方法主要在像素集上对目标进行区分，不仅过程复杂，效率和精度较低，只局限于实验室，通用性和抗干扰等能力方面也还有很多工作要做。[1]直到20世纪80年代末出现了基于人工神经网络的图像分割方法，它具有互联结构和分布式处理单元，系统拥有良好的并行性和鲁棒性。

随着图像处理以及机器学习等技术在各个领域的不断深入研究与应用，在纤维图像识别领域也逐渐开始采用计算机数字图像处理及机器学习等技术。[2]传统的图像分割方法主要分为阈值分割法、边缘检测法、区域提取法，分割过程受参数影响大，方法局限性太大，且这些边缘检测都是像素级检测，精度不高。为找到目标识别率较高、更加稳定的图像分割方法，本文基于深度学习技术对扫描电子显微镜(Scanning Electron Microscope，SEM)纤维图像的分割问题进行研究。

2 基于Mask R-CNN的SEM纤维图像分割方法

深度学习的结构是仿照人类大脑的分层结构，相较于传统的浅层学习，深度学习更加强调模型结构的深度，其中特征学习的重要性能被进一步突出。为实现庞大的函数逼近，深度学习采用一种深层的非线性网络结构。深度学习的系统主要由输入层、隐含层、输出层而组成，只有相邻的节点之间有连接，同一层和跨层节点之间相互无连接。

深度学习技术在被深入研究的同时，越来越多的成果被运用到生活实际中来，如CNN[3]、Fast-R-CNN[4]、Mask R-CNN[5]等都被广泛使用，本文的试验使用了Mask R-CNN深度学习网络。

本文基于Mask R-CNN网络进行纤维图像分割研究，主要过程为：准备标注出纤维的训练样本和测试样本数据；将训练数据输入网络，对Mask R-CNN进行训练；训练完毕后，对测试图进行检测。本文将详细展示训练及测试过程。

2.1 网络结构

Kaiming He[5]等于2017年提出 Mask-RCNN网络结构，该网络结构主要用于目标检测和实体分割，Mask R-CNN的主干网络采用了Resnet50/101+FPN 的网络结构，在ResNet50/101的主干网络中，使用了ResNet中Stage2、Stage3、Stage4、Stage5的特征图，由于其自顶向下的网络结构，可把上采样结果和上层阶段的特征图进行元素间叠加操作，从而生成新的特征图，这样底层的特征图用于去检测较小的目标，高层的特征图用于去检测较大的目标。本文在并未修改Mask R-CNN网络层数的基础上进行研究，网络结构如图1。

Mask R-CNN具有几个突出特点：1）在边缘识别的基础上添加一个分支网络，用于Mask识别；2）训练过程简单，相对于Faster网络而言仅多出了一个小的OVERhead结构，可以跑到5FPS；3）扩展到其他任务非常方便，比如对纤维的边缘识别等；4）不借助Trick，在每个任务上，效果优于目前所有单模型输入网络，因此本文选择Mask R-CNN网络来进行SEM图像分割。

图1 Mask R-CNN的网络结构

2.2 样本准备

先标注训练样本及待测样本中的纤维轮廓，制作成相应的二值图。二值图像是指每一个像素均为0或1，其灰度值没有中心过渡的图像，二值图像大多数用来描述文字或者图形。对图像二值化处理的作用是为了方便提取图像中的信息，二值图像在进行计算机识别时，可以提高目标识别率。在本试验中是为了将感兴趣目标和背景分离，让网络只对感兴趣的部分再进行处理，提高识别效率。

图2 训练样本及对其标注的真值图

2.3 训练纤维图像试验

下载Mask R-CNN模型，因网络程序中各项数值都是原始的，所以要修改程序中的对应内容，将默认文件夹地址改为存放训练样本的文件夹地址，链接好训练样本，修改训练次数即可开始训练。

由于训练图片比较大，因此采用交叉分割（重叠分割）方法，将训练样本分割为1296张尺寸为256×256图，并标注出对应的真值图，再将1296张训练样本全部输入网络进行训练，为提高识别效率，分别训练80次与100次，训练样本如图3所示。

图3 训练样本及其训练结果

由训练结果可分析，随着训练次数的增加，对于纤维轮廓完整的目标识别率也在增高，具体试验结果将在下章讨论。

2.4 测试图像纤维分割试验

修改程序中的对应内容，将默认文件夹地址改为待检测样本的文件夹地址，修改训练次数即可开始训练。

取未输入网络进行训练的部分图片作为检测样本集，抽取其中24张进行检测，为提高识别效率，分别训练50次、80次与100次，结果如图4所示。

图4 一幅待检测样本及对其训练结果

可以看出，训练50次与80次的结果中，纤维目标识别率并不高，而训练到100次所得结果中，图中纤维像素能够被较好地识别分割，由此可推测训练次数与目标识别率成正比关系。

经对比可以看出，训练至100次所得结果目标识别率较高。但将训练100次得出的结果与标准真值图相对比，有识别率很高的结果，但其中也有误差较大的结果。

而当训练至100次时观察LOSS曲线(如图5)已经接近于平稳，说明已经达到了最佳训练次数，再增加迭代次数会造成过拟合，故最多只训练到了100次。

图5 网络的LOSS曲线

3 试验结果分析

3.1 试验准确度分析

为评价本文所研究的纤维图像分割方法是否可行，选取了四类方法作为评价指标，即正确率（A）、精确率（P）、召回率（R）和评价分类模型的统计量F1-measure（F1），计算公式如下：

其中，TP表示纤维像素中被正确分于维像素类的样本个数；TN表示背景像素中被正确分于背景像素类的样本个数；FP表示背景像素类中被分于纤维像素类的样本个数；FN则表示纤维像素被分为背景像素类的样本个数。

正确率衡量的是试验误差大小，如果正确率较高，则说明试验的偶然误差较小，但它的结果也可能是不准确的。精确率指样本中被正确预测的个数，数值越高，精确率越高。召回率亦是如此。而F1是则衡量准确率和召回率的整体性能，其数值越大就说明方法性能越好。

计算出测试图片分别训练50次、80次、100次的评价结果对比如表1所示。

表1 测试结果精确度对比

从表中可以看出，本文提出的纤维图像分割方法在A、P、R、F1四个评价指标上的表现优异，随着训练次数的增加，F1指标接近于1，而F1值是将P值与R值二者融合后用于综合反映整体的指标。因此，从总体上看，本文提出的纤维图像分割方法可行，且目标识别率较高。

3.2 试验误差分析

分析试验结果，可发现仍存在较大误差，如纤维图像的漏检、误检、重复检测等问题，如图6所示。

图6 几种检测错误对比

分析误差原因，一是由试验环境、网络程序、硬件设备等客观因素造成的试验误差。

二是由于人为因素而造成的误差。在进行样本处理时，将残缺的纤维结构也归为了待检测纤维像素，所制作的二值图像经后续分割后出现许多干扰，从而增加了试验误差。

4 总结

本文利用深度学习方法进行纤维图像分割，并选择了卷积神经网络中的Mask R-CNN网络进行图像分割与研究。但其中仍存在很多不足，在很多方面仍需要更深入的研究，探讨与改进，可以概括为以下两点：

1）纤维图像分割的准确率尚待提高，仍存在漏检、误检与重复等问题。推测与训练次数较少有关，后续试验可加大训练样本；或与二值图人工处理有关，尝试重新制作待检测图片的二值图，将纤维轮廓残缺部分归为背景像素再进行试验，目标识别率或有提升。

2）该方法通过理论确定了Mask R-CNN网络，未与其他优秀网络进行试验对比。还应在其他深度学习网络中进行试验，判定该网络是否为最优分割方法。

OEKO-TEX® 2019年新规

OEKO-TEX®产品组合的现有标准已于2019年年初再次修改更新。新规定将在三个月的过渡期后，于2019年4月1日起生效。以下是一些重要更新的概述：

OEKO-TEX®已符合新“REACH附录XVII CMR法规”的要求。

苯和四种胺盐已被列入STANDARD 100 by OEKOTEX®和LEATHER STANDARD by OEKO-TEX®，并定义了限量值。OEKO-TEX®自2018年以来在监测喹啉，目前也已规定了限量值。

在限量值要求的“标准化”过程中，“＜”要求目前几乎适用于所有限量值。

在上述更新实施后，STANDARD 100和LEATHER STANDARD已符合新“REACH附录XVII CMR法规”[欧盟委员会法规(EU) 2018/1513] 的要求。该法规自2020年11月1日起将只对其中列出的33种CMR(致癌、致突变、致生殖毒性) 物质的产品强制执行。

限量值目录新增

新增测试项目包括多种备受关注的物质：硅氧烷D4、D5和D6以及偶氮二甲酰胺(ADCA)。此外，对可萃取重金属钡和硒提出了要求。

在STANDARD 100 by OEKO-TEX®附录6中，对多种参数规定了更严格的限量值。包括邻苯二甲酸酯（增塑剂）、烷基酚和烷基酚聚氧乙烯醚以及全氟和多氟化合物的参数。对纺织材料中残留物的要求越严格，它们对环境、工人和消费者的整体影响就越小。

新增受监测物质

2019年将两种新产品纳入监测范围：草甘膦及其盐类以及致癌性亚硝胺和亚硝基物质。特别是草甘膦产品，是目前除草剂的主要成分，在2017年和2018年期间受到了媒体的大量关注，并在世界各地引发了激烈的争议性辩论。2017年底，在不同的消费群体和环保人士的抗议下，欧盟暂时将草甘膦及其他用途的批准延长至5年。采取“受监测”行动，OEKO-TEX®协会更加关注相关纺织材料中的物质群，并将更详细地分析其情况。

扩大产品组合以实现可持续生产条件

2019年，STeP评估将扩展到皮革生产工厂。在这个整合过程中，名称也会发生变化：“可持续纺织生产”将变更为“可持续纺织和皮革生产”，缩写STeP保持不变。