基于改进DeepLabV3+的铁谱图像语义分割

程亮，王静秋，刘信良，孙康

(南京航空航天大学 机电学院，江苏 南京 210016)

0 引言

铁谱分析是在高梯度强度的磁场作用下，将摩擦副中产生的金属磨粒从润滑油中分离出来，按照一定的方法制成谱片和铁谱图像，然后通过相关软件对其进行定性和定量分析的方法[1]。由于铁谱图像中磨粒尺寸不一，相同类型磨粒之间形态各异以及不同类型磨粒之间存在一定的相似性等问题，使用计算机图像处理技术对其进行准确分割较为困难。图像语义分割是对图像中每个像素进行分类，并用颜色索引表示其类别的方法。随着全卷积网络(fully connectional networks,FCN)[2]的出现，诸如DeepLab系列、基于编码-解码、基于注意力机制以及基于概率图模型等语义分割方法被相继提出，极大地推进了图像语义分割的发展[3]。

针对FCN对细节不敏感、缺乏空间一致性等缺点，2016年，CHEN L C等人提出了DeepLab网络[4]，该网络将分割结果输入至全连接条件随机场，解决了深度网络的定位效果差分割精度不足的问题。2017年，CHEN L C等人在DeepLab的基础上提出了DeepLabV2网络[5]。该网络采用空洞卷积，可以在不降低图像分辨率情况下增大感受野；其次，增加空洞空间金字塔池化(atrous spatial pyramid pooling,ASPP)模块，利用多个不同膨胀率的空洞卷积捕获多尺度特征。之后，CHEN L C等人又提出了DeeplabV3网络[6]，该网络在ASPP中加入全局平均池化分支并在ASPP模块后使用批量归一化层，有效捕获全局信息。2018年，该团队针对DeepLabV3池化和带步长卷积会造成一些物体边界细节信息的丢失并且扩张卷积计算代价过大的问题，提出了DeepLabV3+网络。该网络在DeepLabV3的基础上增加了编码-解码模块，将DeepLabV3作为网络的编码器，并在此基础上增加了解码器模块用于恢复目标边界细节[7-9]。

本文通过改进DeepLabV3+网络，提出一种适用于铁谱图像语义分割的模型，如图1所示。该模型改进DeepLabV3+的ASPP模块为密集连接的ASPP结构(Dense ASPP，D-ASPP)，以更好地提取空间信息；然后引入全连接条件随机场(fully connected conditional random filed,FCCRF)改善铁谱图像中磨粒过分割问题。

图1 改进DeepLabV3+网络示意图

1 改进DeepLabV3+网络

在DeepLabV3+网络中，基于空洞卷积的ASPP模块虽然可以在不降低图像分辨率的情况下提取特征，从而提升网络的分割精度，但是对于尺度不一物体的分割，模型可能会忽略较小的物体，而对于尺度较大的物体，又有可能超过感受野范围，无法获取物体全局信息[3]。为了解决上述问题，本文引入并改进D-ASPP结构，以获取更丰富的语义特征。

1.1 D-ASPP

D-ASPP结构是在原ASPP结构中加入级联的连接方式，使其在增大模型整体感受野的同时还能共享各分支信息。另外，本文改进了D-ASPP结构，增加了Rate=3的分支，用于小范围局部特征的提取；其次，将D-ASPP结构中各分支膨胀率设为互质数，防止出现栅格效应。改进后的D-ASPP具有更多的像素参与计算和更大的感受野的优点。

1)更多的像素参与计算。图2为在级联方式下，空洞卷积的计算过程示意图，其中灰色结点为参与计算的像素点，黑色结点为不参与计算的像素点。

图2 空洞卷积级联示意图

从图2(a)中可以看出，如果以非互质膨胀率级联，参与计算的像素都集中在某些固定的像素点上，即栅格效应。因此为了让更多的像素点参与计算，本文在ASPP结构中采用了互质膨胀率，即假设上层的膨胀率为N，则下层采用膨胀率为(2×N-1)，依次递推，其示意图如图2(b)所示。

2)更大的感受野。为了解决下采样时图像分辨率降低的问题，DeepLabV2引入了空洞卷积。通过改变膨胀率，即可在不改变图像分辨率的情况下增大卷积核的感受野。空洞卷积中感受野计算公式如下：

R=(D-1)·(K-1)+K

(1)

其中：K表示卷积核尺寸；D表示空洞卷积膨胀率。而当两个空洞卷积级联时，下层空洞卷积的感受野为

R=R1+R2-1

(2)

其中R1和R2为相邻两个空洞卷积的感受野。表1为感受野对比。

表1 感受野对比

从表1可以看出，相对于普通的ASPP结构，D-ASPP结构的感受野近乎两倍于前者，能够更好地获取全局信息，这更有利于解决局部模糊性问题。

1.2 全连接的条件随机场

在图像的语义分割网络中，目标是单个像素点，因此会忽略考虑像素之间的关系。本文将全连接条件随机场融入改进的DeepLabV3+模型，利用像素之间的相似性，改善分割结果。

对于多分类任务，利用颜色和位置构建特征核函数，即

(3)

其中：I为3维颜色向量；P为2维像素点坐标向量；θα、θβ、θγ为高斯核尺度参数[11]。

如图3所示，在FCCRF模型中，通过比较相邻像素的一致性，鼓励相似性大的像素分配相同的标签，而相似性小的像素分配不同的标签，因此对于较小的空洞或者是像素分配错误的小区域都可以通过相邻区域的标签进行填充或者修正。

图3 FCCRF示意图

2 实验过程及结果分析

2.1 实验设备和数据

本文算法所采用的编程语言为Python3.6，网络搭建基于Tensorflow开源框架，版本为1.14。硬件配置如下：CPU型号为i7-8700k，显卡型号为NVIDIA RTX2070、显存为8 GB，操作系统为Windows10。本文所采用的实验数据来自某公司油液，经取样、制谱、拍摄得到的实际应用图像。图像总数为200张，其中训练集160张，验证集20张，测试集20张，其对应标签通过LabelMe标注工具进行标注。本文数据集中包含链状磨粒、球形磨粒、切削磨粒、疲劳磨粒、氧化物磨粒以及严重滑动磨粒共6类。

2.2 评价指标

本文所采用评价指标为平均较占比(mean intersection over union,MIoU)以及平均像素准确率(mean pixel accuracy,MPA)。假设图像中共有k个类别(不考虑背景)，pij表示真实值为i、预测值为j；pji表示真实值为j、预测值为i；而pii表示真实值和预测值均为i。MIoU和MPA的计算公式分别为：

(4)

(5)

2.3 实验过程与结果分析

1)ASPP模块实验

为验证不同膨胀率组合的效果，本文设计多组ASPP结构，分别以是否级联、是否加入Rate=3的分支以及是否采用互质膨胀率为对比项，表2为对比实验结果。

表2 不同膨胀率组合对比实验

从表2中的结果可以看出，序号6中采取(3,5,9,17)的互质膨胀率组合、级联、加入膨胀率为3的分支结果最好，MPA为85.4，MIoU为78.8。

2)FCRCF后处理

由于语义分割是针对像素分类，忽略了像素之间的关系，因此分割结果中可能存在过分割。为了解决这一问题，本文在改进的DeepLabV3+基础上，将原始图像和预测结果作为输入，采用FCCRF进行后处理，以颜色信息和位置信息为约束修正像素分类(图4)。

图4 语义分割结果

从图4中可以看出，经过FCCRF后处理过的结果，磨粒内部的孔被正确填充，而且分类错误的像素也大多得到修正，很大程度地改善了过分割现象。

3)实验结果对比

为了验证本文算法的有效性，在本文实验数据集上，将实验结果与其他几种经典分割网络DeepLabV3、RefineNet[12]、PSPNet[13]进行对比，对比结果如表3所示。

表3 实验结果对比

从表3结果可以看出，在本文数据集上，改进后的DeepLabV3+的结果优于其他网络，并且加入FCCRF可以获取更加精确的结果，MPA为90.3，MIoU为87.1。

3 结语

本文在DeepLabV3+的基础上，引入并改进了D-ASPP结构，在增大感受野的同时避免了栅格效应。其次，利用全连接条件随机场，以颜色信息和位置信息为约束，优化了语义分割忽略像素之间相关性的问题，提高了分割精度。实验结果表明，本文所用方法能够获得较为精确的分割结果，具有一定的实用性。