基于改进DeepLabV3+的煤尘图像分割方法

左纯子， 王征， 张科， 潘红光

（西安科技大学 电气与控制工程学院，陕西 西安 710054）

0 引言

在煤矿井下作业时，巷道内存在大量煤尘颗粒，当空气中煤尘浓度达到上限时，会引起煤尘爆炸，严重威胁煤矿生产安全[1-2]。对煤尘的各种特性进行分析，研究煤尘爆炸机理及其防范措施，对于保障煤矿安全生产具有重要意义[3]。

目前对煤尘颗粒的研究主要集中在煤尘自身的物理特性方面，如粒径、形态、表面结构等[4-5]。鉴于技术手段及研究角度的局限，现有研究大多针对煤尘特性的1个或几个参数，所生成的模型泛化能力较弱[6]。随着深度学习技术的发展，图像处理方法被应用到煤尘颗粒特征研究中，并取得一定的成果。语义分割是图像处理和机器视觉的一个重要分支。与分类任务不同，语义分割需要判断图像中每个像素点的类别，进行精确分割。传统的语义分割网络 包 括 全 卷 积 网 络 （ Fully Convolutional Networks，FCN）[7]、 金 字 塔 场 景 解 析 网 络 （Pyramid Scene Parsing Network，PSPNet）[8]，SegNet[9]，U−Net[10]，Unet−SE[11]，DeepLabV3+[12]等。FCN需要进行 8倍上采样，采样结果较模糊，易产生噪声；SegNet未考虑上下文和局部细节信息；PSPNet融合了不同尺度的卷积，但分割细小物体时易出现模糊现象。U−Net和Unet−SE采用普通卷积进行下采样，空间分辨率会有所损失；DeepLabV3+引入扩张卷积，可以获取更多上下文信息，且能捕获到边缘细节信息。为了更好地捕获煤尘不规则细小颗粒物，在DeepLabV3+的基础上进行改进，并提出一种基于改进DeepLabV3+的煤尘图像分割方法。

1 基于改进DeepLabV3+的煤尘图像分割方法

1.1 DeepLabV3+网络模型改进

DeepLabV3+网络模型用于解决图像分割问题，分为编码和解码2个部分。通过特征提取网络Xception提取煤尘颗粒特征，用空洞空间卷积池化金字塔（Atrous Spatial Pyramid Pooling，ASPP）获得煤尘的高层语义特征，用解码器获得煤尘的低层边界特征。经编码器编码后，图像分辨率降为原来的1/16，因此，对高层语义特征进行4倍上采样，将分辨率恢复到原图的1/4；通过1×1卷积对低层边界特征进行压缩，并与高层语义特征进行融合；再通过3×3卷积和4倍上采样，输出与原图大小相等的预测图像。

由于煤尘颗粒的边缘特征信息相似，局部细节特征难以区分，所以DeepLabV3+网络模型难以直接用于煤尘图像分割。为此，从以下方面对DeepLabV3+网络模型进行改进：

（1） 在编码器中，用 CA−MobileNetV3 轻量化模块代替Xception实现特征提取，确保特征提取更加细致、准确。

（2） 在ASPP模块中对空洞率进行改进，使其更适合小颗粒煤尘提取。

（3） 在解码器中引入全局注意力上采样 （Global Attention Upsample，GAU）模块，在计算量较小时对低层特征信息进行加权，用高层特征信息指导低层特征信息，实现特征融合。

改进DeepLabV3+网络模型结构如图1所示。

图1 改进 DeepLabV3+网络模型结构

1.2 CA−MobileNetV3

由于煤尘颗粒形状不规则、尺寸差异大且具有多尺度特征，在卷积过程中有多个卷积核，需要进行多次卷积运算，使得卷积的计算量呈指数上升。CA−MobileNetV3模块使用深度可分离卷积，可将空间和通道分离，与标准卷积相比，缩小了计算量，提高了计算效率。深度可分离卷积由深度卷积和逐点卷积2个部分构成。

设输入特征图大小为F×F×M，输出特征图大小为F×F×N，卷积核大小为K×K×N×M，则标准卷积的计算量为F2MK2，深度可分离卷积的计算量为F2NK2+NMF2，深度可分离卷积的计算量与标准卷积计算量之比为可以看出，在计算量相同的情况下，深度可分离卷积可以有更大的深度，从而加快算法的分割速度。

CA−MobileNetV3在MobileNetV3的基础上进行改进，采用坐标注意力（Coordinate Attention，CA）模块[13]代替原来的压缩奖惩（Squeeze−and−Excitation，SE）模块。SE模块只关注了通道信息，而忽略了位置信息。本文通过引入CA模块，在通道和位置2个维度上关注煤尘图像的重要特征。相比于SE模块，CA模块捕获到的信息量更大，计算量、精度也随之上升。

CA−MobileNetV3模块结构如图2所示。

图2 CA−MobileNetV3 模块结构Fig.2 The structure of CA-MobileNetV3 module

将大小为W×H×M的特征图通过1×1的标准卷积进行特征压缩，然后通过3×3的深度卷积提取特征；再将获取的特征分别通过大小为C×W×1和C×1×W的卷积核在宽度和高度2个方向上分别编码，然后进行特征融合；对融合后的特征进行批量归一化，以加快网络的收敛速度；最后通过1×1标准卷积与原来输入的特征进行融合，形成新的特征图。

1.3 ASPP模块改进

ASPP模块获取图像语义信息后，通过空洞率不同的空洞卷积对不同尺度的特征信息进行采样，再将多个尺度的信息进行融合。ASPP模块由多个空洞率不同的卷积核以并联方式组成，空洞率的大小决定了是否能较好地提取小目标特征。一般空洞率越大，图像的感受野越大[14]，但空洞率较大时可能存在小目标信息丢失、信息利用率较低等问题。当感受野大于要分割的煤尘颗粒时，体积小的煤尘颗粒的信息将不会被捕获，而被作为背景处理。当空洞率较小时，卷积核的尺度和图像的感受野相对较小，有利于捕捉较小的煤尘颗粒。但当感受野过小时，会捕捉太多局部信息，导致煤尘图像难以分割。

ASPP 常用的一组空洞率为[1，6，8，12]，但并不适合煤尘颗粒这种小目标特征提取，容易导致煤尘颗粒细节部分被忽略，从而达不到语义分割的效果。并且，当空洞率存在公约数时（1除外），会造成煤尘局部细节信息大量丢失。为了尽可能多地捕捉煤尘颗粒局部信息，使局部信息之间产生更多关联，本文参考非0值间最大距离公式[15-16]，通过实验选择更适合煤尘颗粒小目标分割的不含公约数的一组空洞率。同时，采用 3×1和 1×3卷积对所有 3×3空洞卷积进行分解，以压缩模型参数量，减小煤尘图像处理计算量，从而提升网络模型的效率，缩短分割时间[17]。

1.4 GAU模块

在解码部分，大部分网络模型采用线性插值上采样方式获取高分辨率图像，导致图像细节信息难以恢复。GAU模块可在计算量较小的情况下对全局上下文特征信息进行融合，将高层特征信息作为低层特征信息的指导，其结构如图3所示。GAU模块首先改变低层特征每个通道的权重，对低层特征信息进行3×3卷积后加权，以增强类内特征的一致性，并将低层特征和高层特征相结合进行全局上采样，以获取煤尘颗粒的高分辨图像；然后，用带有Leaky ReLU和Sigmoid的1×1卷积层对全局信息进行压缩和提取，获取低层特征的权重向量，得到加权特征；最后，将加权特征与高层特征相融合，得到最终的输出结果。

图3 GAU 模块结构Fig.3 The structure of GAU module

GAU模块用全局上采样机制代替解码器的上采样机制，使煤尘颗粒的特征信息经过长距离传输后不衰减，更加有利于捕捉煤尘颗粒的边缘细节信息。

2 实验分析

通过煤尘采样器采集采煤工作面煤尘颗粒样本，将样本放入60 ℃恒温干燥箱中干燥24 h以上。将摄像头与显微镜连接，采集煤尘颗粒样本图像，并统一剪裁成分辨率为224×224的图像，形成原始数据集。通过图形界面标注软件Lableme对原始数据集中的图像进行标注，生成json文件，之后批量转换成分辨率为224×224、深度为24的灰度图。将数据分为训练集和验证集，其中训练集占90%，验证集占10%。利用Pytorch深度学习框架进行网络模型的训练和测试，软件编程语言为Python3.7。实验采用交叉熵损失函数，并且采用随机梯度下降（Stochastic Gradient Descent，SDG）算法优化网络模型。设置训练周期为100，每批次处理50张煤尘图像，学习率为0.01。

采用深度学习常用的平均交并比（Mean Intersection over Union，MIoU）、召回率和像素精度（Pixel Accuracy，PA）、准确度及F1值作为评估指标，验证本文方法的性能。

2.1 CA−MobileNetV3模块性能验证

随机挑选测试集中的煤尘图像，分别采用CA−MobileNetV3，MobileNetV3，Xception作为特征提取网络进行特征提取，结果如图4所示。由图4可看出：Xception的特征提取效果最差，不能很好地区分煤尘与背景区域，煤尘边缘等细节信息较模糊，存在煤尘边缘细节特征丢失的情况；MobileNetV3的特征提取效果优于Xception，但对小颗粒物的细节特征提取仍受到背景因素的影响。CA−MobileNetV3通过加入CA模块，降低了背景的影响，与MobileNetV3相比，更为关注小颗粒物边缘的特征信息，对边缘特征的激活程度更高，较为精确地保留了大量煤尘颗粒信息。

图4 图像特征提取结果Fig.4 Image characteristic extraction results

对CA−MobileNetV3与原DeepLabV3+特征提取网络Xception进行对比，结果见表1。可看出，与原DeepLabV3+的特征提取网络Xception相比，采用CA−MobileNetV3后，MIoU提升约6%，所占内存减少约 186 MB。

表1 不同特征提取网络的性能Table 1 Performance of different characteristic extraction networks

2.2 改进ASPP模块性能验证

选择有公约数的空洞率[1，6，8，12]，[1，12，18，24]和没有公约数的空洞率[1，3，7，9]，[1，5，7，11]，[1，7，11，13]进行实验，将煤尘颗粒数据集输入网络模型，实验结果见表2。分析表2可知，当空洞率没有公约数时，模型的PA和MIoU均高于空洞率有公约数时的值。当空洞率设置为[1，5，7，11]时，模型的分割性能最好。

表2 不同空洞率下 DeepLabV3+网络模型的分割性能Table 2 Segmentation performance of DeepLabV3+ network model under different dilation rates

2.3 GAU模块性能验证

为了验证GAU模块的性能，对原DeepLabV3+和加入GAU模块之后的网络进行对比实验，结果见表3。由于在解码器中使用了全局注意力机制，减少了高层特征和低层特征融合时的特征损失，引入GAU模块后，MIoU提升了4.2%，准确度提升了1.14%。

表3 GAU 模块性能Table 3 The performance of GAU module

2.4 不同煤尘图像分割方法对比

对 U−Net， DeepLabV3+， FCN， PSPNet， SegNet，Unet−SE和改进后DeepLabV3+七种网络模型进行训练，各网络模型通过测试集训练后的性能指标见表4。可看出，改进DeepLabV3+在煤尘数据集上的F1和MIoU指标高于其他网络模型，且训练时间较短，图像处理速度显著高于其他网络模型；U−Net，SegNet，PSPNet，FCN，Unet−SE 的F1值较小，这是因为这些网络模型对煤尘图像的细节特征提取较粗糙，未得到图像的多尺度深层信息，导致网络模型在进行特征融合时难以区分高层特征和低层特征。改进DeepLabV3+通过GAU模块将提取的底层特征和高层特征相融合，获得了较好的分割效果。改进DeepLabV3+综合性能最优，满足图像分割精度和实时性要求。

表4 各网络模型性能指标Table 4 Performance indicators of each network model

不同网络模型对煤尘图像的分割效果如图5所示。可看出，采用PSPNet，SegNet进行煤尘图像分割时，产生了许多噪点，分割结果较粗糙；采用U−Net，FCN，DeepLabV3+，Unet−SE 进行煤尘图像分割时，虽然能较好地还原煤尘颗粒尺寸，但对细小煤尘颗粒的分割还是较模糊，轮廓部分成色较淡，这是因为这4种网络模型未充分学习到煤尘颗粒的细节特征；改进DeepLabV3+能有效区分煤尘颗粒和矿物颗粒，矿物颗粒内部未出现红色区域，也未出现噪点，煤尘颗粒成像更清晰，对小目标的分割效果明显优于原DeepLabV3+网络模型。

图5 不同网络模型对煤尘图像的分割效果Fig.5 Segmentation effect of different network models on coal dust image

3 结论

（1） 特征提取网络采用 CA−MobileNetV3，将 CA模块嵌入MobileNetV3中，以较小的开销提升模型准确度，有效避免了传统机器学习方法在煤尘识别中泛化能力差的问题，以及一般深度学习框架因参数体积过大而难以嵌入使用的实际问题。与原DeepLabV3+网络模型相比，采用CA−MobileNetV3后，MIoU提升约6%，所占内存减少约186 MB。

（2） 在ASPP模块中选择适合煤尘颗粒特征提取的空洞卷积组，有利于煤尘颗粒的高层语义特征筛选，不会出现因为煤尘颗粒体积小而捕捉不到的现象。实验结果表明，当空洞率没有公约数时，模型的PA和MIoU均高于空洞率有公约数时的值。当空洞率设置为[1，5，7，11]时，模型的分割性能最好。

（3） 在解码器部分采用GAU重构高分辨率分割图像，将高层特征作为低层特征的指导并进行加权融合，提高了网络模型的语义分割性能，更好地适应了不同尺度下的特征融合。引入GAU模块后，MIoU提升了4.2%，准确度提升了1.14%。

（4） 实验结果表明，改进 DeepLabV3+网络模型在煤尘数据集上的召回率为90.26%，准确度为89.23%，相比于其他网络模型，改进DeepLabV3+对煤尘特征的学习能力更强，能获取更多细节信息，并大幅缩短训练时间，对小目标的分割效果更优。