特征压缩激活作用下U-Net网络的煤尘颗粒特征提取
2021-10-30张赫林李冬艳
王 征,张赫林,李冬艳
(西安科技大学 电气与控制工程学院，陕西 西安 710054)
随着国家对大型煤矿的生产安全及环保要求越来越高，煤尘治理成为最重要的安全防治工作之一[1]，煤矿生产过程形成的大量煤尘不仅是一种环境污染源，也是对煤炭原料的一种损耗，同时易造成作业设备的磨损，使得产品质量下降。当煤尘颗粒达到一定质量浓度，会引起煤尘爆炸事故[2]，其参与的爆炸危害远大于瓦斯爆炸，这严重威胁着煤矿的生产安全[3]。因此对煤尘颗粒的特征信息进行提取分析，尤其是从煤尘颗粒的图像特征这一新角度审视和探索煤尘颗粒特性机理，有利于煤尘颗粒的防治，能够有效避免重大事故的发生，对煤矿的生产安全具有指导意义。
目前对煤尘颗粒特征机理已经进行了大量研究，文献[4]研究了不同厚度光束对煤尘平均粒度的影响，并指出采用直径为0.24 mm光束测量，误差最小;文献[5]研究了煤尘颗粒粒径对管道内的效应段粒子运动速度的影响，所提改进装置模型能有效应用于煤尘检测;文献[6]研究了某一典型高挥发分煤尘的爆炸压力变化特性，经分析指出，随着煤尘云浓度的增加，爆后残留物的孔隙率逐渐增加，其粒径呈指数增大的趋势变化。鉴于技术手段及研究角度的局限，专家们提出的方案是基于不同实验条件下对煤尘特征的一个或几个参数。基于此，考虑进一步对煤尘特性参数图像分析的内在机理进行探索。
近年来，大量研究人员开始基于图像分析的角度探索新的煤尘颗粒特佂提取方法，并取得一定成果。文献[7]提出基于小波变异和模糊熵的图像分割算法，算法结构简单，运行速度快，但得到的分割结果中依然存在大量噪点，将会影响煤尘颗粒特性的进一步研究;文献[8]提出改进同步迭代算法，研究不同松弛因子对图像清晰度的影响;文献[9]根据煤尘颗粒的边缘特性进行分析，得出颗粒表面光滑度、黏合性等对颗粒的物理化学特性的影响。上述研究均实现了对颗粒图像特性的分析，但对煤尘颗粒图像特征细节信息的提取未进行深入探讨。因此，考虑从颗粒图像特征细节信息入手，可以更好的解决煤尘颗粒图像特征提取问题。
传统的煤尘特性参数分析方法已经凸显出一定的局限性，因此迫切需要运用新的技术解决现有问题。深度学习及大数据驱动的深入研究，可用于解决图像特征信息不明确的煤尘颗粒识别问题。此次主要针对煤尘特征图像信息进行分析，以全卷积神经网络为基础，根据煤尘颗粒的颜色、纹理、边缘等图像信息捕捉煤尘图像特征，网络中后半部卷积层提取到能表达更多煤尘信息语义程度的特征图，并通过反向传播获取到的误差值对特征图进行迭代更新，输出前抓取特征图中的煤尘和背景信息实现二分类，确保输出网络对煤尘颗粒的预测结果。
从微观学和复杂的非线性模型研究角度出发，首先搭建U-Net网络架构模型，并在U-Net网络的基础上融合特征压缩激活模块，提出一种特征压缩激活U-Net卷积神经网络(Unet-Squeeze Excitation，Unet-SE)实现煤尘颗粒图像的语义分割，完成煤尘颗粒图像细节特征信息提取。其次从网络的基本结构和原理分析入手，应用煤尘图像样本数据进行实验仿真，分析协同损失函数对网络分割性能的影响，并从准确率、召回率以及F1分数3个指标上对Unet-SE网络进行合理的评估，验证改进后网络模型的可行性。
1 煤尘颗粒特征提取
1.1 改进Unet-SE网络结构
U-Net[10-12]网络模型用于解决图像分割问题，尤其是针对形状较小的微观粒子分割效果显著，能够很好地提取其图像特征信息。由于煤尘颗粒边界与微观粒子边界特征相似，因此将该网络应用于煤尘颗粒图像分割部分。为提高网络分割结果的准确性，对U-Net网络进行改进，加入批量归一化(Batch Normalization，BN)和特征压缩激活(Squeeze Excitation，SE)得到Unet-SE网络，网络结构如图1所示。其特征提取与上采样阶段子模块细节如图2所示。
图1 改进Unet-SE网络结构Fig.1 Structure of improved Unet-SE
图2 特征提取与上采样阶段子模块结构Fig.2 Structure of each module for feature extraction and up sampling
Unet-SE网络结构可分为左右两部分，其中左半部分网络通过4个模块a完成对煤尘图像特征信息的提取:模块a中首先对煤尘图像进行一次3×3卷积，提取煤尘颗粒特征，再经过BN层和SE模块获取更多的煤尘颗粒特征信息，最后通过ReLU函数进行激活。上述过程共执行2次，在第2次ReLU激活函数后连接1个步长为2的最大池化层以增强卷积层对煤尘颗粒位置的敏感性，煤尘图像每经过1次模块a，通道数都将加倍以减少特征信息的丢失，图像通道数变化情况为1→64→128→256→512→1 024。右半部分网络通过4个模块b和1个模块c完成整个上采样过程:模块b中首先对左半部分网络提取的特征图通过上采样进行放大，其次将采样结果和与通道加权之后的特征信息进行连接，再通过2×2卷积进行特征融合，然后对接BN层和ReLU激活函数输出特征图，每经过1次模块b，煤尘图像的通道数都会作减半处理，最后连接模块c进行1次卷积，经过BN层和sigmoid激活函数，将64个煤尘特征通道映射为2个特征通道，实现煤尘颗粒和背景的二分类，图像通道数变化情况为1 024→512→256→128→64→2。
1.2 煤尘特征的批量归一化
由于U-Net结构中每层及同层网络不同维度的接受域大小不同，导致所需学习率大小各异且无法规范。要确保损失函数有效地下降可采用其中最小的初始学习率进行训练。而在卷积层后连接BN层可对网络每层、每个维度的接受域大小规范统一，以保证网络在煤尘颗粒特征提取过程中选取较高的初始学习率进行优化[13]，并提高训练过程中学习率的衰减速度，从而使网络具有快速收敛的特性。
BN层与U-Net相结合采用仿权重共享策略，即视每张特征图为1个神经元，归一化操作的对象为单一神经元，针对前向连接卷积层提取到的H×W煤尘特征图(H,W为煤层特征图尺寸)，分别对应H×W个神经元，第i层输出的煤尘特征批量归一化过程为
(1)
(2)
(3)
(4)
BN层不仅可以减少网络参数数量，而且有利于网络训练速度的改善[15]。如图3所示，L1为初始化权重参数得到的分界线，L2为网络训练得到的拟合直线，图3(a)中未加入BN层，分界线L1经过训练不断调整才可到达L2位置，而加入BN层后数据均值为0，方差为1，得到图3(b)的圆形分布，这使得L1在训练前已穿过数据，只需少量的训练和调整便可到达L2位置，因此网络训练速度会显著提升。
图3 BN层对训练时间的影响Fig.3 Influence of BN layer on training time
1.3 压缩激活模块对煤尘特征的提取
卷积实际上是对局部区域进行的特征融合。 这也导致了普通卷积神经网络的感受野不大，如考虑设计更多通道特征增加感受野，会导致计算量大大增加。因此为了空间上融合更多特征，提取多尺度空间信息[16]。卷积操作对输入特征图的所有通道进行融合。而SE可以有效关注通道之间的关系，确保模型可以自动学习到不同通道特征的重要程度。HU Jie等[17]提出SE模块是对各个通道进行权重的分配，类似注意力机制[18]，帮助网络快速学习到重要的特征信息。本文将SE模块与BN层结合使用，能够使网络获取更多的煤尘特征信息，SE模块对煤尘特征提取的过程如图4所示。
图4 SE模块对特征提取过程Fig.4 Processing of coal dust feature extraction with SE module
SE模块能够对煤尘图像集输入信息进行构造，用于卷积映射Fconv:X→U，其中X∈RW′×H′×C′，U∈RW×H×C。设V=[v1,v2,…,vc]为学习的卷积核集合，vc为第c个卷积核参数，卷积操作Fconv的输出表示为:U=[u1,u2,…,uc]，计算公式为
(5)
为了达到对通道之间的依赖关系进行精确建模以校准卷积核操作，通过SE模块进行压缩和激活2个操作。操作1:压缩，即通过全局平均池化操作对BN层获得的煤尘特征输出Z(i)进行压缩，将大小为C×H×W的煤尘特征压缩为C×1×1的实数数列，压缩操作的目的是扩大感受野[19]，使网络低层也能利用全局信息，经过压缩操作得到煤尘特征Zc:
(6)
其中，Yc为大小为W×H的特征映射上第c个二维原始特征矩阵;i和j为特征图在空间维的坐标;操作2:激活，旨在抓取各个通道之间的关系，此操作需满足2个准则:学习各个通道之间的非线性交互关系;学习非互斥关系。与独热编码相反，激活操作允许强调多个通道，并采用ReLU激活方式，得到大小为C×1×1的通道激活值Sc:
Sc=Fex(Zc,Q)=σ(Q2ReLU(Q1Zc))
(7)
(8)
由于SE网络模型的结构是通过SE模块的不断堆叠实现，且在网络中任意深度位置完成插入替换以适应网络模型需求。通过模型验证，模型结构中SE参模块的引入，使得参数数量增加有限，但网络性能得到较好提升，通过学习煤尘特征图各通道之间的相互依赖性可自适应地重新校正准通道方面的特征响应，从而学习到更为有用的煤尘特征并抑制多余特征。
1.4 二值交叉熵及合页协同损失函数
在二分类语义分割任务中，默认使用的损失函数为二值交叉熵损失函数JB，公式为
(9)
其中，N为像素点总数;pi为像素点i的实际标签;di为网络对像素点i的预测分类值。在反向传播的过程中，二值交叉熵损失函数能够稳定返回每一类别所对应的梯度值，有效避免梯度消失问题，但同时会对图像上的每一个类别都平等地进行评估，因此对于存在类别不平衡问题的图像，通过二值交叉熵损失函数得到的返回梯度值意义较小，容易改变网络的优化方向，影响分割结果。另1种用于二分类的损失函数为合页损失函数JH，常用于支持向量机分类，公式为
(10)
合页损失对预测错误或置信度不高的预测结果都会给予惩罚，因此该损失函数能够保证最终所得预测正确且置信度值较高。
本文结合2种损失函数的特点，提出二值交叉熵及合页协同损失函数LC:
LC=θJB+(1-θ)JH
(11)
其中,θ为调节2种损失函数比重的参数，该协同损失函数避免反向传播中梯度消失的问题，缓解煤尘图像分割任务中的颗粒特征类别不平衡，并确保输出特征获得较高的预测值置信度。
2 实验仿真及分析
2.1 煤尘样本图像数据集
样本采集点选择选煤厂的原煤煤仓、原煤破碎站、筛分破碎车间、跳汰车间、产品煤仓和输煤走廊。在6个产尘场所设置固定煤尘采样器，通过采样器内采样头上安装的纤维滤膜，采集煤尘颗粒样品。在实验前将每组颗粒样本放入60 ℃恒温干燥箱中干燥24 h以上，并打好样本标签。然后进行图像采集，图像采集系统由Leica S 9D体视显微镜和台式电脑组成，通过ImageView软件和与体视显微镜相连接的数字摄像头对采集好的煤尘样本进行拍照，并将图片信息保存为未压缩的TIF格式文件。经对原始图像数据筛选后，所组成的数据集包含了6组图像，每组数据集包含80张训练图像，10张验证图像和20张测试图像，具有红绿蓝3个通道，图片尺寸大小为3 072 pixel×2 048 pixel，扫描精度为600 dpi。考虑到显存大小的限制，将每张图像用512 pixel×512 pixel的滑窗进行裁剪，每张原始图像产生24张小图像，相邻图像无像素重叠，最终每组中训练集、验证集和测试集分别包含1 920，240和480张图像。
2.2 评估指标选取
为对煤尘图像分割结果进行评估，本文选择经常用于深度学习神经网络性能评估的3个指标:召回率(R)、准确度(P)、F1分数(F1)。
(12)
(13)
(14)
其中,召回率R表示样本数据中的正例被网络预测正确的概率;准确度P表示网络预测为正的结果中为真的概率;F1分数可以视为召回率R与准确度P的一种调和平均。上述指标值越大代表网络分割结果越好。
2.3 实验分析
煤尘特征识别仿真实验平台环境选取Windows10操作系统,采用Intel(R)Core(TM)i7-7700HQ的处理器,主频2.80 GHz，内存16 GB，深度学习搭建框架选取Kears，软件编程以Python3.7作为平台，GPU为NVIDIA GeForce GTX 1070。
2.3.1不同煤尘颗粒分割方法的对比
实验对FCN[21],SegNet[22],DeepLab[23],SENet,U-Net和Unet-SE六种网络进行训练，其中FCN,SegNet,DeepLab具有典型深度学习机制，可考虑用于边界模糊、梯度复杂、需要较多模块集合的重复叠加，属于轻量级网络，可完成自主学习并获取各特征通道的重要程度，同时提取更重要的特征并抑制对当前任务作用不大的特征。Unet-SE是在U-Net的通道维度拼接融合的结构基础上加入SENet中的SE模块，在U-Net保证以维度拼接形成更厚的特征同时，还可继承SENet自主学习重要特征的核心特点，因此可显著提高U-Net网络的特征学习能力。
通过煤尘样本测试集分别对上述模型进行性能测试，表1给出各网络通过测试集训练后的性能指标。分析表1发现，FCN，SegNet， DeepLab以及SENet的F1数值较低，这是由于4种网络对网络编码器提取的特征，只通过上采样操作将其恢复为输入图像尺寸，而未对多尺度特征的像素定位和分类之间的相关性进行学习，因此获得的实验结果较为模糊。而U-Net与Unet-SE网络添加了跳跃连接，将提取到的底层简单特征和高层抽象特征相融合，有效的帮助网络得到更准确的分割结果。从表1中可以看到，Unet-SE的准确率、召回率及F1分数分别达到0.873 2，0.843 4和0.858 0，与U-Net网络相比，训练时间相对缩短，分割结果明显提升。 效果的改善主要是因为Unet-SE网络中加入BN层能有效地统一训练数据的分布，从而提升网络性能;SE模块的引入可帮助网络对于重要的特征信息快速学习，扩大其感受野，增强网络对特征的利用并提高对颗粒的学习能力。
表1 不同网络学习性能指数对比Table 1 Comparative analysis for evaluation indexes of each network
图5给出运用6种网络模型对不同粒径的煤尘颗粒特征进行提取的结果对比，3行图像分别对应粒径范围R≤35 μm，35
图5 不同模型分割结果对比Fig.5 Segmentation comparison of different models
图6 “白煤尘”颗粒学习效果对比Fig.6 Learning effects comparison of light coal dust particles
2.3.2不同损失函数的对比
为研究不同损失函数对网络分割性能的影响，针对二值交叉熵损失函数(Binary Cross-Entropy Loss Function，BCE Loss)、合页损失函数(Hinge Loss Function,Hinge Loss)和二值交叉熵及合页协同损失函数(Binary Cross-Entropy-based Hinge Collaborative Loss，BCE-H Loss)进行实验对比。U-Net与Unet-SE在3种不同损失函数下的煤尘颗粒分割结果见表2。从表2结果可以看出， BCE-H Loss函数是对BCE Loss和Hinge Loss函数的融合，能够促进网络在反向传播过程中对学习难度大的样本颗粒实现稳定的优化，解决梯度消失及类别不平衡的问题，有效提升网络分割性能，对煤尘颗粒达到最优提取效果。
表2 不同损失函数下网络的分割结果Table 2 Results of networks on different loss
此外，试验记录了FCN，SegNet，DeepLab，SENet，U-Net和Unet-SE 六个网络训练过程中的协同损失函数数值(每5次训练记录1次数值)，仿真结果如图7所示。从图中曲线分析可知，SegNet与SENet的损失曲线变化趋势较为接近，两者收敛速度相对较慢，在20次训练之后SegNet的损失值开始在1.5～2.0波动，最后停留在1.7附近，而SENet损失值相对SegNet较低，在40次训练后逐渐逼近1.3;FCN网络损失值在20次训练之前较快收敛于1.0，之后迅速回弹至2.3左右，30次训练后缓慢下降，并逐渐趋于稳定值1.2;DeepLab网络训练至20次，其损失值快速降至0.8附近，训练40次时损失值上升至1.4，最后缓慢减少至0.8左右;U-Net损失曲线变化趋势与DeepLab大致相同，损失值相对较低，最终减少至0.7附近;而Unet-SE网络的损失值起点较低，在第15次训练之前迅速收敛至0.3左右，之后损失值缓慢下降，在50次训练之后逐渐逼近于0。这主要是因为BN层对特征的归一化作用与SE模块对煤尘特征的压缩激活作用改善U-Net网络性能，得到更小的损失值和更高的精确度。
图7 二值交叉熵及合页协同损失曲线对比Fig.7 Binary cross-entropy-based hinge collaborative loss curves comparison
2.3.3不同场所煤尘污染程度分析
实验过程中，为观察分析煤尘颗粒对各个产尘现场的污染程度，运用八邻域算法检测各产尘现场分割结果图中的煤尘颗粒面积。算法的具体步骤如下:首先用“1” 表示煤尘分割结果图中的煤尘颗粒信息，“0”表示背景信息，则整个煤尘图像可视为由“0”和“1”组成的点阵图像如图8所示。同时通过表3所示算法评估煤尘颗粒参数，其中p(i,j)为图片每一个像素点值，num为记录煤尘颗粒的数目，数组Area(num)为第num个煤尘颗粒面积。表3算法的判别过程如下:从左到右、由上至下遍历每一个像素点，判断其像素值是否为0。若该点为0，扫描下一个点;若该点为1，则判断该点左方顺时针至右上方相邻4个点是否为0。若都为0，则颗粒数num与该颗粒面积Area(num)加1，即该点为一个独立的煤尘颗粒;若该点像素值为1，且4个相邻点中n个点为1，则num加1，且该颗粒面积Area(num)加n，即该点与n个像素值为1的点属于同一颗粒。最后根据面积比公式推导出煤尘颗粒占比值c:
表3 八邻域算法颗粒参数评估Table 3 Eight-neighbor particle parameter evaluation
图8 煤尘颗粒点阵Fig.8 Lattice diagram of coal dust particles
(15)
该占比值可反映煤尘样本图中煤尘颗粒所占百分比情况，可用于分析产尘场所煤尘质量浓度情况。
在各个产尘场所中，由于粒径小于35 μm的煤尘颗粒，质量较轻，易悬浮于空气之中[24]，对人体的伤害最大;粒径在35～200 μm的煤尘颗粒质量较大，在重力作用下会附着在设备表面或其他工作表面[25-26]，但在振动作用下会产生二次扬尘，该粒径范围的颗粒易造成煤尘爆炸事故;粒径大于200 μm的煤尘颗粒质量相对较大，可在重力作用下降尘，在空气中悬浮时间较短。因此试验中将煤尘按照粒径不同分为R≤35 μm,35
表4 产尘场所颗粒占比值对比Table 4 Contrast of particle proportion in dust producing fields
图9 各产尘场所不同粒径范围内煤尘的颗粒评估Fig.9 Evaluation of particle with different particle size in different dust producing fields
在6个产尘场所环境下，通过对获取的煤尘图像样本分析，粒径小于35 μm的煤尘颗粒数均值分别为283，238，188，196，173和206个，对应占比分别为17.35%，19.01%，22.41%，27.68%，30.08%和28.30%，说明该粒径范围的煤尘颗粒在整个生产环节中浓度逐渐增加，对人体的危害程度也在逐渐增大;随着粒径的增大，颗粒面积随之增加，粒径35
3 结 论
(1)本文所提协同损失函数相对二值交叉熵及合页损失函数能同时有效解决样本类别不平衡和网络方向传播中梯度消失的问题，并使得网络得到信度值较高的预测结果，提升网络在煤尘图像数据集上的运行效率和分割性能。
(2)Unet-SE对煤尘特征提取在准确率、召回率以及F1分数3个指标分别达到0.873 2，0.843 4和0.858 0，优于FCN，SegNet，DeepLab，SENet网络，U-Net网络，并在原U-Net网络的基础上性能有较大提升，有效训练时间相对缩短，对煤尘颗粒图像分割过程中产生的 “溢出”和“模糊”痕迹显著减少，针对不同形状及粒径的颗粒类别学习效果表现较优。
(3)Unet-SE提取样本颗粒的有效特征，可降低图像噪音干扰、平衡颗粒灰度以及提升边缘清晰度，对形成的 “白煤尘”颗粒特征也具有较优的提取效果。优化的特征压缩激活U-Net网络有效提升煤尘图像的语义分割性能，协同损失函数对Unet-SE网络的运行效率具有积极效应。
