基于ER-ShuffleNet 的薄雾森林火灾识别

谭 熙，方 睿，王 宇，魏袁慧

（成都信息工程大学 计算机学院，成都 610225）

0 引言

森林火灾作为世界性林业灾害，造成了大量的碳排放、自然环境损失和经济损失［1］。但由于自然因素和人为因素的影响，森林火灾具有突发性和不可控性，这使得预防森林火灾具有一定的难度和挑战性［2］。森林火灾发生伊始常伴随烟雾产生，随后才会出现明火，因此早期烟雾的识别对防止火灾扩大损失至关重要。

目前的森林火灾预防措施大多依赖于人力昼夜不停饱和式地监测，而在人工监测上，存在着任务重、客观性差、效率低等问题，并且耗费了大量人力物力，最终的预防效果却不尽如人意［3］。传统机器视觉方法通常涉及到复杂的分类规则制定、特征选取、目标求解优化过程等步骤，还需要较强的专业技术知识；而在算力资源支持下，利用深度学习图像分类算法对烟雾和火灾图像进行分类，速度快、精度高、训练方便，因此该方法现已成为了目前领域的研究热点。

近年来，许多学者投身深度学习来研究森林火灾识别检测的方法。富雅捷等人［4］提出了一种基于迁移学习的卷积神经网络森林火灾检测算法，准确率达到了97%。傅天驹等人［5］针对小样本林火识别，提出了一种用于复杂背景下森林火灾识别的深度卷积神经网络结构，正确率达到了98%。杨剑等人［6］为解决对烟雾视频图像自适应较差的问题，提出了改进残差结构的ResNet，取得了不错的效果。尽管这些研究都取得了可观进展，但模型效果极易受到和烟雾具有相似特征的物体干扰，尤其是薄雾天气，烟雾的特征被严重削弱，最终导致实际表现不佳。

针对薄雾天气，因为缺少公开数据集，一些学者在自建数据集上做了相关研究。Muhammad 等人［7］、Khan 等人［8］分别使用了在ImageNet 上预训练的VGG-16 和MobileNet-V2 迁移学习，在自建的雾天数据集上训练，并取得了96%和98%的准确率。Özbek 等人［9］先将图像颜色空间从RGB 转换至HSV，使用MobileNet-V2 在合成雾图的数据集上训练，取得了2.23%的精度提升，达到98.95%，并节约了一定的内存空间。但这些研究仍存在一些不足，首先，上述研究使用的数据单一，方法简单，模型还有亟待改进的地方；其次，森林火灾场景存在许多易混淆的目标、即会造成误报，而误报带来的风险与代价较大。因此更高的精度、更低的误报率是十分必要的。

1 数据集

经调查研究发现，目前还没有森林火灾领域具有影响力的公开数据集，大多数学者采用的数据集主要来自中国科学技术大学消防科学实验室、韩国启明大学CVPR 实验室以及比尔肯大学火灾研究实验室，加上一些零散的网络图片以及摄影作品。这些数据大多为不包含森林背景的视频，就可能导致训练出来的模型泛化能力不足。学者们获取分类图像的方法主要有按帧截取和切帧滤除相似图片两种，但前者数据重复度高，后者数据量又极小。

因此，本文在网络上大量收集了森林火灾烟雾图片作为补充，以增加数据多样性；同时，采用随机截取视频帧的方法，这样既能保证数据量，也能避免数据高度重复。此外，考虑到森林火灾场景中存在许多易混淆的目标，如云彩、云霞等，所以在数据集中加入了这2 类数据作为训练数据的补充，能够帮助模型区分易混淆目标，降低模型误报率。最后，目前针对极端天气森林火灾烟雾识别检测的研究并不多，薄雾天气的数据十分稀少。基于此，其他学者纷纷选择人工合成带雾的数据，本文未能找出更好的解决方法，因此也选择了人工合成雾图。

目前主流的图像合成雾方法主要有RGB 通道合成和标准光学模型合成两种。RGB 通道合成是通过调整RGB 三通道的值实现一种“不透光”感。Muhammad 等人［7］、Khan 等人［8］都是将雾通过图像叠加的方式添加到图像上。Özbek 等人［9］在原图上叠加100 亮度值达到合成效果。而标准光学模型合成则是采用标准光学模型进行图像合成雾。

本文采用了中心点合成雾的方法，简称Certer方法。简单来说，是根据图像中的位置调整标准光学模型中的透射率t（x）生成雾化粒子。透射率t（x）由深度信息和雾化浓度决定：

其中，β为雾化浓度因子，d（x）为深度信息。

进一步地，研究中推得：

其中，xi，xj为图像上按行、列排布的像素点；centerrow，centercol为图像行、列的中心点；θ为生成雾化粒子的尺寸因子，本文设置为：θ ＝

最终的标准光学模型为：

其中，I（x）为合成后的雾图像；J（x）为待合成的图像；原图像中，t（x）为透射率；L为大气光成分，本文设置为L ＝0.5。不同方法合成雾效果如图1 所示。

图1 合成雾效果图Fig. 1 Synthetic fog renderings

依据Center 方法合成带雾数据，建立提出了含有5 类样本的薄雾森林火灾数据集，并通过数据增强避免了数据不均衡。数据集见表1。

表1 数据集类别及数量Tab.1 Categories and quantities of data sets

2 模型构建

针对森林火灾薄雾天气识别困难的问题，提出了一种多重注意力分类网络ER-ShuffleNet，搭载了通道注意力模块（CASB）和反向注意力模块（RAB），能够兼顾深层次与浅层次特征，同时考虑多个显著特征以区分易混淆目标，实验表明本文方法显著优于其他学者方法。

2.1 多重注意力分类网络ER-ShuffleNet

ShuffleNet-V2［10］作为最优秀的轻量级分类网络，考虑到其精度高、速度快、模型小等优点，故本文拟对此进行重点研究。

根据ShuffleNet-V2 的策略构建了一种多重注意力分类网络ER-ShuffleNet，由CASB 模块和下采样模块构建各个Stage，并命名为CA-Stage 以作区分；用GELU激活函数［11］替换Relu，能够保留更多信息促进通道信息交互；将全连接分类头替换为1×1 卷积分类头［12-13］；并在分类头之前增加了RAB 模块。这样经CASB 提取的特征高度浓缩，在特征上呈现出“一超多强”的现象，而特征经由RAB 处理后则会呈现“多极化”趋势，更利于捕捉细节，区分易混淆目标。ER-ShuffleNet 模型结构如图2 所示。

图2 ER-ShuffleNet 结构Fig. 2 ER-ShuffleNet structure

2.2 通道注意力模块（CASB）

Wang 等人［14］提出一种相比SE 模块更高效的通道注意力机制（Efficient Channel Attention，ECA）。ECA 承袭了SE 模块中Squeeze 与Excitation 的思想，通过自适应平均池化压缩通道特征至通道维度，随后使用一维卷积聚合邻近通道特征，使局部通道信息交互，仅涉及少量参数，却大幅提升了模型精度。

结合Shuffle Block 与ECA，提出了一种增强通道注意力的CASB 模块，其下采样分支保持不变。CASB 模块如图3 所示。

图3 CASB 模块Fig. 3 CASB block

本文将ECA 模块置于3×3 卷积与1×1 卷积之间。这样设计的目的是为了利用深度卷积的特征提取能力，使ECA 压缩的通道特征更具代表性，而经ECA 获得通道注意力的特征图再由1×1 卷积进一步聚合整理，让网络学习到的局部通道信息更加稳定有效。通道信息在推理过程中反复被压缩、交互、扩张，使网络能够同时关注图像的浅层次与深层次特征，获得更好的学习能力。

2.3 反向注意力模块（RAB）

在Sun 等人［15］的研究中提到一种分散网络对显著特征的注意力，从而迫使网络关注其他同样具有区分度的特征的方法、即峰值抑制（Peak Suppression）结合块抑制（Patch Suppression）构建的多样化模块（Diversification Block），该模块能够提高易混淆目标识别精度。

RAB 模块如图4 所示。研究可知，RAB 模块舍弃了多样化模块中的块抑制，并且优化了其峰值抑制方法：不再建立额外的映射特征图，而是直接对网络最后一层输出特征图进行最大采样，节省了大量的内存空间和参数量。RAB 模块依据下列公式进行最大采样和反向注意力：

图4 RAB 模块Fig. 4 RAB block

其中，Rc（i，j）为得到的反向注意力特征图；α为反向注意系数，在本文实验中设置α＝0.9；Mc（i，j）为输入模块的特征图，（i，j）∈（H，W）。

3 实验结果及分析

本文的数据集按照7 ∶2 ∶1 比例划分训练集、验证集、测试集。采用的评估标准有F1-Score准确率、参数量、误报率。实验分为2 个阶段，其步骤可做阐释分述如下。

（1）就本文提出的改进点进行消融实验，结果表明PASB 模块能够以少量参数代价显著降低误报率，而RAB 模块能够迫使网络学习多个特征，提高网络精度，实验结果见表2。

表2 改进点消融实验Tab.2 Modified point ablation experiment

（2）将本文提出的方法与一些学者的方法对比后可知，本文方法的准确率相比其他方法高出了1.36%～4.09%，实验结果见表3。

表3 与其他方法对比试验Tab.3 Comparison test with other methods

首先将本文提出的改进点：PASB 模块、RAB 模块（分别标记为P、R）进行消融实验。

P 通过局部通道信息交互，同时学习浅层及深层信息，以少量参数代价就能显著降低误报率；R会迫使网络同时考虑多个显著特征，从而更好区分易混淆目标，这时网络需要更强的学习能力来处理多个显著特征。两者结合在一起，效果就有了质的提升，准确率比基准高出了1.74%，误报率也降低到了2.041%，而参数量代价却很小。

此后，与其他学者的先进方法进行了对比试验，包括基准模型ShuffleNet-V2、转换HSV 颜色空间［9］和在ImageNet 上预训练［7-8］的方法，分别标记为Shuffle、Shuffle_HSV、Shuffle_TRANS，本文方法标记为ER-Shuffle。

不同方法损失对比和准确率对比的结果曲线分别如图5、图6 所示。迁移学习能够将预训练的知识转移进而提升基线性能，不需要额外的参数开销，相比基准模型提升了0.38%准确率，但无法修改模型，修改过的模型自主预训练所需的算力资源较大，不便于实现。转换HSV 颜色空间的方法在基准模型上效果较差，并未显示出有效性。本文提出的方法准确率较基准模型ShuffleNet-V2 提升了1.74%，误报率降低至2.041%，而仅付出了较少参数量的代价，这表明本文提出的通道注意力结合反向注意力机制是十分有效的。

图5 不同方法损失对比Fig. 5 Loss comparison of different methods

图6 不同方法准确率对比Fig. 6 Accuracy comparison of different methods

4 结束语

本文针对薄雾天气准确率较低、误报率较高的问题，提出中心点合成雾的方法来提供数据支持，建立了薄雾森林火灾数据集；并且提出了一种多重注意力分类网络，在本文数据集上较基准模型ShuffleNet-V2准确率提高1.74%，相比其他方法提高1.36%～4.09%，参数量仅为2.7 MB，完全能够满足轻量化的需求，其分类结果也可作为多种火灾场景综合预防预警的数据支持，为森林火灾防控提供有益参考。

尽管本文提出的网络实现了高精度、快速度薄雾森林火灾分类，但在实际应用中还应在视频监控中标注出疑似火灾的位置以帮助工作人员及时发出预警，因此将本文方法应用于目标检测将是此后研究主要内容。