基于FBF神经网络的秸秆燃烧检测算法研究

马乐 魏雄 郑明 许萍萍 同小军

摘要：利用烟雾检测实现秸秆燃烧检测，针对传统烟雾检测方法中烟雾特征提取难、卷积神经网络方法检测准确率低等问题，提出了FBF神经网络的秸秆燃烧烟雾检测方法。神经网络提取特征时，低层网络的特征语义信息比较少，目标位置准确；高层的特征语义信息比较丰富，目标位置比较粗略，对特征图采用自下而上的提取、自上而下和横向连接融合的方法。在保证较大特征被提取利用的情况下，使得较小的特征有更好的学习及利用，提高了烟雾识别的准确率。与现有的卷积神经网络模型进行对比，实验结果表明该方法具有较高的检测准确率。相比Faster RCNN检测网络，检测准确率提高了10%，误报率降低了16.2%。

关键词：FBF；秸秆燃烧检测；特征图融合

中图分类号：TP391.4文献标志码：A文章编号：1008-1739（2020）24-66-4

0引言

秸秆燃烧产生的大颗粒物质会造成空气污染，是环境保护中一个非常严重的问题[1]，秸秆的不充分燃烧产生大量的碳化物危害人类生命健康。秸秆燃烧检测可以提供实时秸秆燃烧信息，及时制止燃烧行为有利于环境保护。现有秸秆燃烧检测主要是靠检测秸秆燃烧产物来实现的，烟雾检测是秸秆燃烧检测的重要手段之一，是近年来机器视觉领域研究的热点和难点。

目前大多数方法都是利用火灾和烟雾的颜色、纹理、几何、闪烁和运动等视觉特征方法实现烟雾检测。Yamagishi[2]和Yamaguchi[3]提出了一种基于火焰时空波动数据的火焰检测算法，该方法使用颜色信息取得了烟雾检测较好的成果，但不能消除火焰接近颜色物体引起的干扰。类似的纹理[4-5]、Hog、高斯模型[6]等方法对特定的特征有很好的效果，但不能排除其他因素的干扰，这些方法在实际应用中还存在鲁棒性的问题。Yuan[7]和Chunyu[8]提出了利用烟雾运动信息进行烟雾检测，该特征能够很好地描述烟雾的运动信息，提升了烟雾检测的准确性。

近年来，深度卷积神经网络（CNN）从图像分类到目标提取和语义分割等计算机视觉中取得了前所未有的成功，与传统的计算机视觉方法相比，深度学习方法避免了手工设计并主导了许多著名的基准评估。深度学习在烟雾探测中的应用研究日益受到重视。Frizzi[9]和Tao[10]用CNN从不同方向进行烟雾探测，CNN克服了烟雾特征提取难的问题，但秸秆燃烧的野外环境复杂，产生的烟雾的颜色、梯度等视觉特征不固定，这2种方法在检测中难以将烟雾与外界干扰区分开，导致检测精度不高。

提出了一种基于FBF神经网络的秸秆燃烧烟雾检测方法，在特征融合和Faster RCNN网络基础上实现秸秆燃烧检测。Faster RCNN[11]用网络结构较深的VGG16网络提取特征图，该网络对较小的特征没有较好效果。针对特征提取网络的不足进行研究，用CNN自下而上特征提取的特性，结合自上而下和横向链接的特征融合方法来构造新的特征图，利用包含有更强的特征信息的特征图训练检测模型，提升秸秆燃烧烟雾检测的准确率。实验结果表明，该方法能获得更高的准确率和较低的误报率。

1 Faster RCNN

CNN在目标检测研究中发挥了非常重要的作用。基于区域的CNN（RCNN）是一种非常重要且非常成功的通用目标检测框架，提供了有效的监督学习。RCNN生成类别相关区域的建议并利用这些定义了检测器可用的候选检测集。RCNN提高了精度，但也存在低速等缺点。Girshick对RCNN的网络结构进行了改进，提出了Fast RCNN[14]检测网络。Fast RCNN支持对共享卷积特征的端到端检测器训练，并显示出令人信服的准确性和速度。在RCNN的基础上，多损失函数的使用以及回归和区域分类的融合提高了整个网络的速度，Fast RCNN还加入了ROI池化层，从性能上优化了整个结构。Fast RCNN一定程度上加快了RCNN的检测速度，但是用于选择性搜索的候选框选择机制非常耗时，Girshick对Fast RCNN再次改进，提出了Faster RCNN檢测网络。Faster RCNN网络提出了一种使用RPN代替选择性搜索新的候选框选择机制。RPN与训练网络共享一个网络层，大大节省了时间。Faster RCNN结构如图1所示，RPN网络基本上以零资源消耗但同时生成了含有正样本的区域建议，Faster RCNN形成了一个统一的端到端的学习框架。

2特征图融合

特征提取在目标检测中占据着十分重要的地位，特征提取的质量很大程度上影响着最终检测的效果。CNN中的特征提取是利用卷积、池化等操作完成的，随着卷积和池化层的逐步深入，特征的语义信息和位置信息也在发生改变。低层的特征语义信息比较少，但是目标位置准确；高层的特征语义信息比较丰富，但是目标位置比较粗略。将低层的目标信息和高层的语义信息相结合，使得特征图具有更强的特征信息。利用CNN特征提取的特点，进行特征图信息的加强。

2.1自下而上的路径

CNN的前馈计算就是自下而上的路径，特征图经过卷积核计算，通常是越变越小，也有一些特征层的输出和原来大小一样，称为相同网络阶段（Same Network Stage，SNS）。在特征提取过程中对每个阶段定义一个金字塔级别，然后选择每个阶段的最后一层的输出作为特征图的参考集。选择最后一层的特征层是很自然的，因为每个阶段的最深层具有最强的特征。

2.2自上而下的路径和横向连接

自上而下的路径是将低层次的特征和高层次语义信息进行融合。方法就是把语义更强地更抽象的高层特征图进行上取样，然后把该特征横向连接至前一层特征，因此高层特征得到加强。值得注意的是，横向连接的2层特征在空间尺寸上要相同，这样做是为了利用底层的定位细节信息。

自上而下的路径把高层特征做2倍上采样（最邻近上采样法），然后将其和对应的前一层特征结合（前一层经过1*1的卷积核，目的是改变通道数，要和后一层的通道数相同），结合方式就是做像素间的加法。重复迭代该过程，直至生成最精细的特征图。为了后面的应用能够在所有层级共享分类层，这里使用3*3卷积后的输出通道为，这设为256。因此所有额外的卷积层具有256通道输出，如图2所示。

3 FBF烟雾识别模型设计

现有秸秆燃烧检测主要秸秆燃烧产生的烟雾作为检测的目标，但烟雾没有固定的颜色和形状，这对传统方法的特征提取增加了很多难度。CNN的出现很大程度上缓解了特征提取难的问题，卷积神经网络不需要将特征提取和分类训练分开，在一定程度提升了烟雾识别的准确率。

秸秆燃烧烟雾检测的场景是在野外，监控设备获取秸秆燃烧画面的图像野外场景复杂、客观物体（房屋、河流等）、光照、天气等对烟雾检测造成了干扰。利用CNN的烟雾检测方法在准确率上有待提高。因此，提出了一种FBF烟雾识别方法，本方法对其特征提取的网络进行改进，使网络可以提取到更多信息的特征，从而使检测的准确率更高。将特征图与Faster RCNN神经网络融合后的网络结构如图3所示。本文的特征提取网络是先经过自下而上的路径，提取每一层金字塔的最后一层卷积后的特征图，再利用自上而下的路径，将除了第一层金字塔外的其他金字塔层得到的特征图进行上采样，然后把每层金字塔上采样后的特征图进行横向连接至前一层特征，从而实现特征图的融合。

训练集图像经过融合的特征提取网络后，得到包含有更强特征信息的特征图，然后经过RPN，ROIPooling，RCNN网络进行训练，得到最终的网络模型。

在自下而上和自上而下的2个过程中，低层次的特征信息和高层次的语义信息进行的融合，使得烟雾的特征信息更加全面。在自上而下的融合过程中，将自下而上的卷积层的结果进行了一个1×1的卷积过程，是对2个不同的特征图的通道的统一化。自上而下的路径把高层特征做2倍上采样，然后将其和对应的前一层特征结合，结合方式就是做像素间的加法。重复迭代该过程，直至生成最精细的特征图，最终得到的预测模型更准确。

4实验

为了评估所提出的方法是否能使测量更准确，在以下平台上进行了实验：Inter-Core i7，64 GB RAM，NVIDIA Geforce RTX 2080 Ti GPU，操作系统为Windows10，使用Tensorflow框架来实现网络。

4.1数据集

本实验使用的数据集图像来自于实际项目中由高塔摄像头采集的图像画面。数据集分为3组，分别命名为Data1，Data2，Data3。Data1如图4所示，有21 464张含有烟雾的图像，将图像中的烟雾区域打标，作为改进的Faster RCNN网络的训练数据集。Data2和Data3分别含有10 000张图像，Data2如图5所示，图像含有烟雾作为测试的正样本，Data3如图6所示，图像不含烟雾作为测试的负样本。

4.2网络模型训练

实验基于Tensorflow框架，该网络采用随机梯度下降法（SGD）对每层的参数进行更新，最小批量为256，动量为0.9，权值衰减为0.000 1，初始学习率为0.01。将RPN网络的2个阈值设置为0.3和0.7，且卷积网络模型的训练使用了GPU并行处理。

4.3评价指标

从图7中的数据结果可以分析出，与AlexNet、Faster RCNN秸秆燃烧烟雾检测方法相比较，本文的方法再烟雾检测的准确率、召回率、误报率都有更好的表现。在对Faster RCNN和本文的实验数据对比中发现，在负样本的识别中有较大的提升，数据中较小的某些特征（房屋、湖泊、河流）識别更加准确，减少了误报数量，降低了误报率。同时，在原有较好的正样本的识别基础上，进一步提升了识别的准确率。由此说明，本文方法改进的Faster RCNN网络更加成功，多特征图的融合使得识别率更高。