利用深度学习进行火灾图像识别的实验探讨

曲妍姝　崔永毅　孙国庆　李龙山

一、引言

目前，图像型火灾检测方法主要有两大类：基于传统图像处理的火灾检测和基于深度学习的火灾检测。前者特征处理一般都需要人工干预完成，利用人类的经验来选取好的特征，由于受特征选取是否合理的影响，会使得其识别准确率有所限制。而后者则是预先设计一个网络模型，然后直接将原始图像数据送至网络模型进行训练，利用训练好的模型来对待测图像进行识别工作。将深度学习技术应用于图像识别领域，可在很大程度上避免特征提取过程中的盲目性，且在理论上可提取到更多更深层次的特征，如此极大地提高了火灾图像识别的准确率。

二、图像预处理

火灾发生的环境较为复杂，采集到的图像会受到各种各样的噪声污染和某种程度的损坏，因此需要对图像预处理以降低图像所受到的影响。本文采用图像增强方式进行预处理。火灾图像增强的目的是为了突出图像中火焰区域特征，去除或削弱背景中可能对火焰形成干扰的区域信息，使其更适合后续的识别。在火灾图像中，火焰区域周围经常会出现零星的火星，这会给后续火灾识别带来困难。通过实验，中值滤波可以较为有效的去除这部分噪声干扰。经过平滑滤波后会造成图像的轮廓不明显、边界模糊。为了增强图像的边缘，使图像边缘变得清晰，我们采用图像锐化技术来加强火灾图像的细节描述。利用图像的频率特性，使用高通滤波方法滤除低频分量，实现对火灾图像的锐化。

三、深度学习识别方法

本文采用卷积神经网络进行火灾识别。卷积神经网络主要由特征学习和分类识别两大部分组成。常见的卷积神经网络由输入层、卷积层、激活层、池化层、全连接层和最后的输出层构成。

3.1卷积层

在卷积层中，层与层之间相互连接的特征图由一个或者多个卷积核通过卷积运算提取像素级图像特征。在图像处理中，一幅数字图像可以看作是一个二维空间的离散函数。在二维图像作为输入时，相应地卷积运算可以用公式（1）和（2）表达：

式中， 代表输入图像， 表示卷积核， 为核的大小，一般 ， 。 代表输出图像， 代表输出图像中的一个元素。

卷积运算相当于用一个可训练的卷积核对图像进行滤波。假设一幅图像的尺寸为 ，卷积核的尺寸为 。在计算时，卷积核与图像的每个 大小的图像区域相乘，相当于把该 区域的图像特征提取出来。一小块一小块的提取出图像的局部特征，每经过一次卷积核的滤波都会映射出一张新的二维特征图像。图1显示出利用两种常用算子作为卷积核进行卷积计算得到的特征图。

3.2激活层

激活层的作用是在所有的隐藏层之间添加一个激活函数。添加适当的激活函数后，神经网络的功能会变得更加强大。一般使用非线性函数作为激活函数，因为在实际应用中，绝大部分数据都是非线性分布的。这样才能使深度神经网络具备非线性映射学习能力。常用的激活函数有很多，选择的激活函数是否适当对最终的深度神经网络模型影响极大。本文选择Sigmoid函数和tanh函数作为激活函数。我们尝试使用不同的激活函数建立模型，以期找到对我们工作最有利的激活函数。

3.3池化层

池化层对原始特征层的信息进行压缩，是卷积神经网络中重要的一步。池化可以看作卷积神经网络中一种提取输入数据核心特征的方式，不仅实现了对原始数据的压缩，还大量减少了参与模型计算的参数。池化的方法有很多，最常用是平均池化法和最大池化法。一般是在连续的卷积层之间插入池化层。池化层可以把相似的特征合并起来，有效防止过度拟合。

池化相当于对图像按某种算法进行了压缩。一般来说，均值池化得到的特征数据对背景信息更敏感，而最大池化得到的特征数据对纹理信息更加敏感。

3.4全连接层

全连接层实质就相当于一个分类器。经多个卷积层和池化层后，连接着1个或1个以上的全连接层。全连接层之前的卷积层作用本质是提取特征，而全连接层的作用是分类。经过多次卷积、激活和池化后，特征学习部分会输出许多特征图，每个特征图只具有整体图的一个重要特征。这就需要添加一个或多个全连接层对所有特征进行整合。利用逻辑回归将上层抽取出来的特征向量按不同权重映射为一个特征向量。这个向量汇总了整体图像的所有特征信息，经过激活之后，作为输入进入分类层。在分类层中经过统计计算，输出输入图像归属于某种类别的概率，完成图像识别。

四、实验及结论

本文选择PyTorch框架搭建卷积神经网络进行火灾识别。由于目前缺乏大家公认的用于火灾图像识别的公开测试集。本文实验用火焰视频一部分从网络上下载，另一部分利用实验室进行了火灾模拟实验并录制了视频。利用训练好的模型，我们选取一些视频文件进行火灾识别。结果表明：对火焰特征明显的火灾识别率相对较高，如典型的液体或固体火灾。对酒精或煤气等火焰透明的火灾识别率不理想。蜡烛、打火机、火柴等在稳定燃烧时识别率较高，但在刚开始点燃的不稳定燃烧阶段容易被误判为火灾。车灯、电灯、手电筒等干扰源在静止时识别率也较高，但车灯或手电筒在运动时识别率低一些，高速运动甚至抖动时更容易被误判为火灾。采用不同的神经网络架构对训练和识别有一定影响，但目前尚未找到规律，有待于今后进一步研究。火灾数据集对训练模型和识别测试影响较大，受训练和识别时间限制，单纯加大数据集不是好方法，应该设法构建更加科学合理的有效的火灾数据集。这些都是今后需要进一步努力的方向。

作者简介：

1.曲妍姝，2001年1月，女，汉，辽宁省大连市，本科，沈阳航空航天大学，学生。

2.崔永毅，1965.2，男，汉族，籍贯，沈阳，学历，硕士，工作单位，沈阳航空航天大学，职称，副教授，研究方向：滅火技术、火灾图像检测。

3.孙国庆，1999.10.01，男，满族，山东诸城，本科，沈阳航空航天大学，学生。

4.李龙山，2000.09.06，男，汉，天津市武清区，本科，沈阳航空航天大学，学生。