一种新型的城市火灾检测方法

杨柳 张德 王亚慧

摘  要： 在图像型火灾检测方法中，火灾特征的选取有一定的随机性和复杂性，仅仅依靠低层次的图像特征难以完整地描述复杂背景下的火灾图像。将深度学习技术应用到火灾检测领域，提出基于卷积神经网络的火灾检测方法，搭建包含3层全连接层的网络模型，使用Relu函数作为激活函数;然后基于Tensorflow平台实现该网络结构模型。在公开的火灾数据库上进行实验，结果表明，所提方法的火灾检测效果优于传统的图像型火灾检测算法，避免了由于选取特定火灾特征进行检测识别带来的局限性。

关键词： 火灾检测; 卷积神经网络; 图像处理; 城市火灾; 模式识别; 深度学习

中图分类号： TN911.23?34                        文献标识码： A                    文章编号： 1004?373X（2019）10?0141?05

A new city fire detection method

YANG Liu， ZHANG De， WANG Yahui

（School of Electrical and Information Engineering， Beijing University of Civil Engineering and Architecture， Beijing 100044， China）

Abstract： In image?based fire detection methods， the fire feature selection has a certain randomness and complexity， and it is difficult to completely describe the fire images in complex background by only relying on low level image features. Therefore， a fire detection method based on the convolutional neural network is proposed by applying the deep learning technology to the fire detection field. A network model including three full connection layers is built， taking the Relu function as the activation function. The network structure model is implemented based on the Tensorflow platform. An experiment was carried out on the public fire database. The experimental results show that the proposed method has a better fire detection effect in comparison with traditional image?based fire detection algorithms， which can avoid the limitations brought by detection recognition using selection of specific fire characteristics.

Keywords： fire detection; convolutional neural network; image processing; city fire; pattern recognition; deep learning

0  引  言

尽管图像型火灾检测技术相比于传统的传感器监测技术有很多的优势，然而这种检测方法需要确定火焰分割方法和特征提取方法，算法的检测效果不仅取决于图像分割和特征提取阶段的处理结果，还依赖于如何找到有效的火灾特征[1]。好的特征选取往往需要专业的知识和经验积累，特别是在复杂背景下的城市火灾检测过程中，排除背景干扰，获取有效的分割和特征提取结果非常困难[2]。另外，火灾的形态会随着阶段的不同而产生相应的特征，同一种特征在不同的火灾阶段会得到不同的特征参数。这些都增加了火灾特征表达的复杂性，降低了火灾检测准确率，还在一定程度上降低了算法的稳定性。

近年来基于卷积神经网络（Convolutional Neural Networks，CNN）的深度学习算法已经在计算机视觉、信息提取和机器翻译等多个领域取得了丰硕的研究成果[3]。为克服传统图像型火灾检测算法的不足，本文引入深度学习算法，搭建了全连接CNN模型，以此进行视频图像中的火灾检测。通过该方法可以找到更深层次的火灾特征，同时实现了图像特征的自动提取，避免了由人为主观因素选取图像特征而产生的局限性，可以提取出更为抽象的深层特征，传统图像分类算法与深度学习运行流程如图1所示。

图1  传统图像分类算法与深度学习运行流程

1  卷积神经网络

深度学习本质上是一种神经网络模型，模拟了大脑的认知过程，通过逐层分析和抽象理解获取特征信息，适用于对自然数据进行处理，具备较强的泛化能力[4]。其依靠自身的网络即可从浅层信息中挖掘出较为抽象的深层特征数据。

卷积神经网络是一种被广泛应用于图像领域的深度学习算法，最为显著的特征是局部感受野和权值共享。卷积神经网络的运行原理如图2所示，由卷积层、池化层以及全连接层组成。局部感受野相当于视觉提取图像局部信息，对应卷积神经网络，通过卷积运算完成图像的局部感受野。网络中卷积层单个神经元的输入与前一层的局部感受野相连。

图2  卷积神经网络运行原理

卷积神经网络中神经元众多、结构复杂，利用权值共享技术，在误差值反向传递过程中调整的神经元个数与每一层卷积层的卷积核个数相同，这种网络结构优化极大地减少了网络的运算量。因此，权值共享和局部感知野能够极大程度地降低系统的运算量，提高了运行效率，使得以并行处理的形式实现卷积神经网络成为可能[5]。

2  火灾检测卷积神经网络结构搭建

本文通过搭建卷积神经网络模型，实现应用于火灾检测的算法。该卷积神经网络由输入层、4层卷积层、4层池化层以及3层全连接层组成，网络设置如表1所示，以下将对各个部分展开描述。

2.1  输入层

针对图像样本的大小不统一的情况，把火灾图像数据输入卷积神经网络之前，预先把图像的大小归一化为100×100。为了保证卷积神经网络能够获取更多的图像信息，用于实验的火灾图像不进行灰度化处理，所有的原始彩色火灾图像均保留R，G，B三色通道，分别把R，G，B通道的灰度值图像输入卷积神经网络。因此，一张彩色图像经输入层处理后，产生3张灰度值图像，再输入第1层卷积层。

2.2  卷积层

卷积運算对应的网络结构是卷积层，卷积层的主要目的是对输入的图像进行特征提取，它能够从输入数据中提取出一些较为抽象的特征，这些抽象特征以特征图的形式输出，在输入网络的池化层进行下一步的处理[6]。卷积层与输入层直接连接，利用卷积核对输入层输出的图像进行卷积运算，并输出对应特征图像。卷积核的数值先是由网络初始化设定，经后续的训练，其数值趋向于局部最优解，整个卷积神经网络渐渐收敛。特征图像的尺寸与原始图像的尺寸满足以下关系：

[Nlx=Nl-1x-KlxSlx+1]           （1）

[Nly=Nl-1y-KlySly+1]           （2）

式中：N表示图像的实际尺寸;l表示网络层数;K为卷积核的大小;S为步长;脚标中的x，y代表计算方向。每一次卷积和池化处理都会降低图像尺寸。

通常，卷积层在做卷积运算时，会加入一个独立项，这个独立项是随机生成的初始化数字，将这个包含卷积结果和独立项的数据输入激活函数，所得的结果才是对应特征图像的元素。这样可以提升网络结构的非线性。

这里选用Relu（Rectified Linear Unit）函数作为卷积层和全连接层的激活函数。Relu函数全称为线性整流函数，又称作修正线性单元。Relu函数呈现分段的特点，这使得它在误差反向传递的过程中能够加快传递速度，提高神经元权重的误差下降速度，加快网络训练速度。

基于Relu函数的卷积层处理的计算表达式为：

[xlj=max0，i∈Mxl-1iωln+bn]     （3）

式中：[x]为卷积层元素;[l]为当前网络层数;[ω]为卷积核元素;[b]为随机的独立项;[n]为卷积核元素的位置信息;[M]为输入图像的选择;[i]与[j]是相互对应的一组图像选择。

本文建立的用于复杂背景下火灾检测的卷积神经网络结构共有4层卷积层，即C1，C2，C3和C4。为了满足整个网络对复杂背景下的图像数据的适应性，每个卷积层均设置了大量的卷积核，尤其是在C3层和C4层。

2.3  池化层

设置池化层的目的是使经卷积层处理提取的深层特征具备平移不变性，避免网络出现过拟合的现象;其次是降低特征图像的大小，提高网络运行速度。

池化过程是将输入特征图像按特定的运算方法，在最大限度保留输入数据的基础上，降低特征图像的大小，等同于数据的降维处理。池化层的工作原理是将输入特征图像均匀分割为多个同等规模的区域块，在每个区域块内做规定运算。区域块的规模设置过大会导致特征图像过度缩减，进而导致图像信息丢失[7]。通常，池化层选用2×2大小的区域块和3×3大小的区域块进行等比例缩减。

本文建立的卷积神经网络中，池化层通过计算区域块均值的方法来降低特征图像维度，即将上一层卷积层输出的特征图像数据分割成2×2大小的区域块，每个2×2大小的区域块用均值代替，如图3所示。

图3  池化处理过程

2.4  全连接层

全连接层与池化层相连接，将池化层输出的二维数据处理成一维数据，再通过3层神经网络完成数据的分类。相较卷积层和池化层，全连接层的参数是最多的。

全连接层的操作分为前向计算和反向传播两个过程，全连接层的前向计算过程可以看作是利用神经元對特征数据加权求和的过程，而反向传播过程是通过计算实际输出与理想输出值的误差，反向作用于神经元，调整网络的权重矩阵。

在本文所述的网络结构中：全连接层的第一层设置1 024个神经元，激活函数为Relu函数;第二层设置512个神经元，激活函数为Relu函数;第三层设置2个神经元，无激活函数。通过这三层全连接层完成特征数据的二分类，即输出检测结果。

3  实验结果分析

3.1  算法实现工具

卷积神经网络的搭建可以通过相关的软件平台来实现，本文选用Tensorflow+Python的开发环境。Tensorflow是一款开源的人工智能学习系统，该系统多用于深度学习神经网络的搭建，具备良好的灵活性和可延展性[8]。它提供许多网络接口，使用者可以通过对应的网络接口获取子程序文档，根据需要调用相应的子程序，以此完成网络框架的搭建。

3.2  实验数据库

本文使用的火灾图像数据来自韩国启明大学计算机视觉与模式识别实验室的公开数据库。该数据库中的视频图像呈现出更多的色度突变，这些色度突变的区域一部分是火焰所导致，另一部分则是复杂的场景所导致[9]。该数据库包含火焰的视频图像有10段，干扰物视频有4段，视频场景涵盖了室内、街道和厂房等，各段视频在场景空间和光照强度上均存在较大的差异，如图4所示。

图4  火灾视频图像与干扰物视频图像

3.3  网络参数的分析

3.3.1  迭代次数对网络的影响

通过迭代调整网络结构中神经元的权值，有利于寻找最优的网络结构。如果迭代次数较少，网络的学习不够充分，网络的训练损失和验证损失过高，与真实数据的拟合度就偏低。随着迭代次数的增加，网络的各层神经元权值会逐渐优化，与真实数据的拟合度会渐渐升高，直至网络收敛。表2给出火灾检测卷积神经网络的检测正确率与网络迭代次数的关系。

3.3.2  学习率对网络的影响

学习率影响着神经网络的收敛速度，如果学习率设置过大，容易跨过极值，造成神经元权值的不稳定，整个神经网络无法收敛;如果学习率设置过小，就会导致网络的收敛速度过慢，系统的训练时间增加[10]。本文将网络的学习率调整为1和0.1，并观察对应的系统训练损失（Train Loss），如图5和图6所示。

图5  学习率为1时网络的训练损失曲线

图6  学习率为0.1时网络的训练损失曲线

当学习率取1时，网络的训练损失在前几次迭代中下降很快，之后便在0.2附近震荡，训练损失波动，神经网络无法收敛。

当学习率取0.1时，网络的训练损失先快速下降至0.4，迭代5次后呈缓慢下降趋势，迭代至30次时，训练损失达0.031 942，并仍处于缓慢下降，此时可近似认为网络处于收敛状态。

3.3.3  卷积核对网络的影响

为了研究网络结构对于其性能的影响，本文对卷积核尺寸进行了调整。除了表1的网络结构外，本文还选择了其他3种不同尺寸的卷积核的网络结构，并通过这4种模型的网络结构进行实验，对比其检测正确率，如表3所示。其中，模型1的网络结构拥有最高的检测率。因此，本文选用基于模型1网络结构的卷积神经网络。

3.4  网络运行效果

本文选取表3中模型1的网络结构，即C1，C2，C3，C4卷积层的卷积核大小分别为5×5，5×5，5×5，3×3，S1，S2，S3，S4池化层的区域块均为2×2，网络的学习率为0.2，迭代次数为25次。该卷积神经网络用于火灾检测的运行效果如图7所示。

图7  用于火灾检测的卷积神经网络运行效果

最后，本文把基于卷积神经网络的火灾检测算法与其他图像型火焰检测算法[9]进行了对比，在第3.2节所述的火灾视频数据库上进行了实验，实验结果如表4所示。对比结果表明，基于卷积神经网络的火灾检测算法的识别效果要高于其他两种算法，但是该算法却存在运行时间过长，实时性较差的缺点。

4  結  论

本文将深度学习理论应用到城市火灾检测领域，基于卷积神经网络的全连接模型框架，搭建了适用于复杂背景下火灾检测的卷积神经网络模型。该方法能够寻找更深层次的火灾特征，实现了图像特征的自动提取，避免了由主观选取图像特征而产生的局限性。实验结果表明，对比传统的图像型火灾检测算法，基于卷积神经网络的火灾检测算法能够对复杂背景下的火灾图像进行有效的检测，具有较高的准确性。

参考文献

[1] 郑胤，陈权崎，章毓晋.深度学习及其在目标和行为识别中的新进展[J].中国图象图形学报，2014，19（2）：175?184.

ZHENG Yin， CHEN Quanqi， ZHANG Yujin. Deep learning and its new progress in object and behavior recognition [J]. Journal of image and graphics， 2014， 19（2）： 175?184.

[2] 胡勤，陈琛，刘敏.一种基于动态纹理的烟雾和火焰检测方法[J].消防科学与技术，2014，33（6）：667?669.

HU Qin， CHEN Chen， LIU Min. A smoke and fire detection method based on dynamic texture [J]. Fire science and technology， 2014， 33（6）： 667?669.

[3] 傅天驹，郑嫦娥，田野，等.复杂背景下基于深度卷积神经网络的森林火灾识别[J].计算机与现代化，2016（3）：52?57.

FU Tianju， ZHENG Change， TIAN Ye， et al. Forest fire recognition based on deep convolutional neural network under complex background [J]. Computer and modernization， 2016（3）： 52?57.

[4] KRIZHEVSKY A， SUTSKEVER I， HINTON G E. ImageNet classification with deep convolutional neural networks [C]// Proceedings of the 25th International Conference on Neural Information Processing Systems. New York： Curran Associates， 2012： 1097?1105.

[5] KIM Y. Convolutional neural networks for sentence classification [EB/OL]. [2014?09?03]. https：//arxiv.org/pdf/1408.5882.pdf.

[6] KARPATHY A， TODERICI G， SHETTY S， et al. Large?scale video classification with convolutional neural networks [C]// Proceedings of IEEE Conference on Computer Vision and Pattern Recognition. Columbus： IEEE， 2014： 1725?1732.

[7] SIMONYAN K， ZISSERMAN A. Very deep convolutional networks for large?scale image recognition [C/OL]. [2015?04?10]. https：//arxiv.org/pdf/1409.1556.pdf.

[8] 章敏敏，徐和平，王晓洁，等.TensorFlow机器学习框架及应用[J].微型机与应用，2017，36（10）：58?60.

ZHANG Minmin， XU Heping， WANG Xiaojie， et al. Application of Google TensorFlow machine learning framework [J]. Microcomputer & its applications， 2017， 36（10）： 58?60.

[9] KO B C， JUNG J H， NAM J Y. Fire detection and 3D surface reconstruction based on stereoscopic pictures and probabilistic fuzzy logic [J]. Fire safety journal， 2014， 68： 61?70.

[10] RAZAVIAN A S， AZIZPOUR H， SULLIVAN J， et al. CNN features off?the?shelf： an astounding baseline for recognition [C]// Proceedings of IEEE Conference on Computer Vision and Pattern Recognition Workshops. Washington： IEEE Computer Society， 2014： 512?519.

[11] 卢英，王慧琴，柴茜，等.基于多尺度LBP与GBP特征的火焰识别[J].计算机科学，2015，42（10）：316?320.

LU Ying， WANG Huiqin， CHAI Qian， et al. Fire image detection based on LBP and GBP features with multi?scales [J]. Computer science， 2015， 42（10）： 316?320.