基于卷积神经网络的野外烟雾检测研究

张欣欣

摘 要：野外烟雾具有稀疏性，在整幅图像中所占面积小，扩散缓慢。传统烟雾检测算法由人工提取的特征不一定是最合适的烟雾特征，从而导致烟雾检测存在错检或误检。为此，设计了基于卷积神经网络的野外烟雾检测算法。通过改进的VGG16网络以及搭建的卷积神经网络conv-10进行烟雾检测。VGG16过滤器尺寸大小为3×3，步长为1。conv-10通过对LeNet增加相应的层数进行烟雾检测。实验证明，conv-10网络具有较高的准确率，达到94.7%，时间仅需要1 656s。改进的VGG16网络准确率也较高，但是比conv-10网络速度慢，时间需要10 450s。

关键词：烟雾检测;卷积神经网络;深度学习;conv-10;VGG16

DOI：10. 11907/rjdk. 191976 开放科学（资源服务）标识码（OSID）：

中图分类号：TP301文献标识码：A 文章编号：1672-7800（2020）002-0118-04

英标：Wildfire Smoke Detection Based on Convolutional Neural Network

英作：ZHANG Xin-xin

英单：（College of Computer Science and Engineering， Shandong University of Science and Technology， Qingdao 266590，China）

Abstract：Traditional smoke detection algorithm detects smoke according to the features extracted manually. Because the features extracted manually are not necessarily the most suitable features for smoke， there would be false detection or false detection in smoke detection. Field smoke is sparse， occupies a small area in the whole image and diffuses slowly. In this paper， a field smoke detection algorithm based on convolution neural network is designed. Smoke detection was carried out by improved VGG16 network and conv-10 convolution neural network. The size of VGG16 filters is 3*3 and the step size is 1. Conv-10 detects smoke by adding layers to LeNet. Experiments show that the conv-10 network has a high accuracy rate of 94.7% and only needs 1 656 seconds. The network accuracy of the improved VGG16 is relatively high， but compared with the conv-10 network， the speed is slower and the time is 10 450s.

Key Words：smoke detection; convolutional neural network; deep learning; conv-10;VGG16

0 引言

火災监测主要采用烟雾传感器进行。传感器具有价格低、易安装的优点，但由于烟雾传感器和空气大面积接触造成氧化，灵敏度不高。

众多学者对烟雾检测方法进行了研究。如Yu等[1]提出基于烟雾颜色和运动特征的烟雾检测方法;Celik等[2]提出采用不同的颜色模型进行烟雾和火灾检测;Klim等[3]基于烟雾的Harr特征检测烟雾;Chen等[4]根据烟雾的静态和动态决策规则描述一幅图像中是否含有烟雾;Ma等[5]提出了一种新的联合Kalman滤波和高斯混合颜色模型的烟雾检测方法;Avgerinaki[6]利用HOG和HOF分类器实现视频火灾烟雾检测。上述很多算法都是基于烟雾颜色、运动等单一特征或多种特征进行研究，这些特征是人们根据经验手工提取的。由于野外烟雾具有稀疏性，扩散较慢、环境复杂，在这种情况下采用传统方法进行烟雾检测往往会发生错检和漏检情况，准确率较低。

深度学习在许多方面都表现出优异性能。傅天驹等[7]提出了基于深度卷积神经网络的森林火灾识别方法，用参数替换提升准确率;陈俊周等[8]提出一种基于静态特征与动态特征相结合的视频烟雾检测框架。

针对传统烟雾检测算法的不足，通过改进VGG16结构和搭建conv-10对野外烟雾进行检测。实验表明，VGG16和conv-10在野外烟雾识别上都具有较好的检测效果。

1 相关工作

基于图像和视频的烟雾检测方法研究较多。如李红娣等[9]采用边缘特征和金字塔纹理方法进行烟雾检测;王欣刚等[10]采用运动检测和小波分析方法对烟雾进行检测;UgurTireyin等[11]提出基于小波的烟雾检测算法;Wang等[12]利用物体的运动性和视频中帧与帧的区别区分烟雾和非烟雾;Yuan等[13]提出一种基于运动累积量和主运动方向的烟雾检测算法;Calderara 等[14]提出一种能够同时兼顾检测速度和鲁棒性的烟雾检测算法;Kapilovic等[15]提出一种光流方法提取烟雾图像。上述算法在进行烟雾检测时通常存在漏检和误检情况，准确率不高。

2016年，由英国伦敦Google DeepMind开发的人工智能围棋程序AlphaGo[16]中使用了卷积神经网络。Frizzi等[17]使用卷积神经网络进行火焰检测和烟雾检测;Yin等[18]提出一种基于图像烟雾检测的深度规范化卷积神经网络;汪子杰[19]提出一种新颖的预测性能良好的视频烟雾检测算法;Y.Li[20]提出一种基于运动特性和卷积神经网络的烟雾检测算法。

本文针对野外烟雾具有稀疏、扩散缓慢、面积小、环境复杂等特点，设计了基于VGG16和conv-10面向野外烟雾的两种烟雾检测架构，与其它算法相比，conv-10具有较高的准确率，训练时间较短。

2 基于卷积神经网络的烟雾检测

针对野外烟雾特点，本文基于VGG16并搭建卷积神经网络conv-10，设计了两种面向野外烟雾检测的网络结构。

2.1 VGG16网络

VGG16网络的输入图像大小为224×224像素，它包含13个卷积层、5个池化层和3个全连接层。池化一般有最大池化和平均池化两种形式，一般采用最大池化。图1为VGG16网络结构。

针对野外烟雾具有稀疏、扩散缓慢等特点，本文对VGG16网络进行改进。选用VGG16的原因是它能将所有卷积层的过滤尺寸大小都设置为3×3，步长都设置为1。通过这样的设置可以让VGG16网络对输入的烟雾图像中的每个像素进行处理，提取特征，从而检测到整幅图像中所占比例较小的烟雾。另外VGG16的层数相对较少，但是精度和VGG19相近。

基于VGG16的烟雾检测结构如图2所示。野外烟雾需要检测出烟雾和非烟雾两类图像，使用在Imagenet训练好的VGG16网络全连接，保留参数进行迁移，最后将图像分为smoke和nonsmoke两个不同类别。在VGG-16模型上调整数据集，把FC-6、FC-7神经元个数调整为1 024，FC-8类别个数从1 000调整为2。

算法1：VGG16训练和测试算法

输入：database A，预训练的模型vgg16 pretrained

输出：准确率acccuracy

{a，b，c}=prepare_data（A）

对数据集进行8：2的比例分为训练集e和测试集f

Return e和f

加载预先训练好的模型进行训练烟雾检测的结构

Output：训练时间t和准确率accuracy

END

2.2 conv-10网络

针对野外烟雾稀疏性特点，本文对传统的LeNet-5卷积神经网络进行改进，搭建适合烟雾的卷积神经网络结构conv-10。

conv-10的卷积神经网络结构如表1所示。卷积神经网络有10层，每一层都包含可以训练参数。输入层输入图像大小为48×48像素。

C1：采用32个特征图的卷积层，卷积核大小为3×3，经过卷积之后得到每个特征图大小为（48-3+2+1）×（48-3+2+1）=48×48。

式（1）表示特征图的大小。其中l表示当前层的索引号，K表示滤波器大小，P表示填充像素，S表示步长大小。卷积运算之后进行激活函数的非线性变换。激活函数使用Relu函数，其表达式如式（2）所示。

神经网络计算公式如下：

式（3）中，M表示滤波器大小，W表示连接权向量，b表示偏置。

S1：采用大小为2的采样因子，由32个24×24大小的特征图组成。本文采用的池化方法为最大池化。最大池化如式（4）所示。

式（4）中x表示特征图的一个区域，代表该区域神经元输出。

C2：采用3×3大小的卷积核，由64个24×24大小的特征图组成。

S2：采用大小为2的采样因子，由64个12×12大小的特征图组成。

C3：采用3×3大小的卷积核，由96个12×12大小的特征图组成。

S3：采用是3×3大小的卷积核，由96个6×6大小的特征图组成。

C4：采用3×3大小的卷积核，由128个6×6大小的特征图组成。

S4：采用3×3大小的卷积核，由128个3×3大小的特征图组成。

F1表示全连接层。它与S4层连接，由1024个神经元组成。采用Dropout方法，Dropout方法能够加速运算和防止过拟合。

F2：表示输出层。神经元个数设置为2，因为本文只进行二分类任务，所以只需要区分烟雾和非烟雾。

3 实验设计与结果分析

3.1 实验数据集

本文采用的数据集来自http：//staff.ustc.edu.cn/～yfn/vsd.html（数据集分布情况如表2所示）以及笔者自己采集。实验数据集分为训练集和测试集，分为含有烟雾和非烟雾两个类别，表3给出具体实验数据。

本文对数据集进行扩充，扩充方式主要是旋转和翻转两种。按8∶2划分数据集，训练集一共20 000张，其中测试集为5 000张。测试集里烟雾和非烟雾图片张数各为     10 000张。训练集里烟雾和非烟雾图片张数各为2 500张。烟雾数据集和非烟雾数据集实例如图3、图4所示。

3.2 实验设置

采用VGG16网络和conv-10网络进行烟雾检测，并和SVM、DNN & CNN结果进行对比，将测试集和训练集的准确率以及运行时间作为评价指标。

改进VGG16网络是将已经在Imagenet训练好的VGG16网络全连接以上部分保留参数进行迁移，之后使用烟雾数据集进行输入。输入图像大小为224×224像素，将在Imagenet上预训练好的网络中的卷积部分输出，通过预训练训练出一个卷积神经网络，并将最后一层全连接层数的个数改为2，分为烟雾和非烟雾两类。cov-10神經网络就是将准备好的数据集输入到搭建的卷积神经网络上，输入图像大小为48×48像素。预处理操作后，经过3 000次迭代训练出需要的烟雾检测模型。

3.3 实验结果与分析

从表4可以看出，SVM在时间上具有较大优势，测试时间和训练时间都比较短，但是训练精度和测试精度都比较低，主要原因是传统的特征提取方法需要依赖人们的先验知识;DNN、CNN的训练精度和测试精度相对较高，主要原因是这两种网络能够自动提取到所需要的烟雾特征，结果比SVM的精度要高

本文提出的两种网络，在测试集和训练集上准确率较高。因为训练集和测试集都是针对笔者所拥有的数据集进行训练和测试，所以检测出来的效果较好。但是两个网络的准确率与所训练的数据集有较大关系，今后可以通过进一步改进网络结构，增加注意力机制，提高烟雾图像数量和迭代次数等，进一步提高检测准确率。

4 结语

针对野外烟雾环境复杂和干扰性较强，以及野外烟雾具有稀疏性，在整幅图像中所占比例较小的特点，选取相应的野外烟雾数据库，训练出烟雾检测模型。本文通过改进VGG16网络和搭建卷积神经网络cov-10进行烟雾检测。实验结果表明，本文提出的两种卷积神经网络与其它卷积神经网络相比具有较高的准确率， conv-10训练时间更短，表明卷积神经网络在烟雾检测中具有较大优势。但目前准确率还不是很高，今后将通过进一步改进网络结构、增加注意力机制等方式提高野外烟雾检测准确率。

参考文献：

[1] YU C，FANG J，WANG J，et al. Video fire smoke detection using motion and color features[J]. Fire Technology，2010，46（3）：651-663.

[2] CELIK T，DEMIREL H. Fire detection in video sequences using a generic color model[J]. Fire Safety Journal，2009，44（2）：147-158.

[3] KIM H，RYU D，PARK J. Smoke detection using GMM and Adaboost[J]. International Journal of Computer & Communication Engineering，2014，3（2）：123-126.

[4] CHEN T H，YIN Y H，HUANG S F，et al. The smoke detection for early fire-alarmig system base on video processing[C]. International Conference on Intelligent information Hiding on Multimedia Signal Processing，2006：427-430.

[5] MA L，WU K，ZHU L. Fire Smoke detection in video images using Kalman filter and Gaussian mixture color model[C]. International Conference on Artificial Intelligence and Computational Intelligence，IEEE Computer Society，2010：484-489.

[6] AVGERINAKIS K，BRIASSOULI A，KOMPATSIARIS I. Smoke detection using temporal Hoghof descriptors and energy colour statistics from video[C]. International Workshop on Multi-Sensor Systems and Networks for Fire Detection and Management，2012.

[7] 傅天駒，郑嫦娥，田野，等. 复杂背景下基于深度卷积神经网络的森林火灾识别[J]. 计算机与现代化，2016（3）：52-57.

[8] 陈俊周，汪子杰，陈洪瀚，等. 基于级联卷积神经网络的视频动态烟雾检测[J]，电子科技大学学报，2016，46（6）：992-996. .

[9] 李红娣，袁非牛. 采用金字塔纹理和边缘特征的图像烟雾检测[J]. 中国图象图形学报，2015，20（6）：772-780.

[10] 王欣刚，魏峥，刘东昌，等. 基于烟雾动态特征分析的实时火灾检测[J]. 计算机技术与发展，2008，18（11）：9-12.

[11] TOREYIN B U，DEDEOGLU Y，CETIN A E. Wavelet based realtime smoke detection in video[C]. European Signal Processing Conference，Antalya，Turkey Elsevier Press，2005：255-258.

[12] 王涛，刘渊，谢振平. 一种基于飘动性分析的视频烟雾检测新方法[J]. 电子与信息报，2011，35（5）：1024-1029.

[13] 袁非牛，张永明，刘士兴，等. 基于累积量和主运动方向的视频烟雾检测方法[J]. 中国图像图形学报，2008，13（4）：808-813.

[14] FUJIWARA N，TERADA K. Extraction of a smoke region using fractal cording[C]. International Smposium on Communication and Information Technologies，2004：26-29.

[15] KAPILOVIE I，VAGVOLGYI B，SZIRANYI T. Application of panoramic annular lens for motion analysis tasks：surveillence and smoke dection[C]. International Conference on Pattern Recognition，2000：714-717.

[16] TAO C Y， ZHANG J， WANG P. Smoke detection based on deep convolutional neural network[C]. International Conference on Industrial Informatics-Computing Technollogy，Intelligent Technology，Industrial Infortrial Information，2016：150-153.

[17] FRIZZI S，KAABI R，BOUCHOUICHA M，et al. Convoltionalneural network for video fire and smoke detection[C]. IECON 2016-42nd Annual Conference of the IEEE Electronics Society，2016：877-882.

[18] YIN Z J，WAN B Y，YUAN F N，et al. A deep normalization and convolutional neural network for image smoke detection[J]. IEEE Access，2017（5）：18429-18438.

[19] 汪子杰. 基于深度神經网络的视频烟雾检测[D]. 成都：西南交通大学，2016.

[20] LUO Y，ZHAO P，LIU D. Fire smoke detection algorithm based on motion characteristic and convolutional neural network[J]. Multimedia Tools，2017， 77（6）：15075-15092.

（责任编辑：杜能钢）