结合颜色空间和CNN的火焰检测

李莹　李忠　李海洋　孙可可

摘  要： 为了快速准确地对图片中的火焰进行分割检测，消除灯光等疑似火焰区域的干扰，提出基于RGB和HSV颜色空间的火焰检测模型并结合CNN提取火焰轮廓。通过观察RGB三分量在颜色直方图中的分布特征，制定新的约束条件，并结合HSV颜色空间，消除复杂背景对其进行的干扰，最后利用CNN对提取出火焰轮廓进行分类检测，进一步消除对灯光等疑似火焰区域的误检。实验结果表明，该算法可以准确地检测出火焰区域，降低了误检率。

关键词： 火焰检测; 卷积神经网络; 颜色空间; 轮廓特征

中图分类号：TP321          文献标志码：A     文章编号：1006-8228（2019）12-67-04

Flame detecting with the combination of color space and CNN

Li Ying， Li Zhong， Li Haiyang， Li Haiyang， Sun Keke

（Institute of Disaster Prevention， Emergency Management College， Hebei 065201， China）

Abstract： In order to detect the flame quickly and accurately and eliminate the interference of suspected flame area， a flame detection model based on RGB and HSV color space and CNN （convolution neural networks） are proposed to extract the flame contour. By observing the distribution characteristics of RGB three components in the color histogram， new constraints are formulated， and combined with HSV color space， the interference of complex background is eliminated. Finally， CNN is used to extract flame contour to further eliminate false detection of suspected flame areas. The experimental results show that the algorithm can detect the flame accurately and reduce the false detection rate.

Key words： flame detection; convolutional neural networks; color space; contour feature

0 引言

针对火灾险情的火焰检测技术快速发展。其中基于传感器的火焰检测技术已较成熟，如光电感烟探测器、气体式探测器、感烟火灾探测器、红外线探测器等[1]。但是基于传感器的火焰检测方法不仅安装过程繁琐，而且容易受到周围环境的影响，这导致不能及时准确地检测出火灾的发生。另一种是基于图像的火焰检测[2]技术，相对于传统的传感器检测，基于图像的火焰检测不仅可以及时准确地检测出火焰区域，而且可以对现场实时监控。

根据火焰的颜色空间特征，高偉伟[2]等根据 RGB和HIS 颜色模型之间的关系，提出了一种新的颜色判断规则，对火焰区域进行尺寸检测，准确地提取了火焰候选区域.刘立等人[3]为准确的分割出火焰区域和背景区域，提出了基于YIQ颜色空间火焰轮廓提取算法，可以有效地提取火焰轮廓，但该算法容易对灯光产生误检。罗媛媛[4]利用 YCbCr颜色空间进行火焰检测，但由于RGB、HSV颜色空间相关性较大，易受强光的影响[5-6]。刘佳丽等人[7]对RGB颜色空间进行了修改，得到正交的Ohta 颜色空间，该颜色空间能够很好地弥补RGB颜色空间的缺陷。虽然上述方法成功地检测出火焰区域，但基于颜色空间的火焰检测方法容易受到周围光线的影响而导致检测精度下降。

随着近几年深度学习的发展，越来越多的人将深度卷积神经网络应用于火焰检测。严云洋等人[1]利用候选区域生成网络（Region Proposal Network，RPN）提取火焰候选区域，实现在复杂的背景下识别火焰区域。回天等人[8]根据火焰的类型将火焰类数据集进行分类，实现对火焰的多类型检测。虽然基于深度神经网络的火焰检测模型检测效果较准确，但训练模型时对硬件的要求较高且训练时间周期较长。

本文提出了基于RGB颜色空间和HSV颜色空间的火焰检测模型，并结合CNN（Convolutional Neural Networks）根据火焰的轮廓特征进一步对火焰区域进行判断，首先在RGB和HSV颜色空间上对火焰图片进行初步检测，圈出疑似火焰区域。之后提取火焰的轮廓特征，通过LeNet-5网络[9]模型的训练，再对疑似火焰区域进一步判断其是否为火焰。

1 火焰在RGB和HSI颜色空间上的特征

1.1 RGB颜色空间中火焰颜色特征

RGB是目前比较常见的面向硬件设备的彩色模型，根据人眼的构造，所有的颜色都可以由三种基本颜色组成[6]，分别为红色（Red）、绿色（Gree）和蓝色（Blue），它们以不同的比例可以组合成任意一种颜色。火焰的颜色也是由三个颜色基量以不同的比例进行组合。本文利用从网络中搜索的火焰图片，将其中的火焰区域截取出来，如图1 所示，并利用python语言对其中的RGB三个颜色基量进行提取，画出曲线图，如图2所示。

从三个颜色基量曲线的分布中可以看出，蓝色分量的像素值最小，红色分量的像素值最大，因此在RGB颜色空间模型中建立以下约束条件来识别火焰：

R>G>B  ⑴

其中R>120，G>50，B>60。

1.2 HSV颜色空间中火焰颜色特征

HSV颜色空间[10]是颜色的另一种表达形式，它是一种基于感知的颜色模型。它将图像颜色信号分为三种属性，分别为色调（Hue，H），饱和度（Saturation，S）和亮度（Value，V）。

首先，将图1中的火焰区域进行RGB颜色空间到HSV颜色空间的转换，然后将HSV三分量以曲线图的形式展现出来，如图3所示，其中黑色曲线表示H（色调）分量，蓝色曲线表示S（饱和度）分量，黄色曲线表示V（亮度）分量。

通过观察火焰区域在HSV颜色空间上像素分布情况，火焰的色度大多在红色和黄色之间，亮度基本处于饱和状态，因此在HSV颜色空间模型中建立以下约束条件用来识别火焰。

2 火焰在RGB和HSI颜色空间上的轮廓检测

2.1 火焰区域的形态学操作

关于在RGB颜色空间和HSV颜色空间上建立一定的约束条件来对火焰区域进行分割已在本文第1章中详细阐述，为了验证该约束条件的正确性，在网络上选取一张存在火焰区域的图片，如图4所示，对其进行火焰区域分割，分割结果如图5所示。

为了更清晰的显示出火焰区域，需要对分割结果图进行图像形态学中的闭操作，先膨胀后腐蚀。它具有填充图片中细小空洞，起到连接火焰区域的像素点和平滑边界的作用，结果如图6所示。

2.2 疑似火焰区域检测结果

在对火焰区域进行形态学操作后，将图片中存在火焰的区域画出预测框，从结果中可以看出，基于RGB颜色空间和HSV颜色空间的火焰检测模型可以对具有明显火焰区域的图像进行检测，如图7所示。但容易对灯光等疑似火焰区域产生误检，如图8所示。

从图7和图8中可以看出，单纯的在颜色空间上检测容易存在误检情况，其颜色与火焰相似，但它并不是火焰。所以，从火焰的轮廓特征进行观察，发现火焰的轮廓存在不规则的特征，而图8中的检测区域边缘没有尖角等不规则特征。在此基础上，进一步使用CNN训练模型对火焰轮廓进行区分检测。

3 基于CNN的火焰轮廓特征分类

为了消除光源等疑似火焰区域的干扰，本文使用CNN对火焰的轮廓特征进行训练。CNN模型采用的是LeNet-5，共有7层（不包括输入层），其中两层卷积层，两层池化层，三个全连接层。每层都包含不同数量的训练参数。首先从原始数据集图中取一个样本（X，Yp），将X输入到网络，之后计算其相应的实际输出值Op。最后计算实际输出Op与期望输出Yp的差，按照极小化误差的方法进行反向传播来调整权矩阵。

首先在网络上利用爬虫技术爬取350张图片并根据其轮廓特征进行分类，其中有300张火焰图片和50张非火焰图片，分类结果如表1所示，然后提取火焰轮廓特征图，如图9所示，将其送入LeNet-5网络模型，在卷积层提取火焰轮廓的局部特征，之后在全连接层将卷积层提取的局部特征重新通过权值矩阵组装成完整的火焰轮廓图。若轮廓特征符合火焰的尖角轮廓等不规则特征，则判定其为火焰区域。

检测结果如图10和图11所示。从中可以看出，该模型准确地将火焰区域和非火焰区域识别出来。

4 实验及结果分析

为了检测本文提出的基于RGB颜色空间和HSV颜色空间并结合CNN的火焰检测模型的检测效果，本文对在网络上爬取的300张火焰图片和50张非火焰图片进行检测，检测结果显示，在350张样本图片中，成功识别火焰区域和非火焰区域322张，准确率达到95.0%，如表2所示，其高于单纯在RGB颜色空间上检测的准确率。

5 结论

本文首先分析火焰在RGB颜色空间和HSV颜色空间的像素值分布特点，建立一定的约束条件，然后对火焰区域进行初步检测。为解决对灯光等疑似火焰区域的误检情况，本文结合LeNet-5网络模型，对初步检测的火焰轮廓进行分类，进一步判断该区域是否存在火焰。实验证明，该方法能较准确地检测火焰区域，准确率为95.0%，具有良好的泛化性和鲁棒性。

参考文献（References）：

[1] 严云洋，朱晓妤，刘以安，高尚兵.基于Faster R-CNN模型的火焰檢测[J].南京师大学报（自然科学版），2018.41（3）：1-5

[2] 高伟伟，曹江涛.一种基于RGB与HIS颜色空间模型的火焰尺寸检测方法研究[J].辽宁石油化工大学学报，2014.34（4）：63-66

[3] 刘立，曾花.基于YIQ颜色空间的火焰轮廓提取算法[J].南华大学学报（自然科学版），2016.30（2）：72-77+82

[4] 罗媛媛. 基于YCbCr颜色空间的森林火灾探测技术的研究[D].长沙：中南林业科技大学，2013.

[5] 刘佳丽，叶炯耀.基于Ohta颜色空间的多信息融合火焰检测[J/OL].华东理工大学学报（自然科学版）：1-7[2019-06-17].

[6] 吴建胜，高云玲，张宾.一种基于视频的火焰检测方法[J].计算机应用与软件，2014.31（1）：173-175+190

[7] 沐小会，陈嘉卿，宋英磊.火焰特征提取研究在火灾探测中的运用[J].电子设计工程，2016.24（21）：188-190

[8] 回天，哈力旦·阿布都热依木，杜晗.结合Faster R-CNN的多类型火焰检测[J].中国图象图形学报，2019.24（1）：73-83

[9] 刘金利，张培玲.改进LeNet-5网络在图像分类中的应用[J/OL].计算机工程与应用：1-9[2019-06-20].

[10] 周建平.基于HSV颜色空间的水下运动目标提取[J].电脑知识与技术，2018.14（21）：230-232

[11] CHENGXF，WUJH，YUANX，et al. Principles for a video fire detection system[J].Fire Safety Journal，1999.33（1）：57-69

[12] NODA S，UEDAK. Fire detection in tunnels using an image processing method[C]//In：Proceedings of Vehicle Navigation and Information Systems Conference，Japan，1994：57-62.

[13] CHENT，YUANHY，SUGF，et al. Automatic fire searching and suppression system for large space[J].Fire Safety Journal，2004.39（4）：297-307