基于图像识别的秸秆焚烧事件检测

聂建豪,李士进

(河海大学 计算机与信息学院，江苏 南京 210098)

基于图像识别的秸秆焚烧事件检测

聂建豪,李士进

(河海大学 计算机与信息学院，江苏 南京 210098)

针对传统火灾检测存在的对周围环境要求比较高，且研究对象多数属于室内或者商业设施等现象，提出了基于滑动窗口图像特征提取的多特征融合和SVM相结合的秸秆焚烧火灾检测算法。首先在YCbCr空间模型下使用Otsu(大津算法)对火焰图像进行前景检测，再对所检测到的前景使用颜色判别方法，得到候选火焰区域，然后使用滑动窗口在这些区域上进行移动，在每一个窗口内提取HOG特征、灰度共生矩阵特征、颜色矩特征，将这些特征分别送入SVM训练得到不同的分类器进行秸秆焚烧事件检测。最后根据投票方法将三种特征进行融合，最终检测出是否发生火灾。实验结果表明，该算法实现简单，识别率高，可达到86.67%。且由于算法基于火灾的静态特征，更能体现火焰的固有图像特征，与其他类型的火焰检测相比，适用性更强。

颜色模型；滑动窗口；单一特征提取；多特征融合

0 引 言

火灾在日常生活中发生频繁，对人们的生命和财产安全构成了严重危害。而农田秸秆焚烧会污染空气，并产生大量有毒有害物质，甚至引发火灾。国内从1999年就明令禁止秸秆焚烧，但是至今仍屡禁不止。秸秆焚烧可能有深刻的社会原因，暂不考虑，仅仅从技术角度对秸秆焚烧造成的火灾进行警报，从而遏制火灾的危害。

为了对秸秆焚烧造成的火灾进行预防和警报，科研人员进行了大量研究。早期，人们依靠传统的感烟、感光、感温的探测器来检测火焰，从而降低生活中的损失。但是由于传统的火灾检测器对环境要求苛刻，也不适合对广阔的空间进行火焰检测，所以迫切需要更合理的方式进行火灾检测。随着信息技术的发展，火灾探测正在逐步向图像化和智能化转变。

这些新型方式大多使用了图像特征提取结合模式识别的方式进行火灾检测。在这些提取的图像特征中，颜色特征是火焰检测中必不可少的一项，因为它包含了火焰最为基本的信息。文献[1-4]分别基于YCbCr、CIE LAB、HSV、Ohta颜色空间提取了火焰的颜色特征。闫红梅等[4]提取了火焰变化的动态特征结合BP网络对火焰进行识别。包晗等[5]提取了火焰图像序列的面积重叠率和中心相对移动率等特征，并结合学习向量量化(LVQ)神经网络融合技术对视频序列中的火焰进行自动检测。邵婧等[6]使用基于动态纹理的特征，建立线性动力系统，最后使用Adaboost分类器判断火灾是否存在。张开生等[7]首先对采集到的图像进行K-means分割，然后用改进的颜色分类模型进行辨识，最后将分割后的图像进行火焰和烟雾特征提取并输入到RBF神经网络进行最终识别。WangD等[8]使用颜色特征和运动概率特征来衡量视频图像中是否含有火焰。吴茜茵等[9]提出了一种融合圆形度、矩形度和重心高度系数的火焰检测算法，然后将融合后的火焰特征输入支持向量机(SVM)进行分类。由于农田秸秆焚烧火灾与一般火灾在可燃物、燃烧环境上的不同都会导致检测效果发生偏差，所以上述方法在农田秸秆焚烧火灾上有一定的局限性。但是，农田秸秆焚烧的可燃物的纹理特征有其独特之处，因此考虑火焰纹理和颜色特征相结合的检测方式。严云洋等[10]采用局部二值模式方法提取疑似火焰区域的多尺度纹理特征，并输入到支持向量机进行识别。LeiW等[11]结合纹理、面积变化等特征，采用贝叶斯分类器进行火焰识别。XiZ等[12]利用傅里叶描述子提取轮廓特征，然后进行检测。这些方法在各自的范围内取得了不错的成果，但是在秸秆焚烧中不太适用。

因此，针对农田秸秆焚烧事件，提出了一种新型的基于滑动窗口的火焰检测算法。算法分析了给定图像的颜色特征，将其转换到YCbCr空间，利用Otsu(大津法)分割出火焰候选区。在火焰候选区中移动滑动窗口，在每个滑动窗口中提取HOG特征、灰度共生矩阵纹理特征、颜色矩特征，分别将三类特征作为SVM的输入，经过学习训练，判断所给定的图像中是否发生了火灾。然后根据投票方法将三种特征进行融合，最终检测出是否发生火灾。

1 颜色分割

在火焰检测中，火焰的颜色和周围环境的区分度受到环境明亮度的影响。为了排除非火焰颜色物体对火焰检测的干扰，特别引入火焰颜色分割模型。而各种色彩模式下的火焰颜色有很大的区分度，对火焰检测的影响关系重大，甚至决定了火焰检测的成败。很多参考文献都有详尽的描述，Celik等[13]通过将普通RGB颜色空间进行归一化来减轻亮度对火焰颜色的影响；陈天炎等[14]使用基于YCbCr以及相对应的增加约束条件大大增加了火焰检测的正确率。尽管标准化后的RGB在一定程度上减轻了这种影响，但是对于检测结果的误差来说，仍旧影响很大。随后Celik等[1]又提出了YCbCr的颜色空间模型，从而将亮度和色度区分开。而在RGB空间中，R、G、B分别对应于红色通道、绿色通道、蓝色通道。而在YCbCr空间中，Y、Cb、Cr分别对应于亮度通道、色度蓝通道、色度红通道。为了解决RGB图像在色彩分离现象中的不明朗问题，特别引入YCbCr颜色空间对火焰进行检测。这样能够排除环境因素对火焰的影响。原始RGB空间图像转化为YCbCr空间的计算公式如下：

(1)

原始图像RGB及其单通道图像和原始图像的YCbCr图像及其单通道图像如图1所示。其中，上面四幅图分别为RGB原始图像、R通道图像、G通道图像和B通道图像；下面分别为YCbCr原始图像、Y通道图像、Cb通道图像和Cr通道图像。

图1 原始RGB图像和YCbCr图像及其单通道图像

使用较大颜色区分度的YCbCr颜色空间对图像进行色彩空间转换，然后对其进行Otsu分割，获取可疑的火焰区域，以便后续步骤对待检测区域进行特征提取和火焰检测。

2 火焰特征提取

2.1 HOG特征

HOG特征[15]是一种局部区域描述符，它通过计算局部区域上的梯度方向直方图来构成火焰特征。HOG反映了火焰在局部区域的重复性质的纹理特征。对于火焰检测来说，HOG特征是针对火焰图像某个矩形区域中的梯度方向与强度的统计信息而提取的一种特征。输入图像中像素点(x,y)的梯度为：

(2)

其中，GX(x,y),GY(x,y),H(x,y)分别表示像素点(x,y)处的水平方向梯度、垂直方向梯度和像素值。

像素点(x,y)处的梯度幅值和梯度方向分别为：

(3)

(4)

2.2 灰度共生矩阵

灰度共生矩阵表达了图像信息的纹理结构特征，但是一般不直接使用灰度共生矩阵作为纹理特征，而是使用一些更直观的参数。如ASM能量(Angular Second Moment)，表达了图像灰度分布的均匀性，即纹理的厚度；惯性矩(Moment of inertia CON),表达了图像纹理的干净度，即沟壑纹理的程度；相关性和(Correlation COR)，表达了图像纹理在水平方向和竖直方向的强相关性；Entropy ENT，表达了灰度共生矩阵包含的信息总量，即原始图像的纹理复杂度。使用灰度共生矩阵特征来描述火焰的纹理特征。

(5)

(6)

(7)

(8)

其中，P(i,j)为某个角度某个距离处像素点的总个数；i,j分别表示矩阵位置值；μ1,μ2分别为平均值；σ1,σ2分别为方差值。

2.3 颜色矩特征

使用色矩代表图像的颜色分布是由Stricker和Orengo提出的。大多数的颜色分布信息可以使用以下三个中心矩进行表达，如式(9)～(11)所示。

(9)

(10)

(11)

其中，Pij为第i个通道的第j个像素值；Ei,σi,Si分别为一阶中心距，二阶中心距，三阶中心距。

3 分类器设计

3.1 分类器的训练

为了获得准确的实验结果，训练分类器时采用了如下的训练方法：

手动提取700个48×48火焰的燃烧区域和900个48×48的非火焰燃烧区域，对火焰训练样本标记为1，非火焰训练样本标记为0，训练火焰分类器，然后对已分类过的48×48的测试图像进行测试，根据结果调整训练参数，以使测试图像效果达到最优。

3.2 分类器的测试

实验采用SVM分类器，与一般的分类器不同的是，为了预测出最终结果，首先使用单个特征分别训练出最终的分类器，然后再用投票方式确定最终的分类器。训练单个分类器时，调整参数，使该特征下达到最佳分类效果。分别记其准确率为Ai，得出分类器对每一个图像的分类结果Ri(Ri的取值为0或1)，如果判断为火则Ri为1，否则为0。设定最终分类的数字为Rx，HOG特征、灰度共生矩阵特征、颜色矩特征三种类型分类器下的准确率分别为A1,A2,A3，对一张图像的分类结果为R1,R2,R3，那么有：

Rx=A1×R1+A2×R2+A3×R3

(12)

设定判断火焰和非火的阈值为T，将火焰的最终识别结果规整为0和1，那么有：

(13)

通过这种方式得到最终的火焰检测结果。

4 火焰检测

4.1 实验环境和方案设计

系统使用VS2010+OpenCV-2.4.11实现程序。收集了39幅农田火灾照片和39幅正常农田的图像进行测试，涵盖各种农田场景的秸秆焚烧火焰图像。图像的大小不等，清晰度各异。

部分秸秆焚烧场景图像如图2所示，非秸秆焚烧场景图像如图3所示。

图2 秸秆焚烧场景

图3 非秸秆焚烧场景

为了验证梯度直方图特征、灰度共生矩阵纹理特征、颜色矩特征等特征在火焰检测中的有效性，做了多组对比实验：

(1)单特征下的分类效果检验，分别在梯度直方图特征、灰度共生矩阵纹理特征、颜色矩特征下进行火焰检测；

(2)多特征融合下的分类效果检验，将三种特征融合后进行检验。

对实验的对比分析分为两部分，以梯度直方图特征的火焰检测为例进行详细的实验分析，对整个实验进行总结和归纳。

4.2 火焰检测效果

检测效果采用准确率指标进行衡量，以便提高检测精度。对所提取的梯度直方图特征、灰度共生矩阵纹理特征、颜色矩特征以及融合后的特征，使用SVM分类器进行检测以获取检测结果。经过多次实验，调整参数，得到的实验结果如表1所示。

表1 分类结果

通过表1可以得出，在单特征检测模式下，基于梯度直方图特征的火焰检测效果最好，能达到79.49%。在单特征检测中效果最差的属于灰度共生矩阵特征，说明在秸秆焚烧的火焰检测中，灰度共生矩阵特征与火焰的本质特征密切程度相对较低。

实验结果证明，融合后的火焰检测特征比单特征对火焰检测有更好的效果。证明提出的基于滑动窗口图像特征提取的多特征融合和SVM相结合的火灾检测算法在秸秆焚烧火焰检测上有较高的准确率。

5 结束语

在火灾发生初期检测出火灾能够将其带来的损失降到最小，这也是火灾检测的根本目的。针对农田秸秆焚烧现象进行了研究，提出了基于滑动窗口图像特征提取和SVM相结合的火灾检测算法。通过实验分别验证了在HOG特征、灰度共生矩阵特征以及颜色矩特征等单特征情况下的检测结果，充分证明了三种特征在农田秸秆焚烧中火灾检测的有效性。为了提高火焰检测的准确率，做了三种特征的融合实验。结果表明，多特征融合的火焰检测较单特征有了很大提高，达到了86.67%，算法能够有效提高火灾检测效率和检测精确度。由于基于静态特征的火焰检测同样适用于动态视频，所以提出的方法比基于动态的火焰检测方法适用性广泛。为了进一步提高检测效率，可以通过PCA降维方式降低火焰特征的维度，为了增大火焰检测的准确率，可以引入烟雾检测对火焰检测的结果进行校正。

[1] Celik T,Demirel H.Fire detection in video sequences using a generic color model[J].Fire Safety Journal,2009,44(2):147-158.

[2] Truong T X,Kim J M.Fire flame detection in video sequences using multi-stage pattern recognition techniques[J].Engineering Applications of Artificial Intelligence,2012,25(7):1365-1372.

[3] 杨 俊,王润生.基于计算机视觉的视频火焰检测技术[J].中国图象图形学报,2008,13(7):1222-1234.

[4] 闫红梅,李白萍.视频监控系统中的火灾监测算法研究[C]//第17届全国图像图形学术会议论文集.出版地不详:出版者不详,2012.

[5] 包 晗,康泉胜,周 明.一种基于LVQ神经网络与图像处理的火焰识别算法[J].中国安全科学学报,2011,21(6):60-64.

[6] 邵 婧,王冠香,郭 蔚.基于视频动态纹理的火灾检测[J].中国图象图形学报,2013,18(6):647-653.

[7] 张开生,张盟蒙.基于K-means和颜色模型的林火辨识方法研究[J].电子技术应用,2015,41(2):163-166.

[8]WangD,CuiX,ParkE,etal.Adaptiveflamedetectionusingrandomnesstestingandrobustfeatures[J].FireSafetyJournal,2013,55:116-125.

[9] 吴茜茵,严云洋,杜 静,等.多特征融合的火焰检测算法[J].智能系统学报,2015,10(2):240-247.

[10] 严云洋,唐岩岩,刘以安,等.使用多尺度LBP特征和SVM的火焰识别算法[J].山东大学学报:工学版,2012,42(5):47-52.

[11]LeiW,LiuJ.Earlyfiredetectionincoalminebasedonvideoprocessing[C]//Proceedingsofthe2012internationalconferenceoncommunication,electronicsandautomationengineering.Berlin:Springer,2013:239-245.

[12]XiZ,FangX,ZhenS,etal.Videoflamedetectionalgorithmbasedonmulti-featurefusiontechnique[C]//24thChinesecontrolanddecisionconference.[s.l.]:IEEE,2012:4291-4294.

[13]CelikT,DemirelH,OzkaramanliH.Automaticfiredetectioninvideosequences[C]//14thEuropeansignalprocessingconference.[s.l.]:IEEE,2006:1-5.

[14] 陈天炎,曾思通,吴海彬.基于YCbCr颜色空间的火焰图像分割方法[J].传感器与微系统,2011,30(10):62-64.

[15]DalalN,TriggsB.Histogramsoforientedgradientsforhumandetection[C]//IEEEcomputersocietyconferenceoncomputervisionandpatternrecognition.[s.l.]:IEEE,2005:886-893.

Detection of Straw Burning Event Based on Image Recognition

NIE Jian-hao,LI Shi-jin

(College of Computer and Information,Hohai University,Nanjing 210098,China)

The traditional fire detection system has higher requirements of the surrounding environment,and research objects belongs to indoor or commercial facilities mostly.In order to solve the problem,a fire detection algorithm based on multi-feature fusion of image feature extraction of sliding window and the SVM classifier is proposed.First,in the YCbCr color space model,Otsu is used to detect the foreground from the flame image and the foreground is inspected by the color feature to obtain the fire candidate regions.Then three kinds of flame features including HOG,gray level co-occurrence matrix and color moment are extracted by using the sliding widow moved on the fire candidate regions,which are put into the SVM classifier to classify the window whether there is a fire.The final result based on the method of voting is gained.The experimental results show that the algorithm is simple and has higher recognition rate,more than 86.67%.Because it is based on the static features of the fire,it shows inherent image characteristics of fire.Compared with other fire detection algorithms,it has wider application range.

color model;sliding window;single feature extraction;multi-feature fusion

2016-07-17

2016-10-25 网络出版时间：2017-03-07

江苏省重点研发计划项目(BE2015707)；江苏省水利科技项目资金资助项目(2012034)

聂建豪(1990-),男,硕士,研究方向为模式识别与图像处理;李士进,博士,教授,研究方向为模式识别与数据挖掘。

http://kns.cnki.net/kcms/detail/61.1450.TP.20170307.0922.100.html

TP181

A

1673-629X(2017)05-0069-04

10.3969/j.issn.1673-629X.2017.05.015