基于机器视觉的森林火灾识别系统

朱 雪， 姜树海， 崔嵩鹤， 钟 旻， 伍泽宇， 赵建伟

(南京林业大学机械电子工程学院，江苏 南京 210037)

森林是我国生态建设的主体，是实现我国可持续发展战略目标非常重要的一部分。据调查，自1950至2014年以来，我国年均发生森林火灾13 067起[1]。基于机器视觉的森林火灾识别系统能及时且精准地监测到火灾的发生，实现对火灾的检测是目前火灾检测领域的研究热点。近几年来，对火灾识别的方法展开了深入的研究，提出了很多检测方法。图像识别技术[2]凭借处理精度高、处理内容丰富、可处理复杂的非线性单元以及灵活的变通能力等优点，对疑似火灾图像进行有效识别和分类。图像识别主要是利用火焰的色彩(静态特征)和闪烁(动态特征)进行火焰的采集和识别。利用火焰的静态特征[3-4]对火灾区域进行提取和识别时，由于火焰具有动态特征[5-6]，所以运动目标的检测是火焰检测的基础。

HORNGW等首次将视频处理技术运用到林火检测中来，以颜色为主要判据，受外界影响很大，误报率比较高。禹素萍等[7]基于图像分割的森林火灾早期烟雾检测算法研究烟雾面积变化率的特征改进，在一定程度上降低了误报率。王欣刚等[8]引入了运动检测手段对烟雾进行动态检测，提供了大量的算法。Chen等[9]首次提出RGB空间模型准确识别颜色。

提供一种可靠性高、稳定性好、运行效率高的火灾识别方法是当前所面临的主要问题，本文提出一种综合火焰动静态进行火灾识别的方法，实验表明该方法具有更高的可靠性、稳定性和运行效率。

1 火焰特征

1.1 火焰静态特征

颜色特征[10-11]是一种全局特征，描述了图像或图像区域所对应景物的表面性质，可以用颜色直方图、颜色集、颜色矩、颜色聚合向量和颜色相关图来描述。颜色矩是一种简单有效的颜色特征表示方法，有一阶矩(均值，mean)、二阶矩(方差，variance)、三阶矩(斜度，skewness)，由于大部分颜色信息主要分布在低阶矩中，所以用一阶矩、二阶矩、三阶矩足以表达图像的颜色分布。因此，本文把颜色特征作为火灾判别的一种方法。

1.2 火焰动态特征

1.2.1 面积变化率

火焰燃烧过程中，燃烧面积不断地发生变化。可以通过检测火焰在连续若干帧中运动区域面积的相对变化率来判断火焰的扩散性，将火焰面积变化率作为一个有效特征来区别火焰和其他静态高温干扰物。把火焰面积变化率定义为ΔS，则面积变化率为：

(1)

式中：Si为当前帧的火焰面积，Si+1为下一帧的火焰面积。

1.2.2 火焰运动方向

对于森林火灾来说，在火焰燃烧产生的热量和风力的作用下火焰会做向上或者左右的平移运动，所以运动方向也可以作为区分火焰和其他物体的一个有效特征。本文根据前后两帧森林火灾图像，对火焰进行匹配搜索[12]。火焰运动方向的判断如图1所示，图1(a)为第一帧图像，图1(b)为第二帧图像，图1(c)和图1(d)分别为图1(a)和图1(b)的检测结果。得到图1(c)和图1(d)就可以确定火焰的位置，进而可以知道火焰的运动方向。

1.2.3 质心移动速度

火焰在燃烧过程中是不断移动的，为了度量这一特征，首先要确认火焰的质心[13-15]。

可以把质心看作一个二维随机变量(x，y)。给定二维连续函数f(x，y)，定义其pq阶矩：

(2)

根据帕普利斯唯一性定理[16]，矩能够表征任意一幅二维图像。二值化图像f(x，y)满足帕普利斯定理。

设第k帧火焰质心坐标为(Ckx，Cky)，第k+1帧火焰质心坐标为(C(k+1)x，C(k+1)y)，则火焰质心移动速度为：

(3)

通过运动目标检测，可以确定相邻帧中的火焰区域，通过式(3)的计算可以获得火焰质心的移动速度。

2 火焰检测

2.1 运动目标检测

运动目标的检测算法[17]属于机器视觉领域的基础算法，根据摄像头是否运动可以将运动目标的检测分为两种情况：第一，固定摄像头即静态场景中检测运动目标；第二，移动摄像头即动态场景中检测运动目标。一般情况下，在静态摄像头的场景检测运动目标比较容易，然而对于变化复杂的森林环境来说比较困难。随着摄像头的移动，周围环境时刻发生变化，由于光照、风以及环境湿润度等多种外界因素的影响，对运动目标的识别和采集变得更加困难。

运动目标检测的主要方法有背景差分法、光流法和帧差法，现在背景差分法研究的重点在于对背景的建模和更新，背景的建模方法较多，主要有高斯建模、特征建模、vibe算法等。帧差法即帧间差分算法，适合动态场景中的运动目标，是一种有效的运动目标检测算法。光流法的计算量比较大，在硬件方面的需求比较高，在复杂多变的环境中，这些算法不能较好地采集出运动目标。

图1 火焰运动方向的判断

移动机器人装载的摄像机因运动使得运动目标的变化与背景的变化混在一起，情况相对于静态场景下运动目标的检测变得复杂。但可以利用图像的配准思想，通过对梯度大的块进行运动补偿，然后将运动背景转换为静态背景，借鉴静态背景下对运动目标的检测思想，分割出运动目标。因此对于摄像头的变化在这里只考虑平动情况，假如两帧图像的背景只有平移变化时，通过平移量就能够实现图像配准。对于图像的配准方法主要包括块匹配、光流法、特征点匹配等。块匹配法比较简单、计算量相对较小且易于实现，同时机器人目标检测对实时性要求较高，通过块匹配法计算两帧图像背景的平移量，实现图像配准。

把源图像分为许多的子块，利用匹配准则找出相邻帧之间的匹配块，从而找出两帧之间的相对位移，也就是当前帧中的块的运动矢量[18]。利用SAD为匹配准则，对应像素灰度差绝对值SAD的表达式如下：

(4)

位移矢量R的表达式为：

(5)

2.2 SVM分类器的设计

2.2.1 支持向量机介绍

根据提取的动静态特征设计区分火焰所需要用到的分类器，本文采用支持向量机的方法设计分类器。支持向量机[19](SVM)是一类按监督学习方式对数据进行二元分类的广义线性分类器，其决策边界是对学习样本求解的最大边距超平面，该方法是由V.N.Vapnik，A.Y.Chervonenkis，C.Cortes等于1964年提出的，常用于解决人像识别，文本类别为等模式识别问题。本文中，SVM构建火焰和非火焰两类分类器。为了解决线性不可分问题，在 SVM 中引入核函数，将样本映射到高维空间。目前常用的核函数[20]主要有多项式核函数、S 型核函数和径向基核函数，其中径向基核函数能够较好地平衡运算时间和预测效果，提高分类速度。因此，本文选择径向基核函数。

2.2.2 支持向量机原理

给定训练样本集：D={(x1，y1)，(x2，y2)，L，(xm，ym)}

式中：xi∈{-1，+1}，yi∈(-1，+1)。分类学习最基本的方法就是基于训练集D在样本空间中找到一个划分超平面，分开不同类别的训练样本。对于样本空间来说，可通过如下线性方程来划分超平面：WTx+b=0。W为法向量，确定超平面的方向，b为位移量，确定超平面到原点的距离。对于训练样本(xi，yi)：

(6)

该公式被称为最大间隔假设，yi=+1表示样本为正样本，yi=-1表示样本为负样本。间隔的计算等于两个异类支持向量的差在W方向上的投影，即：

(7)

SVM将间隔最大化，即：

(8)

支持向量机的基本型：

(9)

2.2.3 基于SVM分类器的设计

从已有的图片和视频中获取训练样本。实验中，正负样本的数据量均为200个，正样本主要是火焰的各项数据，负样本是一些常见的背景图像[21]。从样本数据中提取所需要的各种特征数据，根据需要进行相关排列组合，将不同的特征值转化为特征向量。依据各组正负训练样本的特征数据，训练SVM分类器。对根据不同的特征组合进行训练得到的SVM分类器进行测试，找出最优用于森林火灾检测的特征组合。

3 实现以及结果分析

依据当前的研究现状，虽然算法已在不断地改进，但由于天气状况以及森林里面复杂的环境，识别林火的准确度还较低，时间上也相对较慢。该系统通过增加林火识别的判据，一方面，提高发现林火的准确率，另一方面，能有效地缩短林火识别的时间，从而更准更快地识别林火，以便尽快做出反应，处理火灾。

为了证明上述方案对森林火灾识别的可行性，本文方法目前已在 Windows 操作系统上借助Visual Studio 2012 和 OpenCV 实现。在该环境下，使用了几段视频进行了测试，且在此程序中插入了摄像头识别火焰，实现了实时检测。该识别系统中基于SVM分类算法，可将火焰的各项特征进行对比测试。流程图如图2所示(实验所使用的数据，图片来自于实地拍摄，视频数据来自于土耳其比尔肯大学提供的火灾视频集)。

图2 总流程图

3.1 静态特征识别

在该识别系统中，颜色特征用颜色矩表示。它是一种简单有效的表示颜色特征的方法，本文主要是采用了一阶矩均值(Mean)、二阶矩方差(Variance)以及三阶矩斜度(Skew ness)描述颜色的分布。

3.1.1 火焰的轮廓提取

火焰轮廓的提取为图像预处理阶段，如图3所示。

3.1.2RGB处理

根据火焰的颜色特征，可以运用RGB空间模型对火焰区域进行分割[22]。在RGB颜色空间内，R、G、B三个分量大小依次递减，并且R通道分量是原始RGB空间模型建立的基础，具有高亮度高饱和度的特点。因此，图像中任意一火焰像素点(x，y)应满足以下条件：

R(x，y)≥Rt
R(x，y)>G(x，y)
0.25≤G(x，y)(R(x，y)+1+1)≤0.65
0.05≤B(x，y)(R(x，y)+1)≤0.45
0.20≤B(x，y)(G(x，y)+1)≤0.60

(10)

综合以上公式，可以分割出火焰的二值图像。RGB处理图如图4所示，火焰识别如图5所示。

图4 RGB处理图

图5 火焰识别

但是RGB判据不能全方位地表现图像或图像区域的方向、大小等变化，依靠该特征不能确切地判断是否发生火灾，因此，RGB不能单独作为识别森林火灾视频图像的判据。使用RGB-HSI判据，进一步排除干扰、提高识别正确率。

3.2 动态特征识别

火焰图像的动态特征有面积、闪动频率、质心以及形体变化等，程序里融合了林火各项动态特征的识别算法，实现了林火视频图像的识别以及摄像头对林火的实时监测。图6为流程图，图7为通过识别视频火焰的截图，图8为摄像头识别火焰的截图。

实验结果表明，该系统所提出的算法能较准确地检测出林火。

图6 图像处理流程

图7 视频图像识别

图8 摄像头实时检测

4 结束语

基于SVM分类算法，运用火焰的动静态特征对火焰运动区域进行计算和分析，搭建了森林火灾识别系统。在该系统中，引入机器视觉图像处理技术，在程序中插入了林火的动静态特征算法，通过多种特征融合提高林火识别的准确率，并在实验室加以论证。在现实火灾发生的环境下，影响火灾的自然因素还有很多，结论还存在不足之处，林火受自然因素影响情况下的运动方向以及闪动频率等本文还没有详细的算法，未来还会继续开展深入的研究。