基于无人机的森林火灾检测系统

徐燕翔，裴海龙+

(1.华南理工大学 自主系统与网络控制教育部重点实验室，广东 广州 510640；2.华南理工大学 自动化科学与工程学院，广东 广州 510640)

0 引 言

随着科学技术的进步发展，基于无人机的森林火灾自动化检测技术逐渐成为预防和监测森林火灾的有效手段[1]。比如美国航空航天局(NASA)使用“牵牛星(Altair)”无人机进行森林火灾监测；在我国根河一架无人机开始了森林防火的飞行[2]；在加拿大和奥地利也已开始利用小型无人机进行森林火灾等灾难的预警。

在传统的火灾检测中，比较常用的方法是利用传感器进行检测[3]。这些方法过于单一，会导致误报率较高，而图像检测可以有效解决这个问题。火灾图像中包含了许多火灾中的信息，如火焰的形状、纹理以及烟雾等[4]。可以通过使用图像处理算法提高火灾的识别率。通过对比红外和彩色摄像头的图像，红外摄像头在火灾检测中具有明显优势，红外摄像头能够迅速找到发热源位置，不会受到颜色的干扰。由于是红外图像，因烟雾挡住火焰而产生的影响会很小，而普通彩色图像就可能因为烟雾遮挡而分割不出火源。

基于以上分析，本文提出了一种基于无人机平台通过红外图像找到高温疑似火焰区域并提取其特征，进行识别与定位，彩色图像作为监控传给地面站的森林火灾检测系统。

1 系统硬件搭建

硬件系统是保证整个系统能够正常高效运行的前提，本系统的硬件主要由机载系统与地面系统组成。机载系统由双目摄像系统，嵌入式系统，图传发射机和通信设备组成。地面系统由PC，图传接收机和通信设备组成。硬件部分将介绍一下双目摄像系统和嵌入式系统。图1为整个系统的硬件组成图。

图1 系统框架

双摄像系统是火灾探测的重要的硬件设备，它集图像设备和转动云台为一体。结合森林火灾检测与监控的任务，采用红外图像来进行火灾识别，彩色图像来用作监控视频传到地面站。转动云台的作用主要有两个:首先就是挂载双目系统，在硬件上通过减震装置来减少飞机抖动的影响，进而提高图像的质量；然后就是通过控制云台来进行转动，从而改变摄像头的视角，扩大火灾的监控范围，实现对火场的跟踪。挂载双目摄像头的云台如图2所示。

图2 挂载双目摄像头的云台

机载嵌入式系统使用的核心板是CM-T3730核心板[5]，该核心板是以色列Compulab公司生产的一种专门处理数字视频的嵌入式平台。CM-T3730采用了TI公司生产的Cortex-A8 DM3730作为核心处理器，主频最高可以达1 GHz，另外还有一个TMS320C64x+DSP的核处理器；整个核心板的尺寸只有66mm×44mm×5mm，尺寸非常小巧，功耗也是非常低，只有0.2 w-2 w；并且该核心板接口十分丰富，其中拥有3个USB2.0接口，3个串口，一个100 M以太网口，还支持WiFi 802.11b/g/n 和Bluetooth 4.0协议，并且还拥有一个256 M的高速动态内存。

CM-T3730核心板适用于作为嵌入式系统的开发板，满足算法对运算的需求。核心板运行的操作系统为Linux系统，内核版本为Linux 3.0.38。

2 火焰红外图像特征提取

由于飞机上抖动比较大，因此尽量选取静态特征作为火焰识别的特征。本文选择高温特性进行火焰分割，圆形度、面积变化率、灰度共生的纹理特性作为火焰识别特征，其中只有一个为动态特征。下面对这些特征分别进行提取。

2.1 火焰分割

对于红外图像而言，不同的温度对应的灰度不同[6]。所以为了把高温区域从图像中分割出来，可以按照图像的灰度值切割出来。图像分割中最常用的方法是阈值分割法[7]，因为阈值分割法的原理简单，所以算法的运算量小，运行耗时短。在实际的嵌入式系统中可以表现出比较好的性能。

阈值分割的主要思想是：通过设定特定的阈值，将图像的像素点分为若干类。设原图像为I(x,y)，特征阈值设为T，就可以将图像分为两个部分

(1)

如果b0=0和b1=255，那么图像就会实现黑白二值化。对于灰度图像而言，灰度值大于阈值的像素点就会变成白色，灰度值小于阈值的像素点就会变成黑色。由于该系统运用在无人机上，经测试，阈值设为155的效果比较好，分割出来的效果如图3所示。

图3 阈值法分割火焰

2.2 火焰特征提取

2.2.1 圆形度

圆形度是图像处理中相对重要的概念，可以用作于对图像轮廓特征的描述与提取。圆形度可以表示物体轮廓与圆接近的程度，可以反映出物体的不规则特性。在火焰特征中，圆形度可以表示火焰的复杂与分散程度[8]。火焰的形状是在无规律地不断地变化着，这使得火焰的表面轮廓特征更为复杂，从而使得火焰的圆形度与其它物体相比不太不一样。圆形度可以由轮廓物体占有的面积和其外围轮廓的周长之比来定义

e=4π*S/L2

(2)

式中:S代表轮廓的面积，L代表轮廓的周长。圆形度的范围为0～1，等于1是就是圆。由于白炽灯的轮廓接近圆，圆形度比较大，因此可以通过圆形度来排除该干扰。

圆形度的提取是通过寻找最大面积的轮廓，计算出它的周长，再通过上式计算出来的。提取出来的最大轮廓如图4所示。

图4 提取的最大轮廓

2.2.2 面积变化率

面积变化率可以反映了火焰形状的变化特性，定义火焰的面积变换率为

(3)

式中:Si代表当前帧的面积，Si-1代表前一帧的面积。由于火焰的形状是不断变化的，这样可以通过面积变化率将一些比较稳定的高温干扰物排除掉。面积的变化率也是通过计算出最大轮廓的面积变化得到的。

2.2.3 纹理特性

对于纹理特性，本文采用统计方法中的灰度共生矩阵[7]方法来进行提取。灰度共生矩阵是通过统计图像上具有某种特定位置关系的像素灰度对出现的频率来研究与描述图像纹理的常用方法，接下来介绍该方法。

在一幅图中，灰度共生矩阵P的第(i,j)个元素值等于灰度级为i和j在沿某一固定方向θ相距距离为d的灰度对同时出现的次数。再除以总数R，就可以得到此时的概率

(4)

其中，I(l,m)和I(l′,m′)在图像上沿θ方向上相距d，即l′=l+dcosθ，m′=m+dsinθ。为了方便计算，一般在θ={0°,45°,90°,135°}4个方向选取。

一般通过计算灰度共生矩阵的一些二次统计参数来定量描述纹理特性。Haralick等从灰度共生矩阵中提取14个可以反映共生矩阵特点的参数，本文使用其中的4个参数来作为火焰纹理特征描述的参数指标：

(1)熵

(5)

熵是图像所具有的信息的度量，反映了纹理的复杂程度。如果图像的纹理较为分散，随机性越强，则图像的熵就越大；反之，图像的纹理越有序，则图像的熵值越小。

(2)能量

(6)

能量是灰度共生矩阵各元素值的平方和，是对图像纹理的灰度变化稳定程度的度量，反应了图像灰度分布均匀程度和纹理粗细度。从图像上，纹理越粗，则能量应越大；反之，能量越小，图像比较均匀或光滑。

农业节水灌溉技术可以节约水资源、降低土壤盐碱化的程度、提高农作物的产量、促进农业经济的发展，是非常值得推广的。虽然农业节水灌溉技术的投入非常大，但是随着农业节水灌溉技术的成熟，农业节水灌溉技术的投入已经得到了有效控制。同时，该项技术给农业发展带来的经济效益已经远远超过了其成本投入。农业节水灌溉技术必然是未来农业发展的推动因素，给农业发展带来更大的经济效益[3]。

(3)对比度

(7)

对比度是用于衡量灰度共生矩阵值的分布和图像局部的变化的指标，反应了图像的清晰度和纹理的沟纹深浅。在图像上，纹理的沟纹越深，反差越大，效果越清晰，对比度就越大；反之，沟纹越浅，反差越小，效果越模糊，对比度就越小。

(4)相关性

(8)

其中

相关性是用来度量图像的灰度级在行或列方向上的相似程度。当共生矩阵的元素值分布均匀相等时，其相关值就越大；反之，当共生矩阵元素值相差很大时，其相关值就越小。

对于灰度纹理特征提取方法，首先要将灰度图像进行灰度级量化，本文采取的是将256级灰度量化到64级，然后分别计算出熵，能力，对比度和相关性等特征。下面是分别选取100帧火焰，电灯和水杯图片作为特征统计，最终的统计结果如图5和表1所示。

特征火焰电灯水杯圆形度0.22140.78580.6997面积变化率0.03530.00820.0036熵1.98321.80071.6756能量0.03050.03440.0544对比度4.36131.22822.0091自相关性128 780 169 690323 720

3 识别算法与火场定位

3.1 BP神经网络

BP神经网络的定义参见文献[9]。BP神经网络能够解决许多非线性的问题，具有非常强的非线性映射能力。而且BP神经网络可以通过在训练时，可以通过学习输入数据和输出数据间存在的合理规则，并自适应将学到的规则应用在网络权值中，因而具有很强的自学习和自适应能力[10]，并且BP神经网络泛化能力和容错能力，因此在很多的实际问题中得到了应用。下面将简单介绍BP神经网络算法。

对于BP神经网络，训练步骤一般如下：

(1)首先，对网络初始化：初始化输入层节点数，隐含层的节点数，输出层的节点数；神经元之间的连接权值w，以及各神经元的阈值θ。

(2)根据神经元的输出公式

(9)

计算出隐含层节点t的输出ht和输出层神经元节点k的实际输出Ok，其中xi为上一层神经元的输出值，f(·)一般选择为Sigmoid函数。

(3)根据输出层节点k的期望输出Yk，求出接到输出层节点k的权值误差δk

δk=Ok(1-Ok)(Yk-Ok)

(10)

(4)根据误差δk和Sigmoid函数得性质，可以求出连接到隐含层节点j的权值误差δt

(11)

(5)根据误差和常数α、β更新神经网络的连接权值w和阈值θ

wij=wij+αδjxi

(12)

θj=θj+βδj

(13)

(6)判断是否满足精度要求或者达到迭代次数。如果没有，则转向步骤(2)继续进行学习；如果满足，则迭代结束。

3.2 火场定位

根据GPS传下来的高度H，偏航角θ，云台传下来的它与飞机水平方向的夹角α以及地面夹角β，可以计算出火场的位置，计算方法如下。

根据高度H和夹角β计算出火场与飞机的投影距离L，然后根据偏航角θ以及云台与飞机的水平夹角α，计算出L在N方向的夹角γ，在经纬度方向进行投影，得到与飞机的经纬度偏差，最后加上飞机的经纬度就可以得到火场的位置，如图6所示。

图6 火场位置计算

由图6可知，L=H*cotβ,而γ=θ+α，在经纬度方向的偏差距离

ΔLat=L*cosγ

(14)

ΔLng=L*sinγ

(15)

已知地球半径为6370 km，飞机的经纬度Lat_fly,Lng_fly，可以得到火场的经纬度Lat_fire,Lng_fire

ΔLat_ang=ΔLat*180/(6371*1000*π)

(16)

Lat_fire=Lat_fly+ΔLat_ang

(17)

ΔLng_ang=ΔLng*180/(6371*1000*cos(Lat_fire)*π)

(18)

Lng_fire=Lng_fly+ΔLng_ang

(19)

4 实验结果与分析

4.1 识别效果测试

为了验证BP神经网络的火焰识别方法的有效性，我们使用支持向量机作为对比测试。

支持向量机(support vector machine，SVM)的定义参见文献[11]。它在解决小样本，非线性及高维模式上有独特的优势[12]，因此在很多模式识别领域有成功的应用。

首先，我们先准备好了800组正样本和800组负样本。分别分割出这些样本的疑似火焰区域，并提取该区域的圆形度、面积变化率和纹理特征。火焰识别就是要判断有没有火焰，这是一个二分类问题。因此，将正负样本分别标记进行训练。最后，将飞机拍到的800组火焰正样本和剩下没训练的800组负样本进行测试。

用BP神经网络训练时，首先将样本进行归一化并分类标记，一般神经网络训练只包含1到2个隐层，由于特征量不是很多，隐层设定只包含一个隐层的3层神经网络。由于选取的特征为6，因此输入层节点为6。隐层节点根据几个经验公式，经测试设置为5的时候效果最好，由于是个二分类问题，所以输出层节点设置为1。用SVM训练时，使用的样本要和BP神经网络一样。最终两种方法的识别效果见表2。

表2 两种识别方法效果

可以看出，SVM和BP神经网络都基本可以把正负测试的样本分开。但是，以测试样本的正确率来看，不管是正样本的还是负样本的BP神经网络都要比SVM的准确率要稍高。这是由于训练的样本量比较大，而SVM却在小样本量的训练中具有优势，对大规模样本难以实施。而火灾识别这一问题的确需要大量数据来进行训练，再加上神经网络自主学习能力和推广概况能力，使得BP神经网络在此次火焰识别的测试中效果更好。

最终，识别到火焰时，就用矩形框出识别到的火焰区域，测试效果如图7所示。

4.2 火点定位测试

统计通过计算出的火场位置，并与实际火场的位置作对比。实际的经纬度通过将飞机放在火场位置得到。下面是100组通过计算得到的火场经纬度以及误差，如图8所示。

图7 测试效果

图8 计算得到的经纬度与误差

可以看出，经过计算后得到的经纬度相比直接使用飞机的经纬度误差要小一些，经统计平均误差为7.353 m。误差还是有点大，这是云台装在飞机上有安装误差，就是云台的水平方向的初始0°相对于飞机的偏航不是完全重合。还有一点就是图像上找到的火点位置不是正好在图像的中间，它与云台存在一定的夹角。不过，总体上，还是可以基本可以完成对火场的定位这一任务。

5 结束语

本文基于小型无人机设计了一个森林火灾检测系统。在火焰识别上，通过对火焰特征的分析，确定了使用圆形度，面积变化率和灰度共生矩阵的二次统计量作为火焰识别的特征。然后研究了BP神经网络的相关理论，并用BP神经网络和SVM进行测试比较。最终的实验结果中，BP神经网络在测试样本中正确率更高一些。火场定位方面，通过飞机的经纬度和高度，偏航角，云台的角度，计算出火场的经纬度。最后与实际的火场经纬度进行对比，通过对误差分析，本系统基本可以完成对火场的定位。由于本系统只用红外摄像进行识别，对于一些使用红外图像比较难排除的干扰，可以在以后的工作中加上彩色摄像头的识别，通过彩色摄像头对火焰和烟雾等进行辅助判断，这样可以提高算法的识别效率。火场定位方面，可以考虑火场图像与云台的夹角以及飞机的俯仰角和滚转角对火场定位的影响，这样可以进一步提高火场定位的精度。

参考文献：

[1]ZHANG Zeng,WANG Bing,WU Xiaojie,et al.An algorithm of forest fire detection based on UAV remote sensing[J].Remote Sensing Information,2015,30(1):107-110(in Chinese).[张增,王兵,伍小洁,等.无人机在森林火灾监测中火情检测方法研究[J].遥感信息,2015,30(1):107-110.]

[2]LI Bin,WANG Hongyu,YANG Xiaotian.Unmanned aerial vehicle (UAV) system in the application and development of fo-rest fire prevention[J].Electronic Technology,2015(5):15-18(in Chinese).[李滨,王宏宇,杨笑天.无人机系统在森林防火方面的应用及其发展[J].电子技术,2015(5):15-18.]

[3]ZHANG Nan.A research of fire detection and identification based on video image[D].Guangzhou:South China University of Technology,2013(in Chinese).[张楠.基于视频图像的火灾检测与识别方法研究[D].广州:华南理工大学,2013.]

[4]CHEN Jiaqing.Research on fire image detection technology based on flame features[D].Zhenjiang:Jiangsu University of Science and Technology,2016(in Chinese).[陈嘉卿.基于火焰特征的图像型火灾探测技术研究[D].镇江:江苏科技大学,2016.]

[5]CompuLab.CM-T3730 CoM reference guide[G/OL].[2017-07-22].http://www.compulab.com/wp-content/uploads/2012/08/cm-t3730_refman_2012-08-09.pdf.

[6]HUANG Qingdong.The research of fire detection algorithm based on infrared thermal imaging[D].Guangzhou:South China University of Technology,2014(in Chinese).[黄庆东.基于红外热成像的火灾检测算法研究[D].广州:华南理工大学,2014.]

[7]SUN Zheng.Digital image processing and recognition[M].Beijing:China Machine Press,2014:72-86,127-131(in Chinese).[孙正.数字图像处理与识别[M].北京:机械工业出版社,2014:72-86,127-131.]

[8]LI Ling.The research based on fire detection based on video image[D].Guangzhou:South China University of Technology,2012(in Chinese).[李玲.基于视频图像的火灾识别研究[D].广州:华南理工大学,2012.]

[9]HU Li,CHEN Bin,LAI Qiming,et al.Improved BP neural network[J].Computing Technology and Automation,2015,34(4):86-89(in Chinese).[胡丽,陈斌,赖启明,等.BP神经网络的改进[J].计算机技术与自动化,2015,34(4):86-89.]

[10]MA Haizhi.The research and application on BP neural network[D].Harbin:Northeast Agricultural University,2015(in Chinese).[马海志.BP神经网络的改进研究及应用[D].哈尔滨:东北林业大学,2015.]

[11]WANG Daoming,LU Changhua,JIANG Weiwei,et al.Study on PSO-based decision-tree SVM multi-class classification method[J].Journal of Electronic Measurement and Instrumentation,2015,29(4):611-615(in Chinese).[王道明,鲁昌华,蒋薇薇,等.基于粒子群算法的决策树SVM多分类方法研究[J].电子测量与仪器学报,2015,29(4):611-615.]

[12]GUO Mingwei,ZHAO Yuzhou,XIANG Junping,et al.Review of object detection methods based on SVM[J].Control and Decision,2014,29(2):193-200(in Chinese).[郭明玮,赵宇宙,项俊平,等.基于支持向量机的目标检测算法综述[J].控制与决策,2014,29(2):193-200.]