基于无人机的实时林火蔓延预测模型研究

王新权， 李兴东

(东北林业大学机电工程学院，黑龙江 哈尔滨 150040)

近年来森林火灾的发生愈演愈烈，已经是一种全球范围内普遍存在的灾害。林火在短期内可以迅速蔓延，期间存在突发性和不确定性，如果不能合理控制火势的蔓延很容易诱发更大强度的燃烧，从而造成巨大的经济损失，因此有效地预测林火的蔓延过程能够为林火的扑救提供重要保障[1]。在对火灾燃烧进行检测和信息采集的过程中，由于火场燃烧产生大量浓烟会对视觉传感器造成影响，所以在空中或者地面都不能清晰地观察到火灾的蔓延趋势。林火产生和发展过程会伴随可燃物的燃烧，可燃物燃烧产生大量的热会使得地表形成热异常，这就为无人机红外遥感技术提供了可能[2]。林火蔓延是一个涉及许多潜在物理因素相互作用的复杂过程，针对目前林火蔓延的研究大多数还是基于随机、物候和物理3类模型的研究[3]。这些模型需要考虑火场区域的影响因子较多，这增加了信息采集代价和计算代价[4]。并且火线蔓延模拟出的结果往往是几小时后的蔓延状态，火场区域内可燃物正在燃烧还是未燃烧无法通过模拟得出，这样不能满足实时把控火场蔓延趋势的需求，对实际的林火防控提供的价值十分有限[5]。

在这些问题的基础上，需要一种能够实时预测林火蔓延过程的模型来保障火灾预防的有效实施。递归神经网络(RNN)是深度学习的一种有效方法，它通常计算一个隐藏状态ht，作为它们在时间t时的输入和之前的隐藏状态ht-1的函数，通过顺序结构直接捕获时间信息，所以RNN在连续序列的推理和预测方面仍是最有前途的模型之一。其中由RNN变体得到的长短期记忆神经网络(LSTM)在处理和预测图像帧序列方面取得了显著的成果[6]。然而全连接长短期记忆神经网络(FC-LSTM)处理捕捉地是具有时间性质的一维数据，无法反映空间状态信息。在本文中林火蔓延的预测是针对图像的预测，不仅涉及时间概念，同时还涉及空间概念。卷积长短期神经网络(Convlstm)在普通长短期记忆神经网络的基础上加入了卷积运算，使得模型可以提取图像中空间维度上的信息，从而能够敏锐地捕捉连续图像中的动态变化[7]。但是Convlstm自身模型结构受到限制，在训练时随着迭代次数的增加，模型预测精度提高的程度是十分有限的，因为其性能严重依赖于超参数，然而超参数与结果之间缺乏精确的数学关系，为深度学习算法设置超参数的时往往使用经验论，对于超参数的选择也没有精确的准则[8]。在设置固定经验值的条件下，模型在梯度下降的过程中容易陷入局部最优解的境地，从而不利于模型精度的提高。灰狼优化算法(GWO)契合系统为非线性系统寻找最优解的物理问题[9]。与其他智能优化算法相比，GWO的特点是收敛速度快，不容易陷入局部最优，需要调整的参数少，收敛因子的自适应调整和信息反馈机制实现了局部优化和全局搜索的平衡，故在产生精度效果和收敛速度方面有良好的表现[10]。在采用GWO优化算法来优化LSTM中时间步长、训练批次、隐藏层神经元个数和学习率等超参数时，会使得模型上限获得提高，从而让LSTM的预测性能发挥最大化。基于上述问题和研究，本文在无人机采集的真实火场数据的基础上，提出了一种结合灰狼优化算法的卷积长短期记忆神经网络模型来预测实际的火场蔓延过程的方法。

1 无人机采集火场数据与数据处理

1.1 无人机采集火场数据

为了使预测具有真实性，我们通过无人机搭载的红外相机对真实火场进行数据采集，采集场景为点烧实验现场如图1所示。选取的可燃物为森林中常见的阔叶林、针叶林、杨树叶等，在燃烧区域周围放置4个温度标记点用作后期的透视变换。

图1 点烧实验现场

在进行无人机数据采集的过程中，要保持地面端和无人机的数据传输和控制指令的交互，来保证实时采集到的信息质量，如图2所示。无人机主要搭载了工控机、红外相机、路由器、可见光相机、网桥等，通过这些硬件来和与地面完成指令交互和信息传输功能。

图2 地面和空中交互

红外相机拍摄的每两张相邻的红外图像帧间隔为1 s。共完成了8组点烧实验，其中7组点烧实验作为模型的训练集，1组实验用作模型的最终预测测试。

1.2 数据处理

无人机在空中拍摄过程中，拍摄视角以及无人机发生的抖动会造成视角偏差，这样得到的数据不但会增添不利信息因素，还会影响模型预测的整体精度[11]。考虑无人机视觉偏差的产生，我们采用透视变换来减少不利影响。透视变换公式见公式1。

(1)

式中：x′，y′为透视变换后的坐标，u，v为原像素坐标，x，y为实际坐标，aij为方程系数。透视变换在红外图像中的应用如图3所示，通过图3可以清楚看到透视变换前后的差距。

图3 透视变换在红外图像中的应用

2 灰狼优化算法

2.1 灰狼优化算法的定义

为在灰狼优化算法中，将狼群抽象为搜寻最优目标解的点。其中狼群分为了α、β、δ和ω4个等级，离目标解最近的为α，它起到的引领各个狼的捕捉路线。β，δ相比α起到的作用相对下降，主要是用来辅助α狼捕捉目标。ω代表除α，β和δ的其余狼，ω受到α、β、δ的指引来完成相对位置的更新和绝对位置的更新。狼群在等级逻辑关系中通过设置的迭代次数来逐渐逼近目标猎物，减少陷入局部最优解的可能性，从而完成寻找全局最优目标的任务[12]。

2.2 灰狼优化算法原理

在一次迭代过程中，最重要的环节就是狼群的位置变动。个体灰狼在向目标靠近时的行为可以通过公式2和公式3来实现。

D=|C·Xp(t)-X(t)|

(2)

X(t+1)=Xp(t)-A·D

(3)

C=2·r1

(4)

A=2a·r2-a

(5)

式中：D为狼与目标最优解的距离；t为第t次迭代次数；X(t)为灰狼在第t次迭代的位置向量；X(t+1)为下一次迭代更新后灰狼的位置向量；Xp(t)代表当前目标位置向量。C和A和代表系数向量，r1和r2代表的随机数是0～1，a作为收敛因子随着迭代次数逐渐上升而由2趋向0。C作为灰狼的搜寻范围，提供了随即权重来阻碍灰狼快速接近目标。A的存在减少了陷入局部最优解的可能性，同时兼顾局部最优解的搜寻和全局最优解的搜寻，当|A|>1灰狼会去搜寻其他目标而远离当前目标，当|A|<1时灰狼会向当前目标靠近。通过公式2可以得出当前目标与个体灰狼之间的距离，通过公式3来更新个体灰狼的位置。灰狼优化算法的迭代流程图如图4所示。

图4 灰狼优化算法的迭代流程

灰狼在搜寻目标最优解的过程中，并不是知道目标的所在位置，故通过α，β和δ三个适配度最高的灰狼来替代目标最优解来引导ω狼向目标解接近，运算步骤通过公式5，公式6和公式7计算。公式7代表ω狼的最终位置。

Dα=|C1·Xα-X|
Dβ=|C2·Xβ-X|
Dδ=|C3·Xδ-X|

(5)

X1=Xα-A1·Dα
X2=Xβ-A2·Dβ
X3=Xδ-A3·Dδ

(6)

(7)

式中：C1，C2和C3为随即向量，X为ω狼(个体灰狼)的当前位置，Xα，Xβ和Xδ分别代表α，β和δ的当前位置，Dα，Dβ和Dδ分别代表α，β和δ与ω狼的距离，X1，X2和X3代表ω狼向α，β和δ移动的距离和方向。如图5所示狼群搜寻目标最优解和位置更新示意图。

图5 狼群搜寻目标最优解和位置更新示意图

2.3 灰狼优化算法优化超参数

神经网络的性能很大程度上受训练批次、时间步长、学习率和隐藏层神经元个数等超参数的影响，这些超参数往往是由经验值确定的固定的值。超参数可以作为灰狼优化算法中不同种群的狼群，在设定的范围内搜寻合适的超参数使得模型预测精度更好，从而动态地优化超参数来提高神经网络的预测效果。考虑到灰狼优化算法结合的神经网络模型是长短期记忆神经网路以及预测对象是具有时间性质的二维数据，故训练批次、时间步长和隐藏层神经元个数不宜发生范围性质的变化。学习率在迭代过程中会把控模型的学习进度，它直接左右目标函数能否局部收敛，一般调控学习率的方法是初始设置一个比较大的学习率值，然后以数学的方式使得学习率慢慢递减[13]。为了提高模型的预测精度，尝试采用灰狼优化算法来动态地调节迭代过程中的学习率，使得目标函数尽量在全局域内收敛。

3 卷积长短期神经网络

3.1 卷积长短期神经网络模型的结构

Convlstm与FC-Lstm最大的不同就是使用卷积运算代替乘法运算，使得Convlstm能够提取图像中空间信息，不再是单纯的1-D序列。在本文中是对火场的红外图像序列进行预测，这样数据中不仅包括时间关系同样还有二维空间关系，此时使用FC-Lstm不再适用于这种类型得实验数据，而Convlstm同时兼顾空间关系和时间关系。Convlstm的内部结构如图6所示。

图6 Convlstm的内部结构

其中σ，tanh代表着sigmoid和tanh激活函数，输入状态是Xt、yt为输出状态、记忆状态为Ct、隐藏状态为Ht，遗忘门为ft、输入门为it、输入调节门为gt、输出门为ot。

ft=σ(Wsf*Xt+Whf*Ht-1+Wcf⊗Ct-1+bf)
it=σ(Wxi*Xt+Whi*Ht-1+Wci⊗Ct-1+bi)

gt=tanh(Wxg*Xt+Whg*Ht-1+bg)
Ct=ft⊗Ct-1+It⊗gt
ot=σ(Wxo*Xt+Who*Ht-1+Wco⊗Ct+bo)
Ht=ot⊗tanh(Ct)

(8)

式中：*为卷积算子，⊗为哈达玛积。ft、it和gt共同调节了记忆状态Ct-1，使得模型能够长期保留序列中的重要信息，从而建立过去、当前和未来的时间关系。

3.2 卷积长短期神经网络结合灰狼优化算法

Convlstm在原有的lstm的基础上增加了编码层(卷积层)和解码层(反卷积层)解决了空间冗余缺点，提高了空间结构的表征力。模型在进行真实的场景预测之前要先经过训练，如图7(a)所示。首先将10张连续红外图像帧作为输入，经过编码网络将图像处理成Convlstm能接受的特征向量，卷积长短期记忆神经网络递进循环学习图像特征，期间灰狼优化算法不断优化神经网络的超参数，经过Convlstm预测得到的预测特征向量经过解码网络生成预测红外图像，通过计算真实图像和预测图像的损失值Loss来更新Convlstm的内部特征权重，直到模型迭代到设置的迭代次数训练停止。

在真实的测试环境中，输入10张连续的红外图像，Convlstm通过前10张红外图像预测输入第11张图像，然后再通过第2张到第11张共10张图像来生成第12张图像，在不断的循环预测中最后生成未来的10张图像帧。像素级未来帧的目标函数为：

(7)

式中：y和Y分别表示预测的未来帧和真实的未来帧，‖ ‖F是Frobenius范数。

(a)为模型的训练图

4 实验与结果

红外相机拍摄的每两张相邻的红外图像帧间隔为1 s。共完成了8组点烧实验，其中7组点烧实验作为模型的训练集，图像规格为128×128，1组实验用作模型的最终预测测试。学习率搜寻范围在0.01到0.000 1之间，隐藏状态和记忆状态设置为128通道，迭代次数为4 000次，Convlstm的网络层数设为4层，卷积核为5×5，GPU使用NVIDIA Tesla K80。

图8 真实火场中不同模型的红外图像帧的连续蔓延预测

真实火场中不同模型的红外图像帧的连续蔓延预测如图8所示。通过图8真实火场的连续蔓延预测可以定性地看出加入GWO后模型预测效果要比原始的Convlstm好，经过GWO优化后的模型预测产生的图像与真实的图像更加接近。结构相似性(SSIM)通过结构属性、对比度和亮度来对图像进行阐释，是一种衡量图像结构相似度的指标[14]。定义真实未来帧和预测未来帧的结构相似度可以由式(8)求出：

(8)

通过图9可以看到GWO优化过后的Convlstm整体性能要优于普通的Convlstm，平均提高了5.3%，并且SSIM值下降趋势相对较慢。

图9 SSIM评价指标

5 结论与展望

本文在卷积长短期神经网络的基础上加入了灰狼优化算法，使得模型的超参数能够动态地得到优化，能够完成短时间内相对准确的预测效果，从而为短时间消防的把控提供一种实时预测方法。但是通过实验结果表明预测图像的SSIM提升不是很明显，这可能代表着Convlstm受本身内部结构的限制不能充分学习图像空间结构以及建立时间依赖关系，接下来的工作是通过改变模型本身结构来使模型不仅能在短期内实现较好的预测效果，也能在长期预测中保持较高预测水平。