基于POS-KELM的森林火灾图像识别方法

丁毓峰，徐 鑫

(武汉理工大学 机电工程学院，湖北 武汉 430070)

森林火灾具有成灾面积大，火区温度高等特点，一旦发生便难以控制，对自然环境和相关人员的生命财产造成严重破坏[1]。因此，森林火灾监测系统的建立具有重要意义。随着电子与计算机技术的发展，基于图像处理技术的森林火灾监测方法由于其监测效率高、漏报率低的优点，被大量应用到实际中，同时，越来越多的研究人员开始研究森林火灾的图像检测技术，如Muhammad等[2]提出了一种基于卷积神经网络的有效方法，实现了对不确定监视环境中的视频进行火灾识别。Saeed等[3]提出了基于3种深层神经网络的火灾监测模型，使用Adaboost-MLP模型和卷积神经网络对火焰进行识别。Zaman等[4]提出了基于计算机视觉的火灾检测技术，使用小波变换来判断运动区域中是否存在火焰，同时跟踪着火区域的增长率，以区分危险着火和受控着火。黎传琛等[5]使用迁移学习作为特征提取器提取特征,然后进行特征融合并结合传统机器学习分类器方法进行识别。曾思通等[6]利用改进的选择性背景更新模型提取了视频图像中运动前景目标,然后通过分析火焰的特征，提出了一种基于层次分析法的火焰多种动态特征融合的检测识别方法。张秀玲等[7]提出了张量对象特征提取的多线性主成分分析深度学习算法，使用多线性主成分分析算法构建学习滤波器，并将其作为深度学习网络卷积层的卷积核，对张量对象的高维图像进行特征提取，可有效识别火灾图像及干扰图像。

笔者首先根据颜色提取森林火灾目标区域，然后从形状特征、纹理特征以及动态特征3个方面提取森林火焰及烟雾的特征，并分别整理成特征向量，并将该特征向量作为核极限学习机的输入，为提高分类器的分类准确率，使用粒子群算法对核极限学习机参数进行寻优。

1 森林火灾图像目标区域提取

森林火灾发生时的主要特征包括火焰及烟雾，且火焰和烟雾相对于图像中其他物体的颜色有着明显的区别，在对图像进行处理前，首先通过颜色检测该图像中是否存在目标区域可加快森林火灾识别效率。相机采集的图像是基于RGB色彩空间的，为了清楚地展示火焰RGB图像在R、G、B 3个通道的像素值关系，将火焰图像的RGB 3通道分离出来，分离后火焰图像在3个通道的分量图如图1所示。

图1 火焰RGB图像各通道对比

从图1可知，火焰图像在R通道亮度最高，且火焰区域的轮廓较为清晰，G通道次之，在B通道亮度最低，且轮廓不清晰，故火焰图像的RGB3通道像素值关系可表示为：

R>G>B

(1)

为更加准确地分析火灾图像中各分量分布规律，随机选择100张火焰图像与100张非火焰图像，并手动分割火焰图像中的火焰像素点，然后分别统计火焰图像中的火焰像素点和非火焰图像的所有像素点的RGB值，统计结果如图2所示。

图2 图像RGB分量统计结果

从图2可知，火焰图像与非火焰图像的RGB分布差别较大，而非火焰图像的RGB分布较为平均。因此，根据上述实验结果，提出RGB图像中火焰像素的判据为：

(2)

式中：RT,BT分别为R通道和B通道像素值的阈值，通过实验分析，RT的取值范围为[160,190]，BT的取值范围为[80,100]。

烟雾图像在RGB图像中并不明显，Emmy等[8]研究了烟雾在YUV颜色空间中的分布规律，并提出了YUV颜色空间中的烟雾分割规则如式(3)所示。

(3)

其中，TU和TUV取值分别为60，40。

根据式(2)和式(3)的火焰及烟雾判据对火焰及烟雾图像进行处理，结果如图3所示。

图3 火焰及烟雾图像目标区域分割效果

经过火焰与烟雾分割，得到的分割图像中存在细小的孔洞或噪声点，会影响下一步的特征提取结果，因此，根据式(4)使用核B对A图像进行形态学处理。

2 森林火灾图像特征提取

选择合适的火焰及烟雾特征，可以降低目标区域中干扰物的影响，提高森林火灾识别算法的识别率，并降低误报率。

2.1 形状特征

(1)圆形度。圆形度是指目标区域轮廓与圆形相似的程度，可应用于度量物体轮廓的复杂性[9]。圆形度的计算公式为：

(5)

式中：S为目标区域的面积；L为目标区域轮廓的周长。

火焰、烟雾及干扰物的圆形度如表1所示。

(2)尖角个数。由于火焰在燃烧的过程中，存在边缘抖动的现象，因此会产生很多小的尖角[10]，因此，尖角个数也可以作为一个特征。火焰、烟雾及干扰物的尖角个数如表2所示。

表1 火焰、烟雾及干扰物的圆形度

表2 火焰、烟雾及干扰物的尖角个数

2.2 纹理特征

火焰和烟雾的纹理与其他干扰物有着明显的区别，灰度共生矩阵(gray-level co-occurrence matrix,GLCM)考虑的是二阶统计量，研究有一定关系的像素对[11]，不仅反映了亮度的分布特性，也反映了像素之间的位置分布特性[12]。常用的基于GLCM计算的图像纹理特征指标有5项，其中，P为(i,j)的像素值；G为灰度共生矩阵的阶数；δ,θ分别表示P的距离和方向。

(1)能量。能量体现了图像灰度分布的均匀程度。能量E的计算公式为：

(6)

(2)熵。熵体现了图像的紊乱程度。熵值ENT的计算公式为：

(7)

(3)逆差矩。逆差矩(inverse difference moment,IDM)反映了图像纹理的局部变化程度。逆差矩IDM的计算公式为：

(8)

(4)惯性矩。惯性矩(inertia moment, IM)描述了图像灰度分布的空间差异性。惯性矩IM的计算公式为：

(9)

(5)相关矩。相关矩(correlation)反映了像素灰度值之间的线性相关性。相关矩COR的计算公式为：

(10)

2.3 动态特征

在森林火灾发生时，火焰和烟雾是随时间不断扩散、不断变化的，而背景和各种干扰物则不会有太大的变化。

(1)面积变化率。在森林火灾发生早期，火焰及烟雾的面积都会随时间逐渐变大，而各种干扰物则不会有太大变化。面积变化率ΔS的计算公式为：

(11)

式中：S(t)为当前帧森林火灾目标区域的面积；S(t-1)为上一帧森林火灾目标区域的面积。

(2)火焰闪频特征。火焰的闪频特征是最为明显的特征之一，是火灾检测的重要依据。火焰闪烁频率一般为3～25 Hz，可计算连续10帧图像内的火焰闪烁次数作为森林火灾的闪频特征。

(3)烟雾重心移动特征。烟雾在扩散过程中重心会随时间缓慢移动，而与烟雾相似的干扰物大多处于静止状态。烟雾的重心特征计算公式为：

(12)

式中，mij为几何矩，计算公式为：

(13)

式中：x，y为像素点位置；M，N为选取运动区域的长和宽；f(x，y)为M×N的图像中(x，y)的像素值。

通过分别提取火焰和烟雾的形状、纹理和动态特征，各自整理成一个特征向量，作为图像分类算法的输入, 特征向量的格式如式(14)所示。

(14)

式中：Ffire,Fsmoke分别为火焰及烟雾特征向量；C为圆形度；N为尖角个数；ME,MENT,MIDM,MIM,MCOR分别为能量、熵、逆差矩、惯性矩、关系矩的平均差；SE,SENT,SIDM,SIM,SCOR分别为能量、熵、逆差矩、惯性矩、关系矩的标准差；ΔS为目标区域的面积变化率；SUMP为频闪频率；L为重心移动距离。

3 基于PSO-KELM的森林火灾图像分类方法

3.1 核极限学习机

极限学习机(extreme learning machine, ELM)是一种快速高效的单隐层前馈神经网络[13]。与传统的单隐层前馈神经网络相比，ELM有着更快的学习速度以及泛化能力[14]。

极限学习机的结构如图4所示。

图4 极限学习机结构

则极限学习机的数学模型可表示为：

Y=Hβ

(15)

式中：H为隐含层输出矩阵；β为输出权值矩阵；Y为极限学习机的输出矩阵，其学习目的是使得训练误差和隐含层权范数最小，其目标函数可写为:

(16)

式中:T为输入样本X对应的目标输出，引入拉格朗日乘子，式(16)可转换成如下目标函数：

h(xi)β=yi-ξi,i=1,2,…,n

(17)

式中：ξi为训练误差；h(xi)为样本xi的隐含层输出矩阵；yi为样本xi的输出矩阵；C为正则化系数，根据KKT理论，极限学习机的输出结果为[15]:

(18)

当隐含层特征映射h(x)未知时,采用核函数KELM替换h(x)HT和HHT,则式(18)可写为：

(19)

笔者选择高斯径向核函数作为核极限学习机的核函数，其表达式为：

(20)

式中：δ为高斯径向核函数带宽。

3.2 粒子群算法

粒子群优化算法是一种群体智能的优化算法，该算法将鸟群作为粒子群，并且每一个粒子都具有位置、速度和适应度3个属性[16]。如在一个D维的搜索空间中，有一个包含n个粒子的种群X={x1,x2,…,xn}，则粒子群算法在解空间中寻优的迭代公式如式(21)和式(22)所示。

Vk+1=ωVk+c1r1(Pk-Xk)+c2r2(Gk-Xk)

(21)

Xk+1=Xk+Vk+1

(22)

式中：Vk为粒子第k次迭代的速度；Xk为粒子第k次迭代的位置；ω为惯性权重；c1和c2为加速度因子；r1和r2为[0,1]之间的随机数；Pk为个体最优位置；Gk为群体最优位置。

为保证粒子群算法收敛速度的同时，提高其全局寻优能力，使用式(23)来动态调整ω的值。

ωk+1=ωk-Δf·e-h/T·b·fmax

(23)

式中：fmax为当前迭代次数下最大适应度值；Δf为最大适应度值与最小适应度函数的差值；T为粒子群最大迭代次数；b，h为调节参数。

3.3 基于PSO-KELM的森林火灾图像识别算法

将火灾的特征向量作为KELM(kernel extreme learning machine)的输入，为降低不同特征量的差异造成的影响，使用式(24)对火灾的不同特征值归一化至[-1,1]。

(24)

式中：xi为火灾特征向量中的第i(i=1,2,…,14)维特征量；xmax与xmin分别为该特征量的最大值与最小值。将KELM的识别率作为PSO(particle swarm optimization)算法的适应度函数，可表示为：

(25)

式中：Dnum为正确分类数目；Anum为样本总数。

笔者所设计的PSO-KELM森林火灾图像识别算法过程如图5所示。

图5 PSO-KELM算法流程

3.4 仿真实验结果及分析

为验证上述森林火灾识别算法，建立了图像数据库。其中正负样本集各35 000张。正样本和负样本的选择如图6所示。

图6 正负样本的选择

将数据集中80%的图像用于训练核极限学习机，20%的图像用于测试。训练过程中PSO的参数如表3所示。

表3 PSO参数设置

使用改进PSO算法,核极限学习机的寻优过程中最优个体适应度变化如图7所示, 最终得到的最优个体适应度值为0.93，得到的核极限学习机参数如表4所示。

图7 寻优过程中最优个体适应度变化

表4 改进PSO寻优结果

为验证所设计算法的性能，同时使用反向传播神经网络(back propagation neural networks,BPNN)、支持向量机(support vector machines，SVM)算法进行对比，3种方法的识别正确率及误报率如表5所示。

表5 3种不同方法的森林火灾识别正确率及误报率对比

对比表5中的结果发现，相比于BPNN分类法和SVM分类法，笔者所提算法在识别率及误报率上都有明显的优势。3种方法的识别速度对比如表6所示。

表6 3种方法的识别速度对比

从表6可知，PSO-KELM方法具有较高的实时性，可以用于森林火灾的实时监测。

4 结论

笔者首先根据火焰及烟雾的颜色从图像中提取森林火灾目标区域，然后提取目标区域的形状特征、纹理特征以及动态特征，整合成特征向量，将该特征向量作为核极限学习机的输入，为提高识别准确率，使用粒子群算法对核极限学习机的参数寻优。实验结果表明，该方法进行火灾图像识别具有较高的准确率，可以用于森林火灾的实时监测。