基于视频图像的煤垛自燃检测算法研究

吴 南，朱向东，高雅昆，李海滨

(1.燕山大学电气工程学院，河北 秦皇岛 066000；2.秦皇岛港股份有限公司第九港务分公司)

0 引言

煤垛在运输过程中发生自燃会造成巨大的经济损失和环境污染，因此需要找到有效的方法来解决该问题。

自燃检测通常采用检测烟雾特征的方法来实现，目前烟雾检测技术大多是用于室内场所的近距离感应装置，主要通过检测周围环境中的颗粒、温度、湿度和透明度等来进行烟雾检测的，这些装置往往安装在被检测对象附近，但是当这些传感器离被检测对象较远时就很难实现实时检测，所以并不适用于室外环境。国内外对室外的烟雾检测技术的研究仍在初级阶段，我国对于室外火灾的检测大多是通过检测火焰来实现的。文献[1]提出了一种基于火焰彩色空间的探测方法；文献[2]提出基于群智能技术和Kemdoids聚类的火焰像素检测方法；文献[3]提出通过探测极端温度来检测火焰。但是一般烟雾会先于火焰产生，若能准确地检测烟雾，可将火灾扼杀在摇篮中。我国的烟雾检测技术尚不成熟，文献[4]采取改进的背景估计法并结合色彩判断准则来识别烟雾，实验结果表明，与单纯的帧间差分法相比该方法有更好的抗干扰能力，但有时会将缓慢变化的烟雾当作背景。曹希峰等人提出基于小波分析的图像型火灾烟雾特征提取算法[6]，实验结果表明，该算法具有抗干扰能力强的优点。郑璐等人提出了引入归一化的RGB空间进行烟雾识别的新思路，增加了算法的稳定性[7]，但是其阈值难以确定，不适用于本文研究的场景。

经过对大量国内外相关文献的研究，本文针对国投曹妃甸港煤垛自燃的问题，提出一种基于视频图像的烟雾检测算法。首先通过烟雾动态特征确定疑似烟雾区域；然后在疑似烟雾区域搜索烟雾静态特征完成识别。实验结果表明，和单纯的帧间差分法和背景差分法相比，本文算法具有抗干扰能力强的优势，有效地解决了煤垛自燃识别问题。图1为本文烟雾检测算法流程图。

图1 本文算法流程图

1 基于烟雾动态特征的疑似烟雾区域提取

由于烟雾是缓慢变化的，所以当有烟雾出现时，视频中每一帧图像都不一样，因此，烟雾识别工作的第一步是基于烟雾动态特征的疑似烟雾区域提取，如果能够准确提取疑似烟雾区域就可以大大减小烟雾识别工作量，常见的疑似烟雾区域提取的方法，以及本文所使用的算法将在本章中作详细介绍。

1.1 帧间差分法

帧间差分法即用当前图像与前一帧图像作差再将差分图像二值化来获得疑似烟雾区域的方法，其程序简单易于实现，对光照等轻微场景变化不敏感，有良好的目标捕获能力，稳定性较好[4]。其效果依赖选择的时间间隔，对于运动速度较快的物体，选择较小时间间隔；对于烟雾这类渐变且运动速度慢的物体，选择较大时间间隔。帧间差分法公式如下：

其中Ik(x,y)为(x,y)处像素在当前帧图像的像素值，Ik-1(x,y)为(x,y)处像素在前一帧图像的像素值，T为阈值。Dk为将差分图像二值化后的二值图。

1.2 背景差分法

背景差分法即用当前图像与背景图像作差再将差分图二值化来获取疑似烟雾区域的方法，其原理及实现简单，能得到较精确的烟雾目标信息，但受外界干扰较大[4]。背景差分法和传统的背景更新公式为：

其中，Bk-1为前一帧背景图像，Ik为当前帧图像，Bk为当前帧背景，T为阈值，a为权重系数。

针对上述算法的缺陷，本文在背景更新公式中引入初始背景，这样可以有效地滤除视频中的干扰物[4]，也不会把缓慢变化的烟雾当作背景，改进后的背景更新公式为：

其中，Bk-1为前一帧背景，Ik为当前帧图像。Bk为当前帧背景。a，b为权重系数，且a+b＜1。通过多次实验，设置a=0.4，b=0.4使疑似烟雾区域提取效果达到最好。

1.3 结合帧间差分法和改进的背景差分法，提取疑似烟雾区域

针对传统帧间差分法和背景差分法的缺点，本文提出结合帧间差分法与改进后的背景差分法来提取疑似烟雾区域[5]。算法主要为以下几步：

⑴ 从初始帧开始，根据改进的背景更新算法计算每一帧背景图像；

⑵ 将当前帧图像与前一帧图像和背景图像分别作差，并将两幅差分图像二值化；

⑶ 将帧间差分图和背景差分图对应像素点的像素值进行与运算，得到一幅新的二值图像，新图像中白色区域为疑似烟雾区域。

图2为疑似烟雾区域提取算法流程。

图2 疑似烟雾区域提取流程

对疑似烟雾区域进行提取的实验结果如表1所示。

表1 疑似烟雾区域提取实验结果对比

2 基于烟雾静态特征的烟雾判断

从表1可知有时仅通过烟雾动态特征不能有效排除视频中的干扰进而造成误报，针对该问题，本文将在疑似烟雾区域搜索烟雾静态特征完成识别。

2.1 基于烟雾模糊性特征的烟雾判断

烟雾模糊性特征是指，当图像中有烟雾存在时，被烟雾覆盖部分的图像区域中与高频分量相对应的细节信息会发生明显的衰减，图像中的高频分量大大减小。据此判断疑似烟雾区域中是否可能有烟雾存在。

为了便于分析烟雾图像中高频分量变化情况，需要对图像疑似烟雾区域进行一级二维离散小波变换，其原理如下：

设Φ(x,y)为二维尺度函数，其水平、垂直、对角三个方向二维离散小波函数分别为Ψv(x,y)、ΨH(x,y)、ΨD(x,y)[6]。计算公式如下：

因此一幅图像经过一级二维离散小波变换后会得到四幅子图，原图像近似系数子图LL1、细节系数矩阵的水平分量子图HL1、垂直分量子图LH1、对角分量子图HH1[9]。其中，LL1为低频分量子图，HL1、LH1、HH1为高频分量子图，大小为原图像四分之一。

由于二维离散小波变换只针对单通道数据图像，需将RGB图像转化为灰度图后再进行小波变换，然后将三幅高频分量子图叠加起来形成一幅复合高频图像[15]：

该图像小波高频能量值计算公式[9]为：

其中，m和n表示图像长和宽，VE为小波高频能量值。

烟雾模糊性特征识别烟雾算法如下：

If(S＞T)

{满足烟雾条件}

Else

{不满足烟雾条件}

其中，VE1是背景图像疑似烟雾区域的小波高频能量值，VE2是前景图像疑似烟雾区域的小波高频能量值，T为阈值。

在疑似烟雾区域中搜索烟雾模糊性特征进行识别的实验结果如表2所示。

表2 基于烟雾模糊性特征的自燃检测实验数据

2.2 基于颜色特征的烟雾判断

从表2中可知，有时根据烟雾模糊性特征并不能十分准确地将烟雾区域提取出来，所以当判断疑似烟雾区域中可能有烟雾存在时还要根据烟雾颜色特征作最终判断。

在起火初期烟雾主要为灰白色，烟雾区域像素点R、G、B三通道值较接近[7]，它们的差一般不超过5，且它们的均值一般在80-90内[9]。烟雾颜色特征判据如下：

条件1：C1-C2＜T1

条件2：T2＜I＜T3

条件3：R＜G

If{条件1}AND{条件2}AND{条件3}

{满足烟雾条件}

Else

{不满足烟雾条件}

其中，T1=5，T2=80，T3=90。

在可能有烟雾存在的区域中搜索烟雾颜色特征进行识别的结果如表3所示。

表3 基于烟雾颜色特征的自然检测实验数据

3 实验结果分析

本文所研究的样本，是从国投曹妃甸现场监控系统中获得，包括10个煤垛的20个摄像头数据，每个摄像头的视频信息时长为10天，录制视频容量为367.54GB，现场10个煤垛的20个摄像头录制视频总容量约为7350GB，将这些样本输入到MATLAB平台下进行编程分析，实验结果如表4所示。

表4 实验结果

4 结束语

烟雾检测是近年才提出的，其研究还停留在初级阶段。本文先通过烟雾动态特征来提取疑似烟雾区域；然后在疑似烟雾区域内搜索烟雾模糊性特征来判断是否可能有烟雾存在；当判断可能有烟雾存在时还需在可能有烟雾存在的区域搜索烟雾颜色特征，完成烟雾的识别。实验结果表明，与传统的帧间差分法和背景差分法相比，本文算法抗干扰能力较强并有效解决了煤垛自燃识别问题。但也存在一些不足，当由于天气原因导致摄像头剧烈晃动时便不能十分准确地进行烟雾识别，为此下阶段重点研究深度学习等方法引入以解决此类问题。

参考文献(References):

[1]Khatami A,Mirghasemi S,Khosravi A,et al.A New Color Space Based on K-Medoids Clustering for Fire Detection[C]// IEEE International Conference on Systems,Man,and Cybernetics.IEEE,2016:2755-2760

[2]Khatami A,Mirghasemi S,Khosravi A,et al.A New K-medoids Clustering and Swarm Intelligence Approach to FireFlameDetection[J].ExpertSystems with Applications,2017.68(C):69-80

[3]Dortch M D,Price L J,Wittman B A,et al.Fire detection system[J]. Optoelectronics Instrumentation & Data Processing,2016.45(2):140-145

[4]白书华,况明星.基于视频流的林火烟雾运动目标检测方法的研究[J].江西师范大学学报(自然版),2016.40(6):644-647

[5]熊英.基于背景和帧间差分法的运动目标提取[J].计算机时代,2014.3:38-41

[6]曹希锋,梅真硕,张曦等.一种基于模糊特征的火灾烟雾实时识别算法[J].消防科学与技术,2014.33(6):670-673

[7]郑璐,陈俊周.基于运动和颜色的视频烟雾检测算法[J].计算机工程与设计,2010.31(21):4650-4652

[8]虞燕凤.基于视频图像的火灾烟雾检测研究[D].大连海事大学,2013.

[9]马玲,吴爱国.基于混合高斯模型及小波分析的烟雾特征提取分析[J].煤炭技术,2010.29(11):216-217

[10]肖林厂.基于视频图像的烟雾识别算法研究[D].吉林大学,2012.

[11]文泽波.基于视频图像特征提取的烟雾检测算法研究[D].中国科学技术大学,2016.

[12]姜东海.基于图像处理的火灾烟雾识别技术研究[D].华中科技大学,2006.

[13]焦珂.基于图像的火灾烟雾识别算法研究[D].西华大学,2008.

[14]王娜娜.基于视频的火灾烟雾检测算法研究[D].西安科技大学,2012.

[15]秦文政,马莉.基于视觉显著性和小波分析的烟雾检测方法[J].杭州电子科技大学学报,2011.31(4):114-117