基于运动和亮度显著性的森林烟雾分割方法

赵楠 王晓薇

摘  要：本文提出了一种基于运动和亮度显著性检测的烟雾区域分割方法，目的是解决传统的运动检测方法对于树叶抖动、摄像机抖动等不显著的运动区域比较敏感的问题。采用低秩结构化稀疏分解方法提取前景区域，然后计算烟雾的显著性，以便进一步分离。我们提出一种基于自适应参数的群稀疏鲁棒标准正交子空间学习（ROSL）的显著性测量方法。实验表明，该方法能够很好地处理大范围的烟雾视频，并能获得较好的烟雾检测结果。

关键词：烟雾分割;运动显著性;亮度显著性;群稀疏ROSL

中图分类号：TP399     文献标识码：A

A Forest Smoke Segmentation Method based on

Saliency of Motion and Brightness

ZHAO Nan， WANG Xiaowei

（Software College， Shenyang Normal University， Shenyang 110034， China）

17624050721@163.com; wangxwvv@gmail.com

Abstract： This paper proposes a smoke region segmentation method based on motion and brightness saliency detection， aiming at problems that traditional motion detection methods are sensitive to insignificant motion regions such as leaf shake and camera shake. The low-rank structured sparse decomposition method is used to extract foreground area， and then smoke saliency is calculated for further separation. We propose a saliency measurement method for group-sparse Robust Orthogonal Subspace Learning （ROSL） by virtue of adaptive parameters. Experiments show that the proposed method can work well on a wide range of smoke videos， and obtain better smoke detection results.

Keywords： smoke segmentation; motion saliency; brightness saliency; group-parse ROSL

Abstract： This paper proposes a smoke region segmentation method based on motion and brightness saliency detection， aiming at problems that traditional motion detection methods are sensitive to insignificant motion regions such as leaf shake and camera shake. The low-rank structured sparse decomposition method is used to extract foreground area， and then smoke saliency is calculated for further separation. We propose a saliency measurement method for group-sparse Robust Orthogonal Subspace Learning （ROSL） by virtue of adaptive parameters. Experiments show that the proposed method can work well on a wide range of smoke videos， and obtain better smoke detection results.

Keywords： smoke segmentation; motion saliency; brightness saliency; group-parse ROSL

1   引言（Introduction）

森林火災探测与预防是一门重要的学科，因为它对人类的生命和财产有着重大的影响。然而由于人类活动的广泛性和自然环境的多变性等因素的影响，森林火灾具有突发性并且时有发生[1]。森林火灾一旦发生，便会很快扩散蔓延，造成林木资源成片烧毁，森林中动植物受害，引发一系列不可预估的问题[2]。烟雾作为火灾或火焰爆发前的早期阶段，应及时探测到，为救援争取更多时间。近年来，基于视觉的烟雾探测方法因其优于常规的电离或光电探测方法而受到越来越多的关注。基于视觉的烟雾检测技术大多采用模式识别范式，通过运动检测将候选烟雾区域从背景中分割出来[3]，或者对输入图像/视频进行预处理并分块[4]。这些技术高度依赖于识别出可靠烟雾信息的视觉特征。因此，识别候选烟雾区域是基于视觉的烟雾检测的关键组成部分。在本文中，我们提出了一种基于运动和亮度显著性的烟雾分割检测方法，采用群稀疏ROSL方法[5]进行低秩背景和稀疏前景的分解，分别采用结构化稀疏法和群稀疏法进行烟雾成分提取。

2  基于运动和亮度显著性的烟雾分割（Smoke segmentation based on motion and brightness saliency）

本文提出的方法采用低秩、结构稀疏分解模型和全局显著性计算方法对候选烟雾区域进行遮挡，然后计算烟雾显著性，以评估烟雾区域的可能性。使用ROSL方法，通过运动显著性检验从背景中得到前景异常值，在实验室颜色空间中对烟雾的亮度值进行了分析，亮度显著性计算进一步确定了显著烟雾区域，采用群稀疏ROSL方法对烟雾区域进行最终判定。

2.1   候选烟雾区域分离

通过将观察到的视频分解为前景和背景，可以与其他运动物体一起提取出粗糙的候选烟雾区域。分解模型可以表示为：

X是视频的观察矩阵（n帧，每帧m像素），B和E分别表示背景和前景矩阵。对B和E的分解性质进行了研究，通常假设背景图像之间是线性相关的，形成一个低秩矩阵，而前景被认为是稀疏的异常值。因此，低秩背景和稀疏前景的分解可以通过最小化矩阵B的秩和矩阵E的非零项的分数来解决。SHU等人提出了一种ROSL方法，将普通标准正交子空间下的低秩矩阵B表示为：

背景矩阵的低秩表示通常能有效地吸收某些自然变化。考虑到烟雾区域的微弱痕迹应保留在背景中，对下采样图像序列进行稀疏诱导范数法，提取出一致且显著的烟雾区域。在这里，我们对显著烟雾区域检测的算法为：

2.2   显著性计算

2.2.1   全局显著性计算

人类视觉对像素值较大的前景非常敏感，而能够保持在显著区域的像素值较小的区域必须满足高斯分布。为了实现烟雾显著性图，我们首先计算烟雾候选区域的全局显著性图，这里使用全局阈值来过滤前景中的噪声：

2.2.2   运动显著性计算

初始运动显著性图的公式如下：

烟雾通常会缓慢移动，从而使某些像素属于同一移动烟雾区域。它们在局部上具有相似的特征，这使得A像素在B幀中其相邻像素都是显著的情况下，丧失显著性的可能性很大。为了减少像素丢失对运动对象的影响，我们通过进一步考虑空间信息来优化初始运动显著性的结果，使用高斯函数对像素点进行召回，如下所示：

在不丢失显著图像素的情况下，本文将设置为，这样就可以调出距离为的显著图附近的丢失像素。

为了去除一些绝对值较小的显著性像素，采用自适应阈值选择措施，假设显著性映射中的像素满足高斯分布，还需要剔除一组超出人类视觉感知范围的值更小的像素。因此，去除噪声的自适应阈值如下：

2.2.3   亮度显著性计算

为了进一步确认早期烟雾显著性图，有许多颜色模型来描述烟雾以增强烟雾区域，而不是分割从而抑制非增强区域。在着火的初期，闷烧总是在火焰之前发生。烟雾成分主要是焦油球，其吸光度比烟灰颗粒弱，因此其颜色大部分为灰白色，在实验室空间中，“L”的亮度维度可以很好地匹配人类对亮度的感知。因此，在进行总体显著性运动检查之后，我们进一步增强了实验室颜色空间中的烟雾显著性运动区域，提出了一种基于L维亮度分析的烟雾增强算法。

灰色的亮度值从L=80到H=220可以增强烟雾区域与其他暗区的联系。我们将这个范围从L*=0到H*=255非线性地重新映射成一个新的范围。

随着的增加，黑暗区域和明亮烟雾之间的对比度变得更强。我们设置。通过这种增强，可以消除外部的亮度，同时看起来输出图像的对比度得到改善。我们还通过将替换为相应的亮度值，以获得亮度显著性图。

经过此过程，我们可以通过将亮度显著性与上述前景的运动显著性相关联来获得烟雾显著性：

由于我们已经得到了全局显著性图，在全局显著性区域内，通过分别计算运动显著性图和亮度显著性图的像素值来计算运动显著性图和亮度显著性图的平均显著性值和。最终烟雾的平均显著性值为这两个平均显著性值的和：

2.3   群稀疏ROSL用于显著烟雾区域分割

通过烟雾显著性计算，筛选出符合人眼视觉系统的显著烟雾区域。为了更广泛地提取烟雾区域，采用了一种带有自适应正则化参数的群稀疏ROSL方法，确保所有遵守运动和亮度显著性的烟雾区域都可以捕获到异常值矩阵。我们设对应的B为：

表示第i域相对于所有区域中最小值的平均显著性值。我们设，对最终的烟雾检测进行群稀疏ROSL：

本文利用IALM求解凸优化问题。为了解决群稀疏问题，我们利用一组软阈值运算符对拉格朗日函数进行最小化。软阈值（GS[·]）运算符表示为：

我们测试了视频的不同帧，以上所有这些步骤保证了一个完整的显著且浓密的烟雾区域，而且可能性很高，并且不受背景运动的干扰。

3  实验及结果分析（Experiments and results analysis）

在本节中，通过实验证明了我们的方法能够有效地进行显著烟雾分割，从较高的准确率和较低的误报率的意义上看，能够更好地进行烟雾检测。

3.1   烟雾分割

我们专注于森林早期烟雾检测，烟雾视频是从公共视频剪辑中收集或自己拍摄的。利用七个具有不同挑战的视频进行实验，评估了所提出的烟雾分割方法的性能。

我们将所提出的方法与其他常用的方法进行比较，包括LIU的方法[6]、JIA的方法[7]、ROSL[5]、GMM[8]、ViBe[9]。通过实验得知，Liu的方法和本文提出的方法能够容忍更多的背景运动，而其他方法由于摄像机抖动而在前景中留下过多的背景信息。Jia的方法通过增强烟雾亮度图像来识别烟雾区域，利用增强后的图像和运动能量对疑似烟雾区域进行估计，更多的非烟雾明亮区域被过滤掉。但是，由于摄像机抖动等原因，对于动态背景的场景来说，鲁棒性不强。在使用结构化稀疏和运动显著性检查方面，LIU的方法要优于JIA的方法。此外，亮度显著性计算使分割更加关注类烟区域，从而在检测出烟雾之前可以过滤掉其他一些物体。研究表明，其他方法在刚体检测方面有一定的优势，但在复杂的森林环境和烟雾透明变化区域的检测中都不能很好地实现。