基于视频的林火烟雾检测算法研究

2023-12-11梁新宇刘凯王笑松刘恒旭

林业科技 2023年6期

梁新宇　刘凯　王笑松　刘恒旭

摘要：森林防火一直以来都是世界各国共同关注的一个话题，只有在林火发生前快速、准确的确定着火地点，才能提前采取适当的措施防止火灾的发生。传统的目标检测方法有帧差法、光流法和背景减除法等；如今，随和数值计算设备的改进，许多基于深度学习的目标检测方法开始出现，如基于RCNN的检测算法、基于SSD的检测算法和基于Yolo的检测算法等，本文就各种目标检测算法进行了分析，比较了其优缺点，并对今后目标检测技术的发展进行了展望。

关键词：森林防火；目标检测；林火烟雾检测

中图分类号： S 76 文献标识码： A 文章编号：１００1 － 9499（２０23）06 － 0045 － 04

林火检测的研究根据识别对象的不同，可分为烟雾识别和火焰识别两类[ 2 ]。传统的检测方法主要有瞭望台检测、航空检测和卫星监测等[ 3 ]。瞭望台检测即通过在瞭望台上安装传感器来对一定区域范围内的林场进行检测，常见的传感器有用于火焰检测的红外传感器和用于烟雾检测的烟雾传感器，瞭望台检测较后两者而言，其成本较低，获得的数据时效性较高，是目前对森林火灾进行检测的一种较好的方法。由于烟雾产生的时间要早于火焰且其不易被障碍物遮挡，通过烟雾识别能更快、更准确的检测出林火产生的地点。典型的烟雾检测算法有帧差法、光流法、背景減除法和深度学习等，本文将分别对这几种烟雾检测算法进行分析，并对其优缺点进行评价。

1 帧差法烟雾检测

帧差法是通过比较视频中相邻的两帧图像间的变化来对运动区域进行提取的算法，适用于背景变化较小的林区[ 4 ]。算法首先将第N帧的图像与第N-1帧的图像相减得到差分图像，然后通过二值化的处理方法对阀值进行判断，最后通过连通性分析判别该区域是否存在运动的物体（图1）。

当视频中两帧前后目标的变化较快时，仅靠两帧差法无法对快速变化的场景进行检测[ 5 ]，在这种情况下，就需要采用三帧差法来确定完整的运动目标。三帧差法首先将第N+1帧的图像、第N帧的图像和第N-1帧的图像进行差分，然后再对差分后的图像进行逻辑与运算，其余步骤与二帧差法相同（图2）。

采用帧差法对烟雾进行检测原理简单，涉及的计算量较小，检测结果的更新速度快，误差累积小。但帧差法阀值的选择很重要，当阀值较小时，差分图像中会存在较多的噪声信号，当阀值较大时，部分目标信息可能会被掩盖。因此，帧间差分法的适应性较差，得到的检测目标可能会出现不完整的现象，当烟雾的扩散速度较慢时，两帧之间目标的相对位置变化缓慢，重叠部分的检测较难，所以帧差法在实际的运用中还需要将其与其他算法结合。

2 光流法烟雾检测

1950年，为了描述空间上运动目标像素运动的瞬间速度，Gibson提出了光流的概念[ 6 ]。光流法检测[ 7 ]的主要目标是在一定的约束条件下，寻找图像相邻帧之间的变化，从而计算出其之间的光流场。常用计算光流场的方法有基于区域或特征的匹配方法、基于频域的光流计算方法和基于梯度的光流计算方法。其中基于梯度的光流计算方法又称微分法，微分法又可分为全局微分法和局部微分法，经典的全局微分法有Horn-Schunck算法[ 8 ]，其假设在整个图像上光流光滑变换即速度的变化率为零。经典的局部微分法有Lucas-Kanade算法[ 9 ]，其假设局部空间内运动矢量保持不变，然后采用加权最小二乘法来对光流进行估计。

图3为运动场和光流场的关系模型，其中运动向量为目标物体在三维坐标中的真实运动，光流向量为在成像平面上运动向量的投影。

采用光流法对烟雾进行检测时不需要预先对场景的信息进行采集，且还能在背景是运动的场景下对目标物进行检测，但采集时涉及到的计算较为复杂，数据处理时间较长，无法确保获得数据的实时性和实用性。

3 背景减除法烟雾检测

背景减除法的核心为建立背景的参数模型，利用其来对背景图像的像素值进行近似，再采用差分比较的方法对当前帧的图像与背景进行比较，从而检测出运动区域，其中运动区域为差别较大的像素区，差别较小的像素区就被认为是背景区域[ 10 ]。其公式为：

式中，diff为t时刻图像和背景差分的绝对值；f为t时刻图像的像素值；b为t时刻背景的像素值；F为背景差分的二值图像；ForeObjThreshold_BS为预设的阀值。

在使用背景减除法时，背景图像是关键，背景图像需要在光照或其他外部环境变化时进行实时更新。在对如何建立一个具有自适应性的背景模型方面，学者们提出了许多背景建模算法，其大体可以概括为非回归递推和回归递推两大类。非回归背景建模方法有利用缓存的样本像素对背景模型进行估计的线性滤波器和利用部分历史数据来估计背景像素密度的非参数模型[ 11 ]等。回归背景建模方法有混合高斯模型[ 12 ]和先行卡尔曼滤波法[ 13 ]等。

在采用背景减除法对烟雾进行检测时，还涉及到特征类型和特征尺寸的选择问题，其中特征尺寸的选择包括了像素、块和集群三种情况，特征类型的选择包含了颜色特征、帧特征和纹理特征等。由于常用的颜色特征是RGB，易受到光线等外界因素的干扰，所以在采用颜色特征对运动目标进行检测时，若光线等外部因素发生变化，检测的结果易出现较大的误差。

4 基于深度学习的烟雾检测

目前利用深度学习来对目标进行检测的算法大致可分为三类，分别为基于RCNN的检测算法[ 14 ]、基于SSD的检测算法和基于Yolo的检测算法。

基于RCNN的目标检测算法于2014年由Ross B Girshick等人提出，其将候选区域算法Selective Search与CNN网络相结合，提高了算法检测的速度与精度。具体检测流程为首先利用Selective Search对给定的图片进行选择性搜索，得到1 000～2 000多个形状和大小不同的候选边框，然后利用CNN网络提取每一个候选边框的深层特征，再利用SVM（线性支持向量机）对得到的深层特征进行分类，最后去除重叠的候选边框，并将支持向量机得分较高的边框提取出来（图4）。

基于SSD的目标检测算法于2016年由Wei Liu等人提出，SSD算法采用单个深度神经网络，综合不同卷积层的特征图来对目标进行检测，VGG-16是算法的基础网络模型，模型的输入要求为300*300的图片，结构如图5所示。SSD目标检测算法的核心设计理念一为采用多尺度特征图用于检测；二为对每个单元设置的Default boxes的长宽比或尺度不同，并将其作为bounding boxes（预测的边界框）的基准，减少训练难度；三为在对不同的特征图进行提取检测时直接采用卷积的方法对其进行处理。采用SSD算法对目标进行检测较RCNN算法而言，运行速度更快，精度更高，但在对小尺寸的目标进行识别时，精度较差。

基于Yolo的目标检测算法于2015年由Joseph Redmon等人提出，其基础网络模型为GoogLeNet模型（图6）。Yolo目标检测算法的工作原理为利用多层卷积来对图片中的特征进行提取，然后在输出层直接回归目标框的坐标和其所属的类别，最后通过NMS对重叠的目标框进行剔除。利用Yolo算法对目标进行检测时构造的网络简单，训练速度快，但对细小密集的目标，检出概率依旧较低。

5 研究展望

由上述分析可知，帧差法、光流法和背景减除法这类传统的目标检测方法虽然在一定条件下也能完成对目标进行识别的任务，但大多都易受到光线等外界因素的干扰，且运算的速度较慢，耗时较长，无法确保得到信息的时效性。

另一方面，随着数值计算设备的改进，深度学习得到了快速的发展，神经网络已被广泛的运用于目标检测，如基于RCNN的检测算法、基于SSD的检测算法和基于Yolo的检测算法等。虽然这些检测算法在检测速度和对较大目标的检测精度上都有很大的进步，但对细小密集型的目标的检出概率依旧不如人意，还有待提高。

参考文献

［1］袁雯雯，姜树海. 林火图像识别理论研究进展［J］. 世界林业研究， 2018， 31（1）：3 5 - 39.

［2］张静，李鸿燕. 融合独立分量分析和视觉显著性的烟雾分割检测算法［J］. 科学技术与工程， 2017， 017（025）： 246 - 250.

［3］范一舟，马洪兵. 基于视频的林火烟雾识别方法［J］. 清华大学学报（自然科学版）， 2015（2）： 243 - 250.

［4］相徐斌. 基于视频的烟雾检测算法研究［D］. 杭州：浙江大学， 2017.

［5］许京港. 基于深度学习的林火烟雾检测算法的研究［D］. 哈尔滨：东北林业大学， 2019.

［6］朱正超. 基于视频分析的森林火灾烟雾检测技术的研究［D］.南京：东南大学， 2017.

［7］ Yu C， Fang J， Wang J， et al. Video Fire Smoke Detection Using Motion and Color Features［J］. Fire Technology， 2010， 46（3）： 651 - 663.

［8］管飞，王荣. 基于Horn-Schunck光流法的运动目标检测的研究［J］. 仪表技术， 2015（2）： 43 - 45.