基于SSD和光流法的烟火检测

2022-07-25李宏

现代计算机 2022年9期

李宏

（西南交通大学计算机与人工智能学院，成都 610000）

0 引言

世界各地每天都会发生数百起火灾，严重影响到人类的生命和财产安全。因此，对烟火的实时监测变得尤其重要，及时检测出烟火能在很大程度上减少火灾带来的损失。视频相对静态图像包含更加丰富和复杂的信息，同时随着监控摄像头的普及，视频数据也越来越容易获取到。相对于静态图像的烟火检测，我们能够利用视频里烟火的动态特性来降低烟火检测的误识别。

传统的基于视频的烟火检测方法主要是利用一些运动检测方法来提取出烟火的疑似区域，然后训练一个机器学习分类器或者深度卷积神经网络来判断该候选区域中是否出现烟火。这类方法存在以下问题：①在复杂的场景中，通过运动检测方法提取出来的区域会变得特别多，这导致如果对每一个候选区域都进行识别判断，将很难做到实时处理；②跟烟火外形相似的物体很容易被误识别成烟火，而这些对于火灾防控尤其重要。在本文的工作中，使用SSD检测模型和光流法来解决上述存在的问题。

SSD 在目标检测中得到了广泛的应用，多尺度和一阶段的检测框架使得其能够实现高准确率和高效率。与传统方法使用运动检测方法得到烟火候选区域不同的是，本文首先通过SSD 检测网络检测出烟火候选框，然后基于热空气向上流动的理论，利用相邻帧的烟火候选框和光流法来进一步判断该候选框是否存在烟火。与其他方法相比，本文提出的检测框架能够取得更好的效果，同时有着更快的检测速度。

1 相关工作

1.1 烟火检测

基于深度学习的烟火检测算法最先是基于简单的卷积网络实现烟火的分类识别。Khan等权衡了检测的准确性和效率，采用VGG-16卷积神经网络作为Baseline 进行烟雾检测，实验表明即使轻量级的卷积神经网络在烟火检测上的表现也好于传统方法。Yin 等将传统的卷积网络层替换为归一化层和卷积层，加快模型收敛的速度，实验表明卷积网络并不需要特别复杂的处理，也能在烟火检测上得到高准确率。Valikhujaev等将空洞卷积加入传统的卷积神经网络中，这可以在计算量相当的情况下提供更大的感受野，从而增加烟火检测模型的泛化性。Khan 等为了消除含雾场景下的烟雾误检，使用EfficientNet 卷积网络进行烟火识别，网络模型训练的数据类别共包含四类：smoke、non-smoke、smoke with fog 和non-smoke with fog，这能够极大地减少含雾场景下的误识别率。

直接将整个图像输入到分类网络中会使得检测准确率较低，尤其是在图像分辨率很高的时候，而烟火只占图像的小部分。面对这种情况，现有的方法大多是基于烟火的动态特性，使用运动检测算法提取出候选区域，然后将候选区域输入到CNN 网络中进行分类。Gagliardi等提出了一个基于传统的卡尔曼滤波的运动特征检测器，通过生成移动物体的边界框来自动选择图像中感兴趣的特定区域，最后利用一个轻量级的浅层卷积网络来验证该区域中烟雾的实际存在。Cao等利用ViBe算法提取出烟火候选区域，然后通过卷积网络和双向的LSTM 网络来提取烟火候选区域的时空特征，双向即从前往后和从后往前，此外还采用注意力机制来强调时域的运动信息，找到对烟雾识别有更多贡献的视频帧。

1.2 目标检测

基于深度学习的目标检测方法主要可以分为两类：一阶段检测器和两阶段检测器。经典的一阶段检测器有SSD和Yolo 系列等，仅用一个深度卷积网络完成候选区域的提取和识别检测。相对两阶段检测器，一阶段检测器通常更快。经典的两阶段检测器有Faster RCNN和Cascade R-CNN等，这一类方法把检测问题分为两阶段：候选区域提取阶段和检测阶段，候选区域提取阶段主要是生成目标可能存在的一些区域，然后在检测阶段，候选区域的位置和类别将被进一步细化。与一阶段检测器相比，二阶段的检测器能够实现更好的检测效果，然而检测速度通常慢很多。

2 算法实现

本文通过在自己构建的数据集上分别测试了SSD，Yolov3，Faster R-CNN 的表现，最终权衡了检测速度和精准度，选择了效率更高的SSD作为本文的baseline，更多实验细节见第3节实验部分。通过采用SSD作为目标检测网络，得到烟火的候选框，然后提取相邻帧的烟火候选框的光流，进一步判断该候选框中是否存在烟火。

2.1 烟火候选框提取

本文采用SSD 检测网络进行烟火候选框的提取。不同于Faster R-CNN 只用最后一层进行检测，SSD 使用了多层的特征图进行检测，能够更好地捕获到多尺度目标信息。因为锚点（anchor）被应用到不同尺度的特征图上，所以SSD 在不同层的特征图上设计了不同的锚点大小，能够很好地处理同一个目标在各种场景下有着不同的大小尺寸问题，这也提升了检测的召回率。此外，SSD 引入了一些额外的数据增强技术和困难负样本挖掘技术，使得SSD 在一些基准数据集上能够得到很好的检测效果。

SSD 将总体的目标损失函数定义为置信度损失（conf）和定位损失（loc）的加权和，见公式（1）：

其中是匹配到真值框（ground truth）的先验框数量，则用于调整置信度和定位损失之间的比例。

置信度损失是在多类别置信度上的softmax损失，见公式（2），其中表示先验框的序号，表示真值框的序号，表示类别的序号。

图1 算法整体结构图

定位损失是典型的1 损失，见公式（3），其中为预测框，为真值框，使用1 损失是为了防止在训练早期出现梯度爆炸。

2.2 烟火检测识别

通过SSD 检测网络提取得到的烟火候选框通常存在一些误检情况，如车灯，红色的物体，云雾等，这类物体跟烟火有着相似的外观和形状。为了尽可能消除这些误检，本文基于烟火的动态特性和热空气向上流动的理论，计算视频中相邻帧的烟火候选框的光流，统计候选框中每个像素点的位移向量，进而判断该候选框中存在的物体是否为烟火。

光流法的输入为连续两张×的灰度图像，输出为一张××2 的光流场，其中每个像素值为输入帧上该像素在方向和方向的位移。

图2 光流场的表现形式

本文采用的光流计算方法来自OpenCV SDK提供的的DeepFlow，该方法能够很好地计算相邻帧的光流信息。使用该方法计算出相邻帧的烟火候选框的光流运动方向来进行辅助检测，能够极大减少一些误检情况的发生，如车灯、旗子、云雾等。

3 实验设置与结果分析

3.1 数据集

由于公开的烟火数据集并没有进行目标框的标注，所以本文将构建一个能够用于目标检测网络训练测试的数据集，其中数据来源于互联网和一些公开数据集。本文的数据集共分为两类：图像和视频，其中图像用于目标检测网络的训练和测试，视频则用于本文算法检测效果的验证分析。图像数据集共包含19532 张图片，将这些图片使用标注工具进行烟火两类目标框标注后按照8∶2 的比例划分为训练集和测试集。视频数据集有6 个视频，包含2 个烟火视频和4个容易被误识别成烟火的非烟火视频。

3.2 评价指标

在本文的实验中采用平均精度均值（mean average precision，mAP）作为评价标准，的定义首先是被PASCAL VOC 数据集提出的。针对目标检测，本文使用交互比（intersection over union，IoU）来判断预测候选框的准确性，通过设定阈值为0.5 来判断正负样本。精准度（）是预测结果中正确预测的比例，召回率（）是所有正样本中预测对的比例。在不同的recall之下的precision得到一条曲线，即曲线，根据这个曲线得到各个类别的，然后对所有的类别取平均得到。此外，模型的推理速度也是一个很重要的平均指标，即每秒能够检测多少张图片。

3.3 实验设置

本实验在Linux 16.04系统上进行，使用了4块TITAN XP 显卡进行目标检测的训练和测试。在目标检测网络对比实验中，SSD，Yolov3，Faster R-CNN 设置相同的参数，批尺寸取32，初始学习率取0.02，权重衰减因子取0.0001，都是用SGD 训练策略。而对于主干网络，SSD 采用VGG-16，Yolov3 采用DarkNet-53，Faster RCNN 采用ResNet-101。三者的主干网络都加载在ImageNet上已经预训练的模型参数进行微调。

3.4 结果分析

本文将SSD，Yolov3，Faster R-CNN 在构建的图像测试集上进行了实验对比，实验结果如表1所示。其中加粗表示效果最好，加下划线表示效果次之。通过实验结果可以看出，SSD 跟Faster RCNN 有着几乎相近的检测精准度，同时还有着三者最快的检测速度。这可能与本文的检测目标和SSD 的检测网络有关，因为烟火在不同场景下有着不同大小的尺度，而SSD 专为检测多尺度特征而生。同时，SSD采用轻量级的VGG-16作为主干网络也带来了更快的检测速度。

表1 不同检测网络的实验结果对比

权衡检测模型的精准度和速度，本文选用SSD 检测网络继续在视频数据集上进行测试。对视频进行抽帧，使用SSD 检测模型检测视频的每一帧，从检测结果可以看出，SSD 仍存在不少误检，尤其是外形跟烟火相似的物体。如图3，车灯或者一些光照很强的物体容易被误识别为烟或火，为了消除这类误检，本文使用光流法计算相邻帧的光流。通过观察烟火的光流运动方向和非烟火的光流运动方向，本文得出烟火的光流运动方向通常是向上，而其他容易被误识别成烟火的物体的光流方向通常是向下或者运动缓慢。结合光流法，本文在视频数据集上继续测试，实验结果见表2。从表2 可以看出，利用光流法可以极大地消除误检。