采用卷积神经网络的烟火智能识别算法

陈金鹏， 孙浩, 2, 3， 东辉, 2， 范龙翔, 4， 李晨， 姚立纲, 2

(1. 福州大学机械工程及自动化学院， 福建 福州 350108; 2. 福建省高端装备制造协同创新中心， 福建 福州 350001;3. 福州大学智能制造仿真研究院， 福建 福州 350108; 4. 福建(泉州)哈尔滨工业大学工程技术研究院， 福建 泉州 362011)

0 引言

常规烟火识别通常借助传感器， 检测火焰燃烧导致的颗粒物浓度、 温度等理化参数变化. 尽管传统检测方法及相应的商业化传感器已广泛应用， 但在方法的智能化、 覆盖面和成本等方面仍有待创新. 基于深度学习的烟火检测具有智能程度高、 覆盖面广、 成本低和抗干扰性强等优点. 在实际应用中， 普通相机即可实现烟火形态的高精度识别与检测， 在野外等特殊工况中具有重要应用价值.

基于深度学习图像识别算法能自我学习和有效提取复杂图像特征， 且很多时候比手工筛选特征更能表达事物本质. 文献[4]通过分别使用Dense-SIFT字典学习、 深度学习和传统方法， 对楼宇等高大空间烟火检测效果进行对比. 其结果表明， 所用深度学习算法在隐层不多的情况下， 达到甚至超过传统算法效果. 其他相关研究工作[5-7]分别使用AlexNet、 GoogleNet、 VGG、 Inception、 ResNet最新模型， 对早期火焰与烟雾进行识别； 其识别精度相较于一般传统算法得到较大提高， 但工作重点是烟火图像分类， 而未给出烟火目标检测解决方案.

本研究提出基于深度学习烟火检测方法， 使用YOLOv3把目标检测问题转化为回归问题， 对网络结构与损失函数进行改进， 预测边界框可靠性以提高物体识别精度. 研究结论有利于促进新型高端安防设备研制和智能巡检机器人研发， 为提升社会公共火情防控和快速抢险救灾能力提供了工程探索.

1 算法理论研究

1.1 YOLOv3检测过程

YOLOv3包含特征提取网络Darknet-53和3个预测层， 可直接预测物体位置及类别[8]. YOLOv3采用多尺度特征融合进行预测， 保留颗粒度特征， 有效增强对不同大小物体及被遮挡物体检测效果. 特征提取网络引入Residual连接， 降低模型复杂度并减少参数数量， 能有效解决深层网络梯度消失问题并强化收敛效果. 全卷积网络Darknet53由53个卷积层组成， 激活函数采用LeakyRelu， 卷积层间通过Residual连接将原始数据跳过某些层而直接传到之后的网络层.

1.2 数据增强

目标检测任务通常面向复杂度高、 待检测目标差异大等场景， 因此， 在采集数据时应考虑以下几个方面： 1)目标所在场景： 面对烟火检测环境十分复杂， 包括光照不同， 建筑物遮挡等， 为让模型适应各种复杂场景， 在数据采集时， 应尽可能多地在数据集中融入多变环境因素. 2)目标本身多样性： 同类目标本身也会随着拍摄角度不同而发生很大变化. 因此， 在进行实地采集时， 应考虑到实际应用中各种不同视角， 使模型从多方面认识、 学习目标. 如图1所示, 通过数据增强Mosaic算法对图片进行色域调节、 缩放、 剪切和角度变换， 并将四张图片合并处理为一张， 丰富检测物体背景. 尽管亮度、 形态发生细微改变， 但本质上这些物体依然是火焰与烟雾.

(a) 原图 (b) 数据增强图图1 数据增强前后对比Fig.1 Comparison of raw graphic data with the image data after augmentation

1.3 高斯算法建模

常规物体检测器难以有效防止误定位. 通过高斯建模， 可预测边界框置信度， 获取边界框可靠性信息， 从而提高算法精度[9]. YOLOv3算法输出边界框坐标信息分别为tx、ty、tw、th， 边界框可靠性通过对参数tx、ty、tw和th进行高斯分布函数建模求得.给定测试输入x， 输出高斯模型y， 高斯参数如下所示：

p(y|x)=N(y;μ(x),Σ(x))

(1)

(2)

图2 高斯YOLOv3算法预测框输出[9]Fig.2 Components in the prediction box of Gaussian YOLOv3[9]

(3)

三是在资金监督检查环节，将统筹整合涉农资金的使用管理作为各级各类监督检查、审计的重点，定期不定期开展巡察、督查、检查、审计，确保资金管理使用规范、安全、高效。2016年试点工作开展以来，赣州市开展涉农扶贫资金相关督查、检查、审计等达15次。

(4)

1.4 损失函数的改进

因为只对边界框坐标高斯建模， 所以仅需重新设计边界框坐标损失函数， 而目标和类别损失函数保持不变. 重新设计的边界框损失函数如下：

(5)

(6)

(7)

(8)

ωscale=2-wG×hG

(9)

Cr=σ(Object)×σ(Classi)×(1-Uncertainyaver)

(10)

其中： Cr表示高斯YOLOv3检测标准;σ(Object)是目标分数;σ(Classi)是第i类物体分数. Uncertainyaver为边界框坐标不确定性平均值， 定位不确定性值介于0和1之间， 如果目标分数和类别分数一定时， 定位不确定性越高， 则边界框可靠性越低.

常规目标检测器不能有效防止假阳例(误定位)(false positive, FP)， 在实际应用中， 由于火灾类型复杂且场景干扰多， 因此火灾检测容易产生FP. 然而， FP对自动巡检灭火平台非常危险， 易引起过度反应. 例如意外制动、 闯入火灾， 这将导致自动巡检灭火平台发生错误报警、 碰撞甚至爆炸事故.

在此应用高斯参数设计损失函数从而建立YOLOv3边界框模型， 可预测边界框定位可靠性， 利用边界框置信度函数计算损失， 提高预测框的定位精度. 这对于减少FP和防止自动巡检灭火平台事故极为重要.

1.5 检测网络的改进

在YOLOv3特征提取网络Darknet中增加SE-Net[10]结构， 如图3所示. SE-Net结构由Squeeze、 Excitation两部分构成， 提升模型对channel特征的敏感性， 构建特征通道之间的相互依赖关系. 其中， SE-Net的Squeeze操作是通过Global Pooding将一张特征图转换为一个数， 这个数具备全局感受野. 对全局特征进行Excitation操作， Excitation操作中两个全连接层起到减少参数和学习各channel间关系的作用， 从而获得不同channel权重.

图3 改进YOLOv3网格结构Fig.3 Improved YOLOv3 network configuration

特征提取网络Darknet53是YOLOV3算法准确预测出结果的关键， 其中Residual层融合多层特征. 因此， 本研究将SE-Net结构嵌入到Darknet53网络多个Residual层中， 并指定全局平均池化channel值为Residual层输出特征图通道数， 得到SE-Residual子结构， 从而扩大特征图对全局信息的感知范围.

除此之外， 为充分获取图片局部特征信息， 将金字塔池化(spatial pyramid pooling， SPP)块[11]加入至网络结构， SPP由四个并行分支构成， 分别是5×5， 9×9， 13×13的最大池化层和一个Residual层. 通过以上改进使网络模型获取更多局部特征， 增强特征图感受野， 使模型能更好区分火焰之间微小差异. 有利于解决样本中类别不均衡和待检测目标大小差异较大问题， 丰富特征表达能力.

2 实验结果与讨论

2.1 烟火数据集

实验数据集主要通过互联网图片、 公开数据集/视频及自制视频截取获取， 通过数据增强处理后， 共获取12 500张图片. 数据集分类为火焰与烟雾两类， 其中烟雾包括室内外黑色烟雾和白色烟雾， 火焰包括室内外白天火焰和黑夜火焰， 以提高数据集泛化能力和不同场景识别精度.

对图片中包含火焰及烟雾区域进行标注为fire及smoke即可， 选用标注格式为PASAL VOC， 利用随机函数将数据集随机分成训练集和测试集， 其中训练集和测试集图片数量比例为4∶1， 在训练集中再细分为训练集和验证集比例为9∶1.

2.2 实验分析

本研究算法迁移COCO预训练网络. 迁移学习策略冻结前端特征提取网络， 根据训练集/测试集对剩余网络参数进行微调. 通过迁移学习方法能有效提高数据泛化能力， 减少训练时间. SGD动量设置为0.9， IOU阈值为0.5， 初始学习率为0.001.

实验基于Ubuntu18.04系统， 以Pytorch作为开发框架， 计算采用NVIDIA GeForce GTX 2070Ti和Intel i7-9750H， 内存大小为16 G. 数据集检测样本如图4所示. 应用迁移学习对网络模型进行训练(见图5)， 可知网络迭代次数至200之后， 损失值趋于平缓.

图4 火灾检测样本Fig.4 Detected samples in the fire dataset

(a) Loss 曲线 (b) mAP@0.5 曲线图5 改进算法Fig.5 The improved algorithm

表1 目标检测结果分类

火灾检测算法通常以真阳例(true positive， TP)率， 即在所有火灾图片中检测到含火灾图片的比例作为性能评价指标. 除TP外， 样本还可被分为FP、 真阴例(true negative， TN)和假阴例(false negative, FN)， 具体详见表1.

卷积神经网络火灾检测算法指标评价采用漏检率、 误检率、 准确率、 AP、 mAP， 计算公式为：

(11)

(12)

(13)

本研究算法与基础YOLOv3算法对比(消融实验)详见表2. 算法检测各性能指标(漏检率、 误检率和准确率)对比详见表3. 算法平均精度和检测时间对比详见表4.

表2 消融实验

表3 算法检测性能对比

表4 算法平均精度和检测时间对比

综上实验结果可知， 数据增强后算法在mAP方面提高了1.3%， 查准率为96.63%. 并且， 在数据增强基础上对YOLOv3网络结构进行改进， YOLO v3_数据增强_改进结构算法相对YOLO v3_数据增强算法在mAP方面提高了2.7%， 查准率为97.12%. 此外， 该算法对比YOLO v3_数据增强_改进结构在mAP方面提高了1.5%， 而相对传统YOLOv3提高了5.5%， 查准率为97.84%. 消融实验结果表明， 在数据增强基础上， 对损失函数进行改进后， 算法在mAP上提高了2.3%. 在YOLOv3添加数据增强算法而损失函数保持不变条件下， 分别对添加SPP、 SE-Net和SPP+SE-Net网络结构进行对比， 改进后算法在mAP上分别提高了1.6%、 2.2%与2.7%. 通过实验分析可知， 因为烟雾形态具有多样性， 更容易受到天空背景、 环境光照度、 色调等因素影响， 算法对火焰识别精度整体比烟雾高.

3 结语

研究基于YOLOv3模型结构分析， 改进网络结构以增强网络对局部信息的理解， 使模型能够更好区分火焰间微小差异， 有利于解决样本中存在类别不均衡和待检测目标大小差异等问题. 改进YOLOv3损失函数， 预测边界框可靠性， 减少负样本. 为提高数据集泛化能力， 对数据集进行了数据增强处理. 以实际烟火现场图片为对象， 完成烟火识别过程计算. 依据不同拍摄角度、 光照条件下自制火焰和烟雾数据集测试结果， 本研究提出的改进YOLOv3算法平均精度较基础算法提高了5.5%. 研究结论有利于促进视觉巡检机器人、 自动化安防系统等智能装备的研制， 为提升公共火情防控和快速抢险救灾能力提供了工程探索与方法储备.