基于卷积神经网络的烟火智能识别算法应用研究

刘红燕 李 谨 唐 振 赖 哲

（珠海供电局，广东 珠海 519000）

0 前言

在很长一段时间内，对烟火进行识别所采用设备均为传感器，强调通过传感器对火焰燃烧给温度、颗粒物密度产生的影响进行检测，根据参数变化情况得出最终结论。但传统方法在成本、智能程度还有覆盖面积等方面的表现均无法满足当今社会要求，基于此，研究人员提出引入深度学习法，依托YOLOv3将目标检测相关问题向回归问题进行转化，在改进损失函数、网络结构的基础上，对边界框所具有可靠性进行预测的方式，使物体识别精度最大程度接近理想水平。研究成果可为研发巡检机器人、全新安防设备等工作助力，随着火情防控力度得到提高，抢险能力自然可得到保证。

1 研究背景

以往对图像进行识别的算法，均要人工筛选并对特征进行提取，只有在确定图像特征后，才能对其进行识别。常见提取识别方法包括以下几种：其一，先通过区域分割的方式，提取各亮点区及疑似区域对应边界链码，再对各区域对应圆形度进行计算，借助BP神经网络展开检测并得出最终结论。其二，对火焰候选区域所表现出空间、时间特征进行提取，利用改进所得纹理描述法对地形特征进行统计，借助BP神经网络完成识别工作。其三，由高斯分块模型负责划分动态区域，由统计颜色概率的模型负责对各区域所表现出颜色特征进行提取，同时对疑似区域进行分割，根据各区域圆形度对其内部是否有火焰、火灾存在进行判断。

上述方法均要提前完成处理和分割图像的操作，从而确保所得到烟雾、火焰特征具有实际意义，但相关算法均无法被用来对低纹理、中纹理图像特征进行准确提取，极易出现漏检或是误检的情况。将深度学习用于图像识别，可确保所得到算法具有自我学习的能力，对复杂图像特征进行提取的速度也会得到显著提升，与手工筛选相比，由智能算法对特征进行提取，通常更利于事物本质的表达。有学者选择利用传统算法，深度学习算法，Dense-SIFT算法，分别对高大空间内部烟火进行检测，对检测结果进行分析可知，在隐层数量固定的前提下，深度学习算法所取得效果较其他算法更为理想。另外，相关研究还对ResNet、AlexNet和VGG等模型进行了运用，根据识别早期烟雾及火焰的结果可知，全新模型在识别精度方面均较传统模型更为理想，现阶段，国内外学者均将目光聚焦于烟火目标检测，力求能够获得与以往不同的全新算法，为防控火情等工作的开展助力。

2 算法理论概述

2.1 检测过程分析

YOLOv3由预测层、特征提取网络构成，其中，预测层的数量为3个，可被用来对物体类别、所处位置进行直接预测。YOLOv3的创新之处在于以融合多尺度特征为前提，得出最终预测结论，可使颗粒度特征得到最大程度保留，即使检测对象存在被遮挡或大小不同的情况，同样可保证检测结果具备理想精度。而利用Residual对特征提取网络进行处理的目的，主要是对参数量、模型复杂程度加以控制，此举一方面能够增强收敛效果，另一方面可使深层网络较易出现梯度消失情况的问题得到解决。全卷积网络所包括卷积层的数量为53个，将LeakyRelu作为激活函数，利用Residual对各卷积层进行有效连接，确保初始数据能够跳过指定层而到达网络层，在保证预测精度的前提下，缩短预测时长。

2.2 增强采集数据

目标检测对象以检测目标存在显著差异或较为复杂的场景为主，对相关数据进行采集时，研究人员应该重视以下内容：一是目标场景。对烟火进行检测的环境往往较为复杂，通常存在建筑遮挡或光照差异大的情况，要想使模型尽快适应不同场景并完成预测工作，关键是要对采集数据的环节进行优化，增加数据集所存储数据的数量及复杂程度。二是目标多样性。即使检测目标固定，在不同角度对其进行拍摄所得图片往往也会存在一定差异，鉴于此，在实地采集数据的环节，研究人员应考虑不同视角，确保设计所得模型能够从不同角度对检测目标进行判断，并得出准确结果。

以图1为例，研究人员借助数据增强算法，分别对图片进行了剪切、调节色域、变换角度以及缩放处理，对处理所得图片进行合并的方式，使检测物体背景得到丰富。虽然物体形态、背景亮度存在细微差异，但其本质仍然为烟雾、火焰。

图1 对图片数据进行增强的效果对比

3 建立相关模型

3.1 高斯建模

传统检测器无法杜绝误定位的情况发生，而改用高斯建模可有效解决该问题，高斯建模所预测对象以边界框置信度为主，对边界框相关信息进行获取的方式，为算法所具有精度提供保证。该模型的特点是利用正态分布曲线，对事物进行精确量化。为保证所建立模型可发挥应有作用，有关人员应重视以下内容：灰度直方图所反映信息以图像出现特定灰度值的频次、概率密度为主，若图像背景区域与目标区域存在较大差异，对应灰度直方图往往会呈现出双峰谷的形状，双峰分别对应目标和中心灰度。一般来说，只需将多峰特性视为高斯分布叠加，就可以使图像分割问题迎刃而解。该文所研究算法利用t，t，t，t对边界框坐标进行表达，研究人员可利用高斯分布函数对以上数据进行建模，从而判断边界框是否具备良好可靠性。若将测试输入设定为，高斯模型设定为，则可利用公式（1）对高斯参数进行表示。

式中：为高斯参数；为高斯函数对应数据具体数量。()为的平均值。∑()代表的方差。

为准确判断边界框定位是否可靠，该模型将对特征图所包含边界框坐标的平均值及方差进行预测。研究人员以该算法检测层所表现出结构特点为依据，提出利用以下方法对高斯参数加以处理，如公式（2）所示。式中：t、t、t、t分别为各坐标分量对应高斯分布的平均数值，即预测坐标分量。∑、∑、∑、∑分别为坐标分量对应高斯方差，通常被用来衡量坐标分量定位所具有不确定性。

3.2 改进函数

考虑到本次高斯建模的主体为边界框坐标，通常只需对相关损失函数进行重设即可，类别损失函数、目标损失函数均不需要加以调整。基于边界框相关数值对损失函数进行重设所得结果如公式（3）所示。

在该函数表达式中，L代表坐标分量对应损失函数（坐标分量用t代表）。对其他损失函数进行计算的方法，可沿用L所用算法。代表图片横向网格数（宽度）。代表图片纵向网格数（高度）。代表锚框数量。为损失函数具体数量。μt（x）代表算法检测层所输出数值，即在网格（，）中锚框对应t坐标。∑t（x）同样代表检测层所输出数值，其所描述对象为坐标t所具有不确定性。x ijk代表坐标分量对应标签值。

式中：代表尺度权重，通常以训练过程中物体的尺寸进行分配。δ 为网格(，)中锚框与相关标签值的交集，若该交集可达到最大值，则可将δ 参数设定为1，若交集未达到最大值，通常将该参数设定为0。的取值是10。

在确定以上参数值后，研究人员便可根据类别分数、边界框所具有不确定性、目标分数完成检测任务，本次试验所采用检测标准如公式（6）所示。

C=（）×（Class）×（1-Uncertainy） （6）式中:C代表监测标准。()代表目标分数。(Class)代表物体对应分数。Uncertainy代表边界框所具有不确定性的平均数值，其取值范围为0~1，若类别分数、目标分数确定，边界框可靠性将与不确定性成反比，即：边界框可靠性可随着不确定性的降低而提高。

研究表明，传统检测器无法彻底杜绝误定位（即假阳例）情况出现。火灾往往具有极易被场景所干扰、类型相对复杂等特点，对其进行检测时，出现误定位的概率较大，对自动灭火平台来说，一旦有误定位情况存在，极易使自身出现闯入火灾、意外制动或其他过度反应，甚至造成碰撞、错误报警乃至爆炸的严重后果。鉴于此，利用高斯函数对损失函数进行设计，获得相应的边界框模型极为重要，这是因为高斯建模可被用来对边界框所具有可靠性进行预测，并根据置信度函数对其损失进行计算，定位精度自然可得到显著提高。对该模型加以应用，不仅能够降低误定位的概率，还可以避免自动灭火平台陷入危险，最大化地实现其价值。

3.3 改进网络

该试验所用SE-Net可被拆分成Excitation及Squeeze，其作用主要是增强模型敏感度，提高模型识别channel精度，同时对特征通道所存在依赖关系进行构建。Excitation的作用主体为全局特征，具体来说，就是利用全连接层对参数量、学习难度加以控制，确保所得到channel权重与实际情况相符。而Squeeze的核心功能是对特征图进行转换，从而获得具有全局感受野的数值。正是因为特征提取网络的加入，才使该文所设计算法能够通过预测得出准确结果。考虑到Residual层主要负责对各层特征进行融合，研究人员最终决定以Residual层为载体，在嵌入SE-Net的基础上，根据全局池化平均值对特征图进行输出的通道数量进行设定，确保所获得子结构扩大特征图感知范围。

另外，由于需要对图片局部信息与特征进行快速获取，研究人员还在网络结构中新增了SPP块。SPP块可被拆分成4个分支，具体包括Residual层1个、最大池化层3个，各分支的位置关系为并行。事实证明，对网络模型进行上述调整，可增强其对局部特征进行获取的能力，同时可以增强特征图感受，能够准确判别火焰所存在微小差别，样本所存在检测目标差异大、类别不均等问题迎刃而解，该模型对特征进行表达的效果也将更接近研究预期。

4 试验结果讨论

4.1 烟火数据集

获取试验数据集的途径为公开数据集、互联网图片与视频，研究人员共截取了12000张图片，在对所截取图片数据进行增强处理的基础上，将其划分成烟雾数据集、火焰数据集两类，烟雾数据集又分为白色烟雾、黑色烟雾，而火焰数据集所包括数据，主要为室内/室外在白天及黑天的火焰，这样设计的目的有两个，一是确保数据集具备良好的泛化能力，二是做到精确识别不同场景。分别利用smoke、fire标注图片烟雾区、火焰区，标注格式以PASALVOC为主，随后，经由随机函数对数据集进行划分，获得研究所需测试集、训练集，二者所包括图片总量的比值为1∶4，其中，训练集又分为验证集、训练集两部分，二者所包括图片总量的比值为1∶9。

4.2 试验讨论

该算法向预训练网络进行迁移，采用对前端特征进行冻结的方式，达到提取网络的效果，再以测试集、训练集为依据，调整剩余网络参数，使其具有实际研究意义。事实证明，迁移学习可使数据所具有泛化能力得到显著提高，训练环节用时随之减少。假设SGD动量为0.9，对应IOU阈值是0.5，学习率初始值为0.001。

该试验所使用系统版本为Ubuntu18.04，开发框架为Pytorch，同时配备16G内存，在基于数据集对检测样本进行采集的前提下，利用迁移学习完成训练网络模型操作，可得出“在迭代次数达到200次时，损失值变化幅度有所减小”的结论。

对火灾检测算法进行评价的核心指标为真阳例率，即对全部火灾图片进行检测所得存在火灾情况的图片占比。另外，还可将样本划分成假阴例与真阴例，通常用及加以表示。研究结果表明，对数据进行增强处理后，该算法对应值较初始数值提高了约1.3%，对应查准率可达96.6%左右，与此同时，研究人员还对传统网络结构进行了调整，改进所得算法对应至较初始数值提高了约2.7%，对应查准率高达97.1%。若以传统网络结构为参照物，经过数据增强、结构改进处理的网络结构，其值较初始数值共提高了约5.5%，对应查准率在97.8%左右。结合消融试验所得结果可知，以数据增强为前提，改进损失函数可使算法值提高约2.3%，若仅对数据进行增强，而不对损失函数进行调整，改进算法值较SPP结构提高约1.6%，较SE-Net算法提高约2.2%，较综合算法提高约2.7%。考虑到烟雾的表现形态并不固定，极易被色调、天空背景以及外界光照度所影响，利用该算法识别烟雾的精度，通常无法达到火焰识别所具有精度，这点需要尤为注意。

5 结论

综上所述，以YOLOv3为基础，通过调整网络结构的方式，使网络具备快速理解局部信息的能力，有助于模型对火焰所存在微小差异进行准确区分，样本所存在目标差异明显、类别不均等问题也可得到有效解决。在对损失函数加以改进的前提下，将边界框所具有可靠性纳入预测范围，可使负样本数量得到减少，数据集所表现出泛化能力随之提高。通过增强数据的方式改进数据集所产生积极影响，主要是能够使预测精度最大程度接近预期水平，未来相关内容仍然是研究重点，应引起重视。