一种基于轻量型神经网络的火情早期预警方法

文章编号： 1006-9798（2024）03-0007-06； DOI： 10.13306/j.1006-9798.2024.03.002

摘要： 为了提高火灾检测效率，基于模型压缩思想提出了一种火情早期实时检测模型FRDnet （Fire rapid detection network），利用低值滤波器修剪策略优化ShuffleNetV2网络，优化后的网络参数量比原网络减少了50%，提高了运算效率。针对检测结果假性的问题，提出了基于阈值判定的预警逻辑，提高了预警的鲁棒性。在公开数据集上的实验结果表明，模型的检测精度达到了95%，检测效率达到了44 fps；预警逻辑使模型能够在火情发生45 s内发出报警信号，表明模型在火灾发生早期能够快速准确预警。

关键词： ShuffleNetV2； 滤波器修剪； 检测效率； 火情早期预警

中图分类号： TP391文献标识码： A

尽早发现火情并迅速发出警报，对保障个人生命和财产安全至关重要。传统的视频火灾检测技术依赖人工提取火焰的静态特征[1]或动态特征[2]，通过支持向量机（Support Vector Machines， SVM）等经典机器学习方法分类识别技术在提取特征时难度大、耗时长，难以保证火灾预警的实时性。随着深度学习的发展，火灾检测的关注点从火焰浅层的、局部的特征转移到全局的深层特征中。部分研究人员将卷积神经网络（Convolutional Neural Network， CNN）架构（VGG16和ResNet50）应用于火灾检测，提高了特征分类精度，但大量的参数输入导致计算处理时间过长，无法保证检测的实时性[3-5]。随后VGG16网络三个全连接层合并为一个全连接，最后两个最大池化层优化为平均池化层，在保持准确度的基础上尽可能地降低网络复杂度[6]。CNN架构[7]引入深度可分离卷积，传统的H×W滤波器被拆分为H×1深度滤波器和1×W点滤波器，减少了浮点运算的数量和网络中总体参数量。许帅等[8]采用深度可分离卷积和倒置残差结构构件主干网络，达到降低网络参数量的目的。使用一种不降维的ECANet替换MBConv模块中的SENet能降低模型复杂度[9]。在保持模型原始精度的前提下，提出一次性修剪再训练策略，通过修剪对输出精度影响很小的卷积滤波器达到降低CNN架构复杂度的目的[10]。已有研究大多通过替换或修改网络中的模块来降低模型复杂度，并未考虑假性检测结果对预警结果的影响。为进一步降低模型复杂度，提高检测效率，本文提出以ShuffleNetV2网络[11]为骨干的火情预警方法FRDnet （Fire l3DHNVoMPuGLRu05fUYNVQ==rapid detection network），使用视频帧全帧作为输入进行二元火焰检测 {Fire， NonFire}，采用滤波器修剪策略[11]降低FRDnet复杂度；为消除假性检测结果（假阳性、假阴性）对预警结果的影响，提出了基于阈值判定的预警逻辑，避免火情误警、漏警。

1火灾预警方法

1.1FRDnet模型

与VGG16和ResNet50网络相比，ShuffleNetV2网络的卷积为深度可分离卷积，网络结构更紧凑，且在ImageNet[12]分类任务上性能优于前两者，因此以ShuffleNetV2作为骨干网络继续优化更有优势。三种网络结构的计算量及ImageNet分类任务的性能见表1。

ShuffleNetV2的结构包括常规单元和还原单元（图1），常规单元将数据按通道拆分后送入两个分支，其中一个分支中l3DHNVoMPuGLRu05fUYNVQ==数据保持不变，另一个分支中数据经过2个1×1卷积和1个3×3深度可分离卷积，输出维度与输入维度相等，对两个分支的数据按通道进行拼接和洗牌，达到分支混合的目的。还原单元不进行通道拆分，两个分支接收输入数据的整体，其中3×3深度可分离卷积的步长为2。点向卷积和深度像卷积的使用使网络可在不增加参数量的情况下进行深度运算。

FRDnet的初始化模块由一个3×3的卷积层和一个3×3最大池化层组成；特征提取模块有三组常规单元与还原单元，每组中仅有一个还原单元，常规单元的个数分别为 3，7，3；预测与输出模块有一个逐点卷积层、一个全局池化层和一个全连接层，网络结构见图2。为保证FRDnet的检测精度，使用ShuffleNetV2网络在ImageNet数据集上的预训练模型进行迁移学习：将预训练模型的全连接层替换为映射二元分类{Fire， NonFire}的线性层（图2，FC），先训练新的线性层，冻结其余模块；后解冻并训练预训练模型的的最后一个卷积层[11]。降低了权重变更对检测性能的影响，同时避免了训练过程中过度拟合，并且可以增加模型训练时长得到更好的泛化能力。为降低FRDnet的复杂度，提高检测效率，采用滤波器修剪策略[10]对一维卷积层（如图2，1×1Conv）进行修剪优化，因为ShuffleNetV2网络的参数有2/3集中在最后一个卷积层[11]。

滤波器修剪技术用于优化深度神经网络，减少模型的计算复杂度和存储需求，从而提高模型的效率；其原理是用权重值的大小评判滤波器的重要性。对于一个滤波器，将所有权重值的L1范数作为该滤波器的评价指标，排序并裁剪所得值小的滤波器。对一维卷积层裁剪m个滤波器的过程：

1）对每个滤波器Fi，计算其L1范数si=∑nl=1Kl，其中n为滤波器的输入通道个数；

2）对si由小到大排序，选取前m个进行裁剪。

为了获得最优的修剪数量，实验设定先从128个（最终卷积层中滤波器数量的1/8）滤波器开始修剪，只要精度不大幅度减小，每次迭代增加128个；当精度明显减小后，从当前迭代次数开始每次增加64个滤波器，以此类推，其中对照组模型选择InceptionV1OnFire，因其网络架构最后一个卷积层是同样的1×1卷积。最终得出ShuffleNetV2网络最优的修剪个数为960个。实验过程中修剪个数对参数量的影响见表2，可知InceptionV1OnFire网络的1×1卷积层减少640个滤波器时就出现了精度明显下降的现象，继续修剪只会增加再训练的成本，且模型压缩的结果不如ShuffleNetV2，表明修剪策略对ShuffleNetV2网络更有优势。图3展示了因修剪个数的不同，参数量与精度的关系。

1.2预警逻辑

根据FRDnet网络的输出，当某一帧被检测为Fire时，该帧与之后的99帧（共100帧）定义为P0，P1，…，P99。根据局部均值（式1），设定自适应阈值β（式2），其中ω是局部均值的窗口大小，Ni是窗口内实际存在的有效数据点数量，xi+j是数据序列中的元素，如果i+j>99，则该元素不计入求和。根据100帧中为Fire的帧个数的占比T与阈值比较的结果判定是否有火灾发生，如式（3）。针对FRDnet进行检测时假性结果会导致误判的问题，规定当前100帧内如果有连续的ω帧（即窗口大小）检测结果为NonFire，则判定无火灾发生；重新检测出为Fire的帧定义为新的P0，重新进行预警判断。预警逻辑见式（3），其中W为预警结果，V是一个长度为ω的一维向量，V=Pvi，Pvi+1，…，Pi+ω，表示连续ω帧的检测结果。窗口的大小对自适应阈值有重要影响，但其超参数的性质需要进一步实验选取。

mi=1Ni∑kj=－kxi+j，（k=ω－12）（1）

β=110∑99i=0（mi－1100∑99i=0mi）2（2）

W=1，T>β

W=0， T≤β

W=0，V=0（3）

2实验及评估

2.1实验过程

实验选择FireNet[13]和KMU Fire and Smoke[14]数据集，其中FireNet中有46个火灾场景的视频和16和非火灾场景的视频，KMU Fire and Smoke数据集由4类视频片段组成：室内和室外场景的近距离火焰、室内和室外场景的近距离烟雾、森林山火、烟雾或火焰状移动的物体，共有308 MB的视频序列。对数据集视频序列整合并按照二元分类标注后，将数据集切分，训练集和测试集的数量分别为70、30个视频段，比例为7：3。实验硬件： PC机CPU为Intel Core i512400F，16GB RAM，GPU为NVIDIA GTX1070Ti 8GB，树莓派4B（Raspberry Pi，RPi）CPU为BroadcomBCM2711，15 GHz，4GB RAM。

网络由PyTorch[15]实现，训练配置使用随机梯度下降（SGD）进行反向传播优化，二元交叉熵损失函数，学习率lr=00005，迭代次数epoch=50。

预警逻辑验证实验流程见图4，选择FireNet数据集共62个视频片段做测试视频，分别计算不同ω下46个火灾场景视频的平均预警时间ti|ω和相同ω下所有火灾视频的平均预警时间Tω（式4）；最后对不同ω测试所有的非火灾场景视频，根据平均预警时间和误警结果确定最优的ω。

2.2评价指标及结果

模型采用真阳率（TPR）、假阳率（FPR）、Fscore（F）、精度（P）、准确率（Acc）、复杂度（C，单位：百万）和每秒能够检测的帧数（fps）为评价指标评价算法的检测性能，以ShuffleNetV2、FireNet和Inception V1OnFire网络为对照组[16]。统计性能和计算效率见表3，模型进行火灾检测判断结果见图5，不同ω下预警时间t见图6。

可知，预警时间t与fps有关，3个平台中GPU的预警时间t最短；不同平台的预警时间随ω值的变化趋势相似，说明模型的检测能力不受硬件的影响；在对非火灾场景视频进行测试中，ω≤9时均出现了误警情况，表明窗口过小，无法对假性结果有效过滤，因此，确定ω=11时效果最优，预警时间在GPU上为164 s，CPU上达到了252 s，树莓派上达到了414 s，满足实时性要求。

由表3可知，FireNet网络无法部署在树莓派平台上；FRDNet假阳率最优，精度和准确率较修剪前的模型（ShuffleNetV2）有所下降，但优于其他对照组，真阳率为094，低于InceptionV1OnFire和ShuffleNetV2网络的096，但网络架构更加紧凑、复杂度最低。在CPU上运行时fps为44帧，在树莓派上运行时为26帧，在GPU上运行时为69帧，计算效率最高。

3结论

本文提出了一种基于ShuffleNetV2网络的火情预警模型FRDnet，通过削减网络中一维卷积层的滤波器数量优化了网络架构，网络复杂度减小到0156（C/百万），优于对照组网络的复杂度，同时优化过程中未修剪网络的特征提取模块，保证了模型的特征提取性能。在测试集上进行实验验证，验证结果表明检测精度达到了95%，对视频帧的检测速度达到了每秒44帧（GPU每秒69帧，Pri每秒26帧），优于对照组，提高了检测效率；平均预警时间在低成本硬件上达到了4 s，预警逻辑消除了假性检测结果产生的误警、漏警。相对于传统的预警方法实时性提高，满足了火警预警的实时性。为进一步提高小窗口火情预警的准确性，需要精确定位火焰在视频帧中的定位和火灾前期烟雾的检测。

参考文献

［1］ZHU L P， LI H Q， WANG F H， et al. A flame detection method based on novel gradient features [J]. Journal of Intelligent System， 2020， 29（1）： 773-786.

[2]ZHAO X， JI H， ZHANG D Y， et al. Fire smoke detection based on contextual object detection [C]∥3rd International Conference on Image， Vision and Computing， Chongqing， 2018： 473-476.

[3]SHARMA J， GRANMO O， GOODWIN M， et al. Deep convolutional neural networks for fire detection in images [C]∥International Conference on Engineering Applications of Neural Networks， Athens， 2017： 183-193.

[4]SIMONYAN K， ZISSERMAN A. Very deep convolutional networks forlargescale image recognition [EB/OL]. [2024-04-10]. https： ∥arxiv. org/abs/1409. 1556.

[5]HE K M， ZHANG X Y， REN S Q， et al. Deep residual learning for image recognition [C]∥IEEE Conference on Computer Vision and Pattern Recognition， Las Vegas， 2016： 770-778.

[6]董艳花， 张树美， 赵俊莉. 基于深度神经网络的有遮挡身份验证[J]. 青岛大学学报（自然科学版）， 2021， 34（2）： 45-52.

[7]HOWARD A G， ZHU M L， CHEN B， et al. Mobilenets： Efficient convolutional neural networks for mobile vision applications [EB/OL]. [2024-04-17]. https： ∥arxiv. org/abs/1704. 04861.

[8]许帅， 姜俊厚， 高伟， 等. 适用于移动设备的轻量化手势识别算法[J]. 青岛大学学报（自然科学版）， 2022， 35（2）： 51-56.

[9]马粤盼， 赵希梅， 张宁. 基于有效通道注意力EfficientNet的肝硬化识别[J]. 青岛大学学报（自然科学版）， 2023， 36（1）： 15-21.

[10]LI H， KADAV A， DURDANOVIC I， et al. Pruning filters for efficient convnets[EB/OL]. [2024-03-10]. https： ∥arxiv. org/abs/1608. 08710.

[11]MA N N， ZHANG X Y， ZHENG H T， et al. Shufflenet v2： Practical guidelines for efficient CNN architecture design [C]∥European Conference on Computer Vision， Munich， 2018： 122-138.

[12]DENG WaoCtLlK7UMtIwwTsHTt5w==J， DONG W， SOCHER R， et al. Imagenet： A largescale hierarchical image database [C]∥IEEE Conference on Computer Vision and Pattern Recognition， Miami， 2009： 248-255.

[13]JADON A， OMAMA M， VARSHNEY A， et al. Firenet： a specialized lightweight fire & smoke detection model for realtime iot applications[EB/OL]. [2024-03-04]. https： ∥arxiv. org/abs/1905. 11922.

[14]CHUL KO B， KWAK J Y， NAM J Y. Wildfire smoke detection usingtemporospatial features and random forest classifiers [J]. Optical Engineering， 2012， 51（1）： 017208.

[15]PASZKE A， GROSS S， MASSA F， et al. Pytorch： An imperative style， highperformance deep learning library[C]∥Advances in Neural Information Processing Systems， Vancouver， 2019， 32： 8026-8037.

[16]DUNNINGS A J， BRECKON T P. Experimentally defined convolutional neural network architecture variants fornotemporal realtime fire detection [C]∥25th IEEE International Conference on Image Processing， Athens，2018： 1558-1562.

Fire Fast Warning Method Based on Lightweight Neural Network

SONG Shimiao1， GU Feifan1， GE Jiashang1， YANG Jie1， SONG Shuxin2

（1.College of Mechanical and Electrical Engineering， Qingdao University， Qingdao 266071， China;

2. Jinan Zhangqiu District Agricultural Development Service Center， Jinan 250200， China）

Abstract：

In order to improve the efficiency of fire detection， a fire rapid detection network （FRDnet） was proposed based on the model compression idea. The lowvalue filter pruning strategy was used to optimize the ShuffleNetV2 network. The optimized network parameters were reduced by 50% compared with the original network， improving computing efficiency. Aiming at the problem of false positive detection results， a warning logic based on threshold judgment was proposed to improve the robustness of early warning. Experimental results on public data sets show that the detection accuracy reaches 95% and the detection efficiency reaches 44 fps. The early warning logic enables the model to issue an alarm signal within 4.5 seconds once a fire occurs， indicating that the model can provide rapid and accurate warning in the early stage of fire.

Keywords： ShuffleNetV2; filter pruning strategy; detection efficiency; early warning of fire

收稿日期： 2024-04-18； 修回日期： 2024-06-20

基金项目： 山东省自然科学基金资助项目（ZR2021MF025）

第一作者： 宋世淼（1998-），男，硕士研究生，主要研究方向为计算机视觉与机器人控制。

通信作者： 杨杰（1969-），男，硕士，副教授，主要研究方向为图像识别。Email： yangjie@qdu.edu.cn