基于YOLOv7和GMM算法的火焰实时检测方法

王振龙 陈彦 刘飞 王优优 杨罗刚 张佳铭

摘  要：石油化工行业生产现场大多具有易燃、易爆、高温和高压等特点，是安全监管的核心区域。针对目前安全监管区域主要依靠监控视频回放及人工检查方式，导致实时性差、安全性低的问题，该文提出一种基于YOLOv7和GMM算法的火焰实时检测方法。首先，通过生产现场对数据实时采集和分析，基于YOLOv7在目标检测领域的优势，实现对疑似火焰区域的检测；其次，结合火焰特有的动态特征，利用GMM模型对检测结果中的疑似火焰区域进行排除，如灯光、太阳光等；最后，利用形态学操作方法，进一步提高对真实火焰检测的准确性。通过实验结果表明，该方法能够滤除疑似火焰的干扰，有效检测出真实火焰，且在复杂背景下仍有很好的抗干扰能力和识别准确率。

关键词：易燃；高温；YOLOv7；GMM；形态学操作

中图分类号：X932      文献标志码：A          文章编号：2095-2945（2024）05-0001-06

Abstract： Most production sites in the petrochemical industry have the characteristics of flammability， explosion， high temperature， and high pressure， and are the core areas of safety supervision. Aiming at the problem that the current safety supervision area mainly relies on surveillance video playback and manual inspection， which leads to poor real-time performance and low security， a real-time flame detection method based on YOLOv7 and GMM algorithm is proposed in this paper. First of all， through the real-time data collection and analysis on the production site， based on the advantages of YOLOv7 in the field of target detection， the suspected flame area is detected; secondly， combined with the unique dynamic characteristics of the flame， the GMM model is used to eliminate the suspected flame area in the detection results， such as light， sunlight and so on; finally， the morphological operation method is used to further improve the accuracy of real flame detection. The experimental results show that this method can filter out the interference of suspected flame， detect the real flame effectively， and still has good anti-jamming ability and recognition accuracy under complex background.

Keywords： flammability; high temperature; YOLOv7; GMM; morphological operation

目前，石油化工行业普遍没有实现安防重点如明火、烟雾等实时检测与告警，导致火灾的频发。火灾的发生一直威胁着人们的生命和财产安全，严重时不仅造成巨大经济损失，而且导致人员的大量伤亡[1-2]。为最大程度地降低火灾给石化工厂带来的潜在风险，及时侦测并迅速扑灭火患，需要对火灾的发生进行實时、准确地检测。

由于火焰的突发性和频发性，前人一直在寻找更加及时有效的火焰检测方法。文献[3]提出了一种利用RGB颜色空间进行火焰检测的方法，通过对RGB三通道不同的图像特性进行分析来实现火焰识别。文献[4]提出了一种基于YOLOv4的火焰检测算法，利用CSPDarkNet53作为骨干网，通过SPP和PANET结构增强特征提取网络，平均检测精度达91.68%。文献[5]介绍了一种基于帧差法的火焰检测方法，使用面积增长比作为判别帧数差的依据进行火焰识别。文献[6]提出一种基于改进的YOLOv5检测算法进行火焰检测的方法，通过嵌入协同注意力机制模块和改进损失函数来实现火焰检测。传统的火焰检测方法在一定程度上实现了火焰检测的功能，但由于石油石化行业应用场景复杂、准确率要求高、场景落地困难，仍存在误检率大、检测速度慢等问题，无法满足石油石化行业生产现场对火焰检测实时性和准确性的要求。

随着图像处理和计算机视觉技术的发展、视频监控的普及，火焰的实时检测已成为目标检测领域的热点问题[7]。本文提出一种基于YOLOv7和GMM算法的火焰实时检测方法。在确保视频图像火焰检测速率的同时，融合火焰独特的动态特征，更进一步地滤除可能的误检情况，从而极大提升火焰检测的准确性。

1  YOLOv7网络模型介绍

YOLOv7算法[8]是被广泛使用的目标检测网络之一，凭借检测精度高、推理速度快等特点，在各种工业领域已取得了不错的成果[9-10]。同时，YOLO也一直在更新迭代，目前YOLOv7是综合表现最好的版本，也是更符合火焰实时检测的要求。

YOLOv7是由YOLOv4团队的原班人马提出的。目前，无论是在实时性还是准确率上都已经超过了目前已知的目标检测算法[11-12]，在30 FPS的情况下，最高的模型AP值可达56.8%。YOLOv7网络结构主要分成3个部分：input、backone、Neck&Head。

1.1  input

Input端包括Mosaic数据增强、图片尺寸处理、自适应锚框计算3部分。采用Mosaic方式增强数据，这种方式对小目标检测效果比较理想，符合本文小目标火焰的检测需求。

1.2  Backbone

Backbone由BConv层、E-ELAN层及MPConv层交替减半长宽，增倍通道，提取特征。其中BConv层由卷积层+BN层+激活函数组成，激活函数为ReakyReLu；ELAN层由不同的卷积拼接而成，ELAN模块是一个高效的网络结构，具有更强的鲁棒性。MPConv模块有2个分支，作用是进行下采样，减少运算量和参数量，加快计算速度并防止过拟合。

1.3  Neck&Head

颈部（Neck）&预测头（Head）层通过SPPCPC层、若干BConv层、若干MPConv层、若干Catconv层及后续RepVGG block层组成。SPPCSPC层中SPP能够增大感受野，使得算法适应不同的分辨率图像。Catconv层与ELAN层的操作基本相同；RepVGG block层中REP在训练和部署的时候结构不同。训练模块有3分支，最上面的分支是3x3的卷积，用于特征提取；中间的分支是1x1的卷积，用于平滑特征；最后的分支是Identity，用于恒等映射。推理模块，包含一个3x3的卷积，stride参数，在模型重参数化时，将1x1的卷积和Identity，转换成3x3的卷积，最后将三者进行相加，实现矩阵的融合。利用单路网络的优势提升推理速度，从而实现高性能和高速度的平衡。

2  GMM运动目标检测算法

运动目标检测是基于运动目标的特性，从连续的视频序列中抽取出运动区域的过程，其中这些运动区域被赋予前景的角色，而静止部分则成为背景的一部分[13-15]。在石油石化行业生产现场中还存在许多与火焰颜色很类似的物体，如照明灯、太阳等，将对提取真实的火焰区域带来阻碍，因此还需借助火焰特有的动态特征进一步筛选出真实火焰。本文利用GMM（高斯混合模型）对火焰特有的动态特征进行分析，有效排除检测结果中误判的情况，从而提高火焰检测精度。

2.1  高斯混合模型

高斯混合模型（GMM）是一种以像素样本统计为基础的背景建模方法[16-17]。假设像素之间的色彩信息相互独立，因此对视频图像中的每个像素点，其值的变化可以被视为不断生成新像素值的随机过程，而在统计学上，这个随机过程呈现高斯分布的形态。现实中火焰视频图像中由于光线变化、物体微小抖动等，每个像素点分布通常服从多峰高斯分布。运动检测算法流程包括[18]GMM参数的初始化、模型参数的更新、运动目标检测。

2.1.1  GMM参数初始化

在运动检测中，通常统计一段时间内的视频图像信息对各高斯模型参数进行初始化：选取连续的帧图像，计算这些图像中每个像素位置的灰度平均值和方差来初始化各高斯分布的均值矩阵μ0和方差矩阵σ02，公式如下

式中：μk，0表示第k个高斯分布的均值矩阵；σ表示第k个高斯分布的均值矩陣；N表示选取连续的N帧图像；参数初始化中，对视频序列I（i=1，2，…，N）进行累积采样。

2.1.2  混合高斯模型参数更新

当GMM模型参数初始化状态结束后，开始进行下一步的运动目标检测。从实时视频中获取t时刻视频帧，将像素位置（x，y）得到的灰度值It（x，y）与当前的k个混合高斯模型进行匹配判断，若It（x，y）与第k个模型得到匹配则标记Mk，t=1；若没有与第k个高斯模型得到匹配则标记Mk，t=0，公式如下所示

It（x，y）-μk，t-1（x，y）≤c·σk，t-1（x，y），

式中：c是经验参数，一般取2～3得到的检测效果较为理想。匹配结束后根据各个标记M值对第k个高斯模型的权重参数ωk，t（x，y）进行如下更新

ωk，t（x，y）=（1-α）·ωk，t-1（x，y）+Mk，t·α。

若存在某个Mk，t=1，则对像素点对应的第k个高斯模型的均值和方差作如下更新

若像素值It（x，y）与所有模型都未得到匹配，则用值It（x，y）取代最后一个高斯模型对应位置的均值，并重新为该模型的（x，y）处分配一个较大方差和较小权重。α是权重的学习率，αε[0，1]，β是均值和方差的学习率，且βε[0，1]。

2.1.3运动检测

在混合高斯模型中，为了得到t时刻的背景模型，必须对当前t时刻所有k个己经完成参数更新的高斯模型做调整：首先对每个像素位置模型权重作归一化处理，公式如下

其次，按照ωk，t（x，y）/σ（x，y）从大到小的顺序对所有高斯模型重新进行排序，并选取前B个满足如下公式，将该模型作为背景分布，其中τ是权重阈值。

最后，将当前像素点值It（x，y）与上式得到的B个背景模型进行如下公式的匹配判断，如果找到一个模型k满足式，则认为该点在t时刻呈现的是背景信息；否则，判断该点为运动前景。

2.2形态学操作

形态学操作在图像处理领域应用非常广泛，在诸多行业领域已取得巨大的成功[19]。形态学能够保证在图像基本形状不变的前提下，去除不相关区域的部分，如噪声、边缘毛刺等。在运动目标检测算法中，图像背景往往不是一直不变的，经常处于一种细微变化的状态，导致背景物体误检测为前景。

2.2.1腐蚀

腐蚀运算是指将那些孤立边界点去除掉，使得其边界收缩的运算，其本质是计算局部最小值。用结构元素B对图像A做腐蚀操作可记为AΘB，公式如下所示

式中：Bx为结构元素，Bx中的下标x=（x1，x2）表示结构元素的参考点在图像中的坐标。

腐蚀操作使原始图像的凸起部分受到侵蚀。在周围环境为背景的情况下，可能被错误识别为前景的火焰能够通过腐蚀操作得以清除，然而这一操作也会对前景中的火焰轮廓产生一定影响。

2.2.2  膨胀

膨胀操作是将与目标物体接触的像素点融合到物体中，从而扩展其边界，本质上是计算局部最大值的运算。这一操作能够将物体的范围逐渐扩大，以实现边界的增强和形态的变化。用结构元素B对图像A做膨胀操作，记为A⊕B。公式如下所示

式中：A为图像，B为结构元素，表示B集合反射，（）z表示对B反射进行位移z。

在形态学处理中，腐蚀和膨胀是最为基础且至关重要的2种操作，许多其他形态学算法也是由这2种基本运算相互组合而成的。本文选用了开运算的策略，即先腐蚀后膨胀。

3  火焰实时检测方法

3.1  火焰实时检测流程

本文所提出的火焰检测方法的整体实现流程如图1所示。

3.2  數据集建立

样本集是深度学习网络的基础，优秀的样本集让模型有更强的鲁棒性和泛化性。本文实验数据集图像大小为420×420像素，由公开火焰数据集和互联网收集共8 000张图像，其中火焰图像为6 510张，非火焰图像为1 490张。根据8∶2的比例划分，生成6 400张训练集和1 600张测试集，如图2所示。样本集采用PASCALVOC格式，图像标注使用LabelImg，标注后文件以xml作为后缀存储，通过数据转换代码将标注文件转换为YOLOv7模型可用的txt文本格式。划分见表1。

3.3  模型训练

实验环境使用 Ubuntu16. 04操作系统，选用Pytorch架构，使用NVIDIA A100 Tensor Core GPU进行运算，利用Python语言编写程序代码，实现火焰检测模型的训练和测试。具体实验配置见表2。

训练过程中优化器采用SGD；输入尺寸420×420；batch_size为16；迭代批量大小为128；衰减系数0.005；迭代次数为150次；初始学习率为0.001。

3.4  模型对比

为了有效分析改进后模型的性能，本文使用相同的数据集和训练参数设置分别对YOLOv3、YOLOv4、YOLOv5、YOLOv6和YOLOv7网络进行训练，将本文使用的YOLOv7模型与其他模型的mAP（0.5）曲线绘制在同一个坐标系中，如图3所示，mAP（0.5）值越大，表明检测的准确率越高，网络性能越好。从图中可以看出，基于YOLOv7的火焰检测模型在30次左右收敛，在阈值设定为0.5的前提下，平均检测精度（mAP）在94%以上。相比其他模型，收敛速度更快，且准确率更高。

为进一步分析本文模型在火焰检测上的性能，将本文所采用的火焰检测模型与各主流目标检测模型进行对比，以Precision（查准率）、Recall（召回率）、mAP（平均精确率）为主要指标，5种模型的对比结果见表3。与YOLO系列算法相比，本文改进模型比YOLOv3、YOLOv4、YOLOv5和YOLOv6原始模型的mAP（0.5）检测精度分别提高了13.04%、8.42%、1.07%和1.63%。

3.5  测试结果

为全面评估基于YOLOv7的火焰实时检测的效果，选取视频帧数据进行火焰检测测试，以验证模型的可靠性。测试结果如图4所示。可以看出，基于YOLOv7的火焰实时检测中精确度较高，满足工厂需求。但在检测过程中也伴随着一些误检情况，主要是工厂灯光及太阳光等类似火焰对象的干扰所致。为排除类似火焰干扰，本文将进一步对火焰特有的动态特征进行分析，提高火焰检测的精确度。

3.6  结果优化

通过基于YOLOv7算法已检测出火焰区域图像，但在石化工厂中，存在大量疑似火焰的物体，如灯光、太阳光等静态图像，大大干扰了火焰检测的精度，如何从疑似火焰中寻找真实的火焰还需进一步研究。火焰在燃烧过程中的动态抖动是区别于其他疑似火焰的重要特征，根据火焰特有的动态闪烁特性，利用GMM在运动目标检测领域的优势找出发生空间位置变化的物体。该方法分为3个步骤：图像预处理、火焰检测、图像后处理，如图5所示。

图像预处理阶段：为进一步消除图像其他不相关部分的干扰，将基于YOLOv7算法检测出的火焰区域截取出来进行单独分析。采用将其他不相关部分的图像像素值取0操作，得到预处理后的原始图像。如图5（b）所示。

火焰检测阶段：利用高斯混合模型在运动目标检测领域优势，对疑似火焰区域进行前景目标检测，检测后得到火焰动态变化的二值图像，如图5（c）所示。模型参数设置：GMM数目k为5，GMM更新了β为0.2，与模型匹配的标准差系数c为2.2，权重阈值τ为0.8。

后处理阶段：使用形态学方法（具体是先腐蚀再膨胀操作）对检测阶段得到的二值图进行降噪处理，排除了疑似火焰的干扰，最终得到真实的火焰形态。如图5（d）所示。

4  结论

本文针对目前安全监管区域主要依靠监控视频回放及人工检查方式，导致实时性差、安全性低的问题，提出一种基于YOLOv7和GMM算法的火焰实时检测方法。通过实验结果展示，该方法在安全监管区域的场景中具有较好性能，能够在保证实时火焰检测精度、排除疑似火焰干扰的同时，实现真实火焰的实时检测，具有一定的应用前景。通过对生产区域火灾危险场景进行实时检测和异常报警，及时发现安全隐患，提醒内操或者调度人员纠正现场人员行为，有效提升企业安全管控能力。

参考文献：

[1] 张志英.视频监控系统中火灾检测技术的研究[D].成都：电子科技大学，2010.

[2] 关铁.浅谈火灾事故调查存在的问题与对策[J].科技创新与应用，2016（4）：294-294.

[3] 苏展，张防震，王瑞，等.基于RGB+HSI颜色模型的早期火焰检测算法研究[J].河南教育学院学报（自然科学版），2021，30（3）：28-32.

[4] SUN X Q， XIN S J. Flame detection algorithm based on YOLOv4[C]//Proceedings of the IEEE 7th International Conference on Intelligent Computing and Signal Processing， Xi An， China： IEEE Press， 2022： 314-317.

[5] 杨述斌，周敏瑞，潘伟.基于烟雾图像动态多帧差分法的火災识别研究[J].自动化与仪表，2021，36（7）：47-50，100.

[6] 陈露萌，曹彦彦，黄民，等.基于改进YOLOv5的火焰检测方法[J].计算机工程，2023，49（8）：291-301，309.

[7] 江洋.基于深度学习的火灾视频实时智能检测研究[D].海口：海南大学，2020.

[8] REDMON J，DIVVALA S，GIRSHICK R，et al. You only  look  once：unified，real-time  object  detection[C]//Proceedings  of  the  IEEE  Conference  on  Computer Vision and Pattern Recognition，2016.

[9] 李柯泉，陈燕，刘佳晨，等.基于深度学习的目标检测算法综述[J].计算机工程，2022，48（7）：1-12.

[10] 李文博，赵正旭.基于YOLOv5的遥感图像小目标检测[J].科技创新与应用，2023，13（6）：63-67.

[11] WANG C Y，BOCHKOVSKIY A，LIAO H.YOLOv7：trainable bag-of-freebies sets new state-of-the-art forreal-time object detectors[J].arXiv：2207.02696，2022.

[12] 张亚腾，黄俊.基于YOLOv7的钢表面缺陷检测[J/OL].激光杂志：1-7[2023-08-03].http：//kns.cnki.net/kcms/detail/50.1085.TN.20230726.0945.004.html.

[13] 唐慧娟，李军民.智能视频监控中的运动目标检测研究[J].科技创新与应用，2016（12）：41.

[14] 杜保亮.基于高斯混合模型的运动动作跟踪研究[J].信息技术，2022（7）：1-5，11.

[15] LI R，WANG Z，GU C，et al. A novel time-of-use tariff design based on Gaussian mixture model[J].Applied Energy，2016.

[16] GREGGIO N， BERNARDINO A， LASCHI C， et al. Self-adaptive Gaussian mixture models for real-time video segmentation and background subtraction[C]//10th International Conference on Intelligent Systems Design and Applications， Cairo，2010：983-989.

[17] CHEN Z Z， TIM E. Self-adaptive gaussian mixture model for urban traffic monitoring system[C]//IEEE International Conference on Computer VisionWorkshops，Barcelona，2011：1769-1776.

[18] 周建英.基于GMM的智能视频运动目标检测算法研究[D].合肥：安徽大学，2013.

[19] 吴凡.基于深度学习的火灾检测算法研究与实现[D].杭州：杭州电子科技大学，2020.