基于视觉的烟火监控云台算法研究

李博 刘磊

摘要：火灾给人们的生命财产安全带来了严重威胁，做好火灾预防有着重要意义。基于人工智能和嵌入式控制技术，开发了一套基于视觉的嵌入式烟火监控云台，用于公共区域的烟火实时监控与预警。该云台使用NumPy算法库对视频图像进行快速预处理，以提高烟火检测的准确度和处理速度；使用Yolov5检测算法对视频图像中的烟雾和火焰进行分类识别，通过选取大量不同的火焰和烟雾场景制作数据集，得到烟火视频图像的检测模型，可以实现大范围的烟火监控与跟踪。实验表明，该算法可以实现通用场景下的烟火快速识别、检测与预警。

关键词：云台系统；图像识别；深度学习；烟火监控

火焰给人类带来了许多益处，对火的合理利用是促进人类科学发展的一个重要因素，但使用不慎就会造成火灾。随着现代工业技术的发展，工厂、仓库等工业场景逐渐增加，火灾的隐患也随之变大，给人们的日常生活及生命财产安全带来严重威胁，很有可能导致难以估计的后果。因此，在火灾发生早期发现火灾并及时预警，对于保护人民安全、维护社会秩序有着十分重要的意义。

现如今，随着火灾探测技术的发展，出现了基于传感器和基于视频的两种主流火灾探测技术。传统的基于传感器火灾检测技术，使用感烟、感光、感温等传感器来检测火灾的发生[1]，存在易受环境影响限制、延时高、误报率高等问题，当面对多变的情况时，不能进行精确的火焰探测。针对这些问题，文章基于机器视觉、嵌入式控制技术以及深度学习等技术，搭载了通用烟火监控云台系统，可实现对公共区域烟雾、火灾的实时监控及预警。

1 基于颜色空间的火焰识别

1.1  图像预处理

高斯滤波器是一种根据高斯函数的形状来选择权值，对图像进行线性平滑操作的滤波器。高斯滤波对于滤除服从正态分布的噪声非常有效，其被广泛应用于图像处理中的去噪、过滤和平滑等处理环节中。通过实验对比，文章选择使用高斯滤波对烟火图像进行预处理。

1.2  火焰判据及检测结果

火焰可以基于颜色特征进行识别，最常见的火焰检测研究基于火焰的RGB和HIS颜色空间[2]，并以此为根据创建了火焰检测的颜色模型，主要以红色分量的色调和饱和度设定判断依据，进而分割火焰和背景，对火焰进行识别。

RGB颜色模型主要是根据颜色分量的大小不同提取火焰特征检测火灾。火焰的红色分量（R）的值往往很大，绿色分量（G）次之，蓝色分量（B）的值较小，所以有红色分量（R）大于绿色分量（G），绿色分量（G）大于蓝色分量（B）[3]。 依照火焰的这一颜色特征，有以下判定依据：

（1）

其中，S是HIS颜色空间中的S分量，表示顏色的深浅程度；RT是红色分量的设定阈值，ST是饱和度的设定阈值。为了避免被背景照明影响，被提取出来的火焰的饱和度需要大于一个值从而避免错误检测。根据火焰的检测结果，RT最佳取值为115到135，ST最佳取值为55到65。使用该判据进行检测，检测结果如图1-b、e所示。

基于以上检测结果，在进行火焰检测时，对火焰的判据进行进一步的完善，增加火焰像素点的红色通道像素值大于整幅图像红色通道所有像素点的平均像素值这一判据，整体对火焰的判断依据如式（2）所示：

（2）

当使用该火焰检测方法对视频中的火焰进行检测时，需要挨个读取每一帧图像，之后遍历每一帧图像的每个像素点，获取每个像素点的像素值并进行颜色饱和度的判定，判断该像素点是否符合火焰的判定依据。这种检测方法使得程序在运行时的速度比较缓慢，尤其是在检测视频中的火焰时会产生较大的延迟。针对该问题，文章应用NumPy库对算法进行改进。NumPy可以直接对整张图片的像素值进行处理，避免了遍历每个像素点的操作，大幅减少了检测的时间，提升了整体的检测的速度，确保了视频火焰检测的实用性，可以对火灾进行实时检测。应用改进后的方法对图像进行检测，检测结果如图1-c、f所示。从检测结果来看，改进后的颜色空间模型在对火焰进行检测时取得了更好的效果，获得的二值图像更加符合实际的火焰区域，同时检测的速度也有所提升。

2 基于背景减除法的烟雾检测

背景减除法是一种常用烟雾检测、识别方法，经常被用于视频图像检测[4]。由于模型中被检测目标和背景是分开的，故该背景减除法用于动态的视频图像特征检测中往往能得到较好的处理效果。文章使用基于混合高斯模型的背景减除法，该方法分离被检测目标和背景的判断依据是根据像素点的变化率，一般把变化缓慢的区域作为背景，变化快的区域识别为被检测目标[5]。

2.1  模型初始化

假设每个像素用K个高斯函数描述，第K个高斯的权重为，那么在时刻t，背景像素Xt的高斯模型可以描述为：

（3）

其中，，

。

使用上述模型对背景像素进行描述之后，背景的每个像素就通过高斯序列来描述，其中的每个高斯都有一个权重，K值一般取值为3到5，K值越大，算法处理波动的能力就越强，抗噪性能越好，背景建模效果也会更加稳定，不过随着K值的增加算法复杂度也会提高，背景建模速度也会变慢。

2.2  目标检测

高斯序列要求按照权重比（/σ）降序排列。这样，用前B个权重之和大于阈值T的高斯函数来描述实际的背景模型，后面的高斯函数由于权重小于阈值，所占权重太小，因此不被用于描述背景。B的表达式为：

（4）

对于一个新时刻N的像素值XN，使其遍历表示背景模型的高斯模型序列，看其是否符合某个高斯模型，当第一个满足公式（5）的高斯模型为第k个，且k＜B，则认为该点是前景，否则为背景。

（5）

2.3  参数更新

初始化预先定义几个高斯模型，也就是第一个满足公式（6）的高斯模型，进行如下式的参数更新。

（6）

其中，α为学习率。

判断视频分帧后每一帧图像的每个像素能否跟某一高斯模型匹配，选取其中最匹配的模型作为背景模型，为识别被检测目标做准备。

综合以上预处理以及检测方法对视频中的烟雾进行检测，检测结果如图2所示，能够达到烟雾检测要求。

图2  视频烟雾的检测结果

3 基于Yolov5的视频图像烟火检测

由于烟火监控的应用场景各异，为了达到更准确的监控效果，文章利用上述的火焰识别和烟雾检测算法，结合Yolo算法，搭建了视频图像烟火检测深度学习平台，综合图像处理和大数据的技术优势，完善烟火检测云台。

3.1  深度学习框架搭建

Yolo算法把对图像中物体的检测问题转化成回归问题，即通过几个边界框来对物体的种类和数量进行分类[6]。相比于Faster R-CNN算法，Yolo算法的MAP（平均精度）值较低，但是FPS（画面每秒传输帧数）值较高，所以具有更快的计算速度，因此在检测不是特别复杂的图像，或者检测相对简单的物体时具有更大优势。

文章使用YOLOv5s网络结构模型对实时烟火视频进行检测。YOLOv5s结构简单、训练速度快，但检测的平均精度偏低，因此多用于大视野、大体积的目标识别检测。文章使用PyTorch库搭建深度学习框架，PyTorch框架的运行速度快，接口设计灵活，封装设计简洁，具有灵活性和实用性。

3.2  视频烟火检测过程及结果

文章根据云台的应用场景，从互联网获得包含烟雾和火焰的图片340张，使用LabelImg工具导入图片，对图像中物体的类别进行标注，完成打标签工作。使用前文所述方法对图片中的烟雾和火焰进行标注。使用打完标签的数据集进行训练，将Batch Size大小为16，Epoch大小设置为300，执行训练命令，训练完成后得到Yolov5深度学习算法生成的权重文件。

使用训练生成的模型对视频和图片中的烟雾和火焰进行检测识别，检测结果如图3所示，其中a为烟火综合检测，b为烟雾检测，c为多火焰检测，d為爆炸场景检测。

a                           b                             c                           d

图3  图像中的烟雾和火焰检测结果

从视频和图片中的检测结果可以看出，对于特征明显的烟雾和火焰取得了较好的检测结果。对于视频中的全部烟雾不能全部识别，但是仍然能判断出图像中大部分存在的烟雾以及火焰，对整体的检测效果没有太大的影响。同时，应用该模型也可以在一定程度上对爆炸的结果进行检测。

4 结语

文章使用NumPy算法库和Yolov5深度学习检测算法，对监控云台中烟火视觉识别算法进行了研究，该算法可以用于公共区域的烟火实时监控与预警。实验表明，该算法可以实现通用场景下的烟火快速识别、检测与预警。

参考文献：

[1]朱晓妤，严云洋，刘以安，等.基于深度森林模型的火焰检测[J].计算机工程，2018，44（7）：264-270.

[2]卢结成，吴龙标，宋卫国.一种火灾图像探测系统的研究[J].仪器仪表学报，2001（4）：437-440.

[3]万缨，韩毅，卢汉清.运动目标检测算法的探讨[J].计算机仿真，2006，23（10）：221-226.

[4]张小骏，刘志镜，陈昆.一种基于像素梯度信息的背景减除法[J].计算机科学，2015，42（8）：300-304.

[5]胡皓然，王颖.结合HSV空间阴影消除的高斯混合模型背景减除方法[J].电子设计工程，2018，26（7）：31-34+39.

[6]杜晨锡，严云洋，刘以安，等.基于YOLOv2的视频火焰检测方法[J].计算机科学，2019，46（6）：301-304.

Research on smoke and fire monitoring PTZ algorithm based on vision

Li Bo1， Liu Lei2

（1.Tianjin Shengda Fire Industrial Corporation， Tianjin  300381;

2.Tianjin University of Science and Technology， Tianjin  300222）

Abstract：Fire has brought a serious threat to people's life and property safety. It is of great significance to do a good job in fire prevention. Based on artificial intelligence and embedded control technology， this paper develops a set of vision based embedded fireworks monitoring PTZ for real-time monitoring and early warning of fireworks in public areas. The PTZ uses NumPy algorithm library to quickly preprocess video images to improve the accuracy and processing speed of fireworks detection. Yolov5 detection algorithm is used to classify and recognize the smoke and flame in the video image. By selecting a large number of different flame and smoke scenes to make data sets， the detection model of fireworks video image is obtained， which can realize a wide range of fireworks monitoring and tracking. Experiments show that the PTZ algorithm can realize the rapid recognition， detection and early warning of fireworks in general scenes.

Keywords：PTZ system; image recognition; deep learning; fireworks monitoring