融合结构重参数化变换的气体泄漏红外检测
2024-01-29庄宏张印辉何自芬曹辉柱
庄宏,张印辉,何自芬,曹辉柱
(昆明理工大学 机电工程学院,昆明 650500)
0 引言
气体泄漏是工业生产过程中存在的主要安全隐患之一,不仅会对人体造成危害,还会引起爆炸等安全事故,对人类和环境造成不小的危害[1]。传统的气体泄漏检测主要采用气敏型传感器进行点位测量的接触式检测,其接触性原理造成很多待检测区域覆盖不完整,存在检测范围小、敏感性差、实时性不高、无法定位泄漏源等问题,对工作人员安全有很大的威胁[2-3]。虽然也有学者研究了新型传感器,检测准确性不断提升,检测材料多样化,但仍然存在接触式检测的缺点,且需要定期校准[4-6]。
近年来红外成像技术快速发展,可以在发生气体泄漏时利用工业气体分子在红外波段的特征吸收进行检测,将气体泄漏时的图像直观地呈现在显示器上,同时达到广域、高效和可视化的气体泄漏检测成为了可能[7-8]。在企业安全生产过程中,工作人员通常使用红外热像仪进行泄漏视检判断。红外热像仪虽然可以手持、车载、机载或固定安装,但工作人员的经验对检测的准确性有着重要的影响。此外红外图像分辨率较低且显示的是灰度图像,不符合人眼的视觉习惯且非常耗费人力。即使是经验丰富的工作人员在长时间工作后也容易出现误判或漏判[9]。随人工智能技术飞速发展,以卷积神经网络为基础的深度学习算法已成为计算机视觉领域的重要技术手段,基于深度学习的气体泄漏红外检测方法成为主流,这些方法具有非接触、监控范围大、响应速度快等特点,正被广泛应用于视觉检测中以替代传统的人工巡检。林云[10]以LeNet 模型为基础网络框架,添加丢弃模块等结构构建卷积神经网络框架,利用该卷积网络对有害气体红外图像进行分类识别取得98%分类精度,但模型对泄漏区域进行分类没有对其检测回归泄漏点定位。翁静等[11]以热成像技术为核心使用支持向量机进行泄漏气体云团检测,检测距离在10~150 m 时的泄漏气体云团的分类准确率可达92.5%,但数据库较少,只有1 000 个样本数据,结果并不严谨。SHI Jihao 等[12]提出一种基于快速区域卷积神经网络(Faster Region-based Convolutional Neural Network,Faster R-CNN)的气体泄漏实时检测方法,但模型权重大小较大,导致单张图像模型推理时间高达到60 ms。WANG J 等[13]提出一种利用红外摄像机对天然气甲烷泄漏分类的卷积网络模型(GasNet),建立了GasVid 数据集并且在甲烷气体泄漏量分别为小、中、大时的分类准确率达到78.2%,但模型存在无法确定泄漏源的问题。
基于以上分析,以气敏传感器接触式的气体泄漏检测受安装位置和风向的影响存在无法快速定位泄漏源、检测效率低、实时性差等问题。利用非接触式红外检测能够实现在较远距离处对泄漏气体的成像与定位,更好保障工作人员的安全,但利用热像仪依靠人工进行视检判断非常耗费人力,泄漏检测模型较为繁琐复杂,达不到轻量化,实施难度大且难以实现工业气体泄漏实时检测。基于红外热像仪获取的红外图像质量差、对比度低,造成检测效果差以及气体泄漏时间、地点不固定,为保证安全对实时性提出高需求,然而现有检测已无法满足现阶段的需求。为此本文提出一种融合结构重参数化变换的红外非接触式检测网络模型GRNet(Gamma Reparameter Network,GRNet)。YOLOv5(You Only Look Once,YOLO)模型是YOLO 系列模型[14-18]的第5个版本具有较强的检测速度和鲁棒性。以YOLOv5s 模型为基础,在自建的气体泄漏红外检测数据集上开展实验。GRNet 模型针对红外气体泄漏区域轮廓边缘模糊定位困难的问题,在模型后处理阶段引入完全交并比(Complete Intersection over Union,CIoU)[19]定位损失函数计算目标间相似度,加快预测框的回归速率,以提高模型对泄漏区域的定位准确度;针对气体泄漏红外图像受到红外热像仪的限制和多种外界环境因素的干扰,普遍存在分辨率差、对比度低且泄漏样本单一的缺陷,造成检测效果差的问题,采用Mosaic-Gamma变换的数据增强方法进行预处理,提高气体泄漏区域对比度的同时扩充泄漏样本,提供给模型多种形态样本,使模型对气体泄漏有较高的检测能力以及泛化性;通过K-means 聚类分析出适用于气体泄漏红外检测的候选框以预置模型参数;采用改进后的轻量化网络RepVGG 模块替换特征提取网络中的卷积层增强模型的特征提取能力,以实现轻量化的同时提高检测精度;最后采用伪色彩映射对泄漏浓度进行定性分析以及通过PyQt5 将模型进行封装,实现检测系统界面的可视化,并在Jetson Nano嵌入式实验平台部署模型,验证实际工程应用的可行性和有效性。
1 GRNet 模型
为实现气体泄漏非接触式实时检测,提出一种融合结构重参数化变换的红外非接触式检测网络模型GRNet,其总体架构如图1所示。GRNet 模型主要包含输入层(Input)、特征提取网络(Backbone)、颈部(Neck)和检测头(Head)四个部分。在模型的Input 部分,采用Mosaic-Gamma 变换的数据增强方法进行预处理,其目的是更好地丰富气体泄漏样本不同形态,增强对泄漏区域的识别从而提高模型泛化能力。在Backbone 部分,采用改进后的轻量化网络RepVGG 模块替换其中的卷积层重新构建特征提取网络,提取图像的特征信息。在Neck 部分,经过C3 模块加强融合图像深浅层全局和局部的信息,使得模型获取多尺度特征信息。在Head 部分,采用CIoU 为模型的定位损失函数,对三个不同尺度的预测层生成边界框进行回归优化,以提高模型对红外气体泄漏区域的定位准确度。
图1 GRNet 模型总体架构Fig.1 GRNet model general architecture
1.1 候选框参数优化
YOLOv5s 模型中,候选框参数是根据COCO 数据集中不同的检测目标设置的。COCO 数据集将大于96 像素×96 像素的目标划分为大尺度目标,将大于32 像素×32 像素且小于96 像素×96 像素的目标划分为中等尺度目标,将小于32 像素×32 像素的目标划分为小尺度目标。本文中气体泄漏检测种类为氨气一种类别,而且气体泄漏是从无到有的扩散,候选框的尺寸呈从小到大规律性变化,如图2所示。YOLOv5s 基础模型候选框参数不能满足气体泄漏红外图像检测的实际需要,需要重新设计从小到大尺寸规律性变化的候选框参数以满足气体泄漏过程的尺寸要求。
图2 红外气体泄漏真实框变化Fig.2 Change diagram of real frame of infrared the gas leakage
基于以上分析,采用K-means 聚类算法对数据集标注的真实框尺寸进行聚类计算。K-means 聚类算法[20]是一种迭代型聚类算法,使模型选择更为精准的候选框能够更好地反映目标的特征,避免模型在训练时盲目寻找,以提高模型检测效果,有助于模型快速收敛达到实时性。
YOLOv5s 一共有三个检测层,每个检测层有3 个不同高宽比的候选框对目标进行识别定位,共9 个候选框,故以640×640 像素图像作为输入。以候选框的数量为9 对氨气泄漏红外检测数据集的1 782 幅图像进行K-means 聚类分析,聚类分析可视化效果如图3所示。聚类前后三个检测层候选框尺寸情况对比如表1所示。对数据集候选框高宽比进行可视化分析,结果如图4所示。由表1、图3、图4 可知,聚类中心分布较好,每一聚类中心都属于单独一簇。聚类前YOLOv5s 基础模型的候选框高宽比变化分布范围为0.70~2.03,而气体泄漏红外检测数据集聚类分析后得到的候选框高宽比分布范围主要为0.19~1.17。聚类前后候选框高宽比分布范围变化较大,符合标注的真实框从小逐渐变大的情况,说明采用K-means 算法对气体泄漏红外检测数据集聚类分析的效果明显,聚类得到的候选框参数有助于模型对目标进行识别定位,能提高模型的收敛速度和准确性。
表1 聚类前后三个检测层初始候选框尺寸情况Table 1 The size of the initial anchor frame of the three detection layers before and after clustering
图3 气体泄漏候选框聚类分析可视化效果Fig.3 Visualization of gas leakage candidate box clustering analysis
图4 气体泄漏红外检测数据集候选框高宽比可视化结果Fig.4 Aspect ratio visualization results of candidate frames for gas leak infrared detection dataset
1.2 图像增强预处理
多数应用场景中用于训练模型的原始数据集量难以达到理想训练需求,而且获得较多数据集需要增加额外的代价以及较大工作量,较好的办法就是对数据做合适的预处理。针对气体泄漏红外气体图像受到红外热像仪的限制和多种外界环境因素的干扰,普遍存在分辨率差、对比度低且泄漏样本单一的缺陷,造成检测效果差的问题,采用Mosaic-Gamma 变换的数据增强方法进行预处理,达到提高气体泄漏区域对比度的同时扩充泄漏样本,提供给模型多种形态样本,使模型具有对气体泄漏较高的检测能力以及较高的泛化性。
首先,使用Mosaic 进行增强[21],随机旋转和翻转数据集的四张图片,然后对图像进行平移等一系列变换操作,经过整合塑造具有新背景的氨气红外图像,如图5。将新融合图像样本对象作为新数据,连同原数据集共同训练,更好地丰富气体泄漏背景以及提供多种泄漏形态,增强对泄漏区域的识别从而提高模型泛化能力。Mosaic 增强方法在数据集上融合图像,等于变相加大训练批次的规模(Batch size),在训练过程中能减少显存消耗的同时达到让算力有限的GPU 也能进行训练的效果。
图5 Mosaic 数据增强效果Fig.5 Mosaic data enhancement
在经过Mosaic 数据增强的基础上采用Gamma 变换增强,编辑气体红外图像的Gamma 曲线。该方法是对气体泄漏红外图像进行非线性色调编辑的策略,过程中检出气体图像信号中的深、浅两色,并且使得二者的占比提高,从而达到增强图像对比度的效果。Gamma 变换的表达式为[22]
式中,Fin表示输入图像,Fout表示输出图像;当γ<1 时,在灰度值偏低的区域,动态范围变大,将图像上较为集中的低照度区范围进行拉伸,使得图像对比度得到了提高;当γ>1 时,在灰度值较高的区域,动态范围变大,对图像上较为集中的高照度区范围进行拉伸,使得图像对比度提高,效果见图6。Mosaic-Gamma 预处理方法在加强图像对比度特征的同时对数据集进行了扩展,丰富表达图像细节,使得检测效果较好。
图6 Gamma 变换效果Fig.6 Gamma transform rendering
基于以上分析,气体泄漏红外图像采用Mosaic-Gamma 变换的数据增强方法进行预处理,使图像结合了彼此4 种不同形态的气体泄漏区域的上下文信息,丰富了泄漏的场景,在训练时变相增加了训练批次大小,这使得模型的泛化能力提升,检测的精度提高,其原理如图7所示。
图7 图像增强预处理原理Fig.7 Image enhancement preprocessing schematic
1.3 目标定位损失函数优化
本文气体泄漏红外数据集中泄漏区域目标由小到大有规律地发生变化,它的像素面积占比与整幅图像相比不是固定不变的,并且大部分泄漏区域存在模糊的边缘特征、轮廓定位不够明确,因此气体泄漏检测对网络模型的特征提取能力以及预测框回归有较高的要求。图8所示分别为小型泄漏区域目标、中型泄漏区域目标、大型泄漏区域目标的预测泄漏框与真实泄漏目标框的拟合示意图,假设预测框的宽高均与真实框一致,红框(预测泄漏框)较蓝框(真实泄漏框)沿x轴和y轴发生10 像素的偏移,计算得到大型泄漏区域目标的交并比(Intersection over Union,IoU)为0.851、中型泄漏区域目标的IoU 为0.684,而小型泄漏区域目标框的IoU 为仅0.481,分析可得,中小型泄漏区域内目标预测框预测的精确性在很大程度上受到了定位中心拟合精度的影响。为提高模型对氨气泄漏区域目标定位的准确性,将YOLOv5s 网络模型默认采用的广义交并比(Generalized Intersection over Union,GIoU)损失函数函数替换为CIoU 定位损失函数。
图8 真实框与预测框拟合示意图Fig.8 Fitting diagram of real box and prediction box
GIoU 定位损失函数LG表示为[23-24]
式中,A为预测泄漏框面积;B为真实泄漏框面积;C为两个框的最小闭包区域面积,I为真实框与预测框的面积交并比IoU。GIoU 定位损失函数很好地解决了IoU 中无法优化预测泄漏框和真实泄漏框之间不相交以及无法体现两个框之间是如何相交的问题,但泄漏区域的预测框与真实框在包含状态下,两框并集与特定框面积相等,GIoU 的定位损失函数将退化为IoU,不能分辨它们之间的相对位置关系,产生较大的误差。
针对GIoU 定位损失函数回归不准确以及定位中心对气体泄漏区域预测框准确性影响较大的问题,引入CIoU 定位损失函数LC,将GIoU 两个框的最小闭包区域面积替换为两个框中心点的标准化距离,并且考虑了边界框的纵横比公式,如(4)所示[23],从而加速预测泄漏框朝着真实泄漏框的收敛速度,以提高模型对泄漏区域回归定位精确性。
采用CIoU 定位损失可以加快泄漏区域边界框回归的速率,提高定位精度,并增强泄漏区域的预测对真实泄漏情况的拟合能力。把ρ2(A,B)表示预测框和真实框中心点的欧式距离记为d,CIoU 定位损失示意如图9所示。
图9 CIoU 定位损失Fig.9 CIoU positioning loss
1.4 结构重参数模块嵌入
氨气为易燃易爆且带有毒性的气体,其泄漏发生时间、地点不固定,对其检测的敏感性和模型推理速度提出了极高要求。为降低氨气泄漏检测模型的推理计算量,加快模型的推理速度,实现氨气泄漏非接触式检测,重新构建模型的特征提取网络,降低模型推理时的计算量并压缩模型权重大小。
YOLOv5s 模型特征提取网络采用浅Conv 卷积层,虽然能在氨气泄漏红外检测中对泄漏区域进行特征提取和分析,但能力有限。同时C3 模块也会占用缓存空间降低运行速度,造成漏检,影响氨气泄漏检测的准确性与速率,不符合氨气高性能检测需求。采用RepVGG 模块[25]改进Conv 卷积层,重新构建特征提取网络,进行无损压缩,提高模型检测速率的同时减少模型参数量。RepVGG 模块重构后只含有3×3 卷积与ReLU 激活函数。但模型需要对氨气泄漏之初的低浓度进行敏感检测,低浓度氨气泄漏的信号会表现为较小的负数值。ReLU 激活函数虽然计算简单,能辅助提高模型推理时间,但ReLU 函数对负数响应过弱,导致泄漏区域为负数值的信号被截断为零,信息丢失,检测精度降低。SiLU 激活函数相对ReLU 激活函数而言,在氨气检测中可以更好地保留低浓度负数的信息,提高模型的检测精度。因此采用优化激活函数后的RepVGG 模块代替Conv 卷积层,同时精简C3 模块数量,重新构建特征提取网络,结构示意图如图10所示。RepVGG 模块在训练过程中使用3×3 卷积、1×1 卷积和Identity 残差结构多分支提高模型准确度,同时在推理过程中使用单路3×3 卷积与SiLU 激活函数的架构快速推理、节省内存,如图11所示。改进的特征提取网络能够在实现压缩模型权重大小的同时提升对氨气检测准确性。
图10 RepVGG 模块重构的特征提取网络结构Fig.10 Structure of feature extraction network reconstructed by RepVGG module
图11 RepVGG 模块结构Fig.11 RepVGG module structure diagram
分析可知,为了满足氨气泄漏模型检测精度高、速度快的需求,采用改进的RepVGG 模块,对模型进行特征提取网络再搭建,增强了模型特征提取能力,降低特征信息的损失,既考虑了速度问题又增强网络特征提取能力,利于模型部署。
2 实验
2.1 数据集
在目标检测任务中,数据集的建立与选择对于检测效果有着非常显著的影响。采用氨气作为实验气体,氨气的红外光谱波段属于中波红外,其最高吸收峰为10.3 μm。氨气泄漏红外检测数据集使用云南北方光学科技有限公司波长为8~14 μm 的长波红外热像仪采集视频后进行取帧处理建立,最终得到1 782 幅图像。其次按照8∶1∶1 的比例将数据集随机划分为训练集、验证集、测试集,其中训练集包含1 425 幅图像,验证集包含182 幅图像,测试集包含175 幅图像。使用LabelImg 软件对获得的红外图像数据进行手动标注。
2.2 实验环境
实验环境为Ubuntu18.04 操作系统、内存16 G、CPU 为AMD R5-3600、GPU 为NVIDIA GeForce RTX2080Ti 11GB 显卡的台式计算机。深度学习框架为Pytorch1.6.0,采用CUDA Toolkit 10.0 和CUDNN V7.6.5 作为模型训练加速工具包。以YOLOv5s 为基础模型,使用YOLOv5s 的预训练权重,同时受计算机性能的限制,输入图像的大小统一为640 像素×640 像素,训练批次的规模(Batch size)设置为16,迭代代数(Epoch)为400,在训练阶段超参数具体设置如表2所示。为了保证模型改进的有效性,实验均基于上述统一的软硬件环境和超参数设置进行。
表2 超参数配置Table 2 Hyperparameter configuration
2.3 评价指标
采用浮点数计算量(GFLOPs)、模型大小、模型参数量(Params)、平均检测精度(mean Average Precision,mAP)以及单张图像平均检测处理时间(ms)作为评价值指标,通过多种指标综合评价模型性能。
平均检测精度mAP 是指在测试集中对各类目标检测精度的平均值Pm,计算公式为
式中,l表示数据集中的某目标类别,Pl表示某目标类别的平均精确率,D表示数据集中的类别数目。
单张图像平均检测处理时间(ms)用来衡量模型推理检测时间,包括预处理、网络推理和回归框抑制处理所花费的时间。
考虑到实际工程应用中对氨气泄露检测有一定误报和漏报的要求,同时要保证检测及时准确[26],若使用置信度为95%的AP@0.95 评价指标可能会导致氨气泄露的检测不及时造成漏检,故使用AP@0.5 来衡量模型性能。
3 实验与分析
3.1 目标定位损失函数优化
为验证不同目标定位损失函数对网络模型损失的优化效果,在YOLOv5s 模型框架下,采用2.1 节构建的数据集在2.2 节的实验环境上训练验证分析,采用GIoU、CIoU 定位损失函数进行实验分析,算法验证性能对比如表3所示。
表3 泄漏目标不同定位损失函数验证性能对比Table 3 Comparison of the verification performance of different localization loss functions for leaky targets
由表3 可知,YOLOv5s-CIoU 模型进行了泄漏区域目标定位损失函数优化。将GIoU 损失函数替换为CIoU 损失函数后模型在参数量、大小基本一致的前提下,mAP 提升了0.60%,单张图像检测时间降低到3.6 ms。实验验证了CIoU 定位损失函数能够改善模型对泄漏区域回归定位精确性。
3.2 图像预处理
为了验证图像预处理对模型最终检测性能的影响,在3.1 节优化定位损失函数的基础上,在模型训练中使用了YOLOv5s 预训练权重,并分别采用两种不同的图像进行训练。一种是氨气泄漏红外原图像,另一种是在1.2 节中经过MG(Mosaic-Gamma)变换预处理后的红外图像,其中采用预处理后的图像训练得到的模型记为YOLOv5s-CIOU-MG,实验验证性能结果如表4所示。
表4 图像预处理前后网络性能验证对比Table 4 Comparison of the network performance before and after image pre-processing
由表4 可知,YOLOv5s-CIoU-MG 模型相较于使用红外原图像训练后的模型在参数量、大小基本一致的前提下,mAP 提升至93.40%。表明1.2 节Mosaic-Gamma 变换的预处理方法能在保证模型检测速度不变的前提下提高图像对比度特征,同时扩充泄漏样本提供给模型多种形态丰富泄漏的场景,变相增加了训练批次大小,使模型提高了氨气泄漏的检测能力以及泛化性。
3.3 聚类算法
在3.2 节基础上,为验证K-means 聚类在保证模型检测速度的同时提高模型的检测精度和鲁棒性,选择采用表1 中对氨气泄漏红外数据集进行K-means 聚类得到的候选框参数进行实验。分别采用无K-means 聚类候选框的原图像、K-means 聚类候选框的原图像和K-means 聚类候选框的Mosaic-Gamma 变换的图像对YOLOv5s 模型进行训练。其中,采用K-means 聚类候选框的原图像训练得到的模型分别记为YOLOv5s-GIoU-Km、YOLOv5s-CIoU-Km,采用K-means 聚类候选框的MG 图像训练得到的模型记为YOLOv5s-CIoU-MG-Km,四者的性能对比实验如表5所示。
表5 聚类前后网络性能验证对比Table 5 Comparison of network performance before and after clustering
由表5 可知,重新预置候选框参数后对于模型的参数量和大小没有影响,模型的参数量和大小分别为7.05 MB、14.40 MB,而检测精度有明显提升。采用K-means 聚类候选框的Mosaic-Gamma 变换的图像训练得到的YOLOv5s-CIoU-MG-Km 平均精度mAP 提高至94.00%,表明采用K-means 聚类算法预置的候选框高宽比符合氨气泄漏真实尺寸,有效提升模型对于氨气泄漏检测的准确性。
3.4 结构重参数模块嵌入
为了验证改进的RepVGG 模块对模型检测效果提升的有效性,在YOLOv5s-CIOU-MG-Km 模型框架基础上,以添加不同模块替换特征提取网络中卷积层的模型进行性能对比,添加不同模块结构分别为轻量级的深度可分离卷积DWConv[25]、灵活的动态卷积ODConv[27]、RepVGG。其中,添加RepVGG 模块训练得到的模型记为GRNet,实验结果如表6所示。
表6 不同模块嵌入网络性能验证对比Table 6 Different modules embedded network performance verification comparison
由表6可知,特征提取网络部分嵌入不同模块结构对模型有较大的影响,GRNet模型采用RepVGG 模块,较Conv-YOLOv5s基础模型单张图像检测时间降低到3.40 ms,检测精度提升2.70%,达到94.90%。嵌入其它不同模块结构,检测时间虽然降低但检测精度不如RepVGG 模块。实验验证了RepVGG 模块有效地增强了模型特征提取能力,降低特征信息的损失,兼顾速度利于模型轻量化。所以针对氨气泄漏轻量化红外检测选择RepVGG 模块作为特征提取网络中的卷积层增强模型的特征提取能力,提取泄漏区域注意力,保证精度的提升。
3.5 不同模型对比
为验证本文设计的GRNet 模型在氨气泄漏检测中的优势,将GRNet 模型与YOLOv3、YOLOv3-tiny、YOLOv5s 及YOLOx[28]模型做性能对比实验。为确保效果,实验在2.2 节所搭建的实验环境中进行,使用的数据集均采用2.1 节构建的氨气泄漏红外气体图像数据集,实验结果如表7所示。
表7 不同网络模型精度验证对比Table 7 Comparison of the validation accuracy among various network models
由表7 可知,与其他5 种模型相比,GRNet 模型对氨气泄漏红外检测的mAP 最高,达到94.90%;单张图像平均检测时间达到3.40 ms,模型推理速度快;模型大小和参数量分别降为11.30 MB、5.47 MB,小于其他4 种模型。综合考虑模型计算量、参数量、大小、单张图像平均检测时间和mAP,构建的GRNet 模型在氨气泄漏红外非接触式检测中取得了较好的结果,其总体鲁棒性最佳,模型检测结果可视化效果如图12所示。与氨气泄漏真实区域相比,GRNet 模型对其都检测出并进行了回归泄漏区域,同时工作人员在检测区域流动未出现误检情况。在红外成像远处区域有泄漏点,虽然检测出的阈值只有0.5,但没有出现漏检,表明GRNet 模型有较好的鲁棒性。
图12 GRNet 模型最终检测结果Fig.12 The final test result of the GRNet network model
3.6 气体浓度定性分析
对气体泄漏的浓度进行准确、可靠的定性分析可以给涉气企业的工作人员进行应急处置和安全管理提供科学依据。基于GRNet 模型可以对氨气泄漏区域进行边界框检测定位,通过对泄漏区域边界框分析,泄漏浓度较高区域的灰度值因氨气泄漏的理化特性较低,视觉效果偏于黑色;泄漏浓度较低区域的灰度值较高,视觉效果偏于灰白色。为便于直观可视化显示氨气泄漏区域浓度的分布情况,进行定性分析,采用伪色彩映射将不同氨气泄漏程度的灰度值映射为不同颜色的图像,得到较好的视觉感知效果,有助于提高工作人员应急处理的效率和准确性,如图13所示。
图13 氨气泄漏浓度分布可视化Fig.13 Visualisation of ammonia leak concentration distribution
泄漏区域伪色彩映射采用了彩虹渐变映射方式[29],较小的灰度值对应深蓝色,较大的灰度值对应红色,而中间的灰度值则对应蓝色、青色、黄色等渐变颜色。氨气泄漏灰度值小于64 对应为深蓝色,其区域表示为泄漏温度较低、浓度最高的区域。氨气泄漏灰度值在64~191 之间对应为蓝色、青色、黄色等渐变颜色,其区域表示为泄漏区域浓度逐渐降低、温度升高;氨气泄漏灰度值在192~255 之间对应为黄色到红色的渐变,其区域氨气浓度最低、温度趋于环境温度。
3.7 气体泄漏红外检测系统界面设计与GRNet 模型的移动端部署
气体泄漏红外检测系统界面设计的目的是将GRNet 模型进行封装,使涉气企业工作人员可视化检测气体是否存在泄漏,有泄漏的情况下及时检测到并保存检测记录,设计的系统界面如图14所示。界面的左侧是设置栏,可以选择检测的模型和方式,如图像、视频以及通过实时流传输(Real-Time Streaming Protocol,RTSP)协议连接红外摄像头实现检测设备在界面端实时监测。检测参数设置模块允许工作人员调整置信度阈值和IoU 值优化检测效果。当工作人员更改参数时,程序将重新加载所选的检测模型并应用。界面的左下方有检测结果的保存和分析模块。右侧为显示区域,将图像或视频的检测结果显示在其区域内,分为泄漏情况原图展示区域和检测警示区域,同时提供停止按钮允许工作人员停止检测。系统界面以提高工作人员的使用体验和效率并满足各种气体泄漏检测实际应用场景的需求。
图14 气体泄漏红外检测系统整体界面可视化Fig.14 Visualisation of the overall interface of the infrared gas leak detection system
为进一步验证GRNet 模型在嵌入式移动端的有效性及工程应用价值,采用Jetson Nano B01 开发平台对模型进行部署,其中YOLOv3、YOLOv5s 以及GRNet 模型在Jetson Nano B01 移动端开发平台测试验证性能结果如表8所示。
表8 嵌入式平台部署测试验证结果Table 8 Embedded platform deployment test results
由表8 可知,GRNet 模型在检测速度方面好于原来的基础模型,提高达到3.03 帧/s,而检测准确度与本文中PC 端一致并没有损失,说明模型部署有效性较高。GRNet 模型在泄漏检测有94.90%的准确度,同时兼容较快的检测速度,在嵌入式开发平台上部署的可行性比较高。
4 结论
本文提出了一种轻量化非接触式气体泄漏红外检测模型GRNet。在模型后处理阶段引入CIoU 定位损失函数计算目标间相似度,对预测框尺寸和中心位置进行修正优化,以提高模型对红外气体泄漏区域的定位准确度;采用Mosaic-Gamma 变换的数据增强方法进行预处理,提高气体泄漏区域对比度,同时扩充泄漏样本提供给模型多种形态样本,使模型具有对气体泄漏较高的检测能力以及泛化性;对气体泄漏红外检测数据集使用K-means 的聚类算法聚类分析预置候选框参数符合实际气体泄漏情景;采用改进后的轻量化网络RepVGG 模块替换特征提取网络中的卷积层增强模型的特征提取能力,降低模型参数量,压缩模型大小,提高模型推理速度。通过与YOLOv3、YOLOv3-tiny、YOLOv5s 及YOLOx 模型对比,提出的气体泄漏红外非接触式检测GRNet 模型具有较好的整体鲁棒性。GRNet 模型的mAP 达到94.90%,模型权重大小和参数量降为15.60 MB、5.47 MB,单张图像平均检测时间达到3.4 ms,符合涉气企业的安全生产中气体泄漏红外非接触式检测。最后,对泄漏浓度进行伪色彩映射,强化泄漏浓度的视觉感知效果,助力提高工作人员应急处理的效率和准确性,并将GRNet 模型进行了封装,实现气体泄漏红外检测系统界面的可视化,在Jetson Nano B01 嵌入式实验平台部署验证了实际工程应用的可行性和有效性。未来将继续研究网络结构的调整,进一步提高模型精度。