基于YOLO V5算法的建筑外立面渗漏红外图像识别方法

吴玉龙,王嘉浩,丁 勇

(1.昆山市建设工程质量检测中心,昆山 215337;2.南京理工大学 理学院,南京 210094)

渗漏是建筑物常见且危害性极大的典型病害,其发展初期在时空上具有随机性、隐蔽性等特征[1],通常不易被察觉,一旦发展到后期,将会造成十分严重的后果[2]。如何快速识别并定位建筑物的早期渗漏,进而及时、精确地进行除险加固和抢险救灾等工作,是保障建筑物安全的关键[3]。目前,用于建筑物渗漏隐患探测的常用手段有人工目测、开挖及钻孔勘测、弹性波探测、温度场探测、同位素示踪和电阻率探测等[4-8],但大量工程案例表明,采用单一手段容易造成对建筑物渗漏隐患的误判甚至漏判,极大降低了抢险救灾工作的效率;此外,有些方法还会造成建筑物结构的二次破坏,加快建筑物结构的老化和病变速度,产生更多的次生隐患。

随着科技的发展,利用搭载高清可见光相机、红外热像仪等图像采集装置的爬壁机器人、无人机等设备进行扫描巡查,逐渐成为满足工程快速无损检测需求的热门检测方法[9-11]。红外热成像检测技术可通过非接触方式,获取建筑物对热激励的异常响应,实现建筑外立面渗漏的检测识别,近年来被广泛应用于建筑物裂缝检测、输电线路故障检测、野外搜救等领域[12-16]。随着红外热成像技术的不断发展,红外热成像仪因具有成像距离远、不受昼夜限制等特点而得到了广泛应用,但是渗漏的红外图像具有信噪比低、目标尺寸小、特征不明显等特点,加之场景复杂度不断提升,杂波干扰严重,导致现有的红外渗漏区域识别方法应用于复杂场景时性能衰减。再加上建筑外立面会受材料不同、存在裂缝、存在剥落等因素影响,故如何有效地识别出建筑外立面红外图像中的渗漏区域仍是一大难点。

由于红外目标数据集具有保密性强、公开数据集少等特点,没有可供深度学习训练使用的建筑外立面渗漏红外图像数据集,为了减少对真实建筑外立面渗漏红外图像数量的需求,笔者结合仿真渗漏红外图像与真实渗漏红外图像来制作数据集,作为深度学习的样本进行训练。采用特征自适应迁移学习的方法,完成仿真及目标识别。

随着近些年深度学习在目标识别领域的不断发展,越来越多算法被不断提出,其中YOLO V5算法具有速度快、准确率高等特点而得到了广泛应用。YOLO V5算法在小目标识别时具有很好的性能,识别目标像素分辨率较小,因此计算量相对较小。笔者以YOLO V5算法为基础进行改进,通过更换特征金字塔网络,降低计算成本,有效完成了建筑外立面红外图像渗漏区域的识别。

1 基本原理与技术路线

为了能够识别建筑外立面红外图像的渗漏区域,通过ANSYS软件仿真生成建筑外立面渗漏红外图像,使用红外热成像仪对建筑外立面渗漏模拟试验进行红外图像采集,将仿真图像和真实图像结合制作建筑外立面渗漏红外图像数据集,用于后续深度学习模型的训练与识别。

选用YOLO V5模型进行训练与后续的识别,Focus、C3Net是YOLO V5在骨干网络上采用的主要网络结构。在渗漏识别过程中,目标的尺度可能会存在变化较大的情况,会对识别精度产生一定的影响。特征金字塔可解决此问题,但可能会破坏不同尺度渗漏的特征一致性。而且,在实际应用中,常用的方法很难在保证识别实时性的同时提高多尺度渗漏的识别精度。

为了解决模型大小与识别精度不相容的问题,在YOLO V5 模型的基础上引入了AAM-FEMFPN以及自动学习数据增强模块,进一步提高模型的识别性能。将原有的FPN(特征金字塔)结构替换为AAM-FEM-FPN,增加了自适应注意力模块(AAM)和特征增强模块(FEM),以提高识别多尺度目标的能力,并在识别速度和准确率之间做出有效的权衡,在实时识别的前提下,改进了YOLO V5网络的目标识别性能。此外,笔者通过去除原始网络中的mosaic augmentation(马赛克增强)并根据自动学习数据增强策略使用最佳数据增强方法来丰富数据集并提高训练效果。

基于传统特征金字塔网络的架构,AAM-FEMFPN增添自适应注意力、特征增强两个模块。前者通过减少特征金字塔的特征通道,来规避高级特征映射的上下文信息丢失;后者通过增强特征金字塔的表示,以达到更佳的性能,红外图像渗漏识别技术路线如图1所示。

图1 红外图像渗漏识别技术路线

2 基于仿真的渗漏红外图像生成方法

使用ANSYS软件制作仿真渗漏区域红外图像,将ANSYS仿真与室内试验和室外试验关联的关键方法包括热特性校准、环境条件模拟、材料特性匹配、外部辐射源模拟和数据对比与验证等。通过校准参数、模拟环境、匹配材料特性和验证数据,可以提高仿真模型的准确性和逼真度。渗漏模型建立过程示意如图2所示,首先在ANSYS-ICEM 中建立渗漏模型以及渗漏点(渗漏点可在模型区域内的任一位置),采用的模型尺寸为3 000 mm×2 000 mm(长×宽);渗漏点尺寸为5 mm×5 mm(长×宽)。然后根据模型的边建立新的块,并定义块为液体、二维平面类型;接着对模型的边和块的边进行关联操作,并根据渗漏点的位置进行分块操作。随后选择块的边进行节点定义,并对节点数进行调整。最后勾选pre-mesh生成网格并保存模型。

图2 渗漏模型建立过程示意

使用ANSYS-Fluent导入上述保存的模型,调整好网格比例,并将y方向的重力加速度设置为9.8 m·s-2。接着设置能量方程、边界条件等各项参数,调整迭代次数后开始运算,最后生成仿真渗漏红外图像的RGB图像和BGR图像,以此来表示水温高于坡面温度以及水温低于坡面温度两种情况,ANSYS软件仿真渗漏红外图像如图3所示。

图3 ANSYS软件仿真渗漏红外图像

3 基于试验的渗漏红外图像生成方法

基于模拟试验的渗漏区域红外图像生成方法分为室内试验和室外试验法两种,其试验示意如图4所示。

图4 建筑外立面渗漏模拟试验示意

室内试验使用木板代替混凝土墙面,在木板上钻一个小孔,把连接水管的针口固定在小孔上,按一定速度匀速出水,模拟建筑外立面渗漏的情况,再使用红外热成像仪采集渗漏区域红外图像,室内模拟试验的渗漏区域红外图像如图5所示。在开始试验前,先对渗漏区域采集一张还未出水时的红外图像作为参考,然后打开水流控制器,以大约1 mL·min-1的流速匀速出水,每隔15 s采集一张红外图像。

图5 室内模拟试验的渗漏区域红外图像

室外试验时,在建筑外立面上固定好带针头的塑胶水管,按一定速度匀速出水,模拟建筑外立面渗漏的情况,再使用红外热成像仪采集渗漏区域红外图像,室外模拟试验的渗漏区域红外图像如图6所示。

图6 室外模拟试验的渗漏区域红外图像

室外环境温度的变化,会使得渗漏水温度和建筑外立面温度出现非常接近甚至相同的情况。如果目标本身具有较大的温度差异,无论是否使用激励,都可能在红外图像中清晰地显示出来;如果目标的温度差异较小,使用激励就可能增加目标在红外图像中的可见性。由于建筑外立面与水的比热容不同,此时可以通过红外激励的方式来增大两者的温差,使得通过红外热成像仪采集得到的渗漏区域图像具有较为明显的特征,红外激励条件下模拟建筑外立面渗漏红外图像如图7所示。在识别建筑外立面渗漏区域时,使用红外加热灯进行加热,不仅能够扩大渗漏区域的识别时间段,而且能够较大地提高渗漏区域的识别准确率,大大减少漏检的情况。

图7 红外激励条件下模拟建筑外立面渗漏红外图像

不同材料和表面对红外辐射具有不同的反射或吸收特性。符合红外辐射特性的图像能够呈现物体表面的纹理和特征,以及物体或场景中的温度分布差异。热图像常用不同颜色表示温度,从而直观地显示出温度分布情况。将符合红外辐射特性的渗漏仿真红外图像用于深度学习模型初步训练,即可在渗漏仿真红外图像中学习到所需要的渗漏真实红外图像特征信息。通过得到的特征信息,能够优化神经网络各层参数,使得神经网络对建筑外立面红外图像渗漏区域的特征适应能力得到加强,以达到能够高效准确识别建筑外立面红外图像渗漏区域的目的。

4 外立面红外图像渗漏识别模型及效果

对于建筑外立面渗漏红外图像的小样本问题,利用建筑外立面红外渗漏图像中的特征,开发了一种基于YOLO V5算法的外立面红外图像渗漏识别方法。将仿真红外渗漏图像与真实红外渗漏图像结合起来制作数据集,作为深度学习的样本进行训练。

试验采用基于pytorch深度学习框架搭建的改进YOLO V5网络,共收集了2 096张红外渗漏图像,其中训练集1 677张,测试集419张。最后,利用真实建筑外立面渗漏红外图像作为验证集进行识别。

笔者通过对比准确率、召回率、平均精确率等指标来验证改进后的YOLO V5模型的优点。采用相同的数据集样本,使用当前常用的目标识别主流模型(SSD,Faster-RCNN,YOLO V5)进行训练,不同模型识别结果对比如表1所示,表中精确度是指交并比(Io U)的阈值为0.5时,计算得到的平均精确度,建筑外立面红外渗漏区域算法改进前后识别效果如图8所示。

表1 不同模型识别结果对比

对比可见,YOLO V5算法在渗漏仿真红外图像的训练条件下具有一定的适应性,并且具有较高的准确率和召回率,平均置信度从改进前的68.3%提升到改进后的82.6%。结果表明,提出的识别方法在处理真实建筑外立面渗漏区域红外图像时具有较好的识别效果。

5 结语

为了减少对真实渗漏红外图像数量的需求,文章创新性地将仿真渗漏红外图像与真实渗漏红外图像进行结合以制作数据集,作为深度学习的样本进行训练,利用改进后的YOLO V5模型实现建筑外立面渗漏区域红外图像的识别功能。试验结果表明,提出的识别方法对建筑外立面渗漏区域红外图像有较高的准确率和召回率,分别达到了87.6%和96.5%。