基于频率调谐的焊缝红外图像显著性检测算法

2021-07-07夏卫生方向瑶杨帅林富明杨云珍

焊接 2021年4期

夏卫生，方向瑶，杨帅，林富明，杨云珍

(1.华中科技大学,材料成形与模具技术国家重点实验室，武汉 430074；2.武汉理工大学，武汉 430076)

0 前言

焊接过程涉及光、热、声、电等变化，其中光和热与焊接过程的相关性最强[1-5]。红外热成像技术作为一种常用光电探测方法，可将被检测物体所产生的红外辐射转化为可见的热图像，获得被测物体的温度分布。

视觉显著性检测(Visual saliency detection)是通过智能算法模拟人的视觉特点，对图像中的视觉显著部分进行检测。为了客观表示图像的视觉显著性，Koch等人[6]在20世纪90年代最先提出显著图(Saliency map, SM)的概念。以显著图像素的灰度值来表示该点像素的显著程度，灰度值越大，则越显著。在检测中引入视觉显著性，不仅可以合理地对图像视频中最重要的地方进行计算，而且其检测结果也更加满足人的视觉认知需求等等。若优先检测出图像的显著部分，就能恰到好处地对显著区域进行分析处理，以此降低运算量，还可以提高检测过程的准确性。

现有的显著性检测算法有多种分类方式[7-8]。美国加州大学Itti博士提出基于生物启发的ITTI模型是最具代表性的显著性模型[9]，该模型能够较为精确地获取图像的显著部分，但存在显著图较模糊及边界不清晰等问题。Harel等人[10]提出了一种基于马尔科夫随机链的图形视觉显著性模型(Graph based visual saliency, GBVS)，具有较高的计算难度，但是可以较准确地获得显著区域的位置。而基于纯计算的显著性检测模型，则采用数学计算方法来研究图像的视觉显著性，并不关注视觉注意机制。相较于ITTI模型和GBVS模型，基于纯计算的显著性检测模型尽管显著像素点较少，但能够快速确定显著区域的边缘，通常引入基于频域的计算方法，能够简化运算及降低参数干涉等。

文中针对熔化极气体保护焊(Gas metal arc welding, GMAW)建立焊缝的红外在线监控系统，提出一种基于频域的红外焊缝显著性实时检测算法，从滤波处理、颜色模型和背景抑制3个方面对频率调谐算法(Frequency tuned, FT)进行改进，以期在保证检测过程实时性的同时能够获得更优的红外焊缝显著图，并可以对焊缝进行特征提取。

1 试验及算法设计

1.1 焊接过程红外检测

采用MOTOMAN机器人执行GMAW焊接试验，焊丝为H08Mn2SiA实心焊丝，保护气体为CO2，在Q235基板上进行直线堆焊，焊缝长度20～25 cm。焊接过程红外监控系统和图像采集系统如图1所示，红外热像仪用于采集焊接过程中整体焊接区域的红外图像。

1.2 红外图像的显著图采样

在典型的视觉显著性检测算法中，谱残差(Spectral residual, SR)算法[11-13]只能检测出显著区域的边界，具有一定的局限性。为了解决这个问题，Achanta等人[14]提出了FT算法，对物体进行显著性检测。FT算法基于纯计算，利用颜色、亮度等低级特征可以得到最终的显著图。关于显著性检测的5点要求[15]，主要为：①突出待检对象最大显著目标；②显示整个显著区域；③具有明显的轮廓；④忽略噪声等造成的高频干扰；⑤输出显著图不改变尺寸。基于频域的显著性算法是在频域中对图像进行处理，所以FT算法具有一定的优势，且容易实现，计算简便。FT算法的核心原理认为图像的整体信息即显著区域主要集中在低频区域，区域的边缘则位于高频区域，而且噪声等无关信息也在高频区域内。基于此原理，除去图像中的高频部分及较低频部分，便可轻易得到图像的显著图。FT算法的具体实现过程如图2所示。

图1 焊接过程红外监控系统

图2 FT算法的具体实现过程

按照图2所示流程，随机选取采集到的焊接红外热像图如图3所示。对其进行处理，结果如图4所示。

图3 焊接红外热像图

图4 不同算法处理后的显著图对比结果

1.3 对FT算法的改进

基于频域的显著性检测算法的优点是算法简洁和运行速度快等；但其检测精度仍然不能满足要求，最终得到的显著图对非显著背景区域的抑制程度不够。所以接下来对FT算法进行改进，并采用改进后的FT算法来获取焊缝的红外显著图。

1.3.1双边滤波处理结果分析

FT算法对图像的高频部分进行了高斯平滑处理，这在平滑噪声的同时也模糊了检测目标的边界，因此以双边滤波代替高斯滤波对图像进行处理。相较于高斯平滑处理，双边滤波处理则在空间上增加了一个由几何距离决定的非线性加权系数，在处理图像边界邻域像素时，其它远距离的像素点对其像素值几乎不干涉，而近距离的像素点会取极大的权值，避免对边界的处理过度平滑，从而在达到平滑噪声的同时，也保证了边缘的处理效果。图4b的处理效果更好，基本去除了噪点与杂波，显著区域清晰可见且检测目标的边缘保留完整，同时对背景区域的抑制更为严格。

1.3.2双色彩模型处理结果分析

在对红外图进行显著性检测后，所得的显著图包含了焊缝及其热影响区，这不利于后续焊缝的特征提取。此时可以在FT算法中加入RGB颜色模型而非单一的Lab颜色模型对显著图进行计算处理。

RGB颜色模型是工业界的一种颜色标准。红、绿、蓝3种颜色之间相互叠加可以得到各种各样的颜色。而Lab颜色模型是基于人对于色彩的感觉，L代表亮度，a表示从红到绿的区域，b代表从黄到蓝的区域，得到的所有颜色都基于这3个值的交互变化。尽管Lab模型的色域更广，但热成像仪输出的图像仍采用RGB模型进行编码。经过2种色彩模型处理后，图像显著部分会显示不同甚至相互弥补的效果，某种色彩模型下的显著图总会比另一种颜色空间下的显著图更能体现某些微小的区域。

由图3可以看出，由于中心焊缝区比热影响区的温度更高，其背景的亮度和颜色鲜艳程度更为显著。文中对Lab和RGB的颜色子空间L,a,b和R,G,B分别进行亮度和颜色特性的表征，并对Lab颜色模型中的L及RGB颜色空间中的R来进行加权计算2个色彩模型下的显著图，试验中取权重为2。最后对2个色彩模型下的显著图进行融合，在此选择均值相加的方式，最终结果如图5b所示。由图5a和图5b中方框标识区域可以看出，与原FT算法相比，双色彩模型处理能够更好地抑制基板、飞溅、弧光等背景的影响，从而提高焊缝区域的显著性。但是对焊缝热影响区的抑制程度仍不足，而多尺度对比算子处理能够进一步改善显著图的质量。

图5 双色彩模型融合后的显著图

1.3.3多尺度对比算子处理结果分析

对比度是视觉显著性检测的一个基本特征，在根本意义上，显著性检测就是检测处于周边区域对比差异较大的目标。在图像中，以亮度、方向、形状、颜色等作为客观度量，通常以像素的形式进行计算对比。多尺度对比算子[15]多用来衡量图像的对比度，其原理简单且容易实现，如图6所示。

图6 多尺度对比算子的原理图

利用计算像素点R1的特征向量与邻域像素R2的平均特征向量的范数来得到其显著值C。计算过程中R1和邻域R2的尺寸是可调的，通常令R1为一个像素进行计算，邻域R2的尺寸h在此选取了h1=Ih，h2=Ih/4和h3=Ih/8 3种。经过多尺度对比算子优化后的显著图如图7b所示，该显著图几乎完全排除了焊缝热影响区的干扰，从而进一步提高了焊缝区域的显著性，有利于后续的特征提取。改进后的FT算法具体实现流程如图8所示。

图7 多尺度对比算子处理

图8 改进后的FT算法具体实现过程

2 不同算法处理效果分析

2.1 实时性分析

将改进后的FT算法和ITTI，GBVS，SR，FT，AC[16]，HC[17]等典型显著性检测算法进行对比分析：①ITTI算法是最经典的基于生物启发的模型，同时也是一种全局对比度算法；②GBVS算法是一种基于图论的混合生物认知模型和数学计算的算法；③SR及FT算法为颇具代表性的基于频率空间处理的纯数学计算方法；④HC算法是基于直方图的全局对比度算法；⑤AC算法是一种处理局部较好的对比度算法。

ITTI，GBVS，SR，FT，AC和HC算法均使用作者给出的MATLAB代码，各算法的平均运行时间见表1。尽管部分算法的运算时间很短，但都需要进行一些复杂的预处理，不能在真正意义上实现在线检测；试验中红外热像仪帧频为25 Hz，改进后的显著性检测算法(即优化后的FT算法)的平均运行时间为0.075 s，不需要预处理，整体处理时间更短，有效地保证检测过程的实时性。

表1 各算法的平均运行时间

2.2 显著图质量分析

经表1中各算法处理得到的显著图结果如图9所示。ITTI和GBVS算法无法得到全分辨率的显著图，图像不清晰且未能检测出明显的目标轮廓；SR算法只能得到显著目标的轮廓；FT, HC和AC算法的显著图虽然具有较清晰的轮廓，但显著区域包括焊缝及其热影响区，不利于焊缝的特征提取；而改进的FT算法打破了传统FT算法在焊缝红外热像图处理上的局限性，得到的红外焊缝显著图目标轮廓清晰、排除了热影响区的干扰，目标焊缝的显著性增强，并可以对焊缝进行特征提取。