改进最佳缝合线的红外图像拼接方法

卢 泉，杨振华，黄粒峰

（广西大学 电气工程学院，广西 南宁 530004）

0 引言

红外热像仪在变电设备的热故障监测具有广泛的应用，但单帧红外图像普遍存在视场窄、分辨率低等缺点，难以准确、及时地获取变电设备的整体状态[1]。通过图像拼接可将若干存在重叠区域的图像拼接成一幅无缝、无重影的宽视场图像，有助于监测变电设备整体的状态，提高巡检效率。但传统最佳缝合线或渐入渐出融合法进行融合时，往往会导致重叠区域存在明显的拼接痕迹或重影现象。因此研究一种适用于变电设备的红外图像拼接方法具有十分重要的意义。

针对成像场景不同而导致红外图像间存在亮度差异问题，文献[2]等提出了一种改进的红外图像拼接算法，该算法采用平台直方图均衡化提高红外图像对比度，解决了因图像亮度差异而导致的拼接痕迹，但该算法对变电站复杂场景的适应性并不强。而文献[3]通过在感兴趣区域中提取SIFT 特征点并结合KLT（Kanade-Lucas-Tomasi）跟踪算法确定特征点的位置信息并进行匹配，采用渐入渐出融合算法消除拼接痕迹，使得配准率提高了3.491%。文献[4]引入图像梯度信息，利用像素亮度差计算重叠区域的边权值，并采用图切割法寻求最佳缝合线，最后利用渐入渐出方法融合过渡，对于序列遥感图像的拼接取得了较好效果，但对于变电站红外图像拼接存在鬼影现象。文献[5]为解决图像融合中运动物体与缝合线过于靠近而造成鬼影的问题，引入颜色饱和度S改进能量函数，并在最佳缝合线搜索准则中加入局部信息权重来提高搜索灵活度，一定程度上消除了因运动物体靠近缝合线而产生的鬼影，但对于噪声严重的变电站红外图像拼接存在一定的局限性。

上述研究成果为变电站红外图像拼接提供较好的参考思路，但由于成像环境复杂、红外图像噪声干扰大，导致部分图像拼接出现明显的拼接痕迹或重影现象。因此，本文提出一种改进最佳缝合线的红外图像拼接方法，该方法在拼接区域上引入局部权重系数，并对图像颜色差异强度进行形态学操作抑制噪声干扰，并通过动态规划改进缝合线搜索准则，搜索出最佳缝合线。

1 改进的最佳缝合线算法

为改善因成像环境复杂而造成配准效果不佳的问题，本文首先使用SIFT 算法对图像进行配准，从而实现图像的一次拼接[6]，然后再采用最佳缝合线算法进行图像融合[7]。

1.1 最佳缝合线获取

最佳缝合线的目的是使得拼接线从两幅图像重叠区域中差异最小的位置穿过，以尽可能地减少图像的偏差而带来拼接痕迹。其求解准则E(x,y)为：

式中：Ec(x,y)为图像颜色差异强度值；Egeometry(x,y)为图像结构差异强度值。Ec(x,y)表达式为：

式中：Igray1(x,y)和Igray2(x,y)分别表示两幅待拼接图像I1和I2对应的灰度图。

而Egeometry(x,y)表达式为：

式中：Diff 为计算I1和I2两幅图像在x和y方向梯度差的乘积因子。

1.2 能量函数的改进

红外图像相较于可见光图像而言，其边界模糊，信噪比低，采用式(1)求解准则所得到的能量函数图存在较多噪声，图像的边缘信息模糊，如图1(a)所示，搜索到的最佳缝合线往往不是从能量差异值最小的位置穿过，容易导致拼接重叠区域存在明显拼缝或重影。

因此，对能量函数改进，在式(1)中引入权重系数ωxy，并对图像颜色差异强度值Ecolor(x,y)的求解进行改进，求解准则Ea(x,y)定义为：

式中：Ecolor(x,y)为改进后的图像颜色差异强度值；而Egeometry(x,y)通过式(3)求解；ωxy为I1和I2重叠区域上点(x,y)处加权值。

式中：k为差异图像加权系数；δxy为I1和I2重叠区域上点(x,y)处的差异值，δM＝max(δxy)。δxy定义为：

引入形态学操作对Ecolor(x,y)的求解进行改进，采用灰度差图像的绝对值来近似计算，则：

式中：I12为灰度差图像；Ibin为二值图像；Wcolor为权重系数。

灰度差图像I12通过式(8)求解：

二值图像Ibin根据式(9)求解：

式中：Imageavg为灰度差图像I12重叠区域内(x,y)像素的平均值。

图1(a)和图1(b)分别为改进前与本文改进后的能量函数图。通过对比可以发现，图1(a)噪声较多，纹理不清晰；图1(b)图像中大量噪声已经被滤除，同时也保留了图像重要的纹理信息，图像目标边缘和结构信息更清晰，更能突显红外图像的颜色差异与结构差异。

图1 能量函数图Fig.1 Energy function diagram

1.3 动态规划搜索

传统的最佳缝合线搜索路径时，仅搜索所在位置下一行中的3 个紧邻点，最大仅能向下方45°方向扩展，搜索路径上存在一定限制。因此，本文对搜索方法进行改进，由原来只搜索3 个紧邻点扩展至搜索下一行中9 个紧邻点，改进的搜索流程图，如图2所示。

图2 基于动态规划搜索准则的改进搜索流程图Fig.2 Improved search flow chart is based on dynamic programming search criteria

①设两幅待拼接图像I1和I2的重叠区域列数为m，把图像重叠区域中第一行的每个像素点作为缝合线的初始点，即m列对应m条缝合线；

②搜索缝合线的扩展点。选择每条缝合线当前点(x,k)下一行的9 个紧邻点作为备选扩展点，当前点与备选扩展点之间路径的能量值计算公式为：

式中：Esum(x,y)表示第x行中的第y列到第k列之间所有点的能量值之和。EN(x,i)为点(x,i)的能量值。

将每个备选扩展点的能量值与式(10)计算路径的能量值Esum(x,y)相加，得到备选扩展点总的能量值。进而一一比较每个备选扩展点总的能量值，选择最小值Es(x＋1,y)的备选扩展点作为缝合线的扩展点。Es(x＋1,y)的计算式为：

式中：k为缝合线扩展当前点(x,k)前所在的列，x＋1、y为当前点在下一行备选扩展点的行、列。确定新扩展点后，更新得到缝合线扩展后的能量值S(x＋1,y)，即：

式中：S(x,k)表示缝合线扩展前的能量值。

③完成当前行后继续返回步骤②扩展下一行的点，直至扩展至图像最后一行，跳转到步骤④；

④经过前面3 个步骤，得到m条缝合线。从m条缝合线中，将能量值最小的缝合线选定为最佳缝合线。

1.4 算法实现流程

改进最佳缝合线的红外图像拼接算法流程图，如图3所示。

图3 改进最佳缝合线的红外图像拼接方法流程Fig.3 Improved infrared image Mosaic algorithm flow of the best seam-line

先采用SIFT 算法提取图像区域特征，实现图像配准；然后在重合区域上引入局部权重系数对图像颜色差异强度进行形态学操作，抑制噪声干扰进而改善能量函数图的纹理信息；最后通过动态规划改进缝合线搜索准则，搜索出最佳缝合线，进而完成图像拼接。

2 红外图像拼接实验验证与分析

为了验证算法的有效性，将本文方法与渐入渐出法、ORB 算法、基于颜色校正的全景图像拼接方法[8]、传统最佳缝合线法进行对比实验，实验平台为PyCharm2019＋Python3.6。

2.1 红外图像拼接效果分析

2.1.1 绝缘子红外图像拼接

使用红外热像仪采集绝缘子图像，分辨率为384×288。绝缘子图像如图4所示。

图4 绝缘子图像Fig.4 Two insulator images

对图4 的红外图像进行初步拼接，然后由最佳缝合线求解准则得到能量函数图，再通过动态规划方法搜索到缝合线，如图5所示。

由图5(a)和图5(b)可知，改进前能量函数图的噪声严重，缝合线受噪声干扰较大，改进后能量函数图的噪声得到了明显抑制，使得图像重叠区域的结构和边缘更清晰，缝合线很好地沿着能量最低的区域经过，避免拼接图像出现局部错位。

图5 绝缘子图像的能量函数图Fig.5 Energy function diagram of insulator image

不同算法的拼接效果如图6所示。由图得知，通过渐入渐出法拼接后的图像，在电缆处出现明显重影。采用ORB 算法拼接的图像，在绝缘子顶部的电缆接头处存在噪声斑点。基于颜色校正的全景图像拼接方法得到的图像，虽然噪声斑点较少，但是在电缆处存在明显的重叠和错位现象。采用传统最佳缝合线法拼接的图像同样存在错位现象。

图6 绝缘子图像拼接效果Fig.6 Insulator image stitching effect

相对于以上算法的拼接结果，采用本文改进最佳缝合线法拼接的图像，图像中局部放大区域未出现重影，融合的过渡区域无错位现象，细节更加清晰。这有助于后续获取变电设备的细节信息，从而更加高效地监测电气设备的整体状态。

2.1.2 变压器红外图像拼接

使用红外热像仪采集的变压器图像如图7所示。

图7 变压器图像Fig.7 Transformer image

对图7 的红外图像进行初步拼接，然后由最佳缝合线求解准则得到能量函数图，再通过动态规划方法搜索找到缝合线，如图8所示。

图8 变压器图像的能量函数图Fig.8 Energy function diagrams of the transformer images

通过图8(a)和图8(b)对比可知，改进前能量函数图的噪声严重，缝合线受噪声干扰较大；改进后能量函数图去除了大部分干扰信息，图像重叠区域的结构和边缘更清晰，使得缝合线能很好地沿着能量最低的区域经过，能有效避免拼接图像局部出现变形错位。

不同算法的拼接效果如图9所示。由图得知，采用渐入渐出法拼接后的图像，虽然没有明显的拼接缝隙，但在图像重叠区域边缘出现了重影现象。基于ORB 算法的拼接图像同样出现重影现象。基于颜色校正的全景图像拼接方法拼接后的图像，由于图像配准存在偏差，导致图像出现错位现象。传统最佳缝合线法拼接后的图像，虽然没有明显的重影现象，但在融合区域存在拼接痕迹。

图9 变压器图像拼接效果Fig.9 Transformer image stitching effect

本文改进最佳缝合线法拼接后的图像，由于最大限度地避免缝合线穿过两幅图像差异较大的区域，相对以上算法的拼接结果，均未出现重影和错位现象，整体视觉效果更好。

2.2 红外图像拼接质量评价

为评价改进算法的效果，反映红外图像的细节信息，选取了文献[9]所用的平均梯度AG、图像清晰度FD和图像边缘强度EI指标衡量改进算法的图像拼接效果。

平均梯度AG表示图像平滑程度，反映图像细节反差能力，其数值越高，表示图像信息更丰富，图像细节保留更好，拼接效果过渡更自然。计算式为：

式中：M×N为图像的尺寸；∂f/∂x表示图像在水平方向的梯度，而∂f/∂y表示图像在垂直方向的梯度。

图像清晰度FD反映细节纹理信息，数值越高，表示图像的清晰程度越好，细节保留得越好。图像边缘强度EI则反映图像的边缘信息，其数值越高，表示图像边缘越清晰。

表1 给出了平均梯度AG、图像清晰度FD和图像边缘强度EI的评价结果，从表中的数据可以看出：在绝缘子和变压器图像拼接实验中，采用本文改进的最佳缝合线方法与渐入渐出法、ORB 算法、基于颜色校正的全景图像拼接方法和传统最佳缝合线方法相比，平均梯度AG的均值分别提高了2.74%、14.84%、8.54%和1.18%，这表明图像的信息更丰富，图像细节保留更好。图像清晰度FD的均值分别提高了3.27%、21.03%、8.75%和1.5%，即改进算法的拼接图像效果清晰度更好。边缘强度EI的均值分别提高了2.40%、5.7%、0.93%和1.05%，这表明改进算法在红外图像拼接中，图像边缘清晰度更好。

表1 拼接效果性能评价指标Table 1 Performance evaluation of image fusion algorithms

3 结论

本文针对变电站场景的红外图像，提出了一种改进最佳缝合线的红外图像拼接方法。利用改进的算法进行图像拼接后，图像融合区域过渡更平滑，拼接痕迹明显减少，且拼接后的图像在平均梯度、图像清晰度和图像边缘强度均有所提高，有效地避免了结果图像出现明显拼接痕迹等问题，有助于后续获取变电设备整体的准确状态，对提高巡检效率具有重要意义。