基于自适应加权的多尺度图像融合研究

胡雪凯，罗 蓬，李铁成，蔡玉汝，马 娜，周雪青

（1.国网河北省电力有限公司电力科学研究院，河北 石家庄 050021；2.南瑞集团（国网电力科学研究院）有限公司，江苏 南京 210061；3.国网电力科学研究院武汉南瑞有限责任公司，湖北 武汉430074；4.中国科学院上海高等研究院，上海 201210）

0 引言

国家电网在2018年2月首次提出“泛在电力物联网建设智慧企业”的信息通信战略目标，在2019年1月公布的1 号文件中年度重点工作首位便是“打造状态全面感知、信息高效处理、应用便捷灵活的泛在电力物联网”。电力设备长时间在高压、高负荷、高温的工作环境下运行，以及冰雪、台风、雷电、地震等恶劣自然环境的影响。利用多源异构传感数据组成电力系统的状态感知和故障诊断系统[1]，如环境、微气象数据、局放、红外、电量等监测数据，可见光、红外、紫外等机器视觉数据、温度、湿度、气象、地理等环境数据，以及台账数据、巡检数据等设备历史数据组成。

1 红外与可见光图像融合方法

1.1 电力设备的常用图像融合方法

机器视觉中的图像处理技术在智能化运维、实时态势感知、电力系统最优运行调度等电力物联网高级应用场景中得到了广泛的应用，通过不同类型的机器视觉图像传感器组合搭配，如可见光与红外图像融合、可见光与紫外光图像融合、可见光与毫米波图像融合、CT 与MRI 的图像融合、SAR 与红外的图像融合，对采集的图像进行配准、分割、特征提取、目标识别等图像处理和计算机处理，形成高质量的融合图像[2-3]，实现全天候的智能巡视。例如，将机器视觉引入到输电线的定期巡检作业中，通过视频及图像分析提取输电线图像，提供智能巡检服务，山东电科院早在2012年开展无人机实现高海拔区域的输电线巡线[4]；将机器视觉与机器人相结合，开发变电站内自动巡检车；将机器视觉引入到高压断路器的机械特性判断，进行开关合闸位置判断[5]，机器视觉技术也可进行电力工程的入场安装前结构参数检测。

当电力设备发生接线接触不良、接线错误、端子松动、开关切换不灵等故障，通常伴有电流和电压的突变，造成局部或整体的异常发热，据统计[6]热故障在电力设备总故障的占比为80%。红外成像利用红外传感器对发热物体的敏感特性成像，优点是对外界环境的影响不大，缺点是图像中物体边缘细节信息较少，对比度和清晰度较差；可见光成像是对场景信息的真实反映，优点是有较高的纹理和边缘细节，缺点天气和自然光等环境因素对清晰度有直接影响。可以很好地防止由于恶劣的环境或者突发事件造成大规模停电。因此文中利用可见光、红外热图像的互补性，通过图像融合处理，避免单一图像传感器的缺点，同时获得可见光的边缘与细节信息与红外的热辐射目标信息，提升对场景的感知和理解，并可全天候适用。

像素级融合是在图像原始像素的基础上通过一定的策略并计算新的像素值，融合后图像含较多的原始图像信息，有利于进一步的分析处理。像素级融合包括空间域融合方法和变换域融合方法，空间域的算法主要有加权平均、基于PCA、基于HIS 色彩映射等融合方法，其中加权平均算法根据权重因子对图像视觉效果的调整，较多低频融合采用该方法；图1(a)为高空输电线路的红外图像，图1(b)为高空输电线路的可见光图像，图1(c)是加权平均融合图像。融合图像相较于可见光图像总体的亮度和对比度有所下降，地面的树木清晰度下降。

图1 加权融合算法Fig.1 Weighted fusion algorithm

变换域的融合算法主要有拉普拉斯金字塔、离散余弦变换、小波变换和多尺度分解法等的融合方法。拉普拉斯金字塔分解[7]在融合过程中，有较多的冗余信息容易产生“阻塞”。离散余弦变换主要用于多聚焦图像，图2(a)和图2(b)是一张前面时钟清晰、一张后面时钟清晰的两组不同聚焦时钟图，图2(c)是基于余弦算法的融合图像，可以看出两个时钟的清晰度均提高了；小波变换除了具有塔型变换的特点，还具有较好方向性的视觉效果。

图2 基于余弦变换的图像融合处理Fig.2 Image fusion processing based on cosine transform

由于对热故障检测时，图像中的色彩信息对图像融合检测的影响较小，因此文中后续处理采用灰度图像。

1.2 基于小波变换的红外与可见光融合方法

基于小波变换（wavelet transform，简称WT）的多尺度变换，具有方向选择性、正交性、可变的时频分辨率等特性，更加符合人眼对不同方向的高频分量具有不同分辨率的视觉机制，可以获得更好视觉效果的融合图像。首先按照公式(1)进行Mallat 离散小波对图像分解，其中DjH、DjV、DjD是图像在Cj－1尺度层上的近似分量、水平和垂直细节分量；j－1 为多尺度分解层数；r、c分别是图像的行和列；H、G分别是低通、高通滤波器；Cj是第j层分解的低频分量，是Cj－1上的近似。

将原图像分解为一系列不同空间分辨率下不同频带的子图，根据图像子频带分别进行小波系数的融合处理，组成全新的融合图像的小波系数，对各分阶层从高到低分别根据融合方案和算子进行融合处理，形成融合图像的小波系数，令H、G的共轭矩阵为H*，G*，按照公式(2)完成小波逆变换，恢复得到全新的融合图像。

式中：，分别是低通、高通综合滤波器。

图3(a)和图3(b)分别是高空输电线的红外光图像和可见光图像，图3(c)是基于小波变换的融合图像，可以看出融合图像兼具红外的对比度和可见光的细节，同时相较于图1(c)的加权平均算法具有更好的对比度，适合人眼观察。

图3 基于小波变换的图像融合处理Fig.3 Wavelet transform image fusion

2 基于自适应加权的多尺度融合

2.1 自适应加权小波图像融合

目前基于小波变换的图像融合方法的研究主要集中在：融合规则及融合算子的选择，小波分解与重构的形式。文献[8]设计了一种基于边缘选择的低频融合规则，高频采用绝对值最大的融合规则，更好地保留图像的边缘信息。文献[9]将离散小波应用于遥感图像的融合中，进行小波变换时，采用行列降采样。提出一种基于自适应的多尺度的图像融合算法，首先对图像进行多尺度小波变换分解，低频子带与源图像近似，考虑到图像拍摄可能有暗背景的情况，根据图像能量的大小采用自适应调节加权系数进行融合，高频子带包含图像纹理、边缘等细节信息，选取绝对值最大的那个小波系数，最后将融合后的小波系数进行小波逆变换，生成融合图像，具体处理过程如图4所示。

图4 基于自适应多尺度小波变换的图像融合流程Fig.4 Image fusion process based on adaptive multi-scale wavelet transform

步骤一：按照公式(1)进行Mallat 离散小波图像分解；

步骤二：低频子带与源图像近似，考虑到图像拍摄可能有暗背景的情况，根据图像能量的大小采用自适应调节加权系数进行融合，高频子带包含图像纹理、边缘等细节信息，选取绝对值最大的那个小波系数，具体融合规则在下面将详细介绍；

步骤三：按照公式(2)进行小波逆变换生成融合图像。

2.2 融合算法方案

融合规则的设计是获得高品质融合图像的重中之重[10]，常用的图像融合规则有平均法、绝对值取大以及L1 范数等[11]，文中设计一种根据图像的低频和高频不同特性，采用不同的融合规则。

1）低频融合规则

低频采用自适应的加权融合规则，将图像划分为M×N块，根据区域方差和能量大小自适应加权调节因子调节后融合，实现区域自动调节融合，达到方差大的区域尽量保留到融合区域中，方差小的区域较小比例保留到融合图像中，避免过多保留一幅图片的信息，区域方差σ和能量E的计算公式为式(3)，其中u为局部区域的方差均值。

自适应加权融合后的低频子带系数计算如公式(4)，式中ωA和ωB分别表示红外图像和可见光图像B的权值，CJ(F,p)，CJ(A,p)，CJ(B,p)是像素点p对应融合图像、红外图像A 和可见光图像B 在J层分解时的小波系数。当图像A 的区域能量大的时候，图像A的融合比例较大，反之，当图像B 的区域能量大的时候，图像B 的融合比例较大。

2）高频融合规则

高频采用绝对值最大的融合规则，融合后高频子带系数计算如公式(6)，式中VA,Ji(x,y)，VB,Ji(x,y)是图像A 和B 高频分量，取两幅图像中绝对值最大的那个系数作为融合图像的高频系数。

3 图像融合算法仿真

3.1 图像融合主观评价

图像融合源图像分别采用已经经过配准的高空输电线和某变电站内电力设备两种场景可见光图像和红外光图像，采用Matlab 软件进行算法实现。针对高空输电线路的红外光图像和可见光图像依次进行加权平均算法、小波变换，小波变换系数平均加权算法，小波系数低频采用自适应加权和高频采用最大值的融合算法（即本文的改进算法）图像融合后，图5(a)为高空输电线路的红外光图像，图5(b)为高空输电线路的可见光图像，图5(c)为采用加权平均算法的融合图像，图片整体偏暗，对比度相对其他方法较差，图5(d)采用小波变换的融合图像，图5(e)采用小波变换后系数平均加权算法的融合图像，融合后的图像清晰度和对比度要好于图5(c)和图5(d)，图5(f)是采用小波变换自适应加权小波变换的融合图像（即自适应加权的多尺度图像融合），清晰度和对比度要好于图6(c)和图5(d)，较图5(e)具有更好的细节信息，更加适合人眼观察。

图5 不同融合算法的融合结果图Fig.5 Fusion results of different fusion algorithms

图6(a)为电力设备的红外光图像，图6(b)为电力设备的可见光图像，图6(c)为小波变换系数进行平均加权融合效果，图6(d)为文中采用自适应加权的多尺度融合效果，通过图像的比对图中设备的边缘细节，图6(d)的清晰度要好于图6(c)的融合效果。

图6 小波变换及改进算法的图像融合Fig.6 Image fusion of WT and improved algorithm

3.2 图像融合客观评价

图像融合的客观评价[12]通过数学计算方式进行图像质量的评估的量化评价，可通过数值大小客观评价，主要分为3 类：标准差（standard deviation，STD）、均值（MEAN）、平均梯度（average gradient，AG）和信息熵（entropy，EN）等基于统计特征的评价方法，标准差主要反映图像像素值与灰度均值之间的离散程度，均值是图像平均亮度的一个反映指标，平均梯度是细节反差和纹理变化特征的一个反映指标。信息熵反映图像中包含平均信息量的多少；均方误差、均方根误差（root mean square error，RMSE）、信噪比等与理想参考图像对比的评价方法，均方根误差反映融合图像与源图像间的灰度差异；结构相似度（structral similarity，SSIM）、交叉熵（cross entropy，CEN）等与源图像联系程度的评价方法，结构相似度，用滑窗技术从结构、对比度和亮度的失真角度计算。交叉熵主要反映与源图像对应像素的灰度差异。

以一幅M×N的图像G为例，本文采用的几种客观评价指标计算公式如式(7)所示。

式中：P(i)为灰度为i的像素数与总像素数的比；GF(i,j)是参考图像；GR(i,j)是融合图像；α，β，γ是权重系数（通常取1）；l(R,)，s(R,F)，z(R,F)是图像R和F的亮度、对比度和结构相似性。

上述客观评价指标中，均值、标准差、平均梯度、信息熵的数值越大，融合后的图像包含的信息越多，细节和纹理丰富，融合效果越好。均方根误差、结构相似度、交叉熵的数值越小，与参考图像或者源图像的差异越小，融合后的图像效果越好。

对图5和图6的图像融合效果图的客观评价分别见表1和表2，通过表1客观评价标准的对比，可以看到均方差、熵值和平均梯度在几种融合算法那中表现最优，融合的效果有所改善。

表1 高空输电线图像的融合客观评价标准对比Table 1 Comparison of objective evaluation criteria for fusion of high-altitude transmission line images

通过表2的客观评价指标可以看出，文中采用自适应加权的多尺度融合的标准差、熵值和平均梯度均有所提升，代表图像信息量有所增加，包含的细节和纹理等特征信息变得更为丰富。结构相似度和交叉熵值有所减少，代表着和原图的差异性较小，融合效果较为理想。

表2 电力设备图像融合客观评价指标对比Table 2 Comparison of objective evaluation indicators for image fusion of power equipment

4 结论

对电力应用场景下红外光和可见光的配准图像，进行基于小波的多尺度变换的图像融合，针对低频子带包含了亮度信息，高频子带因为包含了图像的纹理、边缘等细节信息的特征，提出了一种自适应的多尺度融合算法，低频子带根据方差和能量的大小进行自适应加权平均处理，高频子带采用最大值保留更多信息，从测试结果可以看出，该融合算法既保留可见光图像中的纹理细节、图像边缘轮廓信息，又保留了红外图像中发热物体等特征，可全天候工作，目测融合图像具有较多细节信息和清晰度，客观评价标准的几项指标也有所提高，为后续智能巡视的检测与识别奠定了基础。