基于GF-WLS和VSM的多能量X射线图像融合方法

白贇沨，刘 祎，张小琳，张鹏程，桂志国,3

(1.中北大学 信息与通信工程学院，太原 030051；2.中北大学 生物医学成像与影像大数据山西重点实验室，太原 030051; 3.省部共建动态测试技术国家重点实验室，太原 030051)

数字射线成像是工业器件质量检测的主要方 法。工业器件形状复杂，在射线透照方向上的等效厚度差异比较大，而X射线平板探测器的动态范围有限，在对复杂工业器件进行成像时，可能同时出现过曝光和曝光不足的情况，影响图像质量和后续观察。所以针对这一问题，提出了多能量X射线图像融合算法。

图像融合是最大限度提取多幅图像的有利信息，综合成一幅高质量图像的过程，融合后的图像较融合前的图像含有更多的有用信息[1]。将图像融合技术应用到多能量X射线图像中，可以将工业器件在不同射线能量透照下的有效信息显示在一幅图中，提升图像的信息量，为观察提供便利。目前的图像融合算法一般可分为基于多尺度变换、基于稀疏表示、基于神经网络以及上述方法结合的混合模式。赵贺等[2](2021年)提出了一种基于非下采样轮廓波变换(NSCT)与离散小波变换(DWT)的脉冲耦合神经网络(PCNN)医学图像融合算法，有效提升了融合图像的对比度并保留源图像的细节信息。董安勇等[3](2019年)提出了一种卷积稀疏表示和邻域特征结合的多聚焦图像融合算法，有效地提取了源图像更深层次的清晰测度信息。李雨晨等(2021年)提出了一种基于卷积神经网络(CNN)和加权最小二乘法(WLS)的医学图像融合算法，使融合图像包含更多的视觉细节信息和具有更高的对比度。

图像融合技术经历了由单一到复杂的演变过程，有了很大的进展。边缘保持滤波器由于具有在保持边缘的同时可以平滑图像的特性，被成功运用到图像融合中。LI等[4](2013年)提出一种基于引导滤波的图像融合算法，首次将引导滤波用于权重图的构造，解决了初始权重图中目标边缘未对齐的问题。MA等[5](2017年)提出一种基于滚动引导滤波(RGF)和高斯滤波器的图像融合算法，将输入图像分解为基本层和细节层，使用基于视觉显著性图(VSM)和加权最小二乘(WLS)优化的多尺度融合方法，克服了传统方法的一些常见缺陷。SHARMA等[6](2017年)基于双边滤波和加权最小二乘滤波的融合方法进行图像处理，最终得到的结果具有较好的视觉表现力。羊肇俊等[7](2021年)提出基于加权最小二乘滤波和引导滤波的铸件X射线DR(数字射线成像)图像融合算法, 使用具有边缘保护性质的滤波提取细节图中包含的信息，结合拉普拉斯滤波和高斯滤波来获取显著图，最后的结果有更好的视觉效果。刘明葳等[8](2021年)采用各向异性导向滤波获得基础图和细节图，有效去除了噪声和抑制光晕伪影。

上述算法虽然在一定程度上提升了融合图像的质量，但都不适用于复杂结构件多能量X射线图像的融合。因此，文章结合不同方法的优势，提出了基于GF-WLS(GF为引导滤波器)和VSM的图像融合算法。该算法在提取图像细节时对边缘的保护性良好，融合后的图像纹理清晰，在复杂结构件的多能量X射线图像融合中表现良好。

1 相关理论

1.1 引导滤波

引导滤波是一种新的边缘保持滤波器，其引导图像的局部线性变换，可以实现图像边缘的平滑、细节增强等功能，具有视觉质量好、速度快和易于实现等特点，已成为目前最受关注的滤波方法之一[9]。

文献[4]最早将引导滤波运用于图像融合。引导滤波是一种局部线性滤波器，引导图像的梯度可以被传递到输出图像，边缘细节因此得到保留。引导滤波的数学公式为

(1)

式中：IGF为经过引导滤波的输出图像；G为引导图像；下标p和k为像素的空间位置；wk为以k为中心的窗口；ak和bk是wk中的两个常数，目的是使输出图像和输入图像的差距最小化。

ak和bk可通过式(2)来求解。

(2)

式中：I为输入图像；τ为正则化参数，防止ak过大。

根据式(2)求解出ak和bk的值为

(3)

bk=k-akμk

(4)

由式(1)可知，在不同的窗口wk内，输出的图像会发生变化。为了解决这个问题，对所有的ak和bk按式(5)取平均。

(5)

1.2 加权最小二乘滤波

加权最小二乘滤波是一种非线性滤波器，能够在平滑图像的同时保护图像边缘，并且在多尺度的细节处理上具有出色的表现力[7]。该算法最早见于文献[10]。加权最小二乘滤波是一种全局滤波器，目的是使得输出图像尽可能接近输入图像，并且保持输入图像中显著区域外的其他部分平滑，该算法的具体数学表达式为

(6)

式中：g为输入图像;u为输出图像;p为像素的空间位置；函数的第一项实现输入图像与输出图像尽可能相似的目的，第二项通过对输出图像求x，y方向的偏导来达到平滑图像的效果，λ则为平衡两项的参数；ax,p(g)和ay,p(g)为权重控制平滑程度，其计算方法为

(7)

(8)

式中：l为输入图像的对数亮度通道；α为参数，决定了梯度权重项对图像边缘的敏感度；ε为一个极小的常数，防止输入图像g为常数的区域被零除。

为了方便计算，将公式(6)写成公式(9)的矩阵形式。

(u-g)T(u-g)+

(9)

求解式(9)的最小值，u定义为式(10)的唯一解。

u=(E+λLg)-1g

(10)

式中：E为单位矩阵；Lg为五点空间异构拉普拉斯矩阵。

(11)

1.3 相位一致性

视觉显著图反映的是人眼视觉最感兴趣的区域，而人眼主要依靠图像相位观察图像，因此在图像融合的过程中，将相位一致性算子PC引入显著图的构造来提升最终融合图像的视觉效果。与传统的拉普拉斯算子等提取特征生成显著图的方法相比，相位一致性具有两点优势：① 对图像的亮度和对比度的变化并不敏感；② 在一幅图像中，与傅里叶振幅相比，傅里叶相位包含更多的感知信息。相位一致性的大小度量了特征的显著程度[8]。像素点x的相位值表示为

(12)

式中：An为表示第n个傅里叶分量的幅值；E(x)为局部能量函数；η为常数，引入η的目的是为了应对所有傅里叶振幅都非常小的情况。

用拉普拉斯算子与PC算子对器件提取特征的对比试验结果如图1所示，可以看出相位一致性算子提取的特征更清晰且突出。

图1 相位一致性和拉普拉斯算子提取的特征比较

2 算法设计

基于引导滤波和加权最小二乘滤波的图像融合模型可以在平滑图像和保护边缘的同时,在多尺度提取特征时拥有良好的能力。对源图像进行多尺度分解,引入PC算子和像素对比度提取显著图, 用引导滤波对权重图进行优化,最后叠加各层融合图像获得初步融合图像，重复进行两次融合得到最终融合图像。融合算法框架如图2所示。

图2 融合算法框架

2.1 基于引导滤波和加权最小二乘滤波的多尺度细节提取

传统的多尺度变换主要使用的是线性滤波器，在分解过程中易有光晕伪影产生，可以利用非线性边缘保持滤波器减少伪影。受文献[8]的启发，引入多尺度的方式，采用GF和WLS两种滤波方式分别提取两幅待融合的多能量 X 射线图像中的细节信息。具体过程如下所述。

(1) 对输入图像U进行平滑处理得到对应的平滑图像UGF和UWLS，将平滑后的图像作为下一级平滑处理的输入图像。

(13)

(14)

(15)

式中：Uj为第j级滤波图像;U0为源图像;N为分解层数,设置N=4。

引导滤波器通过σs和σr分别控制滤波的空间范围权重与强度差范围权重。加权最小二乘滤波通过λ和α控制输出图像的平滑程度和边缘的锐化程度。

(16)

(17)

将源图作为基础层b

b=U0

(18)

(3) 对两种滤波提取出的细节信息进行加权平均得到最终的细节层图像，设置权重wGF=wWLS=0.5，则第i层细节di为

(19)

多尺度图像分解流程如图3所示。

图3 多尺度图像分解流程

文章直接将源图作为基础层图像，在细节层与源图像进行叠加的同时，可以达到图像增强的目的。

2.2 基于相位一致性及像素对比度的权重图构造

将相位一致性引入图像融合框架，可以提升融合图像的视觉效果。

(20)

i=(0,1,…,N)

(21)

由式(21)可知，若两个像素点的像素强度值相同，则这两个像素点的像素显著值也相等。因此式(21)可以改写为

i=(0,1,…,N)

(22)

式中：m为像素强度；Mm为强度等于m的像素数；L为灰度级数。

(23)

(24)

(25)

图4 权重图构造流程

2.3 图像融合

融合基础层和融合细节层由加权映射计算得到，分别表示为：

(26)

(27)

最后，将融合后的基础层B与融合后的细节层Di相加，得到融合结果F，即

F=B+D1+D2+…+Di,

i=(1,2,…,N)

(28)

3 试验结果与分析

为进一步验证文章所提方法的优越性，选择了 3 组DR图像进行融合试验。同时，为了验证算法的优势，文章选取了5种其他常见的图像融合算法，从主、客观两方面与所提方法进行对比。这5种算法包括文献[11]所提出的基于结构块分解的图像融合算法(SPD),文献[12]所提的基于尺度不变特征变换和引导滤波的图像融合算法(SIFT-GF),文献[13]所提的基于各向异性扩散的图像融合算法(ADF),文献[14]所提的基于多分辨率奇异值分解的图像融合算法(MSVD),文献[5]所提的基于视觉显著性图和加权最小二乘的图像融合算法(VSM-WLS)。试验使用的软件MATLAB2018a。

3.1 主观评价

3个器件不同方法DR图像的融合结果如图57所示。为了更清晰地比较，框出了一些细节并将其放大。

由图57可以看出，通过SPD方法获得的融合图像的完整性良好，但是清晰度不够高，器件的细节信息损失严重;SIFT-GF方法处理的融合图像亮度较低，在观察器件较厚区域的细节时有一定困难;通过ADF方法获得的融合图像总体上较暗，细节信息相对模糊，边缘特征不明显;通过MSVD方法获得的融合图像对比度较高，但在局部放大图中可以看出器件较厚的区域较暗，细节部分不够丰富;VSM-WLS方法获得的图像整体亮度更高，但清晰度较低，视觉效果不佳。试验结果表明，文章提出的算法在多能量X射线图像融合中效果良好，亮度适中且保留的细节信息丰富，融合后图像的清晰度较高，视觉效果较好。

图5 器件1不同方法的融合结果及局部放大图

图6 器件2不同方法的融合结果及局部放大图

图7 器件3不同方法的融合结果及局部放大图

3.2 客观评价

由于主观算法对细微细节的区分欠缺客观性，所以为了进一步证明文章算法的有效性，对文章算法与对比算法进行客观质量评价。针对图像特点，采用6个客观评价指标来对算法进行评价，分别是方差[15]、空间频率[16]、信息熵[17]、边缘强度、平均梯度[18]、基于视觉信息保真度的指标[19]，比较结果如表 1 所示(加粗字体为最佳结果)。

方差反映图像细节信息的丰富程度；空间频率反映图像的清晰度；信息熵反映图像中平均信息量的多少；边缘强度反映图像的边缘强度；平均梯度反映图像中的微小细节反差和纹理变化特征；信息保真度是基于视觉信息保真度提出的衡量融合图像质量的指标。所选的6个客观指标均为正项指标，其值越大表明融合效果越好。

从表1可以看出，在3种器件试验中，文章方法的方差，信息熵和信息保真度指标仅总体高于其他算法的，表明该方法在信息量的传递方面稍有欠缺；空间频率、边缘强度和平均梯度指标均优于其他算法的，说明该方法保护边缘的能力远高于其他算法的，对图像微小细节的描述能力良好，清晰度与其他算法相比也有很大提升。结论与主观评价一致，说明了该算法有明显的优越性。

表1 3种器件DR图像融合结果的客观指标比较

4 结语

提出了一种基于GF-WLS和VSM的多能量X射线图像融合方法，用两种滤波方法提取图像细节。在融合规则上，采用了相位一致性和像素对比度构造权重图。将所提方法与 5种代表性算法进行比较。主观视觉和客观数值比较结果表明，所提算法较好地保留了两张图像的细节，且在拥有良好融合效果的同时，获得了很好的增强效果, 在复杂结构件的多能量X射线图像融合中表现优越。