基于双树复小波变换和频域U-Net的多光谱图像融合算法

李建飞，陈春晓，王亮

(南京航空航天大学生物医学工程系，南京 211106)

1 引 言

多光谱成像技术是一种结合了光谱学和成像学的新兴技术，是基于目标物体对不同波长电磁波谱的辐射或者吸收特性不同，利用多光谱相机捕获物体在多个谱带下的成像信息，以实现对目标物体进行鉴别分析的技术[1]。在临床研究方面，多光谱荧光手术引导技术能够辅助医生对肿瘤位置进行精准定位[2]，彩色图像能够反映目标组织的解剖学信息，肿瘤荧光图像可显示肿瘤大小等形态信息，但空间分辨率较低，无法准确表征肿瘤与周围组织的绝对位置，因此基于图像融合技术处理上述两种图像可同时显示肿瘤轮廓和位置，为肿瘤的临床诊断和研究提供准确参考。多光谱图像融合已广泛应用于医学影像处理[3-4]、目标识别[5]、遥感探测[6]等领域。

目前多光谱图像融合技术中使用较广泛的是基于多尺度分析的融合方法。Vanmali等[7]提出了基于拉普拉斯-高斯金字塔的可见光图像与近红外图像融合算法进行图像去雾化；Mao等[8]提出的多方向联合平均的拉普拉斯金字塔方法能够有效反映融合图像的边缘信息和对比度差；Gomathi等[9]利用非下采样轮廓波变换(non-down sampling contourlet transform，NSCT)和静态小波变换(stationary wavelet transform，SWT)分解图像，提取有效信息进行融合。

随着近年来深度学习的飞速发展，神经网络也被应用于图像融合领域并取得了一定进展，Hermessi等[10]利用卷积神经网络融合小波域中的CT和MRI图像，证实了神经网络在多模态图像融合中的潜力；蔺素珍等[11]提出了基于深度堆叠卷积神经网络的图像融合方法，克服了传统多尺度变换融合图像需要根据先验知识选取滤波器的缺点，提升了融合效果以及运行速度。

在彩色图像和基于荧光示踪剂标记的近红外荧光图像融合过程中，由于荧光图像存在背景及环境光等多种干扰源，导致融合图像的目标区域对比度不高。为进一步提高融合图像的质量和准确度，本研究提出了基于双树复小波变换[12](DTCWT)和频域U-Net的图像融合方法，通过肿瘤裸鼠实验及多种客观评价指标验证了其有效性。

2 方法

2.1 双树复小波变换

离散小波变换(discrete wavelet transform，DWT)首先将输入分解为高频和低频分量，再通过二抽取得到分解后的小波系数。但DWT缺乏平移不变性，输入信号的微小改变会导致小波系数完全不同，且子图像突出水平和垂直方向信息的同时，弱化了其他方向的信息。针对上述问题，人们提出了具有平移不变性、方向选择性和有限冗余性的双树复小波变换(DTCWT)。

DTCWT采用具有二叉树结构的双路DWT实现，一路用于生成变换的实部，另一路生成虚部，两路DWT之间存在一个采样周期的延迟，从而将采样间隔扩大一倍以消除信号的混叠效应。设输入信号序列为f(t)，实部树的尺度函数为sr(t)，小波函数为hr(n)，则实部变换的小波系数Wjr(k)和尺度系数Cjr(k)可由下式求得：

(1)

(2)

其中j取0,1,2…L，L表示分解层数。同理可求得虚部树的小波系数Wji(k)和尺度系数Cji(k)。根据信号解析式组合后完整的小波系数Wj(k)和尺度函数Cj(k)为：

Wj(k)=Wjr(k)+iWji(k)

(3)

Cj(k)=Cjr(k)+iCji(k)

(4)

上述系数即为DTCWT的分解结果，得到分解系数后，可根据式(5)、式(6)实现分解系数的重构。

(5)

(6)

其中λi为尺度选择系数，取值范围为0或1，最终得到的重构信号f*(t)为：

(7)

2.2 频域U-Net网络

随着近年来深度学习的快速发展，神经网络在图像处理领域，如图像融合[10]、图像分割[13]、图像压缩[14]等方面取得了一定进展。Long等[15]提出了可用于图像分割的全卷积网络，该网络可处理任意大小的图像，但上采样和反卷积导致输出结果过于平滑。针对上述问题，Ronneberger等[16]提出了U-Net网络。U-Net网络采用了对称结构，卷积池化降低图像尺寸提取特征的过程可看作编码器，反卷积提高图像大小重构信息的过程作为解码器。该网络在提升图像尺寸的同时，加入编码过程中对应的特征信息，利用多层跳跃连接的方式联合高层语义特征和低层特征信息，可极大提升图像分割精度和运算效率。

目前U-Net主要应用于对空间域图像进行分割，并取得了较好的分割效果。在彩色图像和基于荧光示踪剂标记的近红外荧光图像的融合过程中，采用DTCWT可从频域对源图像信息进行增强和融合。结合上述两种方法的优点，本研究提出了利用U-Net对DTCWT分解后的低频系数进行分割的方法，见图1。该U-Net主体部分与文献[17]中结构类似，但训练网络所使用的数据是近红外荧光图像进行DTCWT分解得到的低频系数子带。

图1 基于DTCWT低频系数的U-NetFig.1 The framework of U-Net based on DTCWT coefficients

2.3 基于DTCWT和频域U-Net的图像融合算法

2.3.1整体框架 本研究提出的图像融合算法框架见图2,该算法具体实现步骤如下：

(1)首先对源图像中彩色图像进行通道分离得到RGB三个通道，由于红色通道R在临床研究中易受血液或组织等影响，而人类视觉系统对蓝色变化不敏感，因此，选择绿色通道G作为彩色图像的融合通道。将G通道图像进行DTCWT分解得到高频子带GH、低频子带GL。再对荧光图像进行DTCWT分解得到其对应的子带H和L。

(2)将荧光图像的低频子带L输入训练好的频域分割网络U-Net中，网络根据训练结果进行自适应分割得到显示肿瘤位置分布的二值化ROI图像。

(3)将步骤(2)中获取的ROI图像与荧光图像的子带L、H分别进行点乘操作，去除荧光图像中非肿瘤区域的干扰，得到只包含肿瘤等目标区域信息的图像NL、NH。

(4)根据不同子带融合规则，分别融合低频子带NL、GL和高频子带NH、GH，得到融合后的低频部分FL和高频部分FG。

(5)对FL和FG进行双树复小波逆变换IDTCWT，重构得到融合绿色通道图像G。

(6)将R、B通道与融合G通道合并得到最终融合图像。

2.3.2融合规则 在融合过程中，针对DTCWT分解得到的不同频率子带设计的融合规则如下：

(1)低频部分采用加权相加的融合规则，公式如下：

FL=GL+k×NL

(8)

其中k为比例系数，具体数值通过实验确定。

(2)高频部分采用绝对值取大的融合规则，选取高频子带绝对值较大值作为融合图像高频分量，公式如下：

FH=max(|GH|,|NH|)

(9)

图2 基于DTCWT和U-Net的融合算法Fig.2 The fusion algorithm based on DTCWT and U-Net

3 实验结果与讨论

3.1 实验设计

为了验证算法中各环节的必要性和有效性，本研究选取图像域直接融合、离散小波变换DWT、非抽样小波变换(undecimated wavelet transform，UWT)和NSCT作为对照组算法验证DTCWT的分解和重构效果，选取大津阈值[18]算法(OSTU)作为对照组比较频域U-Net的分割效果。为了更好地比较算法结构的差异对融合效果的影响，各种算法均采用相同的融合规则。

本实验硬件环境如下：操作系统为Win10专业版，内存64 G，CPU Intel i9-9900 k，显卡型号Nvdia Geforce GTX 2080Ti，U-Net网络基于Python平台的TensorFlow工具搭建及训练，其他算法内容均基于Matlab R2012b实现。

3.2 实验数据

实验数据包括训练网络使用的训练数据以及验证算法使用的测试数据。训练数据集的获取过程如下：选择十只正常体型的健康小鼠处死并去毛，在小鼠体内不同部位埋入浸泡过ICG溶液的不同大小猪肉粒模拟体内肿瘤，利用小动物光学成像系统(AOIS，南京航空航天大学)采集彩色光图像和荧光图像。采集荧光图像时，激发光波长为747 nm，发射光波长为832 nm。实验共获得40组大小为1 024×1 024的彩色图像和荧光图像。由经验丰富的研究人员根据荧光图像勾画其中表示肿瘤等目标区域的二值化ROI，得到荧光图像及其对应ROI的图像对。由于获取的图像较少，难以满足神经网络对大量数据集的需求，因此采用数据增强工具Augmentor[19]进行数据扩充，得到3 200组大小为512×512的数据，构建训练数据集。

测试数据是三组肿瘤裸鼠的多光谱图像，通过尾静脉向肿瘤裸鼠体内注射ICG溶液，并利用小动物光学成像系统获取彩色图像和近红外荧光图像，用于验证本研究算法的有效性。

3.3 评价指标

本研究选取空间频率(SF)[20]、结构相似性(SSIM)[21]、互信息(MI)[22]和边缘保持度[23](QABF)对图像的融合结果进行评价。其中QABF评价融合效果时相较于其他指标更准确，上述评价指标均为正相关指标，即指标值越大则融合结果越好。

3.4 实验结果

3.4.1频域U-Net参数 通过多次训练对网络参数进行测试和调整，最终确定参数如下：批处理量为20，学习率为0.001，总迭代次数为40。

3.4.2融合参数 利用测试数据确定本研究算法中低频子带融合规则比例系数k的取值范围，k取不同数值时得到的融合图像的QABF曲线见图3。由图可知，QABF指标随k增大呈现先增大到达饱和点后反而减小的趋势，在0.8处评价指标达到峰值，因此设置k值为0.8。

图3 不同比例因子k下融合指标变化曲线Fig.3 The results of QABF with different k

3.4.3融合结果 选取一组肿瘤裸鼠的彩色图像、荧光图像和各算法融合结果，见图4。

从图4中肿瘤裸鼠融合结果可以看出，直接融合与简单采用DWT、SWT、NSCT和DTCWT方法将肿瘤荧光图像与彩色图像绿色通道进行融合得到的结果显示效果相似且整体偏绿，荧光图像中亮度区域在融合图像中均会表现出绿色，包括裸鼠腹部、四肢、背景等非肿瘤区域；利用OSTU算法对空域图像和对荧光低频子带进行分割后再得到的融合结果相较于直接融合有改善，但绿色区域相比于荧光图像中表现的肿瘤区域更大，扩大了融合图像中肿瘤的范围，准确度不高；利用图像域U-Net分割后直接融合的绿色亮度偏低，基于频域U-Net进行子带分割后各多尺度方法融合得到的结果显示效果基本相同，相较于OSTU绿色区域与荧光图像中肿瘤区域更吻合，且边界轮廓更加清晰，显示效果优于直接融合以及OSTU。

3.4.4评价指标结果 利用客观评价指标SF、SSIM、MI和QABF对融合结果进行评价的结果见表1。表1中数据表明，在使用相同融合规则的前提下，本研究算法融合结果的空间频率略低于DWT+U-Net的融合算法，其他指标如结构相似性、互信息以及边缘保持度均高于其他对照组算法。

3.5 讨论

实验结果表明，直接融合与利用多尺度分解方法如DWT、UWT、NSCT等将荧光图像与彩色图像融合后结果整体呈绿色，包括背景等非肿瘤区域且肿瘤ROI区域颜色不突出，对比度不高；多尺度分解和大津阈值结合的算法融合结果整体颜色比较正常，但显示的高亮区域明显大于肿瘤荧光图像中反映的ROI，因此阈值法对肿瘤区域的分割效果不佳，引入了周围非肿瘤区域干扰，导致融合图像中肿瘤区域比实际肿瘤区域轮廓大，影响研究人员对肿瘤位置的判断。本研究提出的方法能够保留和增强原始图像信息并准确分割肿瘤等目标区域，提高其在融合图像中的显示效果和对比度。

图4 肿瘤鼠彩色图像与荧光图像融合结果Fig.4 The fusion results of color image and fluorescent image of mouse

表1 各算法融合结果评价指标比较Table 1 The results of SF, SSIM, MI and QABF of different methods

4 结论

本研究提出的算法首先对源图像中彩色图像和荧光图像采用DTCWT分解。针对分解得到的低频参数利用频域U-Net进行分割，从而获取肿瘤分布。然后，采用不同规则对分割后的频域系数进行融合，最终通过DTCWT逆变换重构融合图像。实验结果表明，本研究方法分割得到的肿瘤ROI区域更准确，可有效降低荧光图像中噪声及环境等干扰源影响，具有更高的视觉效果，同时多种客观评价指标的结果均高于传统融合算法。因此本算法更适用于需要进行荧光标记的研究，在肿瘤检测与定位、血流灌注、药代动力学监测等方面具有较大的临床应用价值。