基于超分辨率的多聚焦图像融合算法研究

曹 军，陈 鹤，张佳薇

东北林业大学 机电工程学院，哈尔滨150040

1 引言

近年来，机器视觉技术在军事勘测、海底沉船搜索、道路车辆监测等方面得到了广泛的应用。然而，由于不同物体对光线的吸收与散射作用不同，导致收集到的图像信息出现不同程度的细节模糊、信噪比低等不良情况。因此，通过多聚焦图像融合技术来增强图像，成为提高图像质量的重要途经[1]。

多聚焦图像融合[2]是通过同一传感器对场景中不同位置分别进行聚焦拍照采样，得到该场景的多聚焦图像序列，然后根据某一特定的算法或方法提取各图像中清晰的区域，对这些清晰区域进行有序融合，从而得到该场景的高清晰图像。

随着对图像融合的深入研究，众多学者专家提出了许多的相关方法。如Gangapure等人[3]提出了一种基于稀疏表示的多焦点图像融合方法，采用K-SVD和批量Omp算法对图像进行融合，克服了自适应构建的问题。该方法对不同模态的图像融合取得了一定的效果，但其在模式变换中具有一定的相互关联，使变换后的图像包含了冗余信息，影响了图像边缘清晰度。Wang等[4]利用最大类间方差和边缘检测，将源图像分成背景和目标区域。利用平稳WT对图像的背景进行多尺度分解。最后，通过加权融合得到了融合图像。该方案可清晰表示目标与场景内容，但WT仅能计算水平、垂直、对角线等3个方向的子带，对某些局部细节的描述能力较弱，在噪声与模糊情况下融合效果不佳。

针对上述问题，本文提出了一种基于超分辨率的多聚焦图像融合算法。该算法具有2个方面的优势：通过超分辨率方法增强了图像的对比度，使图像的有效信息更加的突出，让图像的细节更加明显；采用SWT与PCA两种算法结合使用，使融合后的图像能够保全更多的原始信息，并有效显示复杂的像素结构，提高视觉质量。

2 融合算法

2.1 图像超分辨率增强图像

目前，大多数图像融合技术着重强调的是新融合算法的应用，忽略了进行图像融合前对源图像质量的要求，这会导致最终融合图像清晰度降低、边缘模糊等情况。为了避免这种情况，本文提出利用超分辨率法在进行图像融合之前对所有源图像进行处理[5]。

超分辨率法是将低分辨率图像转换为高分辨率图像的一种方法。通过超分辨率法可以实现对目标物体的专注分析，从而可以获取感兴趣区域更高空间分辨率的图像，而不必直接采用数据量巨大的高空间分辨率图像的配置。

超分辨法处理图像的方法有两种[6]，分别是多帧超分辨率法和单帧超分辨率法。多帧超分辨率法是充分利用了不同帧的图像之间的互补信息，将各部分互补信息重构加工进而提高图像分辨率。单帧超分辨率法是利用单帧探测器采集到的低分辨率图像的信息，通过重建算法提高图像分辨率。多帧超分辨率法在重建图像时要考虑源图像间帧数之间的关系，不同帧数大小的图像重建时所需的时间、空间和内存各有差异，这大大约束了图像重构的效率。单帧超分辨率法的优势在于其在图像空间和频带之间的约束性大大减少，通过单帧探测器采取图像信息，避免了源图像之间帧数的差异，节省了图像重构的时间，提高了效率，因此，本文采用单帧超分辨率法重构图像。

2.1.1 双三次插值的单帧超分辨率法

基于插值的超分辨率法主要有双三次插值法、双线性插值法和最近邻插值法[7]。双三次插值法是最常用且有效的方法，因其能产生比其他插值法更平滑的边缘，并且基于双三次插值的单帧超分辨率法能够利用相邻像素点之间的关系，获得高清晰度的像素以制作高分辨率图像，双三次插值法适用于多聚焦图像融合。

利用双三次插值的超分辨率方法重建后图像各个像素点间的关系，可以得到像素间的密集点，进而得到高分辨率图像。16个相邻像素选择和使用这些像素邻域矩阵由是由公式（1）给出。r表示行的像素位置，c表示列的像素位置，Pij(i,j=1,2,3,4)表示图像的像素值。

图像的高分辨率块如公式（2）所示，公式中，ai，bj为计算的超分辨率因子，ai，bj的系数可以用公式（3）和公式（4）给出的Lagrange方程来计算。由于选择了16个相邻像素，i和j继续选择3个。行用i表示，列用j表示。

设恒定值s为超分辨率系数，超分辨率系数越高，越能增加融合的系数和质量。本文中超分辨率系数选择为2，即源图像的分辨率加倍，ceil()表示返回大于或等于括号内最小整数，k表示平移的位置，由于像素大小的限制，x、y分别代表行、列的位置信息，k=（1，2，3，4）。

在找到ai,bj矩阵后，实现如公式（5）所示的最终方程，得到图像的高分辨率块。

2.1.2 平稳小波变换分解图像

应用于图像融合的小波变换算法有许多，大多基于图像的频率域进行图像融合，这些融合方法虽然能满足融合图像对图像多尺度分解的要求，但严重忽略了图像分解过程中图像的分解层数以及对应子带的特性[8]。本文提出一种新的平稳小波变换法进行图像融合以解决上述问题。

SWT是一种位移不变的小波变换算法，其在进行图像融合步骤上与其他小波变换有着明显的不同。SWT不使用低通滤波器和高通滤波器进行向下采样，而只进行向上采样操作，通过在每个分解级别上添加零来更改过滤器的内容，因此，原始信号不会被SWT抽取。虽然SWT存在冗余的代价，但信号保持了原始的大小，并成功地提供了位移不变量。同时，冗余分解还具有节省信号细节等优点。由于只有上采样，使计算时间大大减少。利用SWT对源图像进行分解，源图像被分解成四个子带。这些子带的像素大小与源图像相同，源图像被分解后的子带是LL、LH、HL和HH四种子带。LL是包含源图像近似信息的低频子带。LH、HL、HH是包含源图像细节信息的高频子带。SWT的流程图如图1所示。在图中，向上箭头表示向上采样步骤。SWT在每个级别使用低通和高通过滤器。这些滤波器用于产生平滑边缘、锐化图像、去除噪声和边缘检测。低通滤波器减少了高频分量，保留了低频分量。高通滤波器与低通滤波器相配合，完成转换。

图1 SWT分解流程图

此外，本文还应用了离散小波滤波器用以减少误差和相位失真，公式（6）～（8）给出了该小波滤波器的定义：

其中，a和b为实数和正数，表示伸缩因子和平移因子。

其中，φ(x)为小波母函数，公式（6）中的φa,b(x)是母小波经过平移和伸缩后的结果。

对于特定尺度j，使位移量b以Δb=ajb作为采样间隔，此时变为：

在SWT中，为了提取近似详细的系数，对源图像采用了低通和高通滤波器进行滤波。对于大小为m×n源图像，该级别的SWT显示为：

其中，a=1,2,…,m、b=1,2,…,n分别对应图像的长度和宽度，l、h分别对应低通和高通滤波器。LJ+1和LJ分别表示低频分解后在j+1和j两个级别上的低频系数。LHJ+1为水平细节系数，HLJ+1垂直细节系数，HHJ+1为信号对角细节系数。

2.1.3 逆平稳小波变换

对SWT的系数直接在变换域进行处理融合得到的系数，再进行逆变换获得融合图像。平稳小波逆变换具体过程如下：

其中，h(x)和h(y)表示低通滤波器，g(x)和g(y)表示高通滤波器，m和n分别表示融合图像的水平和垂直的位置，表示融合后图像包含的全部细节信息，分别表示被分解图像在2j尺度下的低频细节分量，分别表示被分解图像在2j尺度下水平、垂直和对角方向的高频细节分量。

2.2 融合规则

融合规则是多聚焦图像融合的重要组成部分，融合规则是指对源图像的特征向量进行有效的数学处理。由于选取极大值融合规则会导致融合后的图像产生块状模糊，并失去图像的空间信息[9]；选取平均值融合规则会使融合后的图像对比度下降，丢失图像细节，所以本文采用PCA作为融合规则。

PCA是一种常用的数据分析方法，它将原始数据通过线性变换转换为一组各维度无关的线性向量，用于提取数据的主要特征分量，在保证在数据最大方差不变的约束下，把原始数据投影到低维线性子空间，使原始数据在保留各维度分布特性的基础上信息损失量减少。因此，PCA保留了图像更多的细节，减少了图像模糊和空间失真，从而使融合后的图像具有更详细、更清晰的边缘和更好的视觉。

PCA步骤如下[10]：

步骤1获取图像并将图像转换为2D灰度。

步骤2沿列减去源图像的平均值。

步骤3查找源图像的协方差矩阵。

步骤4计算协方差矩阵的特征向量和特征值。

步骤5排序特征向量并选择第一个主分量。

2.3 本文算法

本文提出的图像融合算法为多种算法混合的图像融合算法，该融合算法主要包括：图像超分辨率处理；SWT对图像进行分解，重构；PCA对图像分析处理。这三种算法在前文已有了明确的介绍，如下是本文提出的图像融合算法步骤：

（1）对多聚焦源图像，依据像素将图像分成大小为4×4的图像块，则每个图像块在源图像中的位置可以用pi,j表示。其中i，j分别代表图像块所在的行与列。

（2）将全部的图像块pi,j代入公式（3）和（4）中，进行像素放大，再将获得放大后的图像块按公式（5）进行对应排列，就获得了高分辨率图像。

（3）对获得的高分辨率图像进行SWT分解，按照公式（9）～（12）图像被分解成分解成4种子带l1～l4。

（4）对获得的4种子带进行PCA分析筛选，将获得的子带数据搭建成一个n维的独立向量，i=1,2,…,n。再将数据进行降维，降维公式如式（14）所示：

再计算S的特征值及特征向量，计算公式如下：

计算出特征值λ1，λ2，…，λn，特征向量p1，p2，…，pn。然后将特征值按从大到小的顺序排列，利用最大特征值以及降维最小序数对全部子带数据进行匹配筛选。

（5）将筛选好了的子带分别对应代入公式（5）中，取像素平均值获得最终融合图像。

本文提出的融合算法的思路框图如图2所示。

图2 融合流程图

2.4 图像质量评价

图像质量的评价可分为两类，全参考图像质量评价和无参考图像质量评价[11]。

全参考图像质量评价又称主观质量评价，评判标准需要一个参考图像来衡量质量，采用的参考图像应是未进行融合前的源图像。如果参考图像是可用的，全参考图像质量评价指标：均方根误差（RMSE），峰值信噪比（PSNR）。

无参考图像质量评价被称为客观质量评价，这些指标不需要参考图像。如果没有参考图像，则使用源图像之间融合后的图像关系或使用融合图像与源图像之间的相似性计算图像性能指标。无参考图像质量评价指标：平均梯度（AG），用于边缘检测的Petrovics指标(QAB/F)，互信息（MI）。

2.4.1 均方根误差

RMSE反映的是已知图像和融合图像之间的误差大小[12]。该方法计算了原始图像与融合图像的差值，如果结果接近于零，则表明该方法是成功的。RMSE的计算如公式（17）所示：

其中，M是图像的高度，N是图像的宽度。i，j是像素的位置，Ir是参考图像像素强度，If是融合图像的像素强度。

2.4.2 峰值信噪比

PSNR反映的是将参考图像与融合图像之间的灰度值划分为对应的像素数[13]。当这个值较高时表示该方法具有较高的性能。PSNR的计算如公式（18）所示：

其中，L是灰度值，M是图像的高度，N是图像的宽度。其中i，j为像素的位置，Ir为参考图像的像素强度，If为融合图像的像素强度。

2.4.3 平均梯度

AG提取图像中对比度和纹理变化特性的细节，同时它还定义了图像的清晰度。其计算如公式（19）所示：其中，ΔIx，ΔIy分别表示为在x和y方向的一阶差分的像素。M和N分别是图像的长度和宽度属性。AG值越大，表明该融合方法的性能越好。

2.4.4 petrovics指标

QAB/F通过测量源图像到融合图像的边缘信息来评估融合性能。QAB/F的计算公式如下所示：

其中，QAF(i,j)=QAFa(i,j)QAFb(i,j)并且满足0≪QAF(i,j)≪1。F中信息的缺失表现为QAF(i,j)和QBF(i,j)。QAF(i,j)和QBF(i,j)的权重分别表示为wA(i,j)wB(i,j)。QAF显示了源图像A与融合图像F在边缘信息上的关系。QAB/F值越大，说明融合后的图像保存的边缘和结构越多，如方差等。

2.4.5 相互信息

MI显示了从源图像传输到融合图像的重要数据。MI是由以下公式计算出来的。

其中，A和B为源图像，为融合图像。PAF和PBF为融合图像之间源图像的联合直方图，联合直方图显示了灰度值的频率信息。对于A、B、F图像，这些图像的直方图分别为PAF、PBF、PF。A、B、F是这些图像的像素大小。最后的结果为：

MI值越大，融合图像从源图像中获得的信息越多。

3 实验结果

本文仿真实验平台采用锐龙r5-1500、4核8线程CPU，显卡型号为铭影GTX750Ti 2 GHz，内存16 GB，操作系统为Win10，编程软件为Matlab2016a。实验采用来自dataset[14]数据集上的2组多聚焦图像和1组人工提取的多聚焦图像来对本文提出的方法进行验证，分别是图3多聚焦植物图像（512×512）、图4多聚焦时钟图像（360×360）和图5多聚焦图书图像（480×480）。

图3 多聚焦植物图像

图4 多聚焦时钟图像

图5 多聚焦图书图像

在给出可视化融合图像成果后，又采取了多种图像评价指标对融合图像进行了评定。并与文献[2，11-13，15-17]成果做出对比。其中，文献[2，11-13]中主要采用单一小波变换的方法进行图像融合，结合不同优化算法达到多聚焦图像的融合；文献[15-17]中主要以PCA原则为核心，着重对目标物体轮廓的清晰度做了比较深刻的研究。

3.1 融合图像成果

为验证该本文本文算法在图像融合方面优于一般小波变换算法，选择了平稳小波变换（SWT）[2]、离散小波变换（DWT）[11]、提升小波变换（LWT）[12]这三种算法进行了图像融合，如下为实验对比成果。

3.2 图像性能指标

根据各种图像评价指标分析了实验结果。其各项性能指标AG、QAB/F、MI、RMSE、PSNR具体数值如表1所示。

表1 各项指标数值

3.3 比较结果

在得出本实验各项性能指标的基础上，又对文献[2，11-13，15-17]中实验结果做出了对比，选取了图书与时钟图像作为实验对象，采用AG、QAB/F、MI、RMSE、PSNR这五种图像性能指标测量。对比结果如图6和图7所示。

由2.4节可知，AG越大，图片的纹理信息越清晰；MI值越大，融合图像从源图像中获得的信息越多，融合图像越真实；QAB/F值越大，说明融合后的图像F保存的边缘和结构越多，图像越清晰。从图6和图7可知，本实验获得的结果在这三方面评测结果最优。

4 结束语

为了提高图像融合的质量，获得高清晰度的图像，本文提出了一种基于超分辨率的多聚焦图像融合算法。通过超分辨率法对所有源图像进行增强，突出源图像细节信息。然后通过SWT对处理后的源图像进行分解，分解成包含源图像所有信息的4种子带。通过PCA融合规则对4种子带选分析选择最优子带，利用ISWT重组融合得到最终融合图像。

由实验结果可知，本文提出的融合算法相比较于传统小波变换融合图像的方法有了极大的改善。本文提出的方法具有边缘清晰、清晰度高、失真小等优点，从主观视觉及客观评价方面均取得了满意成果。

图7 时钟图像性能指标的对比结果