一种改进的压缩感知图像融合方法

张 烨，刘晓佩

(西安科技大学 通信与信息工程学院，陕西 西安 710054)

0 引 言

生活中较常见的2类图像为红外图像和可见光图像，这2类图像由不同的传感器获得，成像机理不同，因此具有不同特点[1]。红外传感器靠背景与目标的辐射得到景物图像，作用距离远，能在遮挡中获取热目标，但得到的图像空间分辨率低，不具有明显的纹理特征，对比度差。而可见光图像恰恰相反，能够提供纹理细节丰富的图像，更利于人眼观察。如果结合这2种图像的特性，就可以得到新的描述更为全面、准确的效果图[2-3]。因此，融合红外图像与可见光图像具有较高的研究和应用价值，且被得到了广泛的应用[4-5]。

目前，图像融合领域中大多都在以提高图像融合质量为主要考虑因素，而实际生活中，在安全监控、战场感知等应用领域，传感图像大多以动态序列的形式输出，这些系列图像需要被实时地融合处理。若还使用传统的图像融合方法要达到实时处理的效果，不仅实现的复杂度增大，而且很大程度上增加了传输、储存、重构的成本。因而，与压缩感知理论(CS理论)[6-7]的结合可以很好地解决这个问题。

在基于压缩感知的图像融合算法中，原图像的空间信息在通过CS观测时丢失，因此处理测量系数时不能够使用基于空间的选取规则，复杂的融合规则也无法采用[8]。融合规则大多选择绝对值取大、信息熵加权、相似性度量、标准差加权等简单方法。但由于绝对值取大法得到的融合图像对比度太大，且有明显噪点；信息熵只能笼统的计算出包含在观测向量中的信息；相似性度量无法准确得到分类区间而造成分类错误；基于标准差加权得到的融合图像相比之下视觉效果较好，但是，当2幅图像标准差相差不大时，根据系数的权重融合图像很可能导致图像融合效果变差，而使用绝对值取大法则能够获取2幅图像各自瞬变特征的显著信息[9-11]。因此，文中提出了一种自适应的融合规则，兼顾了待融合图像的背景信息和红外目标信息，有效提高了图像的融合质量。

1 压缩感知的数学模型

x=Ψθ

(2)

式中Ψ=(ψ1,ψ2,…,ψN)∈RN×N为正交基字典矩阵。假设系数向量θ是K阶稀疏的，即其中非零稀疏的个数K≪N，那么采用另一个与正交基不相关的矩阵Φ：M×N(M≪N)，对信号X做压缩观测可以得到M个线性投影，其中y∈RM，可表示如下

y=Φx=ΦΨθ=ACSθ

(3)

显然从y中恢复x是一个NP-hard问题，但是只要矩阵ACS任意2K列都是线性独立的，那么至少存在一个K-系数的系数向量θ满足y=ACSθ.换言之，在满足上述要求的情况下，通过求解一个非线性优化问题就能从观测y、观测矩阵Φ和字典矩阵Ψ中近乎完美的重建信号X[12-14].

2 图像融合方法及改进的融合规则

2.1 基于CS的图像融合方法

基于CS理论的图像融合方法主要思路：首先分别压缩采样源图像A和源图像B，并在压缩域上进行融合，然后将融合后的图像传送给接收端，在接收端采用重构算法重构出源图像的融合图像[15]，融合框架如图1所示。

图1 融合框架Fig.1 The framework of fusion image

上述融合方法主要分为图像采样、图像融合和图像重构3个步骤[16]：

Step 1图像采样。将输入的待融合图像A和图像B分别通过同一欠采样观测矩阵进行观测，得到压缩域上的观测图像A1和图像B1，这一过程实现图像的降维。

Step 2图像融合。在压缩域上选取合适的融合规则融合Step1中得到的观测图像A1和B1，进而得到融合后的观测图像C1.

Step 3图像重构。采用OMP重构算法重构Step2中得到的融合观测图像C1，得到最终的融合图像C.

2.2 基于NSCT的压缩感知图像融合方法

采用非下采样contourlet变换(NSCT变换)[17-18]对待融合图像进行多尺度分解。图像经NSCT变换后被分解为1个低通子带和K个方向子带，由于低频系数不具备稀疏性，而高频系数具有较高稀疏性，所以保留图像低频系数，只对高频系数进行观测；重构时，利用重构算法对高频系数进行恢复，再经过NSCT逆变换重构出图像[19-20]，基于NSCT的压缩感知图像融合框图如图2所示，具体融合步骤如下

Step 2生成大小为M×N的测量矩阵Φ.

Step 5采用OMP重构算法重构测量值Dj,k(x,y)得到融合后的高频系数Dj,k(x,y).

Step 7将NSCT逆变换作用于Dj,k(x,y)和Lj(x,y)重构出最终融合图像C.

图2 基于NSCT的压缩感知图像融合框图Fig.2 The framework of fusion image based on compression sensing

2.3 融合规则

2.3.1 低频系数融合规则

不同物体在红外图像和可见光图像的表达能力不同，可见光图像的中高频信息多分布在背景等处，而红外图像的中高频则分布在热目标处[21]。传统融合算法中，对低频的处理结果往往使背景比较模糊，或者为了突出红外效果而造成背景信息权重偏向红外图像。因此，为了得到更佳的融合图像，其背景应多来自可见光图像，热目标信息来自红外图像[22-23]。根据这个特点，文中选择分块DCT高频能量准则融合NSCT分解得到的低频系数。

对低频系数做DCT分块变换。DCT变换系数矩阵的特点是：中高频分量分散在右下角，低频分量集中在左上角。 如果直接计算DCT分块的能量会导致图像的中高频能量被掩盖，而每个子块的副对角线右侧系数基本反映了原图像块的高频信息。因此根据对比每一分块的高频能量选择融合系数。定义DCT变换矩阵高频能量如式(5)所示。

式中N为图像分块大小；D(u,v)表示DCT系数矩阵中的系数。文中分为8×8的子块。

图像融合时往往会出现部分灰度均匀的区域，且这些区域通常为背景，如果仅依据DCT系数的高频能量规则融合则易出现误判。因此在融合时，若2幅原图像的DCT高频能量差值小于阈值T时，融合时偏重可见光图像系数，即

XF(i,j)=a×XA(i,j)+(1-a)×XB(i,j),

|EA-EB|

(6)

式中a=0.8，XF(i,j)为融合后的系数；XA(i,j)，XB(i,j)为2幅原图像的像素。

当差值大于T时，分为2种情况；当可见光图像能量较大时，融合系数全部取可见光图像系数；当红外图像能量较大时，融合系数权值偏重红外图像。

式中b=0.2；EA，EB分别为可见光图像和红外图像的DCT分块系数矩阵能量。

2.3.2 改进的高频系数融合规则

通常来说，绝对值更大的系数代表更多的瞬变特征显著信息。但是CS观测过程是对原图像的线性投影，得到的观测向量是观测矩阵内系数的线性组合，观测矩阵的随机性使原图像的信息随机分布到观测向量上。当图像包含的信息很多时，绝对值系数大的图像不一定是信息量多的图像，而标准差却能表示图像信息量的多少。因为标准差反应的是灰度动态范围，标准差越大，说明图像灰度级分布越分散，图像的对比度越高，图像包含的信息越多。但是当2幅图像的标准差相差不大时，无法判断哪副图像包含的信息更多[24]，系数的权重很可能导致融合效果变差，而使用绝对值取大法则能够获取2幅图像中较大的系数，得到图像瞬变特征的显著信息，提高细节的清晰度。因此，文中采用标准差加权和绝对值取大相结合的图像融合方法。

具体步骤如下

1)分别计算高频分量经过压缩后红外图像和可见光图像的标准差sd，如式(8)所示。

2)计算2幅观测图像标准差sdA和sdB的差值，如式(9)所示。

sdt=|sdA-sdB|

(9)

式中sdA，sdB为可见光图像和红外图像观测系数的标准差。

3)计算观测后的融合值YF(i,j).当差值sdt大于阈值Tc说明2幅图像包含信息量的差异大，因此融合时要更偏重于标准差大的图像，故采用标准差加权的方式作为融合规则。当差值小于阈值Tc时，说明2幅图像包含的信息量相差不大，此时，2幅图像的细节信息差异小，因此采用绝对值取大法融合图像，突出其各自的细节信息。具体的融合规则如式(10)所示。

3 仿真结果及分析

选择MATLAB 2013a为软件仿真工具，实验分析图像均为256×256大小灰度级的可见光图像和红外图像。此外，文中将绝对值取大法(CS_MAX)、信息熵加权法(CS_E)标准差加权法(CS_SD)和非下采样contourlet变换(NSCT)以及文中算法分别运用于2组图像，并对上述实验融合效果从主观和客观参数[25]两方面进行比较分析。

图像融合实验仿真效果图如图3、图4所示。实验分别对2组待融合可见光图像和红外图像作3层NSCT分解。2组融合图中，图(c)、(d)、(e)、(f)分别是采用绝对值取大法、信息熵加权法、标准差加权法、NSCT算法融合后的效果图，图(g)为文中算法融合后的效果图。从主观角度来看，这几种方法都能够从红外图像中提取到热源信息，并能将可见光图像和红外图像的特性体现到融合图像中。

对于第一组图像来说，CS_MAX法虽提取到了红外目标，但图像的细节模糊，融合的效果最差；CS_E次之，因为信息熵只是改善了图像信息的丰富程度，并不能明显提高图像清晰度；CS_SD融合效果相对较好，不仅更精准地提取到红外目标的轮廓，图像的清晰度也有所提高，但是对图像细节的表达不够清楚；NSCT算法融合效果最好，融合图像细节丰富，红外目标明确并且与背景分离明显；而文中算法融合效果在对红外目标轮廓的提取上要更精准于前3种方法，且与周围背景界线划分明确，在显著突出了红外目标(鸭子)的基础上清楚的保留了可见光图像草丛处细节信息，在背景清晰度上要高于前3种算法，与第四种算法相比差异很小。

对于第二组图像来说，由于可见光图像是黑夜条件下拍摄的，照明条件不好，因此图像的纹理、边缘等特征只在一些有灯光处才得到比较明显地显示，而CS_MAX，CS_E和CS_SD这3种算法得到的融合图像细节信息均不清晰，如图4(c)、(d)、(e)中广告牌、汽车以及近处的交通指示灯都有不同程度的模糊。而第四种算法和文中算法在精准提取红外目标轮廓的基础上，使融合后的背景更接近可见光图像，并且这2种算法从主观角度分析，对红外目标的提取效果相当，突出图像细节信息，使融合后的热目标在图像中相比周围区域有良好的对比度特征。因此，文中算法与前3种算法相比，保留了更多的可见光图像细节信息，与第四种算法相比，主观上差异很小甚至主观上无法察觉。

图3 第一组融合仿真实验效果Fig.3 Comparison of different fusion effect for the first set of images

图4 第二组融合仿真实验效果Fig.4 Comparison of different fusion effect for the second set of images

2组图像的5种算法的客观参数比较见表1.由表1可知：文中算法的融合效果在E(信息熵)、AG(平均梯度)、SD(标准差)这几方面指标中均优于前3种算法，略低于第四种算法。由于文中算法是根据源图像的性质而选择不同的融合规则进行图像融合，既得到了图像瞬变特征的显著信息，又丰富了图像的信息量，二者兼而有之，使得融合图像从源图像中获取到更多的信息，增强了细节的表现力。相比较第四种算法，由于压缩感知算法的引入，高频分量在经过压缩感知后得到得是观测系数的线性组合，因而导致文中算法在融合高频系数时无法像第四种算法完全精确重构高频系数，所以从客观参数角度分析，文中算法相比较第四种算法融合效果稍差一点。但是从数据量上看，在确保较好的融合效果的基础上，文中算法采用M=190采样点对待融合图像的高频系数进行3层压缩，由于压缩感知算法的引入，使得每层图像高频系数的数据量在融合时都有所减少，数据量为665K，而未经过压缩感知的高频图像数据量为896K，减少了25.7%.综上所述，文中算法在保证融合图像质量的前提下，有效节省了传输、储存、重构的成本。

表1 5种算法图像融合客观参数比较Table 1 Comparison for image fusion objective parameters of five algorithms

4 结 论

将压缩感知算法应用于图像融合领域，针对低频系数和高频系数各自特征采用不同融合规则进行融合。低频融合选择更能突出红外和可见光图像信息特点的分块DCT高频能量准则，高频考虑到传统图像融合规则中的局部信息选取规则不适用CS的测量处理，因此采用结合高频观测值特点的自适应融合规则融合图像。仿真实验表明，文中算法与传统算法相比提高了融合图像的质量，与NSCT算法相比大大减少了高频融合时所需的数据量。同时，从融合效果上来说，文中算法不仅准确提取到红外目标，并且有效保留了可见光图像的背景信息和细节信息，融合图像使红外目标部分更接近可见光图像，提高了融合图像的效果。