基于NSCT变换与压缩感知的红外/被动毫米波图像融合

林晨晖，聂建英

(福州大学数学与计算机科学学院，福建 福州 350116)

0 引言

红外制导识别目标能力强，但红外探测系统在低能见度情况下成像能力差，而被动毫米探测具有穿透硝烟战场的特殊能力，但由于成像技术局限，导致图像分辨率低. 因此，红外/被动毫米波复合制导成为技术研究热点. 多模复合制导能结合传感器各自优势，使复合探测器不被恶劣气候、战场环境影响，实现全天候工作，快速精确地识别、打击军事目标[1-2]. 在此背景下，本研究的重点为红外/被动毫米波(infrared/passive millimeter wave, IR/PMMW)图像融合.

图像融合是将多个传感器在同一时间或不同时间获取的信息加以处理，综合生成满足某种应用需求，具有更多信息的场景解释过程. 图像融合涉及图像的多分辨率分析，经典小波变换(discrete wavelet transformation，DWT)方法存在高频分解不彻底，缺乏平移不变性等缺陷； 轮廓波变换(contourlet，CT)增加了分解方向，但经上下采样后图像频谱混叠. 而在轮廓波变换基础上发展而来的非下采样轮廓波变换(non-subsampled contourlet transform，NSCT)，不仅继承了小波变换的多分辨率时频分析特性，且具有各项异性与平移不变性，能减少图像出现Gibbs现象的概率. 基于NSCT的融合算法属于变换域方法，运算速度慢、复杂度高、不能实时成像. 为此，本研究引入压缩感知理论(compressive sensing，CS)，用于数据量大的高频信息融合，以提高融合算法效率. CS利用信号的稀疏性，突破了Nyquist采样定理的限制，能以精简的采样数目完美地重构原始信号. CS理论用于图像处理能显著降低数据存储空间、信号处理时间以及计算成本，其广泛地被用于信号处理当中[3-5].

在对IR/PMMW图像融合的探索中，前人做了大量研究，许建忠等[6]提出基于决策信息的毫米波/红外复合制导信息融合算法，在决策信息基础上改进了系数的融合方法； 何伏春等[7]在多小波包变换域上实现了红外/毫米波图像的融合； 董鹏等[8]提出将协方差交叉算法用于毫米波/红外图像信息的融合. 本研究在前人的基础上针对IR/PMMW复合制导成像的实时性、数据量大、成像模糊等问题，提出一种新的基于NSCT变换与CS的图像融合算法. 该算法改善了复合探测器输出的融合图像细节不清晰、运算效率低的缺陷，取得了高质量的结果，提高了对军事目标的识别和跟踪能力.

1 图像的非下采样轮廓波变换(NSCT)

NSCT由非下采样金字塔(NSP)与非下采样方向滤波器组(NSDFB)组成，其原理为：

1) 先用NSP对图像进行多尺度分解，每次分解得到与原图同样大小的1个低通图像和1个带通图像，经k级NSP滤波，就得到1个低通与k个带通图像.

2 压缩感知(CS)

图1 CS感知理论框架Fig.1 CS theory framework

CS理论是建立在矩阵分析、统计概率论、时频分析等基础上的一种信号描述与处理的理论框架. 在CS理论下，信号的采样速率不取决于信号的带宽，而在于信息在信号中的结构与内容. CS理论包含三部分：信号的稀疏表示、信号的测量、信号的重构，详见图1所示.

2.1 CS理论

信号x(N)的长度为N，可用一组正交基ΨN×N的线性组合表示：

若信号x在正交基Ψ上仅有K<

上式中：x为N×1矩阵；y为M×1矩阵；Φ为M×N的测量矩阵. 将式(1)代入式(2)得：

其中:E=ΦΨ是M×N传感矩阵.

由于M

2.2 基于Lp范数的凸化压缩感知图像融合

将压缩感知方法用于图像融合始于文献[9]. 其应用框架如下：

1) 对输入的图像I1、I2进行稀疏变换:

X1=f(I1)，X2=f(I2)

常用的稀疏变换f(*)有Fourier、DWT、NSCT变换等，X*是经稀疏变换得到的系数矩阵.

2) 用测量矩阵Φ对稀疏变换后的系数矩阵X1、X2进行测量采样：

y1=ΦX1,y2=ΦX2

根据稀疏变换后系数X*的分布特性(Fourier：低频在中, 高频在外； dwt：低频在左上, 余下的为高频)，有不同的测量矩阵可以选用，如图2所示.

(a)双星型 (b)单放射型 (c)双放射型图2 测量矩阵Fig.2 Observation matrix

随机测量矩阵如高斯测量矩阵、Bernouli测量矩阵、局部Fourier测量矩阵等，能大概率满足RIP准则，且所需测量数据少、重构性能好.

针对NSCT分解，本研究选用Bernouli随机矩阵作为测量矩阵，其构造方法如下：一个大小为M×N的矩阵Φ，其中每一个元素独立服从贝努利分布：

Bernouli测量矩阵有很强的随机性，当测量数M≥cKlog(N/K)时，能使测量矩阵大概率满足RIP准则，且矩阵元素为±1，使得在实际应用中更易于实现和存储.

3) 将测量值y1、y2进行融合, 得到融合后测量值y3. 通常采用的规则有：绝对值取大、平均加权等.

4) 由测量矩阵Φ与测量值y3重构融合后图像.

根据压缩感知理论，信号重构的本质可以表示为求解L0范数的最优化问题(仅有K个非零值)：

s.t:y3=ΦX3

但基于L0范数的优化问题是病态的，N很大时，几乎找不到最优解. 但可以将其转化为凸优化问题，用L1范数代替L0范数找到最优解，基于L1范数的最优化问题为：

s.t:y3=ΦX3

上式中目标函数是凸函数，对于实数可转化为线性规划(LP)问题求解，如基追踪法(basis pursuit，BP)、梯度投影稀疏重构等. 复数则可转化为二维锥规划问题求解.

3 基于NSCT与压缩感知的图像融合

图3 融合过程Fig.3 Fusion process

为了红外/被动毫米波复合探测器能输出高质量的图像，实时地识别目标，提出基于NSCT与压缩感知的IR/PMMW图像融合算法. 具体步骤如下：

3.1 低频系数融合策略

NSCT分解得到的低频系数不具稀疏性，所以不能用CS理论处理. 低频系数是图像的近似部分，包含原图像大量信息，针对IR/PMMW图像特性，本研究采用基于图像方差的融合规则处理低频系数. 步骤如下：

图像方差反映了其所含信息量大小，方差越大，信息量越丰富，视觉效果越好.

3.2 高频系数融合策略

4 实验仿真及结果分析

采用Matlab2010b作为仿真工具，实验用IR与PMMW探测到的两组坦克图像进行仿真，验证本研究算法的可行性，并与NSCT-系数加权法、小波方法(DWT-CS)、文献[7]、[10]方法作比较. 本研究算法为NSCT-CS，原图像尺寸为256px×256px，进行3层NSCT分解，各层分解方向级数为1/3/5.

图4显示了两组原始红外图像与毫米波图. 其中图4(a)、4(b)是单个坦克的红外图与毫米波图像; 图4(c)、4(d)是恶劣天气下坦克群的红外图与毫米波图像.

(a) 红外图像(第一组) (b) 被动毫米波图像(第一组) (c) 红外图像(第二组) (d)被动毫米波图像(第二组)图4 原始图像 Fig.4 Original image

图5显示了第一组实验的融合结果. 其中图5(a)为本研究融合结果； 图5(b)为基于NSCT-系数加权融合图像； 图5(c)为基于DWT与CS的融合图像； 图5(d)为文献[7]融合方法的结果图. 观察融合结果，从直观角度出发，各种方法都实现了对两幅图信息的融合. 但本研究方法的融合效果较好，图像清晰.

(a) NSCT-CS(本研究) (b) NSCT-系数加权 (c) DWT-CS (d) 文献[7]方法图5 第一组实验融合图像(坦克) Fig.5 Experiment group 1 fusion image

图6显示了第二组实验的融合结果. 其中，图6(a)为本研究融合结果； 图6(b)为基于NSCT-系数加权融合图像； 图6(c)为基于DWT与CS的融合图像； 图6(d)为文献[10]融合方法的结果图.

从肉眼观察出发，各种方法都实现了对两幅图信息的有效融合. 但经对比可知在两组实验中，本研究融合算法得到的图清晰度高、细节明显，比其他方法图像的视觉效果更好，融合质量更高，有利于IR/PMMW复合探测器准确识别跟踪目标，实时打击目标.

(a) NSCT-CS(本研究) (b) NSCT-系数加权 (c) DWT-CS (d) 文献[10]方法图6 第二组实验融合图像(坦克群) Fig.6 Experiment group 2 fusion image

4.1 数据分析

本研究从客观角度出发，根据图像数据分析融合质量，从均值、清晰度、信息熵、空间频率、标准差五个角度进行分析. 其中：

1) 均值. 图像F(i,j)，其均值即灰度平均值，反映图像整体亮度.

2) 清晰度. 又称平均梯度，反映图像微小细节反差与纹理变化特征. 定义为：

4) 空间频率. 反映了图像空间总体活跃程度，包括空间行(RF)、列(CF)频率. 定义如下：

5) 标准差. 反映图像灰度相对于均值的离散情况，标准差大则图像反差大，包含更多信息. 其定义为：

两组实验融合结果数据分析见表1～2.

表1 质量评价对比表(第一组)

表2 质量评价对比表(第二组)

其中，均值反映图像整体亮度，适中即可. 根据上述两表可知，本研究算法融合图的均值适中、清晰度高，图像信息熵大说明图像携带信息量大，标准差大说明图像细节丰富，各种指标都优于其他方法. 所以综合客观数据分析与主观视觉效果，可知本研究的融合算法能较好实现IR/PMMW图像的融合工作，输出高质量的结果图，有利于战场上实时分辨、打击军事目标.

5 结语

本研究以红外/被动毫米波复合探测器探测军事目标为应用背景，提出一种新的基于NSCT与压缩感知的IR/PMMW图像融合算法. 经实验仿真及数据分析证明该算法可以取得高质量、清晰的融合结果，为复合探测器能全天候工作，实时有效地识别、打击军事目标提供了依据，使得多模复制导技术更进一步，具有一定的实际应用价值.

[1] 章蕾, 高志峰, 李黎明, 等. 红外成像/毫米波雷达复合导引头信息融合研究[J]. 激光与红外, 2010, 40(2): 158-161.

[2] 潘勃, 冯金富, 李骞, 等. 毫米波/红外多传感器融合跟踪算法研究[J]. 红外与毫米波学报, 2010, 29(3): 230-235.

[3] LI T, WANG Y. Biological image fusion using a NSCT based variable-weight method[J]. Information Fusion, 2011, 12(2): 85-92.

[4] ZHANG Q, MALDAGUE X. An adaptive fusion approach for infrared and visible images based on NSCT and compressed sensing[J]. Infrared Physics and Technology, 2015, 74: 11-20.

[5] BARANIUK R G. Compressive sensing[J]. IEEE Signal Processing Magazine, 2007, 24(4): 118-121.

[6] 许建忠, 王祖林, 郭旭静. 基于决策信息的毫米波/红外复合制导信息融合[J]. 控制与决策, 2012, 27(1): 120-123.

[7] 何伏春, 聂建英. 基于多小波包的红外/被动毫米波图像融合[J]. 电光与控制, 2015(6): 11-16.

[8] 董鹏, 贺元军, 周军,等. 毫米波/红外复合制导信息融合技术研究[J]. 计算机仿真, 2010, 27(11):21-24.

[9] WAN T, CANAGARAJAH N, ACHIM A. Compressive image fusion[C]// IEEE International Conference on Image Processing. California: IEEE, 2008: 1 308-1 311.

[10] 叶银芳, 聂建英. 基于多分辨分析的红外/被动毫米波图像主成分融合[J]. 电光与控制, 2013, 20(9): 6-9.