基于稀疏表示的WMSN红外和可见光图像融合*

2014-09-14刘洁丽祁美丽

计算机工程与科学 2014年5期

关键词：照度字典红外

罗晖，刘洁丽，祁美丽

(华东交通大学信息工程学院，江西南昌 330013)

基于稀疏表示的WMSN红外和可见光图像融合*

罗晖，刘洁丽，祁美丽

(华东交通大学信息工程学院，江西南昌 330013)

在使用无线多媒体传感网络WMSN进行环境监测的过程中，对同一场景所采集的红外和可见光源图像进行信息融合时，传统的方法融合的数据量较大且没有充分考虑其内在稀疏性和丰富的结构特征，图像融合的质量不高。将稀疏表示理论应用于WMSN红外和可见光图像融合中，在原始DCT冗余字典基础上，结合K-SVD字典训练算法和同步正交匹配追踪SOMP算法对WMSN红外和可见光图像进行有效的稀疏表示，并选择自适应加权平均融合规则对稀疏表示系数进行融合处理。仿真结果表明，相对于传统的基于空域及变换域的红外和可见光图像融合方法，该方法更能从WMSN含噪图像中有效地保留源图像的有用信息，获得较好的融合效果。

无线多媒体传感器网络；图像融合；稀疏表示；同步正交匹配追踪；自适应加权平均

1 引言

无线多媒体传感网络WMSN(Wireless Multimedia Sensor Networks)[1]是由一组具有计算、存储和通信能力的多媒体传感器节点组成的分布式感知监测网络，能够针对特定监测区域进行大范围的、快速的节点布置[2]，其在各个领域的应用越来越广泛。但是，在使用WMSN进行监测的过程中，需要传输大量的图像数据，而其网络能量受限；同时，外界环境的变化(如低照度、雨雾环境)导致采集的图像含有大量的高斯噪声，WMSN不能进行全天候高质量的图像采集，因而需要对其进行必要的图像处理。

在监测过程中，因为红外图像具有较强的目标识别能力，不受光照、烟雾等条件限制，但图像信噪比低、背景信息不充分[3]；而可见光图像清晰度一般较高，能够反映目标场景的细节信息，与人眼视觉特性吻合，但在被遮挡或照度不佳的情况下，对比度较低，目标特征不明显。为了保证监测的可靠性，可以同时采集红外图像和可见光图像，并利用图像融合技术进行红外、可见光图像的融合，这样可得到对目标场景更为精确、全面的分析和判决[4]。将此技术运用于WMSN监测网络，不仅可以在一定程度上降低网络传输数据量，也能实现全天候的图像采集。

目前，红外和可见光图像融合的主要方法有两类：空域融合和变换域融合。空域融合方法主要是进行像素平均，该方法操作简单，但会导致融合图像对比度降低。变换域融合方法是先对源图像进行某种变换，再把这些变换系数作为融合算子进行融合处理。

但是，此过程只是对变换系数进行操作，任何一个系数的改变都有可能引起所有像素值的变化。同时，这两类方法都没有充分利用图像的结构特征和内在稀疏性，难以获得WMSN高质量的融合图像。

本文充分考虑WMSN图像的结构特征，采用具有全局性操作的稀疏逼近思想[5]，提出一种基于稀疏表示的WMSN红外和可见光图像融合方法。仿真实验表明，该算法得到的融合图像在主观和客观评价上都取得了较好的效果。

2 WMSN图像的稀疏表示

WMSN中采集的红外和可见光图像能够压缩，说明它们具有冗余性，因此可以在冗余字典上对其进行稀疏表示。为保证稀疏表示平移不变性，首先必须对图像进行交叠采样，即通过一固定尺寸大小的滑动窗口将图像交叠采样为大小相同的图像块并按列展开。那么，WMSN图像在超完备字典中的稀疏表示可按照以下模型进行描述：

(1)

2.1 超完备字典构建

字典的设计和产生是超完备稀疏表示理论的重要研究内容之一。超完备字典仅使用表示系数的少数非零值即可捕捉图像内在结构，在很大程度上决定了图像结构特征能否被有效地表示[6]。

目前有两种方法获得超完备字典：一是采用多种变换基构造超完备字典，其数学模型简单，自适应性不强；二是通过学习、训练样本来获得超完备字典，如K-SVD[7]、PCA[8]、MOD[9]等训练方法。WMSN监测中，采集的红外和可见光图像存在大量的边缘、纹理等细节信息特征。而且，在低照度或雨雾等条件下采集的红外和可见光图像会存在高斯等噪声，图像会出现严重退化，不能满足WMSN图像的质量要求。而从文献[10～12]可以看出，K-SVD字典训练算法可在同一原始字典上同时实现多类图像的稀疏估计与去噪，对含噪图像具有较好的去噪鲁棒性；算法非常灵活，可与多种稀疏分解最优原子搜索算法结合使用。

故采用K-SVD训练算法在初始化字典DCT上同步更新字典与稀疏系数，大致过程如下：

(2)

其中，乘积DS被分解成K个秩为1的矩阵和。设其中K-1项是固定的，所剩的一个即是要处理的第k个。矩阵Ek代表的是去掉原子dk的成分在所有I个训练样本中所造成的误差。

2.2 稀疏分解方法

(3)

Figure 1 Process of the proposed image fusion based on sparse representation图1 基于稀疏表示的WMSN红外和可见光图像融合框架

(3)更新稀疏系数及残差，分别如式(4)和式(5)所示：

(4)

(5)

3 基于稀疏表示的WMSN红外和可见光图像融合

3.1 基于稀疏表示的图像融合框架

在图像融合过程中，本文引入稀疏表示理论，提出了一种新的WMSN红外和可见光图像融合方法。根据以上构造的超完备字典，将输入的红外和可见光图像(在仿真部分以同一场景采集的两幅红外和可见光图像为例)进行分块并列向量化，然后计算各列向量在字典下的稀疏表示系数。此方法的具体实现过程如下：

(1)图像列向量化。假设待融合图像为配准好的j幅大小为256×256的图像(包括j/2幅红外图像xR和j/2幅可见光图像xO)，利用一尺寸大小为4×4的滑动窗分别对这些图像进行交叠采样为大小相同的图像块，并按列展开16×1维列向量。

(6)

3.2 融合规则

在图像融合处理过程中，融合规则的选择是非常重要的，会直接影响到最后的融合结果。采用绝对值最大法(MAV)可能会造成亮度对比度过高、部分图像信息丢失等现象[14]。

而自适应加权融合规则可以根据每个系数间的差异进行权值分配;稀疏系数越大，所携带的信息量也越多，相应地权值也会越大。基于以上分析，在利用SOMP算法获得各图像块的稀疏系数后，根据式(7)计算出融合后的稀疏系数：

(7)

4 实验仿真和结果分析

为了验证该方法在WMSN图像融合中的有效性和优越性，分别用本文方法及另外三种图像融合方法对加噪的红外和可见光图像进行了融合效果比较。这些方法分别是基于空间梯度SG(Spatial Gradient)的红外和可见光图像融合、基于离散小波变换DWT(Discrete Wavelet Transform)的红外和可见光图像融合和基于稀疏表示的绝对值最大融合规则SR-MAV(Sparse Representation based on Absolute Value Maximum fusion rule)的红外和可见光图像融合方法。

采用 MATLAB 平台，以在低照度和烟雾环境下的图片为例。考虑到WMSN图像监测的复杂场景及高噪声强度，本文采用加噪的低照度与烟雾环境下的红外和可见光图像，以近似真实地反映实际情况。如图2和图3所示，采用上述四种红外和可见光图像融合方法得到了不同的效果。

从仿真结果(如图2和图3所示)可以看出：在低照度和烟雾环境下，采用基于空间梯度SG和离散小波变换 DWT的融合方法所得的融合图像模糊，细节信息不清晰。主要原因是信号本身和噪声都被当成有用信号被融合，造成边缘和细节的锐度下降，而且背景噪声也没有很好地被去除。而基于稀疏表示的SR-MAV融合方法以能否被稀疏表示为标准将噪声与有用信息区分开来，受环境影响较小，从而能够获得干净的融合图像。但是，采用基于SR-MAV的融合方法所得的融合图像的亮度、对比度都过高，视觉效果并不是很好。

Figure 2 Results of noisy images fused in low illumination environment图2 低照度下的加噪图像融合结果

为了更客观地评价融合图像的效果和性能，避免主观评价带来的局限性，本文采用互信息量MI、均方根误差RMSE、边缘评价因子QAB/F作为客观评价标准[15]。

从表1和表2的数据可以看出，本文方法：互信息量最大，表明从源图像中继承的信息越多；边缘评价因子参考值最接近1，表明融合图像保留了源图像的边缘信息也越多；均方根误差RMSE最小，表明其融合图像中的信息是最接近原始图像的。

从视觉效果和客观评价标准参考值均可看出，基于SG、DWT、SR-MAV的融合算法不如本文算法。

Figure 3 Results of noisy images fused in the fog environment图3 烟雾环境下的加噪图像融合结果

性能指标融合方法SGDWTSR-MAV本文方法MI2.1182.1622.2112.313RMSE4.6874.4964.3893.925QAB/F0.4060.4280.4500.471

Table 2 Object performance of different

前两种融合图像稍显模糊，细节均被噪声干扰，有用信息不能有效获得，所以其互信息量和边缘评价因子小、均方根误差大；基于SR-MAV的融合方法在亮度及对比度上的处理不够理想，存在一些边缘、纹理等的失真。鉴于以上分析，本文方法在强噪声的低照度和烟雾环境下能从源图像中继承更多的有用信息，具有更好的融合性能，适用于WMSN红外和可见光图像的融合处理。

5 结束语

WMSN监测过程中，其网络能量受限，加之低照度或雨雾等条件影响，不能进行全天候的有效监测。本文利用WMSN图像内在稀疏性和结构特征，提出一种新的基于稀疏表示的图像融合方法，并将其应用于WMSN红外和可见光图像融合中；采用这种图像融合方法，能在保证全天候监测的同时，减少数据传输量。仿真结果表明，在低照度和雨雾环境下的WMSN监测环境中，基于稀疏表示的图像融合方法更有效地捕捉了WMSN图像的各种结构特征，有效保留了图像的有用信息，具有良好的融合效果。此结论在WMSN图像融合系统中具有一定的实用价值。本文为考虑算法的实时性，所有源图像均采用了基于DCT冗余字典的K-SVD训练方法，因此未来可以考虑针对不同种类的图像使用不同的超完备字典。

[1] Akyildiz I F,Melodia T,Chowdhury K R.A survey on wireless multimedia sensor networks[J]. Computer Networks, 2007, 51:921-960.

[2] Harjito B, Han Song. Wireless multimedia sensor networks applications and security challenges[C]∥Proc of International Conference on Broadband, Wireless Computing, Communication and Applications,2010:842-846.

[3] Yang L, Zhou Y, Yang J, et al. Variance WIE based infrared images processing[J]. Electronics Letters, 2006, 42 (15):857-859.

[4] Kuang Yan, Wu Yun-feng. Research on image fusion for visible and infrared images[C]∥Proc of the 10th International Conference on Electronic Measurement & Instruments, 2011:77-79.

[5] Wan Tao,Qin Zeng-chang.An application of compressive sensing for image fusion[J]. International Journal of Computer Mathematics, 2011, 88(18):3915-3930.

[6] Fadili M J, Starck J L, Bobin J，et al. Image decomposition and separation using sparse representations:An overview[J].Proc of the IEEE, 2010, 98(6):983-994.

[7] Aharon M, Elad M, Bruckstein A. K-SVD:An algorithm for designing overcomplete dictionaries for sparse representation[J]. IEEE Transactions on Signal Process, 2006, 54(11):4311-4322.

[8] Jolliffe I T. Principal component analysis[M]. New York:Springer, 2002.

[9] Engan K, Aase S O, Husøy J H. Multi-frame compression:Theory and design[J]. Signal Process, 2000, 80(10):2121-2140.

[10] Elad M, Aharon M. Image denoising via sparse and redundant representations over learned dictionaries[J]. IEEE Transactions on Image Process, 2006, 15(12):3736-3745.

[11] Protter M,Elad M.Image sequence denoising via sparse and redundant representations[J]. IEEE Transactions on Image Process, 2009, 18(1):27-35.

[12] Yu Nan-nan, Qiu Tian-shuang, Bi Feng, et al. Image features extraction and fusion based on joint sparse representation[J]. IEEE Journal of Selected Topics in Signal Processing, 2011, 5(5):1074-1082.

[13] Tropp J A, Gilbert A C, Strauss M J. Algorithms for simultaneous sparse approximation:Part I:greedy pursuit[J]. Signal Processing, 2006,86 (3):572-588.

[14] Li X, Qin S-Y. Efficient fusion for infrared and visible images based on compressive sensing principle[J]. IET Image Processing, 2011, 5(2):141-147.

[15] Liu Zheng, Blasch E, Xue Zhi-yun,et al. Objective assessment of multiresolution image fusion algorithms for context enhancement in night vision:A comparative study[J]. IEEE Transactions on Pattern Analysis and Machine Intelligence, 2012,34(1):94-109.

LUOHui,born in 1969,MS,associate professor,his research interests include multimedia information process, and wireless communication system.

刘洁丽(1988-),女,湖南岳阳人，硕士生，研究方向为多媒体信息处理。E-mail:Liujieli082711@163.com

LIUJie-li,born in 1988,MS candidate,her research interest includes multimedia information process.

祁美丽(1987-),女,江苏连云港人，硕士生，研究方向为无线传感器网络。E-mail:qml_jxnc@163.com

QIMei-li,born in 1987,MS candidate,her research interest includes wireless sensor network.

InfraredandvisibleimagefusioninWMSNbasedonsparserepresentation

LUO Hui，LIU Jie-li，QI Mei-li

(School of Information Engineering,East China Jiaotong University,Nanchang 330013,China)

When Wireless Multimedia Sensor Network (WMSN) is used for environment detection and the infrared image and the visible image collected from the same scene are fused, the traditional approaches have large amount of fused data and do not fully consider the internal sparsity and the complexity of structure features, so the fusion quality is low.The theory of sparse representation is applied to WMSN infrared and visible image fusion. Based on the original DCT redundant dictionaries, the K-SVD training method is combined with the Simultaneous Orthogonal Matching Pursuit (SOMP) algorithm to do effective sparse representation for WMSN infrared images and visible images.And adaptive weighted average fusion rule is selected to deal with the sparse representation coefficients.Experimental results show that,compared with traditional infrared and visible image fusion methods based on spatial and transformed domains, the proposed method can effectively preserve the useful information and get the better fused image.

WMSN;image fusion;sparse representation;simultaneous orthogonal matching pursuit;adaptive weighted average

1007-130X(2014)05-0957-06

2013-01-17;

：2013-05-10

国家自然科学基金资助项目(61261040)

TP391.4

：A

10.3969/j.issn.1007-130X.2014.05.029