全景图拼接中图像融合算法的研究

黄立勤 陈财淦



全景图拼接中图像融合算法的研究

黄立勤*陈财淦

(福州大学物理与信息工程学院 福州 350108)

为了实现平滑连续的全景图拼接融合效果，针对全景图拼接的特点，提出了利用彩色空间变换和Contourlet变换结合对比度金字塔分解的图像融合算法。首先进行HSI彩色空间变换，得到图像的亮度信息，然后利用基于对比度金字塔的Contourlet变换对亮度信息进行塔式分解，得到不同的频带信息，再对不同频带进行融合处理。实验证明，该文提出的算法充分利用Contourlet变换的轮廓特性，展示了图像的细节信息，从而很好地实现了全景图的拼接融合效果。

图像拼接；图像融合；Contourlet变换

1 引言

图像融合是信息融合与图像处理领域的研究热点。图像融合是将两幅图像中的有用信息综合到一幅图像中，以获得同一场景更加全面的信息[1,2]。图像融合技术的发展可以追溯到20世纪80年代，主要应用于遥感图像、红外图像、医学图像处理等领域。

Contourlet变换是文献[9]提出的一种多尺度局域的图像处理与表达方法，应用广泛。文献[10]利用Contourlet算法进行可视对象跟踪的研究，取得了良好的效果。而文献[11]利用Contourlet算法进行图像检索的研究也取得了不错的效果，而更多的，如文献[12,13]等利用Contourlet变换进行图像融合的研究，取得了比较满意的效果。因此，本文在前人研究Contourlet变换的基础上，结合全景图拼接的特点，展开应用Contourlet变换的全景图拼接融合算法的研究。

2 本文算法概述

全景图拼接是一种局域图像处理的过程，并对图像轮廓的拼接要求很高，而Contourlet变换又是很好的轮廓处理算法，所以本文在Contourlet变换的基础上实现基于Contourlet变换的全景图拼接融合方法。算法流程如图1所示，包括预处理、HSI分解、对比度Contourlet变换、融合、逆变换以及HSI重构等。

图1 本文算法流程

3 预处理

对于全景图拼接，首先要进行配准、仿射变换等预处理操作。本文采用SURF算法[14]结合二次双向匹配[15]的方法对欲拼接的图像进行配准处理，然后对配准后的图像进行坐标的统一变换，即仿射变换。一般地，在同一地点捕获的具有重合部分的两幅图像如图2所示(阴影部分为重合部分)。然而由于相机的旋转，实际的场景应为图3所示的形式。为此，要在图像配准的基础上，对图2所示的源图像进行仿射变换。

除了利用配准的数据对图像进行仿射变换处理外，往往还需要对融合前的图像进行曝光补偿、增强、除噪等处理，以提高最终融合图像的质量。

4 HSI分解

对于RGB形式的图像，可以通过式(1)转换到HSI空间。

图3 实际图像

5 融合原理

5.1 对比度Contourlet变换

Contourlet变换可以很好地捕获图像特征的方向信息并且具有较低的冗余度。Contourlet变换主要分为两个部分：(1)对图像进行带通采样，建立拉普拉斯金字塔进行多尺度分解；(2)采用方向滤波器组进行方向分解，得到方向子带，如图4所示。可见，两过程相互独立，易于理解。

图4 Contourlet 变换

本文是基于对比度金字塔的Contourlet变换，定义图像的对比度为

图 5 方向滤波器组框图

如前所述，因为对比度金字塔可以很好地体现图像的对比度特征，更加符合人眼的感知。所以，本文将原Contourlet变换的拉普拉斯分解过程替代为对比度金字塔分解，以增强融合图像的对比度特征，增加图像的识别效果。

5.2 融合规则设计

图像经Contourlet变换后将获得相应的高频分量和低频分量。由数字图像知识可知，高频分量主要描述了图像的细节特征，包括纹理的突变、轮廓边缘等，这些细节对图像拼接效果的影响最为明显，若融合不当会有明显的重影、模糊等现象；而低频分量主要描述了图像中较为平缓的区域，对图像拼接的效果主要体现在背景信息中。所以，针对Contourlet变换后的高低频分量，我们分别采用不同的融合规则。

(1)低频分量融合规则 本文对于低频分量的融合规则采用直接求算术平均的方式对其进行融合，这样运算速度不会降低并且易于实现，可以在很大程度上节约运算时间。

即对于高频分量，采用绝对值比较的方式来代替融合图像的高频分量，这样可以极大地保留细节丰富图像的细节信息，避免了融合过程导致图像细节的模糊化。

以上的融合规则，只针对待拼接图像的重合部分，而对于非重合部分，则直接保留原有的信息。即对于图3所示的图像，将左图的空白部分直接作为融合结果的左部，两图的阴影部分利用以上所述的融合规则进行融合后作为融合图像的中间部分，最后右图的空白部分直接作为融合图像的右部。这样可以最大限度地保留源图像非重合区域的原有信息，防止因变换过程而导致的信息的丢失，同时又可以很好地实现重合区域的无缝融合。

6 融合过程设计

本文所述的图像融合算法主要针对全景图拼接中的融合，因此需要首先对来自同源或非同源的多幅图像进行精确的配准，并按要求进行坐标空间变换，最后对图像进行拼接融合。

根据第1节的介绍，本文将按以下几个步骤对图像进行拼接融合：

步骤1 对已配准的待拼接的图像的重合区域做色彩空间变换。即利用式(1)，将图像从RGB色彩空间转换成HSI色彩空间。

步骤2 对转换得到的HSI空间图像进行基于对比度金字塔的Contourlet变换。即选取图像的亮度分量I进行基于对比度金字塔的Contourlet变换。对于色度H和饱和度S，分别进行算术平均计算，这样可减少二者在色度和饱和度上的差异，增加融合的连续性。

步骤3 对于步骤2获得的低频分量系数，按照5.2节中描述的算术平均方法处理。

步骤4 对于步骤2获得的高频分量系数，按照5.2节中描述的绝对值比较法计算。

步骤5 将步骤3 和步骤4获得的数据进行基于对比度金字塔的Contourlet变换的逆变换，得到融合后的HSI空间的亮度分量I的数据。

步骤6 最后，将融合后的图像转换回RGB色彩空间并叠加到拼接图像中去，从而得到最终的全景图。

7 实验结果与分析

本文算法的性能验证实验采用Matlab7.12 (R2011a)在Windows XP操作系统上进行。

7.1 多聚焦融合实验

图 6 各算法融合结果

通过观察图6(c)~6(f), Contourlet算法在图像融合的效果上表现良好但与小波变换法、加权融合法相比，得到的融合图像，虽然可以比较清晰地展示左右两边的文字，但仔细观察，仍存在边界模糊的现象。而本文算法在利用Contourlet算法在轮廓处理性能优越性的基础上，采用对比度金字塔分解，实现了对图像较好的融合，因此可以发现本文算法的融合效果表现较佳。

评价算法的质量，除了以上的主观判断，还需要客观的数据。本文针对融合图像的信息熵、互信息和平均梯度等常用的评价指标[1,20]对本文算法及其它算法做进一步的比较。

信息熵：根据香农信息理论，一幅图像信息熵的大小表明了图像所含信息的多少，因此，本文利用信息熵公式，计算经各算法融合后的图像的信息熵，其计算公式为

互信息：图像1,2,之间的互信息可以通过式(11)计算得到：

平均梯度：平均梯度体现的是图像上细节部分的信息，它可通过(12)式获得

通过观察图6和表1的数据可以总结出以下几点：

(1)本文算法在图像细节上表现较好，从图6(f)中可以发现，图像可以较好地突出细节信息，对图像的轮廓也有很好的体现。从表1的平均梯度可以很客观地体现出来。

(2)本文算法融合的图像整体信息表现丰富，且完整地表现了源图像的信息。表1的互信息值可以体现这一点。说明本文算法可以极大地保留源图像的信息。

表1各融合算法性能评价指标

评价指标融合算法 Contourlet算法小波变换算法加权融合算法本文算法 信息熵5.86895.99725.88235.9138 互信息2.40081.78272.16532.3238 平均梯度2.21073.34172.20323.8589

(3)对于图像的信息熵指标，从表1来看，各算法的区别并不是很大。从图6来看，图像上灰度数量之间较均衡，因此，各算法在实验所提供的图像上得到的信息熵都较为接近。

对算法而言，运算时间直接体现了算法的性能。根据算法计算复杂度()(其中表示图像的像素个数)，本文算法经过了色彩空间变换、对比度金字塔分解、方向滤波器分解等步骤，从而相对其它算法而言复杂度有所提高。各算法的融合时间见表2。

表2各算法融合时间比较(s)

图像大小 (像素)Contourlet算法小波变换算法加权融合算法本文算法 512×512×21.6631.9590.3612.126

表2的结果表明，本文算法的融合时间较长，特别是当图像较大时，融合时间也会更长。

7.2 平移、尺度变化实验

针对具有平移和尺度变化的图像之间的实验如图7，其中图7(a)与图7(b)之间存在平移关系，图7(c)和图7(d)之间存在尺度变化的关系。实验首先利用SURF算法和二次双向匹配对图像进行配准，然后对图像进行平面坐标仿射变换[1]。最后利用本文算法对图像进行融合，结果如图8所示，其中图8(a)为平移的融合结果，图8(b)为尺度变化的融合结果。

图 7 平移、尺度实验源图

图 8 融合结果

观察图7(a), 7(b)和图8(a)可以发现，本文算法对平移关系的图像之间的融合具有连续性，并在融合中增强了图像的细节(图8(a)的埃菲尔塔中部的亮点体现了细节，因亮点在图7(a)没有，图7(b)中有)。对比图7(c), 7(d)和图8(b)，也可以发现，本文算法对尺度变化的图像之间也具有良好的融合效果。

观察以上实验，同时还可以发现，实验源图之间还具有一定的小角度的旋转关系，在拼接融合中可以很好地解决。但本文算法在对具有较大旋转角度的图像之间的融合，效果不佳，因此本文今后将重点研究解决较大旋转角的图像之间的融合。

7.3 多幅拼接实验

本实验采用4幅连续的图像对现实场景的全景图拼接展开验证。首先，利用相机(采用手机)拍摄4幅连续的含重复场景的图像，如图9。再利用SURF算法结合二次双向匹配，对图像进行配准，并完成对图像的平面坐标下的变换。最后利用本文算法对4幅图像进行融合拼接，结果如图10(a)。在实际应用中，只需获取拼接图像中有用的部分，因此将图10(a)进行裁剪，即可获得所要求的全景图像，如图10(b)。

经过实际场景融合实验可以发现，本文算法对现实场景图像具有良好的融合效果，融合结果非常符合人眼的视觉效果。现有的全景图应用软件包括手机或数码相机可以实现全景拍照的功能，但大都是广角图，图像中的对象会有扭曲的现象，并且全景图的高度或宽度有限。而本文算法可以很好地解决以上问题，并且经实践证明，本文算法具有广泛的应用价值。

图 9 拼接源图

图10 图像拼接结果

8 结束语

在研究各种图像融合算法的基础上，本文针对全景图拼接的特点，提出利用Contourlet变换结合对比度金字塔分解的图像融合算法。实验证明，本文的算法对多聚焦图像融合处理具有较好的融合效果。此外，现实场景的全景图拼接实验，充分说明了本文算法可以很好地利用Contourlet变换的轮廓特性，展示图像的细节信息，很好地过渡重合区域。因此，利用本文所提的算法可以较好地实现全景图的拼接，得到较好的拼接效果，具有较高的应用价值。不过，由于算法的复杂度相对其它算法有所提高，导致运算时间也有所增加，并且对较大旋转角度的图像之间的融合效果欠佳，所以在算法优化方面有待进一步的改进。

[1] 刘卫光. 图像信息融合与识别[M]. 北京: 电子工业出版社, 2008: 2-105.

[2] Barbara Z and Jan F. Image registration methods: a survey[J]., 2003, 21(11): 977-1000.

[3] 张德祥, 张晶晶, 吴小培, 等. 基于Directionlets变换的偏振图像融合[J]. 电子与信息学报, 2011, 33(12): 2795-2800.

[4] Burt P J and Adelson E H. A multiresolution spline with application to image mosaics[J]., 1983, 2(4): 217-236.

[5] Brown M and Lowe D G. Automatic panoramic image stitching using invariant features[J]., 2007, 74(1): 59-73.

[6] Xu Han and Jiang Tong-bin. Multi-source remote sensing image fusion algorithm based on combined wavelet transform and HIS transform[J]., 2012, 7(18): 392-400.

[7] Yang Shao-qing, Lin Hong-wen, Zhang An-qing,. A color image fusion method using discrete wavelet frames[C]. Proceedings of 2011 International Conference on Electronic and Mechanical Engineering and Information Technology, Harbin, China, 2011: 2807-2810.

[8] Kaur A and Khullar S. Image fusion using HIS, PCA and wavelet technique[J]., 2013, 2(2): 92-94.

[9] Do M N and Vetterli M. The Contourlet transform: an efficient directional multiresolution image representation[J]., 2005, 14(12): 2091-2106.

[10] He Zhi-wei, Huang Guan-ren, Liu Yuan-yuan,. Visual object tracking based on the Contourlet transform[C]. Proceedings of the 2012 7th IEEE Conference on Industrial Electronics and Applications, ICIEA, Singapore, 2012: 1768-1771.

[11] An Zhi-yong, He Xue-rui, Zhao Feng,. Image retrieval based on the Contourlet transform and local binary pattern[J]., 2012, 4(6): 323-330.

[12] Liu Hui. Image fusion method based on non-subsampled Contourlet transform[J]., 2012, 7(12): 2816-2822.

[13] Shen Yu, Ren En-en, Dang Jian-wu,. A nonsubsampled Contourlet transform based medical image fusion method[J]., 2013, 12(4): 749-755.

[14] Herbert B, Tinne T, and Luc V G. SURF: speeded up robust features[C]. Proceedings of European Conference on Computer Vision, Graz, Austria, 2006, 1: 404-417.

[15] 冯政寿, 王美清. 基于Harris与改进SIFT算法的图像匹配算法[J]. 福州大学学报(自然科学版), 2012, 40(2): 176-180.

[16] Toet A, Van RL J, and Valeton J M. Merging thermal and visual images by a contrast pyramid[J]., 1989, 28(7): 789-792.

[17] 金海燕, 刘芳, 焦李成. 基于多尺度对比度塔和方向滤波器组的图像融合[J]. 电子学报, 2007, 35(7): 1295-1300.

[18] He Dong-xu, Meng Yu, and Wang Cheng-yi. Contrast pyramid based image fusion scheme for infrared image and visible image[C]. Proceedings of International Geoscience and Remote Sensing Symposium (IGARSS),Vancouver, BC, Canada, 2011: 597-600.

[19] Bamberger R H and Smith M J T. A filter bank for the directional decomposition of images: theory and design[J]., 1992, 40(4): 882-893.

[20] 余先川, 裴文静. 针对不同融合算法的质量评价指标性能评估[J]. 红外与激光工程, 2012, 41(12): 3416-3422.

黄立勤： 男，1973年生，博士，副教授，研究方向为图像处理与通信、计算机网络通信.

陈财淦： 男，1988年生，硕士生，研究方向为图像处理与通信.

Study on Image Fusion Algorithm of Panoramic Image Stitching

Huang Li-qin*Chen Cai-gan

(,,350108,)

In order to achieve smooth and continuous panorama stitching effect, an image fusion algorithm which based on contrast pyramid and combines color space conversion and Contourlet transform is proposed by considering the characteristics of panorama stitching. Firstly, luminance information of images is calculated using HSI transform. Then contrasting pyramid based Contourlet transform is used to decompose luminance information to get sub-band information of images. Finally, images are reconstructed by fusing different sub-band’s information. Experimental results show that the proposed algorithm which leverages the contour features of Contourlet transform and the detail information of images could achieve good effects on panorama stitching fusion.

Image stitching; Image fusion; Contourlet transform

TP391

A

1009-5896(2014)06-1292-07

10.3724/SP.J.1146.2013.01220

黄立勤 hlq@fzu.edu.cn

2013-08-13收到，2013-12-13改回

国家自然科学基金(61103175)，福建省科技计划项目(2011H0027)和福建省自然科学基金(2012J01268)资助课题