一种基于膨胀的渐进渐出图像融合算法

陈为龙，郭 黎

(1.四川师范大学可视化计算与虚拟现实四川省重点实验室，四川 成都 610068;2.四川师范大学数字媒体系，四川 成都 610068;3.湖北民族学院信息工程学院，湖北 恩施 445000)

1 引言

数字图像拼接通常是指将具有重叠区的多幅数字图像或多帧视频图像进行拼接处理，获得一幅宽视场图像或者动态全景图。该技术主要包括两个步骤：图像配准[1]和图像融合[2～4]。图像配准的目的是能够找到一个中间变换，使数字图像序列之间相互重叠部分的坐标点能够对准。各幅图像配准后，就可以进行图像的拼接。但由于灰度差异等原因，拼接后的图像很容易出现拼接接缝和亮度差异，所以在图像拼接后要进行图像融合。

目前，数字图像拼接技术已被广泛应用于军事和民用领域(虚拟现实、卫星遥感、视频监控等)，受到国内外越来越多的关注。邵向鑫等[5]提出了一种基于边缘扩展相位相关的图像拼接算法，可以简化图像拼接中的计算复杂度。张琳等[6]提出一种全局拼接算法，该算法应用于航拍图像的拼接，可以有效地提高拼接效果。余宏生等[7]对数字图像拼接以及融合方法及其研究进展做了全面的介绍。Szeliski R[8]提出了加权平均法对图像进行融合，取得了较好的效果。总体来说，为了满足视觉需要，拼接后的图像应该满足一些基本条件，如色度和亮度一致、无明显拼接痕迹、没有由于运动物体引起的“鬼影”等。

本文主要针对多幅图像不同区域进行拼接的情况，对拼接过程中的图像融合问题进行了分析，并由此提出了改进的图像融合算法。本文第1节主要讨论了对多幅图像不同区域进行拼接存在的问题；第2节针对第1节中的问题提出了“基于膨胀的渐进渐出”图像融合算法；第3节对提出的融合算法进行了实验；第4节对全文进行了总结。

2 图像拼接以及存在的问题

2.1 多幅图像相同区域的拼接

多幅图像相同区域的拼接主要包括图像配准和图像融合两个部分。首先，通过图像配准得到两幅图像重叠区域的位置和范围，由此进行图像拼接。但此时，因为两幅图像重叠区域的不同(色度、亮度等的不一致)以及拼接痕迹的存在，需要对拼接后图像的重叠区域进行融合处理，使得两幅拼接图像在重叠区域过渡更加自然平滑，拼接后的图像更像一个整体。

2.2 多幅图像不同区域的拼接

如上所述是对多幅图像的相同区域进行拼接，在很多情况下，也需要对多幅图像的不同区域进行拼接，如图1所示。

Figure 1 Three frames of a low-resolution video图1 视频中的前后三帧图像

图1展现的是一个视频的前后三帧，小球是运动物体(被一根木棍带动)。从视频中可以看出，在每帧视频中都存在运动物体的“鬼影”现象(箭头所指区域)，严重影响了观看效果。为了消除“鬼影”现象，可以使用如下的图像拼接的方法：(1)对图像中的运动物体(小球)进行分割，得到运动的小球(不包含鬼影部分)；(2)对多帧图像进行差分得到静止的背景图像；(3)将得到的运动小球与静止背景进行拼接(包括融合处理)，得到一幅不包含鬼影的图像。

此例需要对多幅图像的不同区域进行拼接。其中，“鬼影”现象是由于时间超分辨率重建所引起，影响运动物体观赏效果不局限于“鬼影”现象，也可以是其它形变以及噪声等现象，处理方法相同，不影响讨论。

3 图像融合算法及其改进

3.1 传统的渐进渐出图像融合方法

在对多幅图像进行拼接时，拼接边缘通常会产生明显的拼接痕迹，给人一种假象的感觉。为了使拼接区域平滑而且没有缝合线，可以采用“渐进渐出”算法对拼接后的图像进行融合处理[2～4]，使颜色逐渐过渡，且避免图像模糊和缝合线。该方法的主要思想是：在两幅拼接图像的重叠区域缓慢过渡，即将图像重叠的区域的像素值按一定的权值相加合成新的图像。在图2中，两幅图像a、b在区间[X1,X2]上重叠，令加权系数为σ=i/(X2-X1)，其中0 ≤i≤X2-X1，X2-X1为重叠区域的宽度。

Figure 2 Overlapping area and weighted graduation图2 重叠区域及加权渐变

假设I1(x，y)、I2(x，y)、I(x，y)分别表示变换后的第一幅图像、第二幅图像、融合图像在点(x，y)处的像素值，则融合图像中的各点的像素值可按下式确定：

其中，R1表示第一幅图像中去掉重叠部分剩下的图像区域对应像素值；R3表示第一幅图像和第二幅图像重叠的图像区域对应像素值；R2表示第二幅图像中去掉重叠部分剩下的图像区域对应像素值。

3.2 基于膨胀的渐进渐出融合算法

在2.2节提到的拼接方法中，也涉及到图像融合，但面对的情况与3.1节所述的融合算法有些不同，如图3所示。

图3中，五边形图形是运动物体，长方形是背景。我们的目的是将运动物体拼接在背景上，在运动物体与背景交界的边缘，通常会产生明显的拼接痕迹，我们想采用“渐进渐出”的方法进行融合处理，使它们的边界部分过渡更为平滑。但此时有个问题，运动物体已经分割出来，它和背景之间没有重叠区域，就不能用之前介绍的渐进渐出的方法。为了解决该问题，我们针对实际情况，提出了一种“基于膨胀的渐进渐出”融合方法。

Figure 3 Illustration of image mosaic图3 图像拼接示意图

此时的物体是不规则的形状，为了进行各个方向的渐进渐出处理，我们提出了如下方法:

(1)找出膨胀之前的物体沿垂直方向的最大点Y2和最小点Y1；

(2)找出膨胀之前的物体沿水平方向的最大点X2和最小点X1；

(3)如果一个重叠点位于Y2和Y1之间，也同时位于X2和X1之间的，对该点进行水平和垂直方向的渐进渐出处理；

(4)如果一个重叠点位于Y2和Y1之间，但不位于X2和X1之间的，对该点进行水平方向的渐进渐出处理；

(5)如果一个重叠点位于X2和X1之间，但不位于Y2和Y1之间的，对该点进行垂直方向的渐进渐出处理；

(6)其它重叠点不作处理(在采用我们的方法处理后，仍然有一些点未被处理，这些点既不位于X2和X1之间，也不位于Y2和Y1之间)。

通过以上方法，我们基本能对所有的重叠点进行融合处理。当然，此时可能还剩余一些点没做处理，但不管目标是什么形状，未被处理的点都是极少数，可以忽略不计，并不影响总体效果，原因如下：对于被处理到的点，不管图形是什么形状，采用的融合处理方法都一样(渐进渐出方法)，所以不同之处仅在于未被处理到的点。考虑到在实际处理中，膨胀算子一般都不会很大，在此情况下，不管是什么形状，未被处理的点的数量都是很少的，为了实现的简便，我们忽略这些点，不会影响实际效果。

Figure 4 Illustration of our improved fade-in and fade-out image mosaic method based on expansion图4 改进的渐进渐出算法示意图

4 实验

为了进一步验证本文所提出算法的有效性，我们进行了如下实验来说明。

4.1 实验1

为了消除图1中“鬼影”现象以及带动球运动的木棍，我们需要对这多帧图像进行拼接。图5a是对图1a的运动部分进行分割并与背景拼接的结果。此时没进行渐进渐出融合处理。可以看出，此时存在两个主要问题：(1)乒乓球有残缺(分割过度所致)；(2)球和背景有明显的拼接痕迹，感觉不是一个自然的整体，而像是贴上去的，这是由于在球和背景的交接处，灰度变化太大，过度不自然导致的。图5b是在图5a的拼接基础上，同时进行渐进渐出融合处理的情况，可以看到此时已经能得到较好的效果。但因为在融合处理的过程中，需要进行膨胀操作,所以球右下方的一部分影子以及右上方的一小段木棍被包含了进来。但从总体上分析，我们提出的融合算法确实能取得更好的拼接效果。

Figure 5 Comparison of the two reconstruction effect图5 拼接效果图

为了进一步验证本文所提出算法的有效性，对实验结果进行了峰值信噪比PSNR对比，未进行融合的结果和本文方法融合结果分别与原始图片进行PSNR计算，未进行融合处理的PSNR值为31.01，使用本文的渐进渐出法融合后的图像PSNR值为32.09。从PSNR的对比可以看出本文算法对效果的提升。但是，因为运动物体体积偏小，所以PSNR的提升不是很明显，在后面实验二中会看到PSNR更明显的提升。

4.2 实验2

图6a是包含目标物体和噪声的图像，图像的左半部分被噪声污染；图6b是纯背景图像，我们的目的是将图6a中的目标物与图6b拼接，由此得到一幅无噪声的图像；图6c是拼接后的效果图，此时没有进行渐进渐出融合处理；图6d是使用我们提出的渐进渐出方法融合后的拼接图像。

Figure 6 Effect of image mosaicing图6 图像拼接效果

在图6c中，存在明显的拼接痕迹，这是因为在分割的时候将书本在背景上产生的部分阴影也包含进去了(图6a中红色箭头所指区域)，而纯背景图像并没有阴影，这就导致了拼接图像灰度的跳变，使得拼接后的图像有明显的拼接痕迹。而从图6d可以看到，采用我们提出的方法融合后的图像更自然，效果更好。

同样，对实验结果进行了PSNR对比，未进行融合的结果和本文方法融合结果分别与原始图片进行PSNR计算，未进行融合处理的PSNR值为31.36，使用本文的渐进渐出法融合后的图像PSNR值为33.12。从PSNR的对比可以看出本文算法对效果的提升。

5 结束语

在对多幅图像的不同区域进行拼接时，需要涉及到图像分割、配准以及图像融合等方法。本文以场景中的目标物体和背景区域作为拼接对象，当目标物体分割出来后，它和背景之间就没有了重叠区域，不能用传统的“渐进渐出”方法进行融合。为了解决此问题，文中提出了一种“基于膨胀的渐进渐出”图像融合算法，该算法在对图像融合时结合形态学方法，大幅度提高了拼接图像的效果。文中实验也表明了本文所提出的算法能大大提高图像的拼接质量。

[1] Zitova B, J Flusser. Image registration methods:A survey[J]. Image and Vision Computing, 2003, 21(10):977-1000.

[2] Zhang Chao-wei, Zhou Yan, Wu Si-li. Automatic mosaic of surveillance images based on SIFT feature matching[J].Computer Applications, 2008, 28(1):191-194. (in Chinese)

[3] Yao Wei, Hu Mao-hai, Qin Xuan. Improved image mosaic algorithm based on feature point matching[J]. Infrared Technology, 2010, 32 (5):288-290. (in Chinese)

[4] Zhang Wei, Liu Wei, Pu Jie-xin. An image mosaic method based on SIFT and region selecting[J]. Microelectronics & Computer, 2010, 27(6):205-207. (in Chinese)

[5] Shao Xiang-xin, Guo Shu-xu, Wang Lang. Image mosaic algorithm based on extended phase correlation of edge[J]. Journal of Jilin University(Information Science Edition), 2010, 28(1):95-99. (in Chinese)

[6] Zhang Lin, Chu Long-xian. Aerial image mosaic algorithms research based on global mosaic[J]. Computer Simulation, 2012, 29(4):282-286. (in Chinese)

[7] Yu Hong-sheng, Jin Wei-qi. Evolvement of research on digital image mosaics methods[J]. Infrared Technology, 2009, 31(6):348-353. (in Chinese)

[8] Szeliski R. Video mosaics for virtual environment[J]. IEEE Computer Graphics and Applications, 1996, 16(2):22-30.

附中文参考文献：

[2] 张朝伟, 周焰, 吴思励. 基于SIFT特征匹配的监控图像自动拼接[J]. 计算机应用, 2008, 28(1):191-194.

[3] 姚伟, 胡茂海, 秦晅. 改进的基于特征点匹配的图像拼接算法[J]. 红外技术, 2010, 32 (5):288-290.

[4] 张炜, 刘伟, 普杰信. 一种基于SIFT和区域选择的图像拼接方法[J]. 微电子学与计算机, 2010, 27(6):205-207.

[5] 邵向鑫, 郭树旭, 王朗. 基于边缘扩展相位相关的图像拼接算法[J]. 吉林大学学报(信息科学版), 2010, 28(1):95-99.

[6] 张琳,褚龙现. 基于全局拼接的航拍图像拼接算法研究[J]. 计算机仿真, 2012, 29(4):282-286.

[7] 余宏生, 金伟其. 数字图像拼接方法研究进展[J]. 红外技术, 2009, 31(6):348-353.