基于投影模型和图像融合的拼接畸变消除算法

姚　路　陈昌志,2　周　桥,2　安世全,2

1(重庆邮电大学计算机科学与技术学院　重庆 400065)2(重庆邮电大学移通学院　重庆 401520)



基于投影模型和图像融合的拼接畸变消除算法

姚路1陈昌志1,2周桥1,2安世全1,2

1(重庆邮电大学计算机科学与技术学院重庆 400065)2(重庆邮电大学移通学院重庆 401520)

摘要图像拼接技术是数字图像处理的一个重要分支，广泛运用于空间纹理检测、文物保护、医学图像、公安取证、虚拟现实等领域。由于拍摄的图像存在光照、角度、位移和抖动等各种因素影响，导致图像拼接时易造成图像畸变和变形。采取投影模型和图像融合，对畸变和变形进行研究，改进传统的拼接算法，提出一种自适应强、时效性高、稳定性好的投影模型和图像融合相结合的拼接算法。实验结果表明，该算法能够很好地消除拼接过程中产生的畸变和变形，并具有很好的鲁棒性。

关键词图像拼接畸变投影模型图像融合变形

0引言

随着计算机技术的快速发展和数字图像处理理论的不断扩充，图像拼接技术作为数字图像处理的一个重要分支，逐步成为研究热点。目前图像拼接已广泛应用于纹理检测、医学图像、公安取证等各个方面[1]。

图像拼接技术对图像有很强依赖性，例如图像拍摄的角度、光照、位移、拍摄的硬件条件等制约因素，在图像拼接的融合过程中会出现图像畸变、扭曲、失真等一系列畸变、鬼影现象。传统的拼接方法在某些特定的场景不能得到有效的应用，深入研究图像拼接算法有非常重要的意义[2]。本文在原有基于特征提取算法上，提出一种按区域进行特征提取并建立图像之间映射模型投影，最后进行图像融合的方法，经过大量实验证明其实效性和稳定性。

1基于特征的图像拼接

在图像拼接领域，基于图像特征的配准方法是研究热点和重点。这类算法计算量相对较小、效率高、有较强的适应性。

基于特征的图像拼接算法主要包括特征检测、特征匹配、建立投影模型和图像融合。典型的特征提取算子有Harris算子、SIFT算子等。

本文在传统的基于特征的图像拼接基础上，提高了特征提取算法的时效性和准确性，同时本文采用投影模型和图像融合相结合的算法消除畸变现象。如图1所示。

图1　拼接畸变消除流程图

2SIFT特征

2.1传统的 SIFT特征提取

SIFT算法是基于图像尺度空间理论的方法，传统的SIFT特征提取主要通过构造尺度空间、检测极值点、确定关键点精确位置和尺度、分配关键点方向和关键点描述子生成等五个步骤完成。

本文规定箭头的方向为此处特征点的主方向，箭头的大小代表模值。图2(a)、(b)为采用传统的SIFT特征提取方法分别对灰度图像和彩色图像提取两幅图像的特征信息。

图2　传统的SIFT特征提取结果

2.2改进的SIFT特征提取

虽然SIFT算法在图像拼接领域被广泛运用，但是它在特征点上信息量过大，特征点提取和匹配上耗时过长，计算量过大，多幅图像匹配容易崩溃。本文在传统SIFT特征提取算法上进行改进，提出一种基于区域的SIFT特征提取匹配算法，把SIFT特征进行分类标注，形成不同的区域，流程如下：

(1) 首先在两幅图像中提取出数量接近相同的特征点，尽量减少图像匹配中的外点，误匹配的生成。

(2) 待匹配图像看成是点与点、边与边所构成的映射关系，并且映射到高维特征空间，建立权值连接图。

(3) 对图像按行扫描，计算各个列边缘像素点的比例大小，确定阈值。

(4) 对阈值相似的部分归为一类，从而形成区域。

本算法的实现主要分为以下几个部分：

① //构建nOctaves组(每组nOctaves+2层)

voidSIFT::buildDoGPyramid(const vector&gpyr,

vector&dogpyr)const

② //在尺度空间寻找特征点(极值点)

void SIFT::findScaleSpaceExtrema

//寻找局部极值点，DoG中每个点与其所在的立方体周围的26个点比较

for(int c=SIFT_IMG_BORDER;c

DER;c++)

//计算梯度直方图

floatomax=calcOrientationHist

gauss_pyr [o*(nOctaveLayers+3)+layer]

// 特征点精确定位

static bool adjustLocalExtrema

③ //计算梯度方向直方图，统计的像素范围

for(i=-radius,k=0;i<=radius;i++)

//得到主方向

float maxval=hist[0];

④ //计算余弦，正弦，将角度值转化为幅度值

Point pt(cvRound(ptf.x),cvRound(ptf.y));

//区域点坐标确定

for(i=-radius,k=0;i<=radius;i++)

for(j=-radius;j<=radius;j++)

⑤ //通过定义FeatureDetector的对象可以使用多种特征

检测方法。通过create()函数调用

FeatureDetector::create(const string&detectorType);

本文采用原始图像为800×600的灰度图像作为待拼接图像，实验中以不同的颜色标注不同类的特征点。对于特征信息丰富的图像，算法依然具有较好的自适应性。如图3(a)，(b)分别为对灰度图像和彩色图像进行基于区域的特征提取。结果可以发现特征点数量较原算法有所提高，且耗时有所减少。

图3　基于区域SIFT特征提取结果

实验通过改变邻域面积的方法计算提取特征点的时间复杂度，如表1和表2所示。

表1　特征提取时间比较(灰度图像)

表2　特征提取时间比较(彩色图像)

从表1和表2中可以看出，原程序使用3×3×3的正方体邻域，本文将其扩大到5×5×3，7×7×3，9×9×3的矩形邻域。虽然随着邻域的扩大，寻找极值点所花费的时间会增加，但是远小于计算特征根的耗时，总耗时会随着邻域的扩大而减少，增强了特征提取的实时性。

2.3改进的K近邻域算法

本文采用一种改进的K近邻域算法，解决不必要的回溯访问和高纬度数据查找损耗，大大地提高了搜索匹配效率。但是无论使用何种特征匹配方法都难免会产生误匹配点对，即“外点”。本文最后在基于区域的特征提取算法上，采用了RANSAC 算法来估计变换模型参数，可以有效减少外点的生成。本算法主要为以下三部分：

输入：kd，

//kd-tree类型

target

//查询数据点

输出：nearest

//最邻近数据点

dist

//最邻近数据点和查询点间的距离

① if kd为null，则设dist为infinite并返回

② //进行二叉查找，生成搜索路径

kd_point=&Kd

//Kd-point中保存kd-tree根节点

nearest=Kd_point>Node-data；

//初始化最近邻点

push(Kd_point)到search_path中；

//search_path是一个堆栈结构，存储着搜索路径节点指针

If dist(nearest,target)>dist(kd_point->node-data,target)

nearest=kd_point->node-data；

//更新最近邻点

min_dist=dist(kd_point,target)

//更新最近邻点与查询点间的距离

If target[s]<=kd_point->Node-data[s]

//进行二叉查找

③ //回溯查找

while(search_path != NULL)

back_point=search_path

//从search_path堆栈弹栈

s=back_point->split；

//确定分割方向

If dist(target[s],back_point->Node-data[s]))

//判断还需进入的子空间

图4和图5为两幅灰度图像分别使用两种特征点匹配算法的对比图，原始图像大小均为800×600，其中图5对于图4中出现的交叉线进行了消除，去除了误匹配点，精确了匹配效率，提高了匹配的准确度。

图4　两幅灰度图像采用KD-Tree最近邻域搜索算法

图5　两幅灰度图像采用改进的KD-Tree搜索算法

表3为两幅图像分别使用两种特征匹配算法的匹配点对计算估计和比对,可以很明显地发现改进的KD-Tree算法在任何参数条件设置下，特征匹配耗时都得到了明显的减少，算法的时效性得到了提高。

表3　两种特征匹配算法的比较

3投影模型的建立

图像拍摄过程中，受到拍摄硬件条件的限制，如广角拍摄中场景产生旋转角度的变化而造成图像之间在空间坐标上的不一致[5]，以及相机抖动对图像拍摄带来的影响。在进行图像拼接中，会造成图像的失真以及畸变，拼接后的图像边缘易产生拉伸和形变，即累加效应。本文采用变换模型方法，计算图像之间的旋转矩阵，可选择柱面投影或球面投影，采用建立投影模型的方式在图像融合前对图像进行处理，通过几何学来求解精确的点对点对应的两幅图像映射关系。

分别对两幅图像进行旋转和平移，得到平面对应方程Xn=HX，如图6所示。

图6　平面投影示意图

两幅图像的坐标进行投影模型变换如式(1)所示：

(1)

采用参数(s,θ,tx,ty)仿射变换模型计算变换参数，其变换矩阵为：

(2)其中s是尺度变换参数，θ是变换角度，tx，ty分别为x，y方向的平移量。点p=(xp,yp)T到点q=(xq,yq)T的映射关系如式(3)所示：

(3)

实验证明建立投影模型不具有累加性，在多幅图像拼接时，已拼接好的图像不会受二次建模的影响而产生畸变鬼影，所以该算法不仅对两幅图像拼接具有很好的效果，对多幅图像也同样有效。

图7为实验拍摄得到的花坛四幅待拼接的图像，由于相机偏转角度发生了变化，最边上的图像与中心图像中心坐标不一致，出现了旋转角度θ，如果采用传统拼接方法将会出现图8(a)中拉伸形变和黑边现象。本文计算相邻图像之间的旋转矩阵，采用8参数的逆透视投影变换描述图像之间的坐标关系。如表4所示。

图7　待拼接四幅彩色图像

参数对应成像效果m2X方向位移m5Y方向位移m0m1m3m4缩放、旋转、剪切m6m7梯形失真(x方向和y方向形变)

在实验中对这四幅图像分别使用传统的拼接方法和建立投影模型进行比对，如图8所示。

图8　四幅彩色图像使用投影模型对比

本文通过建立投影模型，将图像绘制在投影模型上，根据匹配特征点之间的映射关系来表现图像之间投影的位置，从而将待拼接图像映射到指定坐标空间。本文对待拼接图像进行柱面投影，使图像之间的空间坐标基本一致，实现了图像之间的过渡，使得拼接图像更加与原场景匹配。

4融合算法校正

图像融合的任务就是把配准后的两幅图像根据对准的位置合并为一幅图像。方法大致分为平均值法、加权平均法、中值滤波和多分辨率[8]。本文采用光照差异校正和加权融合相结合的方法来消除畸变。实验采用实验室图像作为待拼接图像，其中相邻两幅图像存在光照差异，如图9(a)、(b)为纵向相邻两幅图像，图9(c)、(d)为横向相邻两幅图像。

图9　待拼接图像

本文对具有相同重叠区域的待拼接图像A、B分别设M、N为重叠区域的长和宽，重叠区域为OVA和OVB，设亮度调整因子为σ，则可以得到σ的值为式(4)：

(4)

(5)

其中第一幅图像和第二幅图像重叠部分对应坐标下的权值大小为h1和h2，也成为渐变因子，且0

(6)

实验结果证明对于重叠区域在70%以上的相邻图像进行融合处理后，鬼影和拼接缝得到了很好的消除。

图10(a)，(b)分别为未进行图像融合和进行融合后的对比图，可以很清晰地看到加入了加权平均融合算法后，消除了图10(a)中的黑线。

图10　融合校正前后对比

对于纵向的图像拼接，依然可以对其使用加权融合。图11(a)，(b)为两幅彩色图像纵向拼接对比图。可以很明显地看出图11(b)很好地消除了图11(a)中存在的鬼影现象。

图11　纵向两幅彩色图像融合后对比

5结语

本文采用了改进的基于投影模型和图像融合的拼接畸变消除算法，在进行大量的对比实验中，可以证明其有效性和实时性。在图像拼接中，对拍摄场景存在的因素，如光照、旋转角度、相机抖动而造成的鬼影、桶装变形、累加效应、拼接缝隙等各种引发图像造成的畸变、失真等问题，本文的算法可以对其进行很好的优化。在实际应用中，尤其对于全景图像拼接，本文算法具有较好的自适应性，使拼接得到的最后图像更加真实和自然。

参考文献

[1] Chalom E,Asa E.Measuring image similarity on overview of some useful applications[J].Instrumentation & Measurement Magazine,2013,16(1):22-28.

[2] Poletti E,Benedetti G.Super-image mosaic of infant retinal fundus:Selection and registration of the best-quality frames from videos[J].Engineering in Medicine and Biology Society,2013,3(7):5883-5886.

[3] Hemlata Joshi,Mr KhomLai Sinha.A Survey on Image Mosaicing Techniques[J].Advanced Research in Computer Engineering & Technology,2013,2(2):18-29.

[4] Mahesh,Subramanyam.Feature Based Image Mosaic Using Steerable Filters and Harris Corner Detector[J].Image,Graphics & Signal Processing,2013,5(6):9-15.

[5] Zhang Zhi,Jia Tong.Performance evaluation approach for image mosaicing algorithm[C]//Control and Decision Conference,2013:3786-3791.

[6] Eisank C,Dragut L.An Object-Based Workflow to Extract Landforms at Multiple Scales From Two Distinct Data Types[J].Geoscience and Remote Sensing Letters,2013,10(4):947-951.

[7] Panchal P M,Panchal S R.A Comparison of SIFT and SURF[J].Research in Computer and Communication Engineering,2013,1(2):11-23.

[8] Soumi C G,Joona George,Janahanlal Stephen.Genetic Algorithm based Mosaic Image Steganography for Enhanced Security[J].Signal and Image Processing,2014,5(1):26-30.

[9] Seyid K,Schmid A,Leblebici Y.Real-time hardware implementation of multi-resolution image blending[C]//Acoustics,Speech and Signal Processing,2013:2741-2745.

[10] Jayaprakash S,Sujitha G,Manju G.Secret Image Hiding In Targert Image of Mosaic Form[J].Engineering & Advanced Technology,2013,1(11):65-71.

收稿日期：2015-03-04。重庆市教委科学技术研究项目(KJ140 2001)；重庆市科委前沿与应用基础研究项目(cstc2014jcyjA1347)。姚路，硕士生，主研领域：数字图像处理。陈昌志，副教授。周桥，硕士生。安世全，教授。

中图分类号TP391

文献标识码A

DOI:10.3969/j.issn.1000-386x.2016.07.050

STITCHING ABERRATION ELIMINATION ALGORITHM BASED ON PROJECTION MODEL AND IMAGE FUSION

Yao Lu1Chen Changzhi1,2Zhou Qiao1,2An Shiquan1,2

1(CollegeofComputerScienceandTechnology,ChongqingUniversityofPostsandTelecommunications,Chongqing400065,China)2(CollegeofMobileTelecommunications,ChongqingUniversityofPostsandTelecommunications,Chongqing401520,China)

AbstractImage stitching technique is an important branch in the field of digital image processing and is widely used in spatial texture detection, cultural relics protection, medical image, public security forensics, virtual reality and so on. Due to the impacts of various factors such as lighting, angle, shift and dithering in captured images, it is easy to lead to image aberration and deformation when image is stitching. In this paper we use the projection model and image fusion to study the aberration and deformation, by improving traditional stitching algorithm we present a new algorithm combining the projection model and image fusion which has good adaptive ability, high efficiency and good stability. Experimental result shows that the proposed algorithm can well eliminate the aberration and deformation brought about in stitching process, and it has good robustness as well.

KeywordsImage stitchingAberrationProjection modelImage fusionDeformation