全景图像拼接技术在胡杨研究中的应用

施明登　周鹏　白铁成

摘要：为了解决超过人眼视角的场景时，在近距离内无法用照相机将其完整拍摄下来的问题，通过SIFT特征提取、特征匹配、Homography矩阵计算、透视变换和图像融合技术，较好地实现胡杨全景图像的拼接。结果表明，通过全景图像拼接获得高分辨率的胡杨全景图片是可行的方法。

关键词：全景图像拼接；胡杨；特征匹配；图像融合

中图分类号：TP399 文献标识码：A 文章编号：0439-8114（2014）22-5539-03

塔里木河位于新疆维吾尔自治区，是中国最长的内陆河，河岸两边分布着落叶阔叶乔木——胡杨，其种植面积约占全国的80%以上[1]。胡杨林是干旱荒漠区惟一建群的古老乔木树种，胡杨林多为纯林。近年来，由于经济开发活动、资源滥用等，造成了胡杨林面积大幅度减少，胡杨林的退化与衰败是新疆南疆荒漠脆弱生态系统的具体体现[2]。胡杨林可减少风的携沙能力，有效地阻截、固定流沙，防止流沙扩张，由胡杨组成的荒漠河岸林带，是一条天然防风林带，保护着绿洲农田的稳定[3]。同时胡杨林也具备森林生态系统其他服务功能，如生产有机质、涵养水源、固碳制氧、净化环境等，越来越多的专家学者开展了胡杨相关研究。

本研究是在进行胡杨林春尺蠖防治研究过程中，由于超过人眼视角的场景，无法用照相机完整地将胡杨林拍摄下来，而拉大拍摄距离虽然可以得到宽范围的图像，但是拍摄到的胡杨可能会相对较小，经过放大后的图像会出现马赛克现象，效果很差。因此，为获得高分辨率的胡杨林全景图像，在参考已有的数字图像拼接技术[4-7]基础上开展针对胡杨林全景图像拼接技术应用研究，采用固定多摄像头方式获取多幅数值图像[8]，然后运用局部特征点匹配算法进行图像拼接[9]。

1 全景图像拼接流程

通过SIFT特征提取、特征匹配、Homography矩阵计算、透视变换和图像融合等步骤进行全景图像拼接，拼接流程如图1所示。待拼接图像拍摄位置和拍摄角度等有可能不同，需要对图像进行透视变换将两幅图像映射到同一坐标系中，可以直接将一副图像映射到另一幅图像的坐标系中，因此，需要计算两幅图像之间的Homography（单应）矩阵。通过图像SIFT特征的匹配，计算得到单应矩阵，在对图像做完透视变换后，对两幅图像进行融合即可得到想要的全景图。

2 全景图像拼接关键技术与实现

2.1 SIFT特征提取

二维图像中存在各种尺度的目标和特征，要想获得这些特征，需要在不同尺度的图像下检测特征。SIFT特征不仅具有良好的位置、尺度、旋转不变性，而且在图像亮度或拍摄角度变化的情况下仍然具有良好的效果，所以本研究采用SIFT算法进行特征提取。

SIFT算法在尺度空间中使用了一种图像金字塔结构，其中包括高斯金字塔和高斯残差金字塔两个部分。高斯残差金字塔由对应相邻的高斯金字塔中的两个图像尺度层相减获得。金字塔由多级组成，每级包含多个图像尺度层，每层之间的σ值[图像的尺度大小用高斯核的标准差（σ）来表示]相差k倍。每级的底层由下一级中对应的尺度层通过系数为2的抽样操作获得。高斯残差是尺度规格化Laplacian算子的一种近似，因而SIFT算法直接选取高斯残差金字塔中在局部区域内获得极值的像素点为特征点。

SIFT算法主要包括尺度空间的构造、检测尺度空间的极值点、精确确定极值点位置、特征点方向分配、生成特征点描述子，具体的SIFT特征点提取过程可参见文献[10]。选用两幅亮度和颜色有较明显区别的图片作为输入图像进行图像拼接应用研究，如图2所示。通过SIFT算法完成特征提取结果如图3所示，图中用红色对SIFT特征进行了标示。

2.2 特征匹配

当两幅图像的SIFT特征向量生成后，下一步采用关键点特征向量的欧氏距离作为两幅图像中关键点的相似性判定度量。然而由于遮挡等原因，匹配可能出现错配的情况，需要采取一些措施降低错配率。

kd-tree是一种有效的用于组织高维数据的数据结构，其在很多查询问题中都有很好的应用，如范围查询、最近邻查询等。kd-tree的本质是一种索引结构，因此在高维数据搜索中引入kd-tree相当于为数据集构建了一个索引结构，通过索引结构来查找目标数据大大地减少了查找的计算量，从而提高搜索效率。

对于提取SIFT特征点的图像，计算其描述符之间欧氏距离的相似度来作为判定特征点匹配的准则。首先将其中一幅图像中的所有关键点构建一棵kd-tree，选取另一幅图像中的一个点K，之后釆用最近邻搜索算法来遍历这棵kd-tree，分别计算点K的128维矢量与kd-tree中每个点所对应的各维矢量的欧氏距离，之后再将128维的欧氏距离求和，找到与K点的欧氏距离最小的两个关键点并记录欧氏距离的值，最后计算最小的欧氏距离与次小的欧氏距离的比值，如果比值小于阈值T，那么认为欧氏距离最小的那个点与K点匹配，反之匹配失败。

函数kdtree_build使用输入的特征构建一个kd-tree，而函数kdtree_bbf_knn在kd-tree中搜索和给定特征最相近的k个特征，采用best bin first的搜索算法。特征匹配的试验结果如图4所示，两幅图片对应的匹配关键点用绿线标示。

2.3 Homography矩阵计算

实现了对应特征点的粗匹配后，为了进一步实现两幅图片的拼接，需要计算两幅图像间的单应性矩阵H，使两幅拼接图像满足射影变换关系。为了提高得到的H准确率和效率，研究中采用RANSAC（Random sample consensus）算法来进行计算，选择3×3的透视变换矩阵作为参数模型，用公式表示为：

x2y2z2=H11 H12 H13 H21 H22 H23H31 H32 H33x2y2z2 （1）

式（1）中，透视变换矩阵H又称单应性矩阵，适用于平面场景，能够反映摄像机的平移、旋转、缩放和一些仿射变化。其中，X1=（x1，y1，z1）T，X2=（x2，y2，z2）T为归一化齐次坐标，z1=l，z2=l。透视变换是中心投影的射影变换，采用非齐次射影坐标表达时，透视变换用8个参数单应矩阵表示，H33=1。endprint

理论上仅需4对匹配点对，即可对上式联立求解线性方程组，实际上，由于噪声、精度误差等因素影响，需要8～10对以上的非共线匹配点对。试验中，通过每次随机选取匹配的4对匹配点联立求解线性方程组，计算H，采用重复该过程N次，然后选取所得到最好的H，作为H的8个参数齐次最优解。H的准确性可以用在H下内点（inlier）的个数来表征。这样当N足够大时，H可以达到很高的精度。

2.4 透视变换

根据前面计算得到的图像透视变换矩阵H对待配准的图像中像素点坐标做矩阵乘法，可以将相邻两幅图像中处于各自坐标系下的像素点统一到同一坐标系下。透视变换根据两幅图像的坐标系之间的关系（由单应矩阵H刻画），通过矩阵乘法将二者的坐标系统一成一个，将源图像变换到目标图像，完成图像的几何配准最后变成一幅图像。

透视变换通过函数cvWrapPerspective完成，结果如图5所示。由图5可知，两幅图像因为亮度和颜色差异较大，直接拼接后的效果并不理想，拼接边缘已经用红色进行了标示。

2.5 图像融合

经过SIFT图像配准工作完成后，求得变换矩阵，此时的两幅图像已经拼连在一起并且位于同一平面上，但是由于两幅图像拍摄时亮度的差异等因素，会导致两幅图像在拼接的位置有明显的拼缝。图像融合的作用是使图像拼接整体亮度保持一致，图像重叠区域拼接过渡平滑，消除因拼接产生的拼接缝隙。使用OpenCV中的MultiBandBlender类完成这一过程，结果如图6所示。

3 小结

针对胡杨研究过程中如何获取较大视域全景图像的问题，利用数字图像处理技术，综合运用SIFT特征提取、特征匹配、Homography矩阵计算、透视变换和图像融合方法，实现多个单一图像融合成一幅图像。结果表明，将全景拼接技术应用于胡杨的研究中是一种可行的方法。因为是在胡杨林春尺蠖防治研究课题的基础上开展的全景图像拼接应用研究，未对其他树种进行应用分析，理论上该实现方法在其他树种的应用也是可行的。

参考文献：

[1] 王吴续，徐崇志，李 青.新疆塔里木南缘胡杨林生态价值测度[J].北方园艺，2014（9）：210-213.

[2] 邓潮洲，李 利，吴俊侠，等.塔里木河上游胡杨群落及种群特征分析[J].中国沙漠，2010，30（6）：1381-1388.

[3] 桑巴叶，刘 康，朱玉伟，等.墨玉县天然胡杨林春尺蠖飞防试验研究[J].防护林科技，2013（9）：16-17，35.

[4] 江 铁，朱桂斌，孙 奥.全景图像拼接技术研究现状综述[J].重庆工商大学学报（自然科学版），2012，29（12）：60-65.

[5] ZHOU B，ZHENG J，ZHOU H. Tree image mosaicing system based on featured area matching[J]. Transactions of CSAM，2010，41（10）：195-198.

[6] SAWHNEY H S， KUMAR R.True multi-image alignment and its application to mosaicing and lens distortion correction[J].IEEE Transactions on Pattern Analysis and Machine Intelligence，1999，21（3）：235-243.

[7] 郑加强，贾志成，周 博，等.基于动态树木图像序列的实时拼接系统及其深度信息检测[J].林业科学，2014，50（5）：82-89.

[8] 刘 畅，金立左，费树岷，等.固定多摄像头的视频拼接技术[J].数据采集与处理，2014，29（1）：126-133.

[9] 郭晓冉，崔少辉.基于局部特征点配准的图像拼接算法[J].半导体光电，2014，35（1）：89-94.

[10] 刘小军，杨 杰，孙坚伟，等.基于SIFT的图像配准方法[J].红外与激光工程，2008，37（1）：156-160.

（责任编辑 屠 晶）endprint

理论上仅需4对匹配点对，即可对上式联立求解线性方程组，实际上，由于噪声、精度误差等因素影响，需要8～10对以上的非共线匹配点对。试验中，通过每次随机选取匹配的4对匹配点联立求解线性方程组，计算H，采用重复该过程N次，然后选取所得到最好的H，作为H的8个参数齐次最优解。H的准确性可以用在H下内点（inlier）的个数来表征。这样当N足够大时，H可以达到很高的精度。

2.4 透视变换

根据前面计算得到的图像透视变换矩阵H对待配准的图像中像素点坐标做矩阵乘法，可以将相邻两幅图像中处于各自坐标系下的像素点统一到同一坐标系下。透视变换根据两幅图像的坐标系之间的关系（由单应矩阵H刻画），通过矩阵乘法将二者的坐标系统一成一个，将源图像变换到目标图像，完成图像的几何配准最后变成一幅图像。

透视变换通过函数cvWrapPerspective完成，结果如图5所示。由图5可知，两幅图像因为亮度和颜色差异较大，直接拼接后的效果并不理想，拼接边缘已经用红色进行了标示。

2.5 图像融合

经过SIFT图像配准工作完成后，求得变换矩阵，此时的两幅图像已经拼连在一起并且位于同一平面上，但是由于两幅图像拍摄时亮度的差异等因素，会导致两幅图像在拼接的位置有明显的拼缝。图像融合的作用是使图像拼接整体亮度保持一致，图像重叠区域拼接过渡平滑，消除因拼接产生的拼接缝隙。使用OpenCV中的MultiBandBlender类完成这一过程，结果如图6所示。

3 小结

针对胡杨研究过程中如何获取较大视域全景图像的问题，利用数字图像处理技术，综合运用SIFT特征提取、特征匹配、Homography矩阵计算、透视变换和图像融合方法，实现多个单一图像融合成一幅图像。结果表明，将全景拼接技术应用于胡杨的研究中是一种可行的方法。因为是在胡杨林春尺蠖防治研究课题的基础上开展的全景图像拼接应用研究，未对其他树种进行应用分析，理论上该实现方法在其他树种的应用也是可行的。

参考文献：

[1] 王吴续，徐崇志，李 青.新疆塔里木南缘胡杨林生态价值测度[J].北方园艺，2014（9）：210-213.

[2] 邓潮洲，李 利，吴俊侠，等.塔里木河上游胡杨群落及种群特征分析[J].中国沙漠，2010，30（6）：1381-1388.

[3] 桑巴叶，刘 康，朱玉伟，等.墨玉县天然胡杨林春尺蠖飞防试验研究[J].防护林科技，2013（9）：16-17，35.

[4] 江 铁，朱桂斌，孙 奥.全景图像拼接技术研究现状综述[J].重庆工商大学学报（自然科学版），2012，29（12）：60-65.

[5] ZHOU B，ZHENG J，ZHOU H. Tree image mosaicing system based on featured area matching[J]. Transactions of CSAM，2010，41（10）：195-198.

[6] SAWHNEY H S， KUMAR R.True multi-image alignment and its application to mosaicing and lens distortion correction[J].IEEE Transactions on Pattern Analysis and Machine Intelligence，1999，21（3）：235-243.

[7] 郑加强，贾志成，周 博，等.基于动态树木图像序列的实时拼接系统及其深度信息检测[J].林业科学，2014，50（5）：82-89.

[8] 刘 畅，金立左，费树岷，等.固定多摄像头的视频拼接技术[J].数据采集与处理，2014，29（1）：126-133.

[9] 郭晓冉，崔少辉.基于局部特征点配准的图像拼接算法[J].半导体光电，2014，35（1）：89-94.

[10] 刘小军，杨 杰，孙坚伟，等.基于SIFT的图像配准方法[J].红外与激光工程，2008，37（1）：156-160.

（责任编辑 屠 晶）endprint

理论上仅需4对匹配点对，即可对上式联立求解线性方程组，实际上，由于噪声、精度误差等因素影响，需要8～10对以上的非共线匹配点对。试验中，通过每次随机选取匹配的4对匹配点联立求解线性方程组，计算H，采用重复该过程N次，然后选取所得到最好的H，作为H的8个参数齐次最优解。H的准确性可以用在H下内点（inlier）的个数来表征。这样当N足够大时，H可以达到很高的精度。

2.4 透视变换

根据前面计算得到的图像透视变换矩阵H对待配准的图像中像素点坐标做矩阵乘法，可以将相邻两幅图像中处于各自坐标系下的像素点统一到同一坐标系下。透视变换根据两幅图像的坐标系之间的关系（由单应矩阵H刻画），通过矩阵乘法将二者的坐标系统一成一个，将源图像变换到目标图像，完成图像的几何配准最后变成一幅图像。

透视变换通过函数cvWrapPerspective完成，结果如图5所示。由图5可知，两幅图像因为亮度和颜色差异较大，直接拼接后的效果并不理想，拼接边缘已经用红色进行了标示。

2.5 图像融合

经过SIFT图像配准工作完成后，求得变换矩阵，此时的两幅图像已经拼连在一起并且位于同一平面上，但是由于两幅图像拍摄时亮度的差异等因素，会导致两幅图像在拼接的位置有明显的拼缝。图像融合的作用是使图像拼接整体亮度保持一致，图像重叠区域拼接过渡平滑，消除因拼接产生的拼接缝隙。使用OpenCV中的MultiBandBlender类完成这一过程，结果如图6所示。

3 小结

针对胡杨研究过程中如何获取较大视域全景图像的问题，利用数字图像处理技术，综合运用SIFT特征提取、特征匹配、Homography矩阵计算、透视变换和图像融合方法，实现多个单一图像融合成一幅图像。结果表明，将全景拼接技术应用于胡杨的研究中是一种可行的方法。因为是在胡杨林春尺蠖防治研究课题的基础上开展的全景图像拼接应用研究，未对其他树种进行应用分析，理论上该实现方法在其他树种的应用也是可行的。

参考文献：

[1] 王吴续，徐崇志，李 青.新疆塔里木南缘胡杨林生态价值测度[J].北方园艺，2014（9）：210-213.

[2] 邓潮洲，李 利，吴俊侠，等.塔里木河上游胡杨群落及种群特征分析[J].中国沙漠，2010，30（6）：1381-1388.

[3] 桑巴叶，刘 康，朱玉伟，等.墨玉县天然胡杨林春尺蠖飞防试验研究[J].防护林科技，2013（9）：16-17，35.

[4] 江 铁，朱桂斌，孙 奥.全景图像拼接技术研究现状综述[J].重庆工商大学学报（自然科学版），2012，29（12）：60-65.

[5] ZHOU B，ZHENG J，ZHOU H. Tree image mosaicing system based on featured area matching[J]. Transactions of CSAM，2010，41（10）：195-198.

[6] SAWHNEY H S， KUMAR R.True multi-image alignment and its application to mosaicing and lens distortion correction[J].IEEE Transactions on Pattern Analysis and Machine Intelligence，1999，21（3）：235-243.

[7] 郑加强，贾志成，周 博，等.基于动态树木图像序列的实时拼接系统及其深度信息检测[J].林业科学，2014，50（5）：82-89.

[8] 刘 畅，金立左，费树岷，等.固定多摄像头的视频拼接技术[J].数据采集与处理，2014，29（1）：126-133.

[9] 郭晓冉，崔少辉.基于局部特征点配准的图像拼接算法[J].半导体光电，2014，35（1）：89-94.

[10] 刘小军，杨 杰，孙坚伟，等.基于SIFT的图像配准方法[J].红外与激光工程，2008，37（1）：156-160.

（责任编辑 屠 晶）endprint