基于Harris算法的无人机影像拼接技术

赵文君 李枭

摘 要：处理无人机影像数据时，Harris角点检测算法具有较强的鲁棒性和稳定性。使用Harris角点检测算法时，影像边界处由于影像畸变影响，生成的特征点存在角点聚簇和伪角点的概率非常大，在处理该类问题时，通常是删除影像边界生成的角点。针对影像边缘特征点删除量的合理性进行了实验：先对影像生成特征点面积进行限制，用Harris算法提取特征点。然后用非极大抑制算法选取特征点，去除伪角点和聚簇的角点，生成最佳缝合线进行影像匹配融合。最后对比影像生成特征点面积和最后影像匹配效果，论证影像边缘删除Harris角点的合理量。实验结果表明，相对于传统的直接删除边界Harris角点方法，该方法更可靠更精确。

关键词：Harris算法；影像拼接；无人机影像

DOI：10.11907/rjdk.172721

中图分类号：TP317.4

文献标识码：A 文章编号：1672-7800（2018）004-0216-04

Abstract：When processing the data of Unmanned Aerial Vehicle （UAV） image， Harris corner detection algorithm has strong robustness and stability. Because of image distortion in its boundaries with Harris corner detection algorithm， there is a very large probability for characteristic points to be corner clusters and pseudo corner points， so when processing this problem， the corner points generated by the image boundaries are usually removed. In order to extract the UAV image characteristic points by Harris algorithm， the rationality of the deletion of the characteristic points which are generated in the image boundaries is studied，this paper launches the experiment at this point.The area of image-generated characteristic points is limited first， and the extraction of characteristic points is carried on by Harris corner detection algorithm next， and the characteristic points selected by non maximum suppression algorithm are used to remove the pseudo corner points and corner clusters and generate the best suture to match and fuse images； finally， having comparing the relationship between the area of image-generated characteristic points and the final image matching effect， the reasonable number of deleted Harris corners in the image boundaries is demonstrated. The experimental results show that the method of this paper is more accurate and reliable than the traditional method of deleting Harris corners of the boundaries directly.

Key Words：Harris algorithm； image stitching； UAV image

0 引言

无人机航测节省了大量人力物力，使影像获取更加便捷。但无人机体积小、质量轻，在飞行时容易受到气流影响，拍摄出来的照片存在畸变，影响后续影像拼接。

影像拼接技术指将一组重叠影像集合拼接成一幅大范围的无缝高分辨率影像[1]。影像拼接技术包括角点提取、图像配准和图像融合3个关键步骤[2]。已有的图像匹配算法主要有基于特征点的配准、基于灰度信息的配准以及基于变换域的配准3大类。基于特征点配准算法可对图像中特征稳定的点进行匹配，减少了信息处理量，对图像的灰度变化具有鲁棒性[3]。目前提取影像特征点的主流算法有SIFT算法[1]、Moravec算法[4]、Harris算法[5]、SUSAN算法[6]等，本文选用Harris角点检测算法。Harris角点检测算法改进主要集中在3个方面：①基于角点的尺度不变性进行改进；②像素点梯度模板改进；③对阈值选取的改进[7]。2015年，邹志远等[8]针对Harris算法自适应差的问题，提出了一种自适应阈值检测算法，從而使角点检测具有自适应性、角点个数合理、均匀等优点。2016年，张东等[9]提出一种Harris与Sift相结合的算法，对图像特征进行提取，提高了提取特征的准确性、鲁棒性[10]。

本文用Harris角点检测算法对无人机影像进行匹配处理，然后以同样的数据减小其生成角点面积，再通过非极大抑制算法去除伪角点和聚簇角点，进而生成最佳缝合线[11]进行影像的配准融合，得出影像生成Harris角点的最优面积。

1 无人机影像拼接方法

本文所用方法流程如图1所示，整个流程包括无人机影像生成特征点区域限制、Harris算法提取特征点、非极大抑制算法选取特征点、RANSAC算法估计仿射变换、寻找最佳缝合线、生成拼接好的影像图、比较不同面积生成特征点后拼接好的影像图质量。其中提取特征点区域限制是本文的关键步骤。

2 Harris算法与非极大抑制算法

2.1 Harris算法

角点被普遍认为是二维图像亮度变化剧烈或者图像边缘曲线上曲率极大值的点[6]。Harris算法按其角点检测方法可分为两类：①基于图像边缘的角点检测；②基于图像灰度的角点检测。前者需要经过图像预分割、轮廓链码提取和角点检测，后者主要通过计算曲率及梯度进行角点检测，通过计算边缘的曲率来判断角点的存在[12]。

首先将处理的图像转换为灰度图像，然后对图像进行高斯模糊，再用sobel算子计算图像在x，y方向上的亮度梯度，提取特征点，之后用高斯函数对梯度进行平滑处理，公式如下：

特征值的大小直接反映特征点的位置，即当两个特征值都比较小时，此点可能位于平坦区，不为角点或边界点；当两个特征值一个较大另一个相对较小时，则此点位于边界上，属于边界点；当两个特征值均相对较大时，则此点沿任意方向的曲率都较大，为需要提取的角点[13]。

2.2 自适应非极大抑制算法

由于用Harris角点检测算法会生成大量的特征点，这些特征点并不都是特征十分明显的特征点，如果都保留不仅会带来非常大的程序運算量，还会带来非常大的匹配错误率，所以需要用非极大抑制算法筛选特征点。

非极大抑制算法的核心思想是：有一个中心点，其半径为r，设它的初始r值为0，然后慢慢增加r值，使得到的特征点的半径小于中心点的半径r，直到得到期望特征点的个数为止。公式如下：

xi，xj分别为关键点及其邻域像素的位置向量，参数为小于1的正数，用来确定区域的特征显著程度阈值，本文取0.9[14]。

3 提取特征点区域限制

无人机航摄时所带相机拍摄出来的相片都会存在如图2所示的畸变问题，在纠正畸变和删除边缘点方向进行了很多研究，本文着重于研究从影像边缘开始去掉以像素为单位的影像面积，减少相片边缘畸变问题对后续影像拼接的影响。利用提取特征点区域限制的方法提高后续影像配准的精度，以达到提高生产效率的目的。

图3为影像重叠度示例，所用航摄影像符合航测规范，生成特征点的最优位置选择如图4所示，影像的重叠分为航向重叠和旁向重叠，设影像航向重叠区域为1，阴影部分为x（即为舍弃部分），余下部分为1-2x。同理设旁向重叠区域为1，阴影部分为y（即为舍弃部分），余下部分为1-2y。对不同面积生成的特征点进行比较得到去掉x和y的最优区域。本方法把影像面积减小，因为影像重叠度较高，所以对后续操作影响并不大[15]。

4 实验

本实验选取两个航带内6张无人机影像进行实验，相机为Sony的A7R，焦距为30mm，平均航高为150m，影像大小为7 360×4 912，影像的航向重叠度在70%左右，旁向重叠度在50%左右，符合航测规范。影像的匹配用Harris角点算法进行特征点提取，用非极大抑制算法对生成的特征点进行粗差剔除，用RANSAC算法对序列影像匹配结果进行仿射变换，得到变换矩阵并建立最佳缝合线进而拼接成一幅影像图。以相同的实验数据反复进行试验，得出生成特征点的最优面积。

图5是两张用Harris算法提取并生成特征点后的原始影像，因为原始影像太大不利于观察，因而以原始影像的细节图代替原始影像。从图5可以看出，用Harris角点提取的特征点中存在较多角点聚簇和伪角点现象，尤其在影像畸变较大的边缘处。若直接使用所有的特征点进行下一步操作会大大增加程序运行时间且增加后续剔除粗差点和匹配的错误率。

图6是原始影像A和原始影像B的局部细节图，A（1）是原始影像A的4 000×2 500的局部影像在减少边界10px后生成特征点的图像（即局部影像A（1）的面积为3 980×2 480），A（2）和A（3）是在局部影像A（1）的基础上依次减少10px和20px的局部影像用Harris角点算法生成特征点的影像（局部影像A（2）的面积为3 960×2 460，局部影像A（3）的面积为3 940×2 440）。同理，B（1）是原始影像B的4 000×2 500的局部影像在减少边界10px后生成特征点的图像（即局部影像B（1）的面积为3 980×2 480），B（2）和B（3）是在局部影像B（1）的基础上依次减少10px和20px的局部影像用Harris角点算法生成特征点的影像（局部影像B（2）的面积为3 960×2 460，局部影像B（3）的面积为3 940×2 440）。局部影像初始提取的特征点数和局部影像依次减小面积后提取的特征点数如表1所示。

后还是存在伪角点，匹配效果不理想，图7（b）是局部影像A（1）和局部影像B（1）经过非极大抑制算法剔除粗差点后特征点的匹配图，对比于图7（a）有较轻微改善，但还是存在伪角点，匹配效果不理想，图7（c）是局部影像A（2）和局部影像B（2）经过非极大抑制算法剔除粗差点后特征点的匹配图，较比于前两幅匹配的特征点有明显改善，匹配效果较理想，图7（d）是局部影像A（3）和局部影像B（3）经过非极大抑制算法剔除粗差点后特征点的匹配图，与图7（c）的效果相近，但是比图7（c）的效果要好一些，匹配效果较理想。

图8是局部影像对应的融合后影像效果图。与图7对应，可以看出图8（a）和图8（b）融合后的影像中，建筑物处出现鬼影现象较为明显，图8（c）融合后的影像中建筑物处鬼影现象已经有了明显改善，但建筑物右边拼接影像还是有点模糊，图8（d）融合后的影像最清晰。

观察图8可以看出，未去掉像素时拼接的影像和去掉10像素生成的影像基本没有差别，当去掉影像周围20像素时，对比原始影像拼接效果已经有了明显改善，当去掉影像周围30像素时匹配结果最好。因为去掉20像素时最后匹配结果还是有些模糊，随后在去掉影像20～30像素之间进行实验，发现去掉边界24像素时效果和去掉边界30像素的结果一致，达到实验目的。

5 结语

本文用提取特征点区域限制的方法限制Harris角点生成的面积，再结合非极大值抑制算法剔除粗差和聚簇角点，生成最佳缝合线进行后续的影像配准融合，得到了较好效果，实现了图像的精配准。对比于传统的Harris角点检测算法剔除边缘角点的随意性，本文给出了具体数值，为今后使用Harris角点检测算法剔除边缘角点提供了可靠数据，为下一步图像融合打下了良好基础。但是因为数据的多样性不足，后续将收集不同地物的无人机影像进行深入研究。

参考文献：

[1] BROWN M， LOWE D G. Automatic panoramic image stitching using invariant features[J]. International Journal of Computer Vision，2007，74（1）：59-73.

[2] 王娟，师军，吴宪祥.图像拼接技术综述[J].计算机应用研究，2008，25（7）：1940-1943.

[3] 张宇驰.一种改进的基于Harris角点的图像拼接方法[J].机械工程师，2017（10）：54-55.

[4] MOREVEC H P. Towards automatic visual obstacle avoidance[C]. International Joint Conference on Artificial Intelligence. Morgan Kaufmann Publishers Inc.1977：584-584.

[5] HARRIS C. A combined corner and edge detector[J]. Proc Alvey Vision Conf，1988（3）：147-151.

[6] SMITH S M， BRADY J M. SUSAN-A new approach to low-level image processing[J]. International Journal of Computer Vision，1997，23（1）：45-78.

[7] 张维，张晶晶.基于Harris角点的图像拼接技術研究[J].电子质量，2016（7）：12-14.

[8] 邹志远，安博文，曹芳，等.一种自适应红外图像角点检测算法[J].激光与红外，2015，45（10）：1272-1276.

[9] 张东，余朝刚.基于特征点的图像拼接方法[J].计算机系统应用，2016，25（3）：107-112.

[10] 张见双，张红民，罗永涛，等.一种改进的Harris角点检测的图像配准方法[J].激光与红外，2017，47（2）：230-233.

[11] 方贤勇，潘志庚，徐丹.图像拼接的改进算法[J].计算机辅助设计与图形学学报，2003，15（11）：1362-1365.

[12] 赵萌，温佩芝，邓星，等.一种参数自适应的Harris角点检测算法[J].桂林电子科技大学学报，2016，36（3）：215-219.

[13] 陈静.图像配准特征点提取算法研究[D].南京：南京理工大学，2006.

[14] 许晓帆，王毅，王永泉.基于自适应非极大值抑制的SIFT改进算法[J].电子设计工程，2014（18）：180-182.

[15] 韩峰，刘昭，刘伟，等.重叠度对无人机图像拼接效率的影响[J].江苏农业科学，2017，45（12）：182-187.

（责任编辑：杜能钢）