基于点特征检测的农业航空遥感图像配准算法

陆健强，李旺枝，兰玉彬，何秉鸿，林佳翰

·农业航空工程·

基于点特征检测的农业航空遥感图像配准算法

陆健强1,2，李旺枝1，兰玉彬1,2※，何秉鸿1，林佳翰1

（1. 华南农业大学电子工程学院，广州 510642； 2.国家精准农业航空施药技术国际联合研究中心，广州 510642）

针对当前无人机遥感图像配准算法普遍存在匹配精度差与配准速度慢等问题，该文以点特征检测方法为基础，结合矩阵降维处理方法，提出一种适用于农业航空遥感图像配准的改进算法—SNS（scale-invariant feature transform and singular value decomposition）算法。SNS算法以高斯函数同步检测尺度空间极值点的坐标和特征尺度，利用海森矩阵消除伪特征点，获取特征点精准定位，在求取特征点的模值与方向基础上，采用奇异值分解方法进行矩阵优化，实现数据降维再重构。试验结果表明，SNS算法与经典算法相比，配准速度平均提高5.01%，配准精度均方根误差平均降低10.48%，说明SNS算法在压缩数据量的同时，提高了整体配准精度，具有配准速度较快和鲁棒性较好的特点。研究结果可为农业航空遥感图像快速配准提供参考。

遥感；图像处理；算法；图像配准；点特征检测；数据降维

0 引 言

无人机遥感技术具有使用成本低、获取速度快、机动灵活等优点[1-2]，在精准农业航空领域上发挥着重要作用。受现有无人机航空遥感成像系统性能所限，目前仍无法单次获取大面积、高分辨率的遥感图像。因此，针对获取的序列遥感图像进行配准，以提高遥感图像的信息获取能力十分必要。传统图像配准[3-4]算法存在计算量大、效率低、配准效果不佳等缺陷[5]，如何实现快速、精准的图像配准，是当前图像配准算法研究领域的一个关键问题。

Smith等提出了一种利用图像邻域灰度差的特征点检测法来实现图像配准[6]，但该算法易受旋转及噪声的影响；随后有学者提出Harris算法[7]，一定程度上克服了Moravec算法在旋转不变性与噪声上的不足，但受尺度变化的影响较大；Lowe等[8-9]提出的SIFT（scale-invariant feature transform）算法在灰度与仿射变换方面具有不变性，同时检测出的SIFT特征点具有很好的稳定性。

近年来，Bay等[10]在SIFT算法基础上提出了SURF（speed up robust feature）加速算法，特征点只用了64维向量，提升算法速度的同时有效减少了计算量。许越等[11]提出以特征点匹配的残余误差为目标函数，但该方法只适用于高分辨率遥感常规对地成像任务的一般要求；同年周微硕等[12]针对配准中存在的几何变形问题提出了一种基于几何不变性局部相似特征的配准算法，但对粗匹配依赖过高，且存在剔除正确匹配点的情况。

针对精准农业航空采集的遥感图像具有图像尺寸变化大，采集角度多变，重叠区域大，重叠区域内可检测特征点丰富的特点[13-15]，本研究以点特征检测方法为设计基础，结合矩阵降维处理方法[16]，提出一种适用于精准农业航空遥感图像配准的改进算法—SNS算法，并通过与经典算法的配准比较实验进行验证，以期农业航空获取高分辨率的大面积遥感图像提供有益参考。

1 SNS算法设计

SNS算法在SIFT算法[17-18]与SVD（singular value decomposition）算法[19]的基础上，根据农业航空高分辨率大面积遥感图像的特点，以减少特征提取、压缩图像数据量[20]为方向进行改进。

1.1 SNS算法流程

SNS算法的主要工作原理：

1）对待配准图像以函数求取图像矩阵的2个正交矩阵、和一个对角阵。对角线上从大到小依次排列待配准图像矩阵的奇异值；

2）按照已定奇异值个数，取和的前列分别组成新矩阵1和1，重构矩阵1；再利用int8函数将数字矩阵1转换为图像矩阵2；

3）对参考图像矩阵重复步骤1）~2），获得图像矩阵2；

4）对2和2进行特征提取，获得128维的特征点集合；

5）对特征点进行粗匹配（欧式距离法）与精匹配（RANSAC算法），得到特征匹配对。依据特征匹配对估测正确投影变换模型；

6）将待配准图像矩阵按照投影变换模型进行空间变换，得到配准后图像矩阵3；

7）配准后图像矩阵3与参考图像矩阵进行图像融合，最终获得拼接图像矩阵。

SNS算法流程图如图1a所示，其中图像配准是整个算法的核心关键模块，采用与SIFT算法相类似的点特征检测方法，具体流程如图1b所示。

图1 SNS算法及其图像配准流程

1.2 点特征检测算法改进

1.2.1 SIFT点特征检测原理

SIFT点特征检测方法[21-22]在灰度与仿射变换方面具有不变性，通过高斯函数和原图像卷积对尺度空间极值点进行检测，得到特征点坐标和特征尺度，再以这些特征点为中心各建立一个8×8的特征向量生成域，在生成域的4个小块里各形成1个种子点。SIFT点特征检测方法在描述一个特征点时会选择16个种子点，故最终得到的是含有128维向量信息的特征点。

SIFT点特征检测方法在处理特征点描述与特征点粗匹配时运算量大，耗时较多，因此，本文针对这2个环节进行优化，以提高配准算法速度。

1.2.2 算法改进

SNS算法的核心处理模块包括：尺度空间极值点检测；特征点精准定位；特征点主方向确定；数据降维重构。进行尺度空间极值点检测，设图像为(,)，由高斯函数和原图像卷积得到图像的尺度空间(,,)：

式中为二维高斯函数，为尺度因子，*为卷积运算符。尺度因子不同，尺度空间也不同。算法中检测到的极值点所在尺度为该特征点的特征尺度，因此，SNS算法可同时检测出特征点的坐标和特征尺度。

算法利用海森矩阵[23]消除伪特征点，精准定位特征点。海森矩阵的定义式如式（3）所示，矩阵的迹和行列式的定义式如式（4）、式（5）所示。

式中D、D、D分别为图像在、、方向上的二阶导数；设为较大特征值与较小特征值之比。当接近1时，说明2个曲率很接近，此时可以认为该极值点为一个特征点。

特征点主方向确定，主要为求解特征点的梯度，包括模值与方向。设梯度的模值为(,)，方向为(,)，分别由式（6）和式（7）计算。

式中(,)表示图像中特征点所在的坐标，表示特征点所在的尺度。在实际操作中，则取邻域内像素最大模值的方向作为特征点的主方向。

2 结果与分析

2.1 不同仿射变换的图像配准试验

为进行SNS算法与3种经典配准算法（SIFT、SURF[24]和Harris[25]）的性能比较，进行不同仿射变换图像的配准试验（图2）。试验硬件环境为：CPU为Intel Core i5-7200U 2.50 GHz，内存12 GB，显存2 GB，操作系统为Windows10，编程环境为Matlab2015b。试验图片为无人机拍摄的红外遥感图像，无人机型号为大疆精灵4四旋翼无人机，有效载荷约为1 380 g，飞行时间约为28 min，搭载热红外成像相机，最大分辨率为640×512像素；采集地点为华南农业大学院士亭附近园林，采集区域面积大小约为22 m2。分别对SIFT、SNS、SURF和Harris算法的配准速度和配准精度进行试验分析，建立经过仿射变换后的待配准图像（图2）：试验原图分辨率为640×512；尺度放大图分辨率为950×760；尺度缩小图分辨率为400×320；旋转30°图分辨率为811×764；旋转30°尺度放大图分辨率为1 000×942；旋转30°尺度缩小图分辨率为500×471。每组试验各运行100次，取配准总时间与均方根误差的平均值作为评价指标，SNS算法取前50个奇异值[26]重构图像。配准总时间越小，说明配准效率越高；均方根误差以待配准图像与融合图像匹配度为标准，数值越小，说明配准效果越好。

图2 不同仿射变换的待配准图像

图3a～3d是参考图像与原图进行配准的效果，参考表1和表2的第1列数据可知，在配准速度相差不大的情况下，SNS算法的配准误差降低了33.34%，表明SNS算法在进行原图配准与拼接时有更好的配准效果。其原因在于SNS算法使用了SVD数据降维方法[27-28]，压缩了数据量，提高了整体的配准准确率。针对本组试验，SURF和Harris算法的效率较高，处理速度较快。

图3e～3g是参考图像与尺度缩小图的配准效果，根据表1及表2的第2列数据可知，在尺度缩小情况下，SNS算法的配准速度比SIFT算法提高4.12%，SIFT算法的配准效果优于SNS算法13.32%。这是因为在尺度缩小图中，SIFT特征点检测法检测的特征点数量比原图少，可用于配准的特征点对少；而SIFT算法和SNS算法在特征点数量减少的情形下检测到的特征点对数量相近，因此配准时间相差不大。SNS算法的配准误差略大是因为进行空间变换时所用的投影变换矩阵未如理想。Harris算法不具备尺度不变性，无法进行有尺度变换的配准拼接。SURF算法的均方根误差比SIFT算法大83.51%，比SNS算法大80.98%，表明SURF的空间变换模型误差较大，配准拼接效果不理想。

图3 不同算法的参考图像与6种仿射变换图像的配准效果

图3h～3j是参考图像与尺度放大图的配准效果，参考表1与表2的第3列数据可知，在尺度放大的情况下，SNS算法的配准时间和配准精度[29-30]分别优于SIFT算法1.56%和2.80%。这是因为在尺度放大图中SIFT特征点检测算法检测的特征点增多，即使压缩了部分最不重要的特征点后仍有许多无法构成特征匹配对的特征点，从而降低了整体配准与拼接的速度。SNS算法的优势在于对图像进行奇异值分解再重构，重构图像特征点会有所减少，尤其是不重要不明显的特征点大幅减少，从而减少不必要的寻找特征匹配对的计算量，提高了配准速度与配准精度，因此SNS算法在配准时间和配准精度上略有优势。Harris算法不具备尺度不变性，无法进行有尺度变换的配准拼接。SURF算法则是牺牲配准精度来换取配准速度。

图3k～3m是参考图像与旋转30°图的配准效果，参考表1与表2的第4列数据可知，在旋转30°的情况下，SNS算法的配准时间比SIFT算法快8.22%，配准误差小2.85%。Harris算法的旋转不变性没有充分体现，是因为旋转角度刚好不是在水平方向和垂直方向上，因此原本已经检测到的特征点消失，无法完成配准。SURF算法的配准误差与SIFT算法相近，配准速度比SIFT算法提高68.22%，比SNS算法提高65.38%。

图3n～3q是参考图像与旋转30°尺度放大图的配准效果，参考表1与表2的数据可知，在旋转30°尺度放大的情况下，SNS算法的配准时间比SIFT算法减少4.66%，配准误差减少7.27%。在旋转30°后尺度放大图中，可检测特征点多于30°旋转的图像，因此在特征点数量增多的情况下，SNS算法具有速度优势。SURF算法和Harris算法也得益于特征点数量增加，配准效果较为理想。

表1 4种算法的配准时间

注：“—”表示算法无法完成图像配准。下同。

Note: “—” indicates that the algorithm cannot complete image registration. Same as below.

表2 4种算法的均方根误差

图3r～3s是参考图像与旋转30°尺度缩小图的配准效果，由于SURF算法和Harris算法配准过程中特征匹配对不足4对，不能满足估计投影变换模型的最低要求，无法实现配准与拼接，因此本次试验无SURF算法和Harris算法的配准效果对比图。参考表1与表2数据可知，SNS算法在配准时间上减少6.83%，配准误差减少32.02%。其原因在于图像旋转30°再进行尺度缩小，特征点数量比只旋转30°时更少，SNS算法利用SVD对图像进行压缩，获取足以进行配准与拼接的特征匹配对数量，提升了整体的配准精度。

2.2 多幅遥感图像配准效率测试试验

为进一步比较SIFT算法与SNS算法的处理效率，进行多幅遥感图像测试试验。试验环境如下：CPU核心数为16个，型号为Intel(R) Xeon(R) Gold 6130 CPU @ 2.10 GHz，内存为32 GB，显存为8 G，操作系统为Windows10,编程环境为Matlab2015b；无人机型号为大疆（DJI）精灵4四旋翼无人机，有效载荷约为1 380 g，飞行时间约为28 min，搭载可见光相机最大分辨率为4 000× 3 000像素。试验图像由160张无人机50 m低空遥感图像组成，每幅图像的分辨率为437×800，采集地点为惠州市博罗县杨村镇井水龙村柑橘试验基地，采集区域面积大小约为3.13 hm2。每个算法各运行50次，取试验图像数据集配准总时间作为比较指标，配准总时间越短，说明配准效率越高速度越快。

图4a为待配准试验图像数据集；图4b为SIFT算法配准效果图，分辨率为1 282×3 116；图4c为SNS算法配准效果图，分辨率为1 337×2 949。试验结果表明，SNS算法的总配准时间相较于SIFT算法减少了10.34%，表明本次试验中SNS算法的配准处理效率和速度明显优于SIFT算法。

图4 多幅遥感图像配准效果图

综上试验表明，Harris算法适合尺度变化不大，旋转角度较小的图像配准，但是在有尺度变化的或者是重叠区域较小的情况下，无法完成配准，因此在农业航空遥感图像配准中受限；SURF算法结合积分图像与窗型滤波器的特点，具有配准速度快的优点，但由于使用近似高斯滤波和近似梯度的方法，以牺牲配准精度为代价提高配准速度，在重视配准精度的农业航空遥感图像配准中适用性不强；SIFT算法可用于各种情况下的图像配准；SNS算法在重叠区域大，重叠区域内特征点较多的情况时表现最佳，在多幅遥感图像测试实验中处理效率明显优于SIFT算法。

图像配准是遥感图像处理中的重要一环[31]，如何实现SNS算法求解更准确的空间变换模型，进而快速提取适量稳定的特征点，是该算法进一步应用于农业、地质检测、城市规划等[32]领域的探索重点。

3 结 论

SNS算法针对农业航空遥感图像尺寸变化大，采集角度多变，重叠区域大，重叠区域内可检测特征点丰富的特点进行优化设计，与SIFT算法相比，配准速度平均提高5.01%，配准精度均方根误差平均降低10.48%；在多幅遥感图像配准效率测试试验中，总配准时间相较于SIFT算法减少10.34%。可见，SNS算法在农业航空遥感图像的配准处理上具有速度较快、精度较高的优势，可为智慧农业快速、精准获取大面积农田区域图像进行田块管理、作物管理、病虫害管理、产量预测等应用提供有益指导。

[1]汪沛，罗锡文，周志艳，等. 基于微小型无人机的遥感信息获取关键技术综述[J]. 农业工程学报，2014，30(18)：1－12.

Wang Pei, Luo Xiwen, Zhou Zhiyan, et al. A review of key technologies for remote sensing information acquisition based on micro-miniature UAVs[J]. Transactions of the Chinese Society of Agricultural Engineering (Transactions of the CSAE), 2014, 30(18): 1－12. (in Chinese with English abstract)

[2]刘建刚，赵春江，杨贵军，等. 无人机遥感解析田间作物表型信息研究进展[J]. 农业工程学报，2016，32(24)：98－106.

Liu Jiangang, Zhao Chunjiang, Yang Guijun, et al. Research progress of remote sensing analysis of field crop phenotypic information by UAV[J]. Transactions of the Chinese Society of Agricultural Engineering (Transactions of the CSAE), 2016, 32(24): 98－106. (in Chinese with English abstract)

[3]沈跃，朱嘉慧，刘慧，等. 基于彩色和深度信息结合K-means聚类算法快速拼接植株图像[J]. 农业工程学报，2018，34(23)：134－141.

Shen Yue, Zhu Jiahui, Liu Hui, et al. Rapidly splicing plant images based on color and depth information combined with K-means clustering algorithm[J]. Transactions of the Chinese Society of Agricultural Engineering (Transactions of the CSAE), 2018, 34(23): 134－141. (in Chinese with English abstract)

[4]周薇，冯娟，刘刚，等. 苹果采摘机器人中的图像配准技术[J]. 农业工程学报，2013，29(11)：20－26，293.

Zhou Wei, Feng Juan, Liu Gang, et al. Image registration technology in apple picking robots[J]. Transactions of the Chinese Society of Agricultural Engineering (Transactions of the CSAE), 2013, 29(11): 20－26, 293. (in Chinese with English abstract)

[5]余先川，吕中华，胡丹. 遥感图像配准技术遥感图像述[J].光学精密工程，2013，21(11)：2960－2972.

Yu Xianchuan, Lü Zhonghua, Hu Dan. Review of remote sensing image registration technology[J]. Optics and Precision Engineering, 2013, 21(11): 2960－2972. (in Chinese with English abstract)

[6]Smith S M, Brady J M. SUSAN-A New Approach to Low Level Image Processing[J]. International Journal of Computer Vision, 1997, 23(1): 45－78.

[7]贾莹. 基于Harris角点检测算法的图像拼接技术研究[D].长春：吉林大学，2010.

Jia Ying. Research on Image Stitching Technology Based on Harris Corner Detection Algorithm[D]. Changchun: Jilin University, 2010. (in Chinese with English abstract)

[8]Lowe D G. Object recognition from local scale-invariant features[C]//International Journal on Computer Vision, 1999: 1150－1157.

[9]孙伟晔. 基于SIFT算法的快速图像配准技术[D]. 长春：吉林大学，2017.

Sun Weiwei. Fast Image Registration Technology Based on SIFT Algorithm[D]. Changchun: Jilin University, 2017. (in Chinese with English abstract)

[10]Bay H, Tuytelaars T, Gool L V. SURF: Speeded up robust features[C]//Proceedings of the 9th European conference on Computer Vision-Volume Part I: Springer, Berlin, Heidelberg, 2006.

[11]许越，徐之海，冯华君，等. 双场景类型遥感图像的配准拼接优化[J]. 浙江大学学报：工学版，2019，53(1)：107－114.

Xu Yue, Xu Zhihai, Feng Huajun, et al. Optimization of registration and splicing of remote sensing images with dual scene types[J]. Journal of Zhejiang University : Engineering Science, 2019, 53(1): 107－114. (in Chinese with English abstract)

[12]周微硕，安博文，赵明，等. 基于几何不变性和局部相似特征的异源遥感图像配准算法[J]. 红外技术，2019，41(6)：561－571.

Zhou Weishuo, An Bowen, Zhao Ming, et al. Heterologous remote sensing image registration algorithm based on geometric invariance and local similarity features[J]. Infrared Technology, 2019, 41(6): 561—571. (in Chinese with English abstract)

[13]杨占龙. 基于特征点的图像配准与拼接技术研究[D]. 西安：西安电子科技大学，2008.

Yang Zhanlong. Research on Image Registration and Splicing Technology Based on Feature Points[D]. Xi'an: Xi'an University of Electronic Science and Technology, 2008. (in Chinese with English abstract)

[14]李思湉. 基于特征的遥感图像自动配准与变化检测研究[D]. 西安：西安电子科技大学，2017.

Li Siwei. Research on Automatic Registration and Change Detection of Remote Sensing Image Based on Feature[D]. Xi'an: Xi'an University of Electronic Science and Technology, 2017. (in Chinese with English abstract)

[15]吴丹力. 基于特征点与互信息的遥感图像配准方法研究[D]. 福州：福州大学，2016.

Wu Danli. Research on Remote Sensing Image Registration Based on Feature Points and Mutual Information[D]. Fuzhou: Fuzhou University, 2016. (in Chinese with English abstract)

[16]王振，雷田田，范丽亚，等. PDEs对四种图像降噪降维方法的影响[J/OL]. 聊城大学学报：自然科学版：[2019-10-15] http://kns.cnki.net/kcms/detail/31.1690.TN.20191015.0934. 006.html

Wang Zhen, Lei Tiantian, Fan Liya, Yang Jing. Effects of PDEs on four image denoising and dimensional reduction methods[J/OL]. Journal of Liaocheng University: Natural Science Edition: [2019-10-15] http://kns.cnki.net/kcms/ detail/31.1690.TN.20191015.0934.006.html (in Chinese with English abstract)

[17]徐杰，胡越黎，郁怀波. 一种基于SIFT的图像拼接算法及其FPGA实现[J]. 仪表技术，2019(9)：15－18，48.

Xu Jie, Hu Yueli, Yu Huaibo. An Image Stitching Algorithm Based on SIFT and Its FPGA Implementation[J]. Instrument Technology, 2019(9): 15－18, 48. (in Chinese with English abstract)

[18]陈裕. 基于SIFT算法的无人机遥感图像配准[D]. 长沙：中南大学，2009.

Chen Yu. Remote Sensing Image Registration of UAV Based on SIFT Algorithm[D]. Changsha: Central South University, 2009. (in Chinese with English abstract)

[19]马爱华. 基于拓扑知觉和SVD配准算法的图像拼接技术[D]. 兰州：兰州理工大学，2012.

Ma Aihua. Image Mosaic Technology Based on Topology Perception and SVD Registration Algorithm[D]. Lanzhou: Lanzhou University of Technology, 2012. (in Chinese with English abstract)

[20]覃凤清. 数字图像压缩综述[J]. 宜宾学院学报，2006(6)：88－90.

Qi Fengqing. Overview of digital image compression[J]. Journal of Yibin University, 2006(6): 88－90. (in Chinese with English abstract)

[21]寇冬晨，韩瑜，顾浩. 基于Hessian矩阵的角点自动检测算法[J]. 指挥控制与仿真，2018，40(2)：118－122.

Cou Dongchen, Han Yu, Gu Hao. Automatic detection algorithm of corner points based on Hessian matrix[J]. Command Control & Simulation, 2018, 40(2): 118－122. (in Chinese with English abstract)

[22]闻泽联. 基于点特征的遥感图像配准方法研究[D]. 西安：西安电子科技大学，2017.

Wen Zelian. Research on Remote Sensing Image Registration Method Based on Point Feature[D]. Xi'an: Xi'an University of Electronic Science and Technology, 2017. (in Chinese with English abstract)

[23]余婷. 基于特征的遥感图像自动配准技术研究[D]. 杭州：浙江大学，2013.

Yu Ting. Research on Automatic Registration Technology of Remote Sensing Image Based on Feature[D]. Hangzhou: Zhejiang University, 2013. (in Chinese with English abstract)

[24]吴如梦，方挺，李文钦. 基于SURF特征的无人机航拍图像拼接方法[J]. 现代制造技术与装备，2019(8)：34－36.

Wu Rumeng, Fang Ting, Li Wenqin. Surrounding method of aerial image of drone based on SURF feature[J]. Modern Manufacturing Technology and Equipment, 2019(8): 34－36.(in Chinese with English abstract)

[25]周志艳，闫梦璐，陈盛德，等. Harris角点自适检测的水稻低空遥感图像配准与拼接算法[J]. 农业工程学报，2015，31(14)：186－193.

Zhou Zhiyan, Yan Mengxi, Chen Shengde, et al. Registration and splicing algorithm of low-altitude remote sensing image of rice with Harris corner adaptive detection[J]. Transactions of the Chinese Society of Agricultural Engineering (Transactions of the CSAE), 2015, 31(14): 186－193. (in Chinese with English abstract)

[26]赵夫群，耿国华. 基于图像特征和奇异值分解的点云配准算法[J/OL]. 激光与光电子学进展，[2019-10-20]. http://kns.cnki.net/kcms/detail/31.1690.TN.20191015.0934. 006.html.

Zhao Fuqun, Yan Guohua. Point cloud registration algorithm based on image feature and singular value decomposition[J/OL]. Progress in Laser and optoelectronics. [2019-10-20]. http://kns.cnki.net/Kcms/detail/31.1690.TN. 20191015.0934. 006.html. (in Chinese with English abstract)

[27]凌程，耿修瑞，杨炜暾，等. 一种改进的基于奇异值分解的亚像素级图像配准算法[J]. 中国科学院大学学报，2019，36(1)：101－108.

Ling Cheng, Gen Xiurui, Yang Weidun, et al. An improved sub-pixel image registration algorithm based on singular value decomposition[J]. Journal of the Chinese Academy of Sciences, 2019, 36(1): 101－108. (in Chinese with English abstract)

[28]黄帅，吴克伟，苏菱. 基于Harris尺度不变特征的图像匹配方法[J]. 合肥工业大学学报：自然科学版，2011，34(3)：379－382.

Huang Shuai, Wu Kewei, Su Ling. Image matching method based on harris scale invariant features[J]. Journal of Hefei University of Technology: Natural Science, 2011, 34(3): 379－382. (in Chinese with English abstract)

[29]陈显毅. 图像配准技术及其MATLAB编程实现[M]. 北京：电子工业出版社，2009.

[30]曹闻. 遥感图像配准与融合技术研究[D]. 郑州：解放军信息工程大学，2004.

Cao Wen. Research on Remote Sensing Image Registrationand Fusion Technology[D]. Zhengzhou: PLA Information Engineering University, 2004. (in Chinese with English abstract)

[31]贾银江. 无人机遥感图像处理关键技术研究[D]. 哈尔滨：东北农业大学，2016.

Jia Yinjiang. Research on Key Technologies of Remote Sensing Image Processing of Drones[D]. Harbin: Northeast Agricultural University, 2016. (in Chinese with English abstract)

[32]夏绥丹. 数字图像处理技术在遥感图像分类中的应用[J].中国新通信，2019，21(15)：162.

Xia Yudan. Application of digital image processing technology in remote sensing image classification[J]. China New Communications, 2019, 21(15): 162. (in Chinese with English abstract)

Registration algorithm for agricultural aviation remote sensing image based on point feature detection

Lu Jianqiang1,2, Li Wangzhi1, Lan Yubin1,2※, He Binghong1, Lin Jiahan1

(1,510642,;2510642,)

How to achieve fast and accurate image stitching to obtain large-area, high-resolution aerial remote sensing images is a key problem in the field of image mosaic research. Aiming at the problems of poor matching accuracy and slow registration speed in the current UAV (unmanned aerial vehicle) remote sensing image registration algorithm, based on the point feature detection method and the matrix dimensionality reduction processing method, an improved algorithm SNS (scale-invariant feature transform and singular value decomposition) algorithm, which is suitable for the registration of agricultural aviation remote sensing images was proposed in this paper. SNS algorithm detects the extreme value point of scale, the characteristics of the scale for the feature points, use hessian matrix to eliminate the false feature points to precise positioning feature points. Therefore, SNS algorithm can simultaneously detect the coordinates of feature points and feature dimension. The advantage of SNS algorithm lies in the singular value decomposition and reconstruction of the image, which will reduce the feature points of the reconstructed image, especially the feature points that are not important or obvious, so as to reduce the unnecessary calculation amount of finding feature matching pairs and improve the registration speed and accuracy. SNS algorithm uses SVD method for matrix decomposition, realizing data dimensionality re-reconstruction, compressing data volume, and the overall registration accuracy is improved as well. The experimental image consists of the reference image of infrared remote sensing image collected by UAV, the original image, and five images which is registered after affine transformation from the original image, the reference image resolution is 640 × 512, the original image resolution is 640 × 512, scale-up image resolution is 950 × 760, scale-down image resolution is 400 × 320, the resolution of rotated original image by 30° is 811 × 764, rotated by 30° and scale-up image resolution is 1000 × 942, rotated by 30° and scale-down image resolution is 500 × 471. SIFT, SNS, SURF (speed-up robust features) and Harris algorithms are selected to run 100 times for comparison and analysis. The results show that harris algorithm is suitable for image registration with little scale change and small rotation angle, but cannot complete registration in the case of small scale change or overlap area, so it is limited in the registration of agricultural aerial remote sensing images. SURF algorithm combines the characteristics of integral image and window filter, and has the advantage of fast registration speed, however, because of using approximate Gaussian filter and approximate gradient method to improve the registration speed at the expense of registration accuracy, it is not suitable in agricultural aviation remote sensing image registration with attention to registration accuracy. SNS and SIFT algorithm can be used for image registration in various cases. And the registration speed of SNS algorithm is 5.01% faster than SIFT algorithm, and the RMSE ( root mean squared error )of SNS algorithm is reduced by 10.48%. In order to further compare the processing efficiency of SIFT algorithm and SNS algorithm, multiple remote sensing images test is carried out. The test image data set consists of 160 drone 50 m low-altitude remote sensing images, each with a resolution of 437 × 800. The collection area is about 3.13 hm2. Each algorithm runs 50 times and record the registration time. The experimental results show that the total registration time of SNS algorithm is 10.34% less than that of SIFT algorithm, which shows that the registration speed of SNS algorithm in this experiment is better than SIFT algorithm. Obviously, SNS algorithm has the advantages of fast speed and high precision in the registration of agricultural aerial remote sensing images, which can provide useful guidance for intelligent agriculture to obtain large-area agricultural regional images quickly and accurately for field management, crop management, pest management, yield prediction and other applications.

remote sensing; image processing; algorithm; image registration; point feature detection; dimensionality reduction

10.11975/j.issn.1002-6819.2020.03.009

TP368.1

A

1002-6819(2020)-03-0071-07

陆健强，李旺枝，兰玉彬，何秉鸿，林佳翰. 基于点特征检测的农业航空遥感图像配准算法[J]. 农业工程学报，2020，36(3)：71－77.doi：10.11975/j.issn.1002-6819.2020.03.009 http://www.tcsae.org

Lu Jianqiang, Li Wangzhi, Lan Yubin, He Binghong, Lin Jiahan. Registration algorithm for agricultural aviation remote sensing image based on point feature detection[J]. Transactions of the Chinese Society of Agricultural Engineering (Transactions of the CSAE), 2020, 36(3): 71－77. (in Chinese with English abstract) doi：10.11975/j.issn.1002-6819.2020.03.009 http://www.tcsae.org

2019-10-30

2020-01-07

广东省重点领域研发计划资助（2019B020214003）

陆健强，博士，高级实验师，主要从事农业物联网与无人机遥感图像技术研究。Email：ljq@scau.edu.cn。

兰玉彬，教授，主要从事精准农业航空方向研究。Email：ylan@scau.edu.cn

中国农业工程学会高级会员：兰玉彬(E041200725S)。