APP下载

基于SURF 的遥感图像配准优化算法

2024-03-08张天翼刘鹏史佳霖毕誉轩王彩霞

关键词:像素点灰度方向

张天翼,刘鹏,史佳霖,毕誉轩,王彩霞

(长春理工大学 电子信息工程学院,长春 130022)

图像配准已成为图像处理的一个重要方向,被广泛应用于军事、医学以及遥感等领域。在遥感领域进行图像融合、图像拼接等应用时图像配准已成为不可或缺的关键步骤。由于遥感图像所含信息量巨大,导致图像配准时很容易发生误匹配情况,所以实现遥感图像的精确配准是遥感图像配准的最终目的。

目前图像配准主要有两种主流方式:基于灰度的图像配准[1]以及基于特征的图像配准[2]。基于灰度的图像配准是通过两幅图像间的像素灰度的相似性,将图像像素数据信息作为依据,寻找相似度最大或最小的特征点,确定两幅图像之间的变换参数,但是该图像配准方法对于噪声以及光照强度影响比较敏感且运算量大,无法应用于矫正图像之间的非线性变换;基于特征的图像配准方法通过提取图像中的特征点,经过匹配之后实现图像之间的配准方法,主要包括Susan 角点检测与Harris 角点检测两种方法,若是待配准图像存在光照与模糊等情况,方法就会失效[3]。SURF(Speeded Up Robust Features)改进算法具有更好的鲁棒性,速度也提高3 倍左右。但是目前的SURF 算法存在特征点提取错误以及特征点匹配错误的问题,使得配准精度降低,同时算法运算速度也会减慢。

对此,文献[4]提出了一种SURF 的改进算法,该算法首先利用SURF 算法提取特征点,之后利用减法聚类剔除冗余的特征点筛选最优特征点,此算法能够得到一个较高的匹配精度,但是极大地增加了匹配时间,使整个匹配算法的效率受到了影响。文献[5]提出了最近邻匹配法改进算法精度,实证表明该算法性能较为稳定,但当视场变化过大时,匹配精度下降。

针对以上问题,本文提出了一种改进的基于SURF 的遥感图像配准优化算法,该算法通过引入图像熵以及描述子降维,并在特征点匹配阶段引入FLANN 算法,去除了误匹配点,减少了算法计算时间,提高了图像配准精度。

1 SURF 算法原理

SURF 图像配准算法又称快速鲁棒特征算法,具有匹配精准、运算速度快、鲁棒性极高等特点。SURF 算法主要由以下几个步骤组成:

1.1 特征点检测

利用Hessian 矩阵的局部极大值来检测图像特征点的位置,对于图像I和其中的某一像素点X= (x,y),则像素点X在尺度σ下的Hessian 矩阵为:

式中,Lxx()X,σ是图像I与高斯二阶偏导在像素点X处的卷积。

SURF 算法使用方形滤波器来替换高斯平滑,尺度空间是通过使用不同尺寸的盒式滤波器来获取,得到行列表达式:

在Dxy上乘了一个加权系数0.9,目的是平衡因使用盒式滤波器近似所带来的误差。

如图1 所示为方形滤波器模板。建立尺度空间之后,通过Hessian 矩阵的近似可以得到该尺度空间的像素点极值,与相邻的尺度空间的26 个其他像素点进行比较,通过非极大值确定特征点集合[6]。最后,对于Hess 矩阵进行泰勒展开,去除特征点集合中的对比度低的特征点。

图1 方形滤波器模板

1.2 特征点描述

为了满足旋转不变的特性,特征点的主方向必须确定。特征点主方向确定是通过Haar 小波一阶偏导在x与y方向上的响应来完成的[6]。在已确定特征点周围半径为6σ的像素区域内将所有像素点分别计算x与y方向的Haar 小波响应,并在每个π/3 扇形区域内将x方向和y方向的小波响应值dx、dy的累加,如图2 所示,得到矢量(mw,θw)集合,主方向就是数值最大的矢量[2],定义为:

图2 特征点主方向

确定了特征点主方向之后,首先对图像进行Haar 小波变换,以特征点为中心,沿着已确定好的主方向建立一个边长2σ的正方形区域,并将此区域分为4×4 的正方形子区域,使用边长2σ的Haar 滤波器求得x方向与y方向的Haar 小波响应值,如图3 所示。在每一个子区域内对dx、dy、|dx|、|dy|累加求和,得到四维向量:

图3 特征点描述

此时,每个已确定特征点都会计算出一个4×16 的64 维向量的描述符。

1.3 特征点匹配

特征点匹配即是特征点描述符之间的相似性比较。对于相似性比较,通过计算两特征点之间的欧氏距离来计算,欧氏距离越小,表示两个特征点之间的匹配度越好,定义为:

式中,X=(x1,x2,x3,…,xN)与Y=(y1,y2,y3,…,yN)表示特征点的N维特征向量,若是两个特征点欧氏距离的比值小于设定阈值,则两个特征点匹配[9]。

2 基于SURF 的遥感图像配准优化

针对传统SURF 算法在遥感图像配准领域存在较多误匹配点的缺点,本文根据传统SURF 算法进行优化改进。对于遥感图像的配准而言,大量的错误特征点会由于遥感图像大量的信息携带而被确定。因此,该改进算法首先要解决的问题就是特征点的误选取以及误匹配问题。

2.1 基于图像熵的特征点检测

图像熵指的是一种特征的统计形式,反映的是图像中平均信息量的多少。图像的一维熵表示的是图像灰度分布的聚集特征包含信息量,图像一维熵可以表示图像灰度分布的聚集特征却不能满足空间特征的反映,为了表示特征点的空间特征,使用能够反映空间特征的特征量,将图像的像素灰度值与领域灰度均值组成二维数据[10],则:

式中,f(i,j) 为像素灰度值与领域灰度均值组成的二维数组;N为图像尺度。离散二维熵为:

本文根据图像熵的特性,将所有特征点的局部特性凸显出来,越稳定的特征点,其包含的图像信息量越大,即该特征点的二维熵越大。在特征点初步确定之后选取特征点集合中的点并计算该特征点的3×3 局部邻域的邻域二维熵,若该特征点的二维熵在设定的阈值区间内,就可以认为该点为特征点,应保留;反之,该点不认为是特征点,应将此点从特征点集合中去除。将不稳定的与携带信息量不大的点从特征点集合中去除,可以降低特征点的误匹配率以及计算量。

2.2 特征点匹配改进

2.2.1 特征点描述子降维

在传统算法中,特征点描述是进行特征点匹配之前的关键一步,特征点描述子是该特征点的Haar 小波水平与垂直方向的响应值求和[11]。传统算法会根据特征点主方向选取4×4 的正方形子区域,每个小正方形里均匀采样25 个像素点,最后对水平方向与垂直方向的Haar 小波求和得到4×16 的64 维向量描述符,算法根据描述符进行特征点之间的匹配[12]。在特征点描述过程中,会依次进行采样描述,在周围16 个子区域内均匀采样25 个像素点,这种方式增加了运算的冗余数据积累以至于运算时间增加。针对以上缺陷,本优化算法将远离特征点最远的处于四周的正方形子区域去除得到48 维向量,同时将子区域内的均匀采样像素点下调至16 个像素点,最大限度减少了因子区域与采样点减少而带来的特征点描述子构建的影响,还极大地减少了算法的计算量,加速了特征点描述过程。如图4 所示,图4(a)为传统算法描述子,图4(b)为改进后描述子模型。

图4 描述子模型

2.2.2 匹配算法优化

传统算法中,特征点匹配是直接通过计算两幅待配准图像中的特征点欧氏距离完成的[13],但是由于特征点描述子是高维向量,导致计算量增大的同时,误匹配率也升高了。优化算法中通过引入FLANN 算法,降低特征点误匹配率。

FLANN 算法根据带配准图像特征点集的分布特点,对计算资源消耗的要求来确定匹配检索权重参数。FLANN 算法通过构建特征点匹配关系以及确定匹配关系特征点的最邻近特征点[14]。

首先通过算法找到原图像特征点集中特征点M在待配准图像特征点集中具有最小欧氏距离dist 的初始匹配点(M,N),然后根据所有已经算出的匹配点算出最小距离min[15]。若是最小距离dist 小于设置的阈值,则可以认定N为M的候选特征点;否则,进行原图像下一个特征点的匹配,并将M从特征点集中去除,最终得到原图像到待配准图像之间的特征点匹配点对;之后对于待配准图像进行相似操作,得到待配准图像到原图像的匹配点对[16]。之后对两组匹配点对进行判断比较,若存在相同的特征点对,则匹配成功;否则从特征点对中去除,这样降低了特征点匹配集的误匹配率。

3 实验结果

为了验证优化后SURF 算法在遥感图像配准方面的性能,本文对此优化算法进行仿真验证。通过特征点匹配点数、特征点误匹配点数以及运算时间来比较优化后的算法性能优劣。

为了验证算法性能,本文选取了3 组遥感卫星图像并分别使用4 种传统算法与本文优化算法进行了对比实验。仿真实验分别选取了复杂背景下遥感图像与简单背景下城区图像进行对比实验,配准结果对比图如图5~7 所示,可以明显看出本文优化算法配准性能优于其他4 种传统算法。

图5 森林背景下城区图像

图6 森林图像

图7 城区图

从配准结果对比图可以看出,特征点选取率以及误匹配率在经过优化算法改进之后与传统算法相比明显降低。3 组遥感图像中的匹配点数量与误匹配点数量如表1 所示,图8 为3 组遥感图像匹配点选取量与无匹配点数量对比折线图,特征点选取率与传统SURF 算法相比平均下降了10.9%,特征点误匹配率与传统SURF 算法相比平均下降了17.5%。

表1 配准算法匹配点与误匹配点数量对比表

图8 匹配点与误匹配点数量

配准算法消耗时间如表2 所示,分别表示的是优化算法与传统4 种算法在三组不同遥感图像配准过程中消耗时间的对比,可以明显看出,优化算法相较于传统SURF 算法,虽然特征点误匹配率大大降低,但是平均消耗时间增加了近0.17 s。优化算法变慢的主要原因是在进行子降维时,需要计算协方差矩阵。由于熵计算需要涉及到每个像素的灰度值,降维需要添加一些额外的步骤来计算熵,这会增加算法的计算时间。其次,FLANN 所需的额外时间也会导致整个算法变慢。相较于其他传统算法,优化算法提升了配准精度的同时也减少了算法运行时间的消耗。

表2 配准算法消耗时间对比表

4 结论

本文针对遥感图像包含大量信息易产生图像特征点配准误匹配,在传统SURF 算法的基础改进了一种优化SURF 算法,该优化算法在继承了原传统算法优势的情况下,通过引入图像熵、特征点描述子降维以及FLANN 算法提高了算法的图像配准精度。实验结果表明,优化后的图像配准算法对于遥感图像的配准误匹配率下降了17.5%,满足了遥感图像精确配准的要求,但是消耗时间却增加了近0.17 s,下一步研究将重点针对于降低算法消耗时间并且进一步提升图像配准精度。

猜你喜欢

像素点灰度方向
采用改进导重法的拓扑结构灰度单元过滤技术
2022年组稿方向
基于灰度拉伸的图像水位识别方法研究
2021年组稿方向
2021年组稿方向
基于5×5邻域像素点相关性的划痕修复算法
基于canvas的前端数据加密
基于最大加权投影求解的彩色图像灰度化对比度保留算法
基于逐像素点深度卷积网络分割模型的上皮和间质组织分割
基于灰度线性建模的亚像素图像抖动量计算