基于纹理分类的多阈值SIFT图像拼接算法
2022-11-29钟岷哲唐泽恬王昱皓
钟岷哲，唐泽恬，王昱皓，杨 晨
(贵州大学大数据与信息工程学院，贵州 贵阳550025)
1 引言
图像拼接是将同一场景的数张有重叠部分的图像拼接成一张无缝的全景图或较大的高分辨率图像。在医学成像、计算机视觉、卫星数据、军事目标自动识别等领域具有重要意义，因此图像拼接技术在实际应用中受到广泛关注[1-2]。
SIFT[3-4]算法由David Lowe在1999年提出并在2004进行完善，因其具有对旋转、尺度缩放、亮度变化等有良好的鲁棒性，且能获得丰富的特征点信息等优点[5-6]，成为了图像拼接技术中的研究热点。针对无人机航拍图像快速匹配问题，韩宇等[7]通过降低特征描述向量的维度，借助准欧氏距离和余弦相似度对关键点描述子进行双重匹配，在匹配过程中降低了计算量从而提升了拼接的速度。卢鹏等[8]通过扩大极值点取值范围，减少极值点数量，提高了SIFT算法的拼接质量，但没有就特征点分布均匀性问题进行研究。为了减少红外图像拼接误匹配点和提高速度，陆园园等[9]针对基于SIFT算法的红外图像拼接方法进行改进，虽然通过减少误匹配提升了拼接质量，但没有对特征点是否均匀分布问题展开讨论。陈月等[10]根据方差大小将待拼接图片进行纹理分区，并采用不同的简化方法提取各局部块的特征点，以提高SIFT算法的运算速度，但拼接质量方面未有明显提高。
可见，目前针对SIFT算法的特征点分布均匀性问题进行的改进工作尚不多见。因此，本文提出了一种基于纹理分类的多阈值SIFT图像拼接算法，算法首先对图像进行了纹理分区，将图像分为平坦区、弱纹理区、一般纹理区和强纹理区。然后通过改变极值点的检测方式提升了弱纹理区和一般纹理区的候选特征点的数量，降低了强纹理区候选特征点的数量，并根据信息熵与阈值的关系进行阈值设置，进一步提升弱纹理区和一般纹理区的特征点数量，使得这两个区域所提取的特征点信息更加丰富。最后对所提取的特征点进行匹配和图像融合，以完成图像拼接。实验证明，本文提出的算法能够均衡特征点的分布从而提升图像拼接的质量。
2 基本原理
2.1 算法的基本流程
传统的SIFT算法通过构建尺度空间并利用高斯差分金字塔检测空间极值从而提取特征点。通常当图像的纹理越复杂时产生的空间极值点越多，因此在图像拼接过程中纹理复杂的区域往往是特征点的主要提供者[11]。
如图1所示为传统SIFT算法单一阈值的方法进行特征点检测的结果，图中特征点聚集在纹理复杂的区域，纹理简单的区域却没有特征点。特征点在空间上分布不均匀，图像信息的利用率较低，不利于图像的拼接。因此，本文利用基于纹理分区的多阈值方法，有利于均衡特征点的分布，以提高拼接质量。
图1 特征点分布不均匀
基于以上问题，本文提出基于纹理分类的多阈值SIFT图像拼接算法，其具体流程如图2所示。首先，对图像的纹理进行分析和归类，将其划分为四个区域：平坦区、弱纹理区、一般纹理区和强纹理区。并对其中纹理较简单的弱纹理区和一般纹理区增加其候选特征点，对强纹理区减少其候选特征点。然后，分别设置弱纹理区、一般纹理区和强纹理的阈值，进一步均衡特征点分布，并完成匹配和融合。
图2 本文方法流程图
2.2 纹理分区和特征点检测
如前所述，复杂的纹理区是特征点的主要提供者，但仅仅只有复杂纹理区提供特征点时，不利于图像的拼接。因此本文首先对图像的纹理进行分区，并在纹理分区的基础上相应的增加和减少纹理区的特征点候选点，以便更好的均衡特征点数量。
2.2.1 纹理分区
首先需对图像纹理进行分块分析以获取纹理复杂度，本文使用灰度的种类数进行纹理分区。其具体方法如下：首先图像划分为55子块，然后以子块为单位计算每个子块的灰度值的种类数V，当V=1时，将其划为平坦区，该区域纹理平坦，无法产生特征点，故可不进行SIFT计算。当1
图3为图1的纹理分区情况，从图可以看出，弱纹理区与一般纹理区在整个图像中的占比较大，且分布均匀，通过增加候选特征点和多阈值特征提取能够有效的增加特征点信息。根据强纹理区在图像中呈聚集的情况，通过减少候选特征点，可减少该区域的特征点数量。以此做到均衡特征点的数量。
图3 纹理分区
2.2.2 特征点检测
纹理分区之后，对于弱纹理区和一般纹理区，其所能提供的特征信息并不多，为了增加这部分的特征信息，改变极值点检测的方法增加候选特征点的数量，即该区域极值点检测时，对应位置的像素值只需大于或小于局部26个像素值中的23个，以提升候选点的数量。对于强纹理区，其所能提供的特征信息过多，为了减少该部分的特征点，并防止特征点过于密集，将极值点所需检测的区域由3×3×3变为5×5×3。以图1为例，表1为传统极值点检测方法和本文的极值点检测方法提取到的候选特征点和最终保留特征点的数量。由表可知，所提出的方法有效地增加了弱纹理区和一般纹理区的极值点和特征点数量，强纹理区则有效地减少了特征点数。
表1 传统SIFT方法与本文方法特征点数
2.3 多阈值检测
虽然所提出的特征点检测方法在一定程度上均衡了不同纹理区的特征点数量，但弱纹理区和一般纹理区提取到的特征点数量过少，因此为了进一步增加这两个区域的特征点数量，基于信息熵对这两个区域进行阈值设置。而强纹理区则使用传统SIFT算法的阈值。
由于信息熵可以有效地反映图像的纹理变化，因此本文基于纹理区的信息熵进行相应区域的阈值设置。信息熵的公式如下
(1)
式中，Pi为每个灰度值出现的概率，a通常取2。为得到图像的纹理区域的信息熵与阈值的关系，本文对100张图像进行分析，结果如下图所示。
图4 局部区域的信息熵与阈值的关系
由图可知，弱纹理区和一般纹理区的信息熵与局部的阈值呈现正相关的关系，对其进行拟合后，二者之间的关系为
T=a×H+b
(2)
式中：T为阈值，a为比例系数，b为常数项。对于弱纹理区其数值为0.00637和0.00774，对于一般纹理区其数值为0.00098和0.0181。通过式(2)即可对相应的区域进行阈值的设置，以提升弱纹理区和一般纹理区的特征点数量。
3 实验结果
图5为3组拼接使用的原始图像，其中(a)和(b)大小为576 pixel×462 pixel；(d)和(e)大小为633 pixel×543 pixel；(g)和(h)大小为720 pixel×668 pixel；(c)、(f)、(i)分别为三组图像的拼接结果。
3.1 特征点空间分布
为测试本文算法检测得到的特征点在图像空间中的分布效果，以图5中的(a)，(d)，(g)为例进行特征点提取，并与传统算法进行比较，结果如图6所示。表2为本文方法、传统SIFT、文献[7]中方法及文献[8]中方法检测得到特征点在不同的纹理区域的分布情况。由图6和表2可知，在特征点空间分布上，本文改进的方法检测得到的特征点分布更加均匀；在特征点的总数上，两种方法的差距并不大，但本文改进的算法有效地降低了强纹理区的特征点数量，从而避免了强纹理区的特征点过于密集。对于一般纹理区和弱纹理区，改进的算法有效地提升了特征点的数量，能够更为有效地利用这两个区域的特征信息。综上，本文改进的方法使特征点的空间分布更加均匀，能够更为有效地利用弱纹理区的特征信息。
表2 参考方法与本文改进方法检测特征点数
图5 原始图像及拼接结果注：(a)，(b)，(d)，(e)，(g)，(h)为原始图像；(c)，(f)，(i)为拼接结果
图6 特征点检测结果注：(a)，(c)，(e)为传统算法；(b)，(d)，(f)为本文算法
3.2 图像拼接的结果及性能分析
图7为传统方法和本文方法的匹配特征点分布情况。可以看到，相比传统方法，本文方法匹配的特征点在空间分布上更加均匀。为分析特征点的空间分布对拼接质量的影响，本文使用SSIM[12]和PSNR[13]进行评估，并与传统SIFT方法、文献[7]及文献[8]中方法进行比较，结果如表3所示。从表3中可以看出，相比于经典SIFT方法，本文改进方法在SSIM和PSNR的评估标准下分别提升了7.26%～11.62%和14.13%～24.05%。相较文献[7]中的方法，本文方法在SSIM和PSNR的评估标准下分别提升了5.07%～12.07%和10.23%～23.61%。相较文献[8] 中的方法，本文方法在SSIM和PSNR的评估标准下分别提升了5.22%～5.78%和10.52%～14.12%，可见更为均匀的空间分布可有效地提升图像的拼接质量。
图7 特征点匹配图
表3 参考方法与本文改进方法图像质量指标
图7中，(a)，(c)，(e)为传统算法；(b)，(d)，(f)为本文算法。
4 结论
针对传统SIFT算法的单一阈值导致的特征点空间分布不均匀的问题，本文提出了一种基于纹理分类的多阈值SIFT图像拼接算法。算法对图像的纹理复杂度进行了分析，以此将图像划分为平坦区、弱纹理区、一般纹理区和强纹理区。通过增加弱纹理区和一般纹理区的候选特征点，减少强纹理区的候选特征点，以初步均衡不同纹理区的特征点数量。其次，探索局部区域信息熵与阈值的关系并以此对弱纹理区和一般纹理区进行阈值设置，从而进一步提升该区域的特征点数量。最后进行特征点匹配和图像融合完成图像拼接。实验结果表明，本文的算法通过纹理分类并根据信息熵设置阈值以此均衡了特征点的空间分布，并提高了图像的拼接质量。因此，本文算法在对图像拼接质量有较高要求的场景中有潜在的运用价值。
