基于局部特征描述的图像匹配方法分析

付苗苗，杜光星（通信作者）

（1洛阳师范学院信息技术学院 河南 洛阳 471000）

（2武汉理工大学计算机与人工智能学院 湖北 武汉 430070）

0 引言

图像匹配用于几何对齐传感器在相同或不同时间从不同视点拍摄的同一场景的多个图像，是图像处理中的一项最重要且最基础的任务。图像匹配不仅广泛应用于图像分类与检索、图像拼接以及3D重建等计算机视觉任务中，还应用于人脸识别和指纹解锁等实际工程应用中。图像匹配方法分为基于区域的方法和基于特征的方法2种类型[1]。基于区域的图像匹配方法处理图像用于检查参考图像和感测图像之间像素的相似性，而无需使用优化算法检测显著特征。但该方法会受到强度分布、光照变化和噪声引起的几何变形的影响，具有局限性。而基于特征的图像匹配方法直接使用从两幅图像中提取的显著特征匹配，不受图像强度值影响，更适合光照变化和复杂的几何变形。基于特征的图像匹配由于其灵活性、鲁棒性和广阔的应用前景而受到国内外科研工作者的广泛关注。

由于深度学习技术在深度特征获取和非线性表达方面具有强大能力，常被应用于图像信息表示或相似性度量，是当前图像匹配任务中的热点话题。与传统方法相比，基于深度学习的图像局部特征描述已被证明具有更好的匹配性能和更大的潜力。一般基于局部特征描述的图像匹配方法通常分为如图1所示的3个步骤。

图1 基于局部特征描述的图像匹配方法流程图

文章全面客观的比较与分析当前主流传统经验驱动的基于手工设计的图像局部特征描述方法和由数据驱动的基于深度学习的图像局部特征描述方法，总结图像局部特征描述的现状，以期为未来该领域研究者给出一定的参考。

1 手工设计的图像局部特征描述方法

1.1 基于梯度的图像局部特征描述方法

基于梯度的图像局部特征描述方法因在多种应用中均有良好性能表现而受到研究者的广泛关注，其中最具有代表性的是Lowe[1]在1999年所发表，并在2004年得到修正完善的尺度不变特征变换（Scale-invariant feature transform，SIFT）方法。该方法将获取的支撑区域划分成4×4的子区域，并对每个子区域中的直方图进行统计，然后将这些直方图串连并进行归一化得到一个128维的特征描述向量，即为SIFT描述子（如图2所示），其在视角变化、尺度变化、旋转变化等多种图像变化的图像上表现出较强的区分性。但该描述子在场景较复杂的图像上表现的匹配性能不佳。王志衡等[2]受到SIFT描述子邻域位置划分思想的启发而提出了直线特征描述子MSLD，接着又将其应用到曲线特征描述当中，从而获得了曲线特征描述子MSCD。MSLD（如图3所示）和MSCD描述子分别解决了因直线和曲线长短不一而造成直线与曲线无法统一描述的问题，但在视角变换图像上，图像变形会使区域形状发生畸变，从而导致描述子匹配能力下降。陈璐璐等[3]通过采用梯度序映射的方法获得描述子GOCD，该描述子是基于全局梯度幅值级来划分子区域和局部梯度序映射的，因此其不但能够克服因采用固定形状来划分子区域的相关算法而产生的边界误差缺陷问题，还能克服因图像遮挡而造成的错误匹配问题，但存在匹配速度较慢的缺陷。

图2 SIFT描述子

图3 直线特征描述子MSLD

1.2 基于亮度的图像局部特征描述方法

基于图像亮度的图像局部特征方法用于比较不同位置采样的像素的亮度，目前许多方法都是使用像素值的顺序而不是原始亮度来设计的，亮度对旋转和单调的强度变化是具有不变性的，它还将有序信息编码到描述符中，同时可以保持描述子的旋转不变性，而无需估计参考方向（如SIFT），这是大多数现有方法的主要误差源。智珊珊等[4]受到根据亮度序映射来对子区域进行划分的思想启发而提出了局部特征描述子IOCD，该方法在旋转变化、视角变化、光照变化、噪声变化等多种图像变化上表现出较强的区分性和良好的匹配性能。但若图像上存在遮挡或阴影情况时，根据亮度序映射来划分子区域时会出现子区域错误划分的状况，从而导致不正确的匹配。王志衡等[5]在MSCD的基础上，通过将亮度序划分子区域的方法引入而提出了描述子IOMSD，该算法是根据全局梯度幅值序列和亮度序映射构建的，该算法原理简单、稳定，但在弱纹理图像上并不适用。江燕等[6]在已有的IOMSD和IOCD基础上，通过将重叠亮度序划分的思想引入而提出曲线特征描述子OIOMSD和OIOCD，两个算法在一般的变换图像上表现出较强的区分性和良好的匹配性能，特别是OIOCD在非线性光照变化图像上表现出更好的区分性和鲁棒性，但对尺度变化并不适用。

1.3 基于局部二值模式的特征描述方法

近年来，随着大量实时系统和嵌入式设备的广泛应用，对空间占用小和匹配速度高的描述子的需求越来越高，因此该领域相关的研究人员也提出了许多存储空间占用更少与匹配速度更快的二值描述子。LBP需要根据给定图像块的LBP特征，在像素距离r处将像素的灰度亮度与相邻像素k的灰度亮度进行比较，可以从比较中获得表示感兴趣点处灰度亮度与其每个相邻点灰度亮度之间关系的二元向量，该方法具有在旋转变化和灰度上具有较强的区分性等优点，但其不仅会在运算时产生较长的直方图，而且在平面图像区域中鲁棒性不明显。Huang等[7]提出了BGP，在局部区域提取结构梯度模式作为二值描述子，BGP及其增强的BGPM对各种变化具有鲁棒性。Liu等[8]提出了BDVRP，该算法是通过联合引入的局部梯度特征信息和灰度特征信息来对关键点周围的特征信息进行描述表达。以上几种描述子都是基于局部二值模式统计信息进行确定的。

二值描述子的另一种形式是基于局部特征信息的比较，其核心是比较选择规则。Calonder等[9]提出了BRIEF，该算法是通过图像拼接中几个随机点对强度的二进制测试结果串联而成。Gao等[10]提出了LTD，与BRIEF相比，LTD引入了一个阈值，将两个像素的差异描述为三个值，与BRIEF相比，其可分辨性更高，同时对图像变形更具有鲁棒性。这些二值型描述子占有更少的存储空间且拥有更快的匹配速度，极大地促进了相关应用的发展。

1.4 基于深度学习的图像局部特征描述方法

随着深度学习在图像识别任务中的不断成功，近年来，利用深度学习进行图像局部特征描述和匹配的尝试也显示了巨大的机遇。基于深度学习的图像局部特征描述方法其实可以当做是对基于学习方法的扩充。Tian等[11]提出了基于不带度量学习层的全卷积结构的CNN模型L2-Net（如图4所示），并在训练过程中比较了所有正样本和负样本之间的距离，这大大超过了以前的方法的性能，进而表明L2-Net可以作为现有手工描述子的直接替代。Mishchuk等[12]提出了HardNet，在训练时只考虑一批训练数据中正样本与最难分辨的负样本之间的距离，进一步提高了网络的匹配性能。霍占强等[13]通过直接从原图像块中进行训练学习而获得了直线特征描述子，并在相关实验中取得了良好的性能，但由于构造的训练样本缺乏多样性，该方法对遮挡和低纹理变化较为敏感。

图4 L2-Net网络架构图

2 结语

图像局部特征描述作为图像匹配技术当中的核心算法已被广泛应用于3D重建、智慧安防、视频导航、指纹解锁、零件自动检测和质量检测等视觉和实际工程领域当中。局部图像特征描述方法是把局部区域描述成一个具有唯一性的特征描述子。一个鲁棒的描述子应该对于匹配块不会因为视角、光照、旋转、模糊和噪音等的变化而变化，同时对于非匹配块要保持不同图像块之间的区分性。

在过去的几十年里，相关研究人员在这一领域也取得了重大进展。因此本文对现有的图像局部特征描述方法（从手工设计到可训练的）进行了全面的回顾，以便为该领域的研究人员提供更好的参考和理解，本文做了以下总结：

（1）在实际的应用过程中，常常遇到复杂且多样的图像变换情况，而传统经验驱动的基于手工设计的图像局部特征描述方法在面对复杂环境时，已经无法取得令人满意的结果，并且基于手工设计的方法几乎接近瓶颈。

（2）近年来，深度学习在诸多视觉任务中也成功地展现出了其具有强大的函数拟合能力。而局部图像特征描述算法的本质任务也是设计一个复杂的函数映射使得相同物理的局部图像输出距离相近的特征向量，同时保证不同物理的局部图像输出距离较大的特征向量。因此，为了能够充分利用深度学习的强大学习能力，基于深度学习设计局部图像特征描述算法以获得更加强区分性的特征描述子也是研究发展的必然趋势。

（3）但是数据驱动的基于深度学习的图像局部特征描述方法也有一些不足之处。该类方法的缺陷表现为：训练样本缺乏多样性且泛化的问题，如今不能获得具有普遍且通用的数据集，因此导致在面对训练数据集中未出现的场景图像时具有较强的敏感性。这其实是图像局部特征描述方法的最大且重要的问题之一。与此同时，由于加入深度学习而加大了计算量，一部分方法需要加入大量的运行内存、性能较好的CPU以及显存较高的GPU，然而这对低功耗与实时性要求较为严格的领域便显得更加明显。

（4）近年来，随着深度迁移学习、图神经网络以及多任务学习的不断深入发展，不仅可以看到解决训练样本不足且多样性问题的曙光，还可看到局部特征描述与图像匹配使用一个框架来解决的曙光。