局部图像特征直线描述算法综述

摘要：局部图像特征直线的描述现如今不仅是图像特征直线匹配过程的关键和基础，还已成为人工智能和计算机视觉领域中的研究难点和热点问题之一。它不仅被广泛应用到宽基线匹配、图像检索、图像拼接、3D重建等计算机视觉任务中，还被应用到产品质量检测、指纹解锁、自动工件检测等实际工程应用中。近年来，随着人工智能的发展和深度学习在许多领域的成功应用，文献中出现了诸多相关学者针对局部图像特征直线描述问题而提出的不同算法。本文对经典且具有代表性的局部图像特征直线描述算法进行阐述、分析总结以及全面客观评价，最后总结归纳了局部图像特征直线描述的现状、所面临的困难与挑战以及未来可能的研究走向，为相关学者未来的研究工作提供一定的参考。

关键词：局部图像特征直线描述；深度学习；图像特征直线匹配

中图分类号：TP18        文献标识码：A

文章编号：1009-3044（2023）06-0103-03

开放科学（资源服务）标识码（OSID）

0 引言

局部图像特征直线描述是将经过预处理之后的待匹配图像中提取的边缘线特征描述成具有代表性和唯一性的描述向量。一个鲁棒的描述向量应该对于匹配块不会因为视角、光照、旋转、模糊和噪声等的变化而变化，同时对于非匹配块要保持不同图像块之间的区分性。其可以被广泛应用于图像分类、场景识别、人造场景、3D重建、图像配准、图像拼接和图像分割等各个场景中。局部图像特征直线的描述算法不仅是特征匹配领域中一个重要且具有研究意义的子课题，也是计算机视觉任务中的研究难题和研究热点问题之一。其一般分为两个步骤，如图1所示，步骤1：对采集的原图像和经过各种变换的图像进行预处理并提取图像中的特征直线；步骤2：将步骤一获得的特征直线进行描述以生成特征直线描述子。

相对于点，直线在一些特定场景中可以提供更多的纹理内容和几何信息，从而为了实现图像的精确匹配。与特征点描述相比，特征直线描述子一直发展缓慢。其主要理由：1）图像的各种几何光学变化会造成图像遮挡问题，导致边缘直线的长度、方向以及纹理发生变化；2）利用边缘检测算子进行提取特征直线时，容易造成直线断裂，进而会使直线出现端点定位不准以及不连续的问题。直线端点的不精确定位将会导致匹配的两条直线的描述向量存在较大的差异，进而会容易造成错误的匹配结果，直接影响匹配性能；3）相对于点，因直线长短不一，在构造特征直线描述向量时会更难以统一表达；4）缺少用于训练的大规模且多样的标注特征直线数据集，然而构造这样的数据集又需要大量的人力和财力。因此，局部图像特征直线描述算法的研究不仅在理论和应用上具有研究价值，同时也具有一定难度和挑战。

近年来，深度学习在诸多视觉任务中成功地展现出了其具有强大的函数拟合能力。而局部图像特征直线描述算法的本质任务也是设计一个复杂的函数映射，使得相同物理线的局部图像输出距离相近的特征向量，同时保证不同物理线的局部图像输出距离较大的特征向量。因此，将其应用到局部图像特征直线描述算法中，以提升现有算法的性能不仅值得研究，也是局部图像特征直线匹配任务中研究的热点和难点问题。本文将当今比较经典且主流的由传统经验或研究人员的专业知识驱动的基于手工设计的局部图像特征直线描述算法和由数据驱动基于深度学习的局部图像特征直线描述算法分别进行了全面客观的比较与分析，总结了局部图像特征直线描述的现状、所面临的困难与挑战以及未来可能的发展走向，为未来该领域研究者进一步研究提供一定的参考。

1 基于手工设计的局部图像特征直线描述算法

局部图像特征直线描述不仅在图像特征匹配算法中占领着至关重要的位置，还引起了许多该领域研究人员的关注。与特征点描述算法一样，也是从基于手工设计的算法开始的。基于手工设计的局部图像特征直线描述算法的基本思想大都来自于传统经验或研究者的专业知识。其大概分为两类：基于纹理特征直线描述算法和基于几何特征的直线描述算法。

基于纹理特征直线描述算法为了获取具有区分性的描述向量，将邻域进行划分作为特征直线的支撑区域。该类算法中最具有代表性的是Wang等人为了解决直线难以统一描述而提出的直线描述子MSLD[1]（如图2所示）。该算法首先将像素支撑区域中各个子区域的四个方向上的梯度向量描述成一个梯度描述矩阵，最后通过计算该矩阵列向量的均值和标准差来构造MSLD，从而提高了直线描述子的区分性和鲁棒性。该算法对于纹理场景中适当的图像变化具有良好的匹配结果，但在低纹理图像中的匹配结果不佳。此外，它还表明均值和标准差可以有效地描述直线，同时因将其应用到曲线特征描述上而获得了MSCD描述子。李等人[2]以图像的灰度值为基础，计算直线支撑区域内灰度值编码实现直线的匹配，但是该算法原理复杂，匹配性能低。López等人[3]提出的一种基于纹理和外观的描述子LMCA，实验结果表明，LMCA在低纹理场景和各种图像变换下仍能具有良好的鲁棒性。但是该算法太过于依赖直线的外观信息，所以其仍需面临直线端点不能准确检测的问题。

基于几何特征的直线描述算法其实是依据特征直线的几何属性来实现的。该类算法中最具有代表性的是Zhang等人[4]结合直线描述子LBD和几何约束，以实现线的匹配。该算法具有对尺度变化、低纹理图像等具有較好的鲁棒性，且该算法设计的LBD描述子计算速度较快。但当图像中含有旋转变化时，LBD存在不能解决图像遮挡的问题。Fan等人[5]从两点和一线出发来探索了一个仿射不变量。他们利用这种仿射不变量来匹配具有已知点对应关系的线。该算法的主要缺点是需要已知的极线几何或点对应关系。此外，由于缺乏良好的点对应关系，所以在低纹理场景中的性能受到限制。

总之，以上这些基于手工设计的局部图像特征直线描述算法各有各的优势与缺陷。上述文献中该类算法的文献不仅年份相对较早，而且在复杂条件下的图像特征直线匹配问题时，其已经无法获得令人满意的结果，进而限制了直线特征匹配在其他应用中的运用。进而证明由研究人员的专业知识驱动的手工设计算法不仅逐渐淡出了历史的舞台，而且性能也已经走入了瓶颈期。

2 基于深度学习的局部图像特征直线描述算法

2012年以来，随着深度学习在图像分类、局部图像特征点描述、行人在识别、目标检测与识别等诸多计算机视觉任务中的成功應用，相关研究者也已经提出了一些优良且由数据驱动的基于深度学习的局部图像特征直线描述算法，它们表现出比基于手工设计的特征直线描述子更好的匹配性能。Liu等人[6]首先构造了一个名为HLines的大规模线数据集，然后在基于学习的特征点描述算法HardNet和L2-Net启发下，提出了基于学习的特征线描述符LPDNet（如图3所示），实验结果表明，描述符LPDNet优于手工设计的特征线描述符，特别是在视角、尺度和模糊变化图像上表现出更大的优势。此外，又将其应用到特征曲线匹配当中，实验结果证明，与现有的特征线描述符相比，LPDNet具有更广泛的适用性。霍等人[7]通过直接从原始局部图像块中进行训练学习而获得直线特征描述子LP-HardNet，并在相关实验中取得了良好的性能，但由于构造的训练样本缺乏多样性，该方法对遮挡和低纹理变化较为敏感。Huo等人[8]首先构造了一个线数据集GDLFpatches，接着探索了基于FCNNS和迁移学习的三种神经网络架构：CS S-Net（如图4所示）、CS PS-Net（如图4所示）、CS 2-Channel-Net（如图5所示），经过实验表明，提出的三种描述子优于现有的手工设计描述子，特别是在模糊变化、视角变化、旋转变化和尺度变化上取得了显著的成功。

3 结束语

直线作为图像的三大主要局部特征之一，其被广泛应用于3D重建、图像检索、图像拼接、目标检测和识别、指纹解锁等计算机视觉任务和实际工程应用当中。局部图像特征直线描述作为图像直线匹配技术中的关键技术不仅是计算机视觉的一项重大研究意义的课题，也是该领域的一个研究难点和热点。它是将局部图像特征直线块编码成代表性向量，所期望的直线特征描述向量对于匹配块而言应该是不变的，对于非匹配块是具有区分性的。

在过去的几十年里，相关研究人员在这一领域也取得了长足的发展。因此本文对现有的局部图像特征直线描述算法（从手工设计的到基于学习的）进行了全面回顾，以便为相关研究学者提供更好的参考和理解，本文做了以下总结与展望：

（1）与特征点相比，直线特征可以提供更多的纹理内容和几何信息、直线特征稳定性较高、不易受到环境噪声的干扰；但是，由于局部直线特征描述存在的上述引言中所述的困难，使得直线特征描述的研究进展一直相对缓慢。

（2）从上述的研究现状可知，现如今局部图像特征直线描述算法的研究已经进入基于数据驱动的时代。传统经验或研究学者的专业知识驱动的手工设计算法不仅由于参数确定困难、设计思路受研究人员对事物的认知限制等原因，其性能已经几乎接近瓶颈期，而且这类算法在面对复杂场景和多样图像变化时，现如今已经无法获得令人满意的结果。因此，限制了局部图像特征直线在其他领域的实际应用。

（3）基于深度学习的算法由于具有数据驱动的优势特点，通过设计一定的学习目标便可获得相应的局部图像特征直线描述子，现如今其已经成为局部图像特征直线的主流算法。另一方面，深度学习在诸多研究任务和问题上展现出优秀的性能，而且相对于特征点描述算法，利用深度学习和迁移学习进行特征直线描述还处于初步尝试阶段，但同时也表现出强大的前景和潜力。因此，基于深度学习设计局部图像特征直线描述算法以获得更加强区分性的直线特征描述子也是研究发展的必然趋势。

（4）特征直线匹配能力的提高并没有上限，虽然已有特征直线描述子以满足一定的实际需求，但是在学术界和实际工程应用中一直需要更高性能的特征直线描述子。因此，未来可以根据需求而设计新的损失函数，并进一步学习与挖掘现有数据集的特征，或者构造更丰富多样且规模更大的数据集。

（5）特征直线的提取与描述需要一个统一的框架。现如今，已有研究人员在特征点匹配任务上提出端到端的基于学习的特征点匹配算法，因此，未来研究人员和工程技术人员也可以将其作为一个主要研究方向。

参考文献：

[1] 王志衡.图像特征检测与匹配研究[D].北京：中国科学院自动化研究所，2008.

[2] 李强，张钹.一种基于图像灰度的快速匹配算法[J].软件学报，2006，17（2）：216-222.

[3] López J，Santos R，Fdez-Vidal X R，et al.Two-view line matching algorithm based on context and appearance in low-textured images[J].Pattern Recognition，2015，48（7）：2164-2184.

[4] Zhang L， Koch R.An efficient and robust line segment matching approach based on LBD descriptor and pairwise geometric consistency[J].Journal of Visual Communication and Image Representation，2013，24（7）：794-805.

[5] Fan B，Wu F C，Hu Z Y.Line matching leveraged by point correspondences[C]//2010 IEEE Computer Society Conference on Computer Vision and Pattern Recognition.June 13-18，2010，San Francisco，CA，USA.IEEE，2010：390-397.

[6] Liu H M，Liu Y J，Fu M M，et al.Towards learning line descriptors from patches：a new paradigm and large-scale dataset[J].International Journal of Machine Learning and Cybernetics，2021，12（3）：877-890.

[7] 霍占强，刘玉洁，付苗苗，等.基于卷积神经网络的直线描述方法研究[J].计算机工程，2021，47（5）：251-259.

[8] 付苗苗. 基于深度迁移学习的直线特征描述算法研究[D].焦作：河南理工大学， 2020.

【通联编辑：唐一东】