直线对几何特征约束的近景影像特征匹配

张平，王竞雪，2

(1.辽宁工程技术大学 测绘与地理科学学院，辽宁 阜新 123000；2.西南交通大学 地球科学与环境工程学院，成都 611756)

0 引言

直线特征匹配即在2幅或多幅影像中利用有效的匹配技术进行同名直线特征识别的过程。直线作为丰富存在于自然景观与人工建筑物群的边缘特征，具有直观性与整体性。与点特征相比，直线能够用较少的特征表达更丰富的纹理信息，使其在计算机视觉与三维重建[1-4]中具有举足轻重的作用。目前，计算机视觉领域内的直线特征匹配方法可分为单直线匹配与组直线匹配。

单直线匹配主要利用直线自身长度、角度、斜率等属性信息[5-6]，并结合一定的匹配约束条件完成直线特征匹配。现有的单直线匹配方法利用的主要约束条件有核线约束[7-8]、三角网约束[9]、邻域约束[10-12]、区域描述约束[13-15]，其中，核线约束能够增强匹配可靠性，应用最为广泛。梁艳等[16]利用目标直线邻域内的同名点构造与目标直线相交的虚拟直线段，结合相交直线的局部仿射不变性，筛选目标直线的候选同名直线，此过程受同名点匹配精确度与稀疏程度影响较大，导致匹配结果正确率降低；张云生等[17]根据可靠种子点构造同名三角网，利用三角网约束线-线与线-面的初匹配，再基于移动窗口的自适应直线相关方法确定最终的同名直线，该算法对位于纹理缺乏、断裂区域的直线效果较好；王竞雪等[18]利用多重约束条件确定目标直线到候选直线的支撑区域，借助仿射变换统一支撑区域的大小，进而构建目标直线与候选直线的直线描述子(line band descriptor，LBD)，将满足最近邻距离比准则的候选直线作为匹配结果，最后检核匹配结果获得可靠的同名单直线。上述单直线匹配算法结合可靠的约束条件，均取得了显著的研究成果，但缺乏考虑相邻直线间的相关性，该类匹配算法存在局限性。

组直线匹配即直线对匹配，利用直线间拓扑关系构造特征直线对，并将其作为匹配基元，再结合可靠的约束完成直线对匹配。王竞雪等[19]利用限定直线邻域矩形窗口以及直线间的角度、距离等信息对直线进行编组，结合多重约束条件和灰度相关性确定同名直线对。将其拆分为对应的同名单直线，得到初始匹配结果，对其中“一对多” “多对一” “多对多”匹配中的“多”直线进行拟合，检核过程中采用“一刀切”的方法，导致部分正确的匹配结果也被删除，从而降低了匹配结果中同名直线的数目。Wang等[20]利用直线间的相似性、角度、长度比作为特征编组的约束条件，构建直线组描述符，并根据直线组描述符的相似性度量完成匹配，但该算法对于直线端点发生变化的情况适应性较弱。Park等[21]将直线进行两两分组，利用直线对的端点、直线中点、直线对交点构造整体的参数模板，再通过整体的向量参数预估与参考模板最接近的模板，该方法计算过程中数据量大且匹配效率低。Alshahri等[22]根据2条直线夹角的角度约束条件构造特征直线对，该编组约束条件单一，导致重复编组数量增多进而造成匹配效率降低。此外，在对候选直线对进行进一步筛选过程中，在搜索影像上判断目标直线对中2条直线段的投影分别与对应候选直线对中的2条直线段是否存在重叠部分，当直线对中有一条直线段不存在重叠部分时，将删除该候选直线对。该过程加强了直线空间接近性，但会删除部分满足重叠条件的单直线，造成匹配结果中同名直线正确率降低。同时，由于遮挡、直线提取算法等影响导致2张影像上同一目标物的直线提取断裂，此时利用该重叠约束条件，会出现代表同一目标物的2条直线因没有重叠而被剔除掉的情况，从而降低了同名直线匹配数目。根据现有的直线组匹配算法，本文提出一种直线对几何特征约束的近景影像特征匹配算法。首先，对参考影像与搜索影像提取的直线进行特征编组得到特征直线对；然后，依次结合双重核线约束、仿射变换约束、最优相似性原则确定同名直线对；最后，根据SIFT同名点到直线端点的距离关系将同名直线对拆分为同名单直线，并结合仿射变换约束整合匹配结果，最终得到一对一的同名单直线。

1 直线对匹配

本文在已有直线检测算法(line segment detector，LSD)的提取结果与随机抽样一致算法(random sample consensus，RANSAC)优化后的尺度不变特征变换(scale-invariant feature transform，SIFT)匹配的同名点结果基础上，利用直线间的拓扑关联性，提出了一种直线对几何特征约束的近景影像特征匹配方法：首先，利用2条直线间的距离与角度等拓扑关系，结合排列组合函数模型构造参考影像与搜索影像的特征直线对；其次，对获取的特征直线对依次运用双重核线约束、仿射变换约束、最优相似性原则确定2张影像的同名直线对；最后分别搜索出同名直线对中2条直线端点的最近同名点，根据同名点到直线端点的距离关系，拆分直线对为2对同名单直线获得初始匹配结果，并为避免结果中出现错误匹配，利用单直线中点仿射变换优化匹配结果，进而得到参考影像与搜索影像上一对一的同名单直线。

1.1 函数编组确定特征直线对

本文对参考影像和搜索影像分别进行LSD直线提取，提取结果为L={l1，l2，l3，…，ln}、R={r1，r2，r3，…，rm}。其中，n和m分别表示参考影像与搜索影像单直线提取数量。考虑到直线存在提取不完整的现象，本文利用排列组合函数模型对直线进行特征编组，增大对其的包含性，提供丰富的几何信息，如直线对的交点。表达式如式(1)所示。

(1)

式中：N为直线编组后的数量；ns为提取的直线数量。参考影像与搜索影像直线编组的具体过程分为以下4个步骤。

1)根据2条直线在影像范围内交点的存在性判定直线编组。由于2条直线间的平行关系为不明显特征，判定2条直线相交交点是否存在就显得非常重要。如图1所示，直线li与直线lj编组构成特征直线对，其中P为特征直线对的交点坐标。

2)根据距离公式确定特征直线对中li与lj4个端点距离，将4个距离中的最大值设置在一定范围内，确保不会因为直线边缘化而生成无意义编组，从而增加编组数量。如图1所示，直线li和lj符合编组条件构成特征直线对，d1、d2、d3和d4分别为直线对4个端点距离，d1为a到c的距离、d2为b到c的距离、d3为a到e的距离、d4为b到e的距离。

图1 特征直线编组

3)若2条直线间的夹角θ满足一定范围，则将直线编组为特征直线对。如图1所示，直线li与直线lj满足该条件可编组为特征直线对。

4)根据2条直线相交可得直线对交点与端点的距离信息，直线对交点与2条直线最近的2个端点的最大距离满足一定范围内的直线编组生成特征直线对。如图1所示，直线li与直线lj可编组为直线对，d5表示直线li端点b距离直线对交点P的距离。集合Gl={Gl1(l1，l′1，Pl1)，Gl2(l2，l′2，Pl2)，…，Gln′(ln′，l′n′，Pln′)}表示参考影像编组结果；集合Gr={Gr1(r1，r′1，Pr1)，Gr2(r2，r′2，Pr2)，…，Grm′(rm′，r′m′，Prm′)}表示搜索影像编组结果；n′和m′分别表示参考影像与搜索影像编组得到的特征直线对数目。

1.2 多重约束条件的直线对匹配

根据上文方法，将参考影像与搜索影像直线编组得到的特征直线对，依次运用双重核线约束、仿射变换约束和最优相似性原则进行匹配，确定2幅影像上的同名直线对。

1)双重核线约束。编组得到特征直线对后，利用可提高匹配可靠性的核线约束筛选候选直线对。计算参考影像任意一组特征直线对交点在搜索影像的核线，并计算搜索影像每个特征直线对交点到核线的垂距，距离小于一定阈值的直线对选作候选直线对；然后，计算已知候选直线对交点在参考影像的核线，并求出参考影像直线对交点到核线的垂距，满足距离阈值要求的搜索影像直线对作为双重核线约束的候选直线对。如图2所示，Hr1表示参考影像中以Pli为特征直线对交点在搜索影像中的核线，将搜索影像直线对交点与核线的垂直距离设置在一定范围，确定以Prj1和Prj3为交点的候选直线对，其中i∈[1，n′]，j∈[1，m′]。Hl1为以Prj1为交点的候选直线对在参考影像生成的核线，根据交点Pli与核线Hl1的垂直距离判定搜索影像中以Prj1为交点的直线对为双重核线约束的候选直线对。

图2 核线约束示意图

2)仿射变换约束。仿射变换作为基本的几何变换，保持了变换后直线的“平直性”和“平行性”。由于直线对在仿射变换后的夹角具有不确定性，本文将参考影像特征直线对的交点仿射变换到搜索影像，根据候选直线对交点与仿射变换交点的距离约束筛选候选直线对。选择与特征直线对交点距离依次最近的至少4组同名点计算相关参数。具体的仿射变换如式(2)所示。

x′=g1x+g2y+g3

y′=h1x+h2y+h3

(2)

式中：g1、g2、g3、h1、h2、h3为仿射变换的6个参数；(x，y)为参考影像直线对交点坐标；(x′，y′)为仿射变换到搜索影像的交点坐标。

分别计算搜索影像上候选直线对交点与仿射变换得到的搜索影像上交点之间的距离，设置在一定阈值范围内，确定最终候选直线对。

3)最优相似性原则。上述双重核线约束与仿射变换约束涉及到的距离阈值为可变因子，为了降低距离阈值的变化对匹配同名直线对正确率的影响，本文利用距离相似度量函数对搜索影像的候选直线对做最终筛选，从而确定同名直线对。相似性度量函数如式(3)所示。

sim(Gli，Grj)=e-|∑D1(Pr，Hr)|2e-|∑D2(Pl，Hl)|2e-|∑D3((X-X′)2+(Y-Y′)2)|

(3)

式中：Gli与Grj为满足要求的同名直线对；D1为双重核线约束中参考影像特征直线对交点在搜索影像的核线与满足距离要求的候选直线对交点的距离；D2为双重核线约束中搜索影像候选直线对交点在参考影像的核线与特征直线对交点满足阈值的距离；D3为参考影像直线对交点仿射变换约束后与搜索影像候选直线对交点的距离。

1.3 同名单直线的确定与优化

由于直线特征提取不完整，导致在特征编组时出现重复编组。此步骤主要将同名直线对拆分为同名单直线，有效地解决单直线对应不一致的问题。分析以下3种情况：参考影像一条直线对应搜索影像多条直线、参考影像多条直线对应搜索影像一条直线、参考影像多条直线对应搜索影像多条直线。

1)同名点约束确定同名单直线。同名点作为能提高匹配可靠性的条件，用其约束参考影像与搜索影像单直线，能增强单直线的描述性。本文利用同名点到同名直线对中单直线端点的距离关系拆分同名直线对。找到距参考影像2条单直线各自端点最近的同名点并计算距离，然后，计算搜索影像对应同名点与2条单直线各自端点的距离，根据距离大小判断搜索影像同名点与单直线端点的对应关系，再依据相似度量函数确定搜索影像单直线中相似性度量值最大的作为参考影像的同名单直线。如图3所示，以同名直线对中单直线lt1为例，tr1与tr1′、tr2与tr2′为已知的匹配同名点，tr1为直线lt1左端点的最近同名点，tr2为直线lt1右端点的最近同名点。根据tr1′和tr2′与搜索影像2条单直线各自端点的距离判断其与单直线端点的对应关系，确定tr1′归属于rt1和rt2的左端点，tr2′归属于rt1和rt2的右端点，最后，根据相似性度量函数确定相似性度量值最大的参考影像单直线lt1与搜索影像单直线rt1为同名单直线。

图3 同名直线对拆分

本文利用相似性度量函数确定图3中单直线lt1的同名直线rt1，如式(4)所示。

sim(lt，rt)=e-∑G(dtmd1，dtmd2)-∑G(dtmd1′，dtmd2′)

(4)

式中：∑G表示数值的平方和；dtmd为同名点与直线端点的距离；lt与rt分别为参考影像单直线与搜索影像单直线。最后，根据相似度量值最大的原则确定同名单直线。

2)结果优化。由于直线重复编组造成匹配结果中单直线对应关系不唯一，因此需要对其优化。下面以“一对多”单直线匹配为例，运用式(2)，根据参考影像单直线中点距离依次最近的至少4组同名点确定仿射变换模型。依据同名单直线的唯一性，将参考影像单直线的中点仿射变换到搜索影像，确定占距离最优阈值的直线为参考影像的同名单直线。为了进一步提高算法的准确性，将参考影像单直线中点仿射变换至搜索影像，并将仿射变换后获得的点到搜索影像单直线中点的距离设置在一定的范围内。

2 实验与结果分析

由于建筑物的轮廓边缘蕴含着丰富的直线信息，因此主要选取来自网络公开数据库的4组具有变换特性的典型建筑物近景影像数据，对本文算法的有效性进行验证，并以Matlab 2017a为实验平台验证算法的有效性与可靠性。如图4所示，其中，图4(a)为小尺度平移变换影像，大小为640像素×480像素；图4(b)为尺度变换影像，变换比例约为1∶1.54，大小为800像素×600像素；图4(c)为视角变换影像，视角变换约为23°，大小为800像素×600像素；图4(d)为旋转变换影像并伴随微小尺度变换，旋转角度约为20°，大小为640像素×480像素。

图4 实验影像

2.1 编组参数阈值选取

对上述4组影像分别进行LSD直线提取与SIFT同名点匹配，并利用RANSAC对同名点进行优化。为了验证本文算法的有效性与可靠性，本文在实验过程中利用双重核线约束与仿射变换约束进行大范围的全局搜索，保证同名直线对在较窄的数量区间内波动，因此，双重核线约束与仿射变换约束涉及的距离阈值能够筛选出足够数量的候选直线且保证正确即可。依据实际的实验需求，双重核线约束2个距离阈值分别设置为1、1，直线对交点仿射变换距离阈值设置为25；本文根据经验，单直线中点仿射变换距离阈值设置为7。

基于本文提出的直线对匹配方法可知，直线编组结果会对最终匹配结果有一定的影响。实现直线编组的过程主要有直线对4个端点的最大距离阈值Ta、2条直线夹角范围阈值Tθ、2条直线交点与直线最近端点最大距离阈值Tb3个参数支撑。在已知上述参数阈值的前提下，本文以图4(a)小尺度平移变换特性影像为例，通过选取不同的Ta、Tθ、Tb数值，分析编组的阈值选取对最终同名单直线正确率的影响，进而确定实验选取的编组参数阈值。由于以上3组参数相互关联，Ta作为编组初始阈值具有可控性，所以将Ta作为整体阈值的不变因子，通过Tθ与Tb的变换确定3个参数的最优值。其中，3个阈值的取值范围分别为Tθ∈{40°～140°，50°～130°，60°～120°}；Ta=80，100，120像素；Tb=30，40，50像素。实验结果如表1所示。表1表示

表1 直线编组不同阈值实验结果

直线对4个端点最大距离Ta依次等于80、100、120像素时，2条直线夹角范围、2条直线交点与直线最近端点最大距离对最终匹配同名单直线正确率的影响。由表1可知，当取Ta为固定阈值时，随着夹角Tθ的变小，同名单直线的匹配正确率越来越高，但夹角的变小会导致编组数量的减少，直接影响最终同名直线的数量，使建筑物或者自然地物的轮廓信息不完整，因此，夹角最优阈值选择在相对稳定的范围即60°～120°；当Ta与Tθ选取固定阈值Tb=40像素时，获取的同名直线正确率最高，且数量充裕，因此，Tb=40像素为编组的最优阈值；Ta=100像素时，最终匹配出同名直线的最高正确率出现在Tb=40像素且Tθ范围在60°～120°时，因此，Ta=100像素为编组最优阈值的同时也满足以上最优阈值的判断。由上述分析确定编组的最优阈值组为Ta=100像素；Tθ范围在60°～120°；Tb=40像素。

2.2 对比实验与分析

为了进一步验证本文算法的可靠性与有效性，在同名点获取与直线提取结果相同的条件下，本文还实现了文献[22]中的算法，并在其实现后增加了单直线中点仿射变换约束进行匹配结果后处理，其中，文献[22]算法的参数阈值设置为TG=15、Tδ=15。本文的实验结果如图5所示。图5中标为红色的直线为最终匹配同名单直线的正确结果，标为蓝色的直线为错误匹配直线，正确匹配数目通过人工目视判别，匹配实验的具体结果如表2所示。

图5 本文算法的直线匹配结果

表2中第1列为实验影像类型，即本文图4中的4组典型近景影像；第2列为单直线提取数目，包括参考影像与搜索影像；第3列为实验过程中采用的算法；后4列分别对本文算法与文献[22]算法的编组数目、单直线匹配数目、匹配正确数、正确率进行记录。由表2可知，文献[22]实现的参考影像与搜索影像上直线编组数目分别为21 707、21 587、39 952、9 198和23 313、38 858、33 215、8 790；本文对应实现的编组数目为6 126、4 037、3 882、2 427和6 624、4 647、3 886、3 069。本文的直线编组数目明显少于文献[22]的直线编组数目，且最高减少了90.0%。以本文直线编组数目明显少于文献[22]的编组数目为前提，就最终匹配同名直线数目与正确匹配概率进行对比分析，本文算法匹配得到的同名直线数目与匹配正确率总体看来都高于文献[22]算法结果，且个别匹配得到的同名直线数量增加了54.0%，正确率平均增加了9.2%。由以上数据分析总结为，文献[22]仅对存在交点以及夹角的角度大小在一定范围内的2条直线进行特征编组，约束条件单一，因此，编组结果中直线对数目较多，导致筛选候选直线对过程耗时较长，从而降低了匹配效率。而本文在直线对编组过程中，除了考虑2条直线的夹角以外，还增加了2条直线4个端点之间的距离约束和交点到直线端点的距离约束，多重约束减少了同一直线多次参与编组的机会，编组结果在保证直线对的可利用信息不变的情况下，直线对的数目明显减少，进而减少后续运算时间，提高了匹配效率。文献[22]利用直线对中单直线的重叠约束筛选候选直线对，当存在遮挡、直线断裂情况时，导致在2张影像上分别代表同一属性的直线因没有重叠部分而被筛选掉，从而造成结果中同名直线总数目减少，此外，当出现一条直线区域不重叠时，将候选直线对整对剔除，导致正确匹配的直线被删除掉，从而降低了匹配结果中同名单直线的正确率。本文利用稳定的同名点特征描述符增强了提取不完整直线的描述性，保证了同名直线对中单直线一对一的关系，又减弱了对视角变换和旋转变换影像的影响。同名单直线整合过程中，又结合单直线中点仿射变换约束，降低了误匹配概率，对最终匹配的正确率起到促进作用，同时增大了本文算法对尺度变换影像的抵抗力，进一步增强最终同名单直线匹配约束力度。结合直线提取数量与直线匹配正确率进行整体分析，实验结果表明，本文算法具有一定的可靠性与有效性。

表2 对比实验结果

考虑到本文涉及的部分几何约束建立在匹配的同名点上，因此，参考图6(a)和图6(b)对该因素进行实验分析。图6(a)中4组影像匹配同名点的数量按顺序呈现凹凸状，与此同时，图6(b)各组影像最终匹配出同名直线的正确率也呈现凹凸状，狭义地总结为同名点的匹配数量对本文的算法有带动性。如第3组影像在直线编组数目上与第2组影像相近时，获取的同名点数量明显占优，因此，最终匹配的同名单直线数量较多，匹配单直线正确率也较高。

图6 同名点数量分析

3 结束语

本文提出了一种直线对几何特征约束的近景影像特征匹配方法。该算法利用相邻直线关联性，通过函数直线特征编组的方式加强编组过程的约束力度，减少重复编组数量的同时，保证特征直线对对建筑物结构纹理信息的覆盖性；依次运用双重核线约束、仿射变换约束、最优相似性原则提高了算法的适应性与可靠性；通过同名点增强直线特征自身的描述性，有效地降低了提取不完整直线段对最终同名单直线匹配的影响，结合单直线中点仿射变换约束，进一步增强了对变换特性影像的适应性。在实验过程中，即便选取不同变换特性的影像，本文算法都可以获得可靠的直线匹配结果，且表现出一定的稳健性和普适性。由于本文算法中单直线中点仿射变换距离阈值约束去除了一部分正确匹配的同名单直线，因此后续研究将提高对误去除单直线的利用率，增加最终匹配同名单直线的正确率。