基于核线匹配的高速公路智能识别方法的研究

任靖福 王瀚波 胡晓光

摘  要：针对车辆在高速运动情况下，各种噪声、干扰、周围环境等影响图像匹配结果的速度、精度以及可靠性的难题，以核线影像数据匹配为研究重点，探讨了关于核线的匹配方法、核线影像数据中特征点提取和匹配的方法，提出了两种基于特征段相似度的核线匹配算法，通过对三组距离不同的高速公路立体影像、不同的同名核线位置下的影像匹配结果的研究，验证了基于相邻特征段相似度的核线匹配算法匹配的可靠性和优越性。

关键词：图像匹配;高速公路;核线匹配;特征点;特征段

中图分类号：TP391.41      文献标识码：A 文章编号：2096-4706（2020）03-0068-05

Abstract：In view of the problems of noise，interference and surrounding environment that affect the speed，accuracy and reliability of image matching results when the vehicle is moving at high speed，this paper focuses on the epipolar line image data matching，discusses the epipolar line matching method，the feature point extraction and matching method in the epipolar line image data，and proposes two epipolar line matching algorithms based on the similarity of feature segments. Through the research on the matching results of three groups of expressway stereo images with different distances and different locations of the same name epipolar line，the reliability and superiority of the epipolar line matching algorithm based on the similarity of adjacent feature segments are verified.

Keywords：image matching;expressway;epipolar line matching;feature point;feature segment

0  引  言

为了实现视频图像监控的自动化，快速准确地提取左右图像中的同名像点是计算机视觉的关键技术。图像匹配即通过一定的匹配算法在两幅或多幅影像之间识别同名点的过程[1]，图像匹配技术应用广泛，有着光明的发展前景，但是同时也存在着许多技术问题和难点。在图像匹配过程中，由于各种噪声、干扰等的影响，一般的匹配方法中对非匹配点也会同时进行搜索，在匹配的结果中特征不易正确匹配，对匹配结果的速度、精度以及可靠性都有很大的影响。

本文根据高速公路交通异常的检测问题，重点阐述关于核线的匹配方法，提出了两种基于特征段相似度的核线匹配算法。经过实验比较得出基于相邻特征段相似度的核线匹配方法效果较好。

1  核线匹配的相关概念

1.1  核线相关概念

在进行二维影像相关时，为了在右像片上搜索到同名像点，必须在给定的搜索区内沿x、y两个方向搜索同名像点，因此，搜索区是一个二维影像窗口，在这样的二维影像窗口里进行相关计算，显而易见，其计算量是相当大的。由摄影测量的基本知識可知，核面与两像片面的交线即为同名核线，同名像点必然位于同名核线上。沿核线寻找同名像点，即为核线相关。这样，利用核线相关的概念就能将沿x、y方向搜索同名像点的二维相关问题转化为沿同名核线搜索同名像点的一维相关问题，从而大大减少计算量[2]。

由此可知，核线相关是一种一维相关，是利用立体像对在左、右同名核线上的灰度序列进行的影像相关，其目标区和搜索区分别位于左、右同名核线上，均为一维影像窗口。

1.2  核线模型

S和S′分别为立体像对左像投影中心和右像投影中心;S和S′的连线为摄影基线B;地面点P的投影射线PS和PS′是同名光线;同名光线分别与两像平面的交点p、p′为同名像点，q与q′为任一组像点，不一定是同名像点。摄影基线与地面任意点P构成的平面，称为核面;核面与像平面的交线称为核线;L和L′是通过同名像点p和p′的一对同名核线[3]。图1为中心投影影像的核线模型。

由核线的几何定义我们可以知道，重叠影像上的同名像点必然位于同名核线上[4]。图2为某一时刻视频监控图像，图3为图2某一条同名核线上其中一部分的左、右核线灰度曲线，曲线上的“*”表示同名像点，其同名像点的点号同时列在表1中，表中NL、NR分别表示在左、右核线上同名点的点号。从这一实例中，我们可以直观地体会到在同名核线上自动搜索同名像点的可能性。

1.3  同名核线确定

实现核线匹配的首要任务是确定同名核线，确定同名核线的方法有很多，基本上可以分为两类：一是基于数字影像的几何纠正;二是基于共面条件[5]。在本文中，我们采用第二种基于共面条件的方法确定同名核线，这一方法是直接从核线的定义出发。于是，同名核线的确定可以描述为：要确定过左片上任意一个像点p（xp，yp）的核线L和右片同名核线L′，由于核线在像片上是直线，因此上述问题可以转化为确定左核线上的另外一个点[6]，如图1中的q（x，y），与右同名核线上的两个点p′、q′，注意，这里并不要求p与p′或q与q′是同名点。

2  基于特征段相似度的核线匹配算法

2.1  核线特征点提取

对于一幅数字影像来说，最感兴趣的是那些非常明显的目标，而要识别这些目标，必须借助于影像去构成这些目标的所谓影像的特征。特征提取是影像分析和影像匹配的基础，也是单张影像处理的最重要的任务。特征提取的主要任务是提取核线上的特征点，点状特征主要是指明显点，如角点、圆点等，在某些邻域变化较大，通常是指图像的灰度变化。点特征是图像最基本的特征之一，它易于表示和操作，在一些匹配应用中使用点特征进行处理，可以减少计算的数据量，同时又不损失图像重要的灰度信息，在匹配运算中能够较大地提高计算速度。点状特征应用广泛、表达精细，所以，点状特征的研究是计算机视觉以及数字摄影测量的重点和难点。

提取点特征的算子成为兴趣算子或有利算子，也就是运用某种算法从影像中提取我们所感兴趣的，即有利于某种目的的点。本文将Moravec算子进行改进，然后对核线上的点特征进行提取，提取精度和数量可以用阈值来加以控制。这种算法过程简单，适合本文影像数据，而且计算速度较快。

2.2  核线特征段提取

在进行影像匹配之前，特征提取是非常重要的一项工作，而对于特征的描述方式也是多种多样的。本文所用实验数据为高速公路影像数据，感兴趣处理的是一维核线影像或灰度曲线。在一维核线影像的情况下，将特征段定义为一个影像段，它由三个特征点组成：一个灰度梯度最大点Z，两个突出点（梯度很小）S1、S2[7]。如图4所示。

在提取特征段时，首先提取出核线上灰度梯度最大的特征点Z，记录其像点点号以及灰度值g（Z），然后对每个特征点Z的邻域窗口分别向前和向后进行一次差分运算，当参与差分运算的两相邻像素点所对应的灰度值相差小于3时，则停止运算，并取出前、后差分所对应的像素点点号和灰度值，此时提取出的像素点即为Z点所对应的一对突出点S1、S2。

特征段（实际上是依次提取出上述的三个特征点）将一条核线的影像分成若干个影像段，因而每一段影像均由一个特征段所组成。如图5所示，曲线上的“*”表示同名像点。影像匹配的实质就是特征段的匹配，从而确定它们在另一幅影像上对应的位置。

在提取特征段时，我们提取出了两个突出点S1、S2的灰度差Δg=g（S2）-g（S1），同时设置一个标签flag=0。

将三个特征点的像素号与标签flag作为描述此特征的四个参数——特征参数。这对于特征段匹配十分有用，比如，一个flag=1的特征段就不可能与flag=2的特征段相匹配，只有flag值相同的特征才予以匹配。

2.3  基于特征段相似度的核线匹配

从本质上说，影像匹配是一种评价灰度分布相似性的手段，而提取特征的最终目的是要对特征进行匹配，从中得到图像间的相互关系等有用信息。针对本文所用的核线影像数据，首先尝试采用基于特征段相似度的核线匹配方法，具体过程描述如下：

（1）设在左像片核线上提取共有的n个未匹配特征段，依次分别为F1、F2、F3、…、Fn，将提出的F1构成目标匹配窗口。

（2）在右像片核线上同样提取共有的m個待匹配特征段，依次为F1′、F2′、F3′、…、Fm′，分别将F1′、F2′、F3′、…、Fm-1′、Fm′构成待匹配窗口。

（3）预先运用上述所提到的标签flag加以约束，遍历计算目标窗口与所有待匹配窗口的相关系数，按最大相关系数的准则确定F1匹配窗口中特征的同名特征。

（4）遍历将F2、F3、…、Fn-1、Fn构成目标匹配窗口，重复（2）、（3）过程。表2列出某一条核线上所提取的特征段。

从表2中可以看出，匹配过程首先判断flag值是否相同，当flag值相同才予以匹配，例如，表中F1特征段的flag=1，在右核线上只能依次与F1′、F3′、F6′特征段匹配，然后再计算F1中的目标灰度窗口g[280，281，282，283，284]分别与右核线待匹配窗口g′[584，585，586，587，588，589]、g′[1 584，1 585，1 586]、g′[1 717，1 718，1 719，1 720]计算相关系数，与F1相关系数最大的特征即为F1窗口中的同名特征。

2.4  基于相邻特征段相似度的核线匹配

采用的基于特征段相似度的核线匹配方法，有时候使用最大相关系数准则往往不够，会出现一定的误匹配，接下来采用基于相邻特征段相似度的核线匹配方法。匹配方法过程如图6所示，1、2构成一个匹配窗口，2、3构成匹配窗口，3、4也构成匹配窗口，两个特征可以均是待匹配特征，待匹配的特征始终位于窗口的边缘。分别将左、右两像片相邻的两个特征连接起来，形成大小不一的匹配窗口。

基于相邻特征段相似度的核线匹配过程：

（1）设在左像片核线上提取共有的n个待匹配特征段，依次分别为F1、F2、F3、…、Fn，先将F1与F2构成目标匹配窗口。

（2）在右像片核线上同样提取共有的m个待匹配特征段，依次为F1′、F2′、F3′、…、Fm′，分别将F1′与F2′、F2′与F3′、…、Fm-1′与Fm′构成待匹配窗口。

（3）预先运用上述所提到的标签flag约束，遍历计算目标窗口与所有待匹配窗口的相关系数，按最大相关系数的准则确定F1、F2匹配窗口中特征的同名特征。

（4）遍历将F2与F3、…、Fn、与Fn-1构成目标匹配窗口，重复（2）（3）过程。

同样如表2所示，将左核线F1、F2构成目标窗口，首先判断右核线特征段窗口的flag组合是否与F1、F2相同，当flag组合相同才予以匹配，例如，表中F1、F2匹配窗口的flag为1、2，在右核线上只能依次和F1′、F2′以及F3′、F4′窗口匹配，然后再计算F1、F2中的目标灰度窗口g[280，281，282，283，284，285，286，287，288，289，290，291，292，293，294，295]分别与右核线待匹配窗口g′[584，585，586，587，588，589，590，591，592，593，594，595，596，597]、g′[1 584，1 585，1 586，1 587，1 588，1 589，1 590，1 591，1 592，1 593，1 594，1 595，1 596]计算相关系数，与F1、F2相关系数最大的两段特征即为F1、F2窗口中的同名特征。

同名点的确定是以匹配测度为基础的，因而如何定义匹配测度，则是影像匹配最首要的任务，基于不同的理论或不同的思想可以定义各种不同的匹配测度。在本文中，由于采用的是核线影像数据源，在像对中利用改进的Moravec算子提取一定数量的特征点，进行特征点连接组成特征段，利用特征匹配的两种方案形成匹配窗口，然后只需逐对计算位于同名核线上匹配窗口之间的相关系数，利用相关系数作为相似性度量可以使计算量更小，简单易行，且其匹配精度高。

2.5  特征匹配评价

对特征匹配评价就是建立一个特征点匹配好坏的标准，参数评价法是利用表征特征点匹配效果的参数进行评价，比较常用的两个参数是检测率和错配率。

检测率=正确的匹配数目/所有可能匹配的数目;

错配率=错误的匹配数目/检测到的所有的匹配数。

从上面检测率和错配率的定义我们可以看出，所希望匹配结果中检测率越高越好，而错配率越低越好。匹配算法应尽可能提高检测率和降低错配率，但是在实际的匹配过程中，很少可以同时把这两方面都做到最优。需要根据所提出算法的思想和实际情况来优先优化其中一个参数。对于本文中实验，由于针对的是立体交通视频的高速公路影像，对于提取特征点数目的要求没有必要太高，只需要提取出道路上关键特征点即可，所以应尽量提高匹配的正确率，即降低错配率。

3  核线匹配实验分析

将核线匹配的基本原理应用到高速公路智能检测中，提取高速公路上突出的特征点信息，并且找到特征点的对应点，实现特征点匹配。

3.1  实验过程

根据上述实验思路做了如下实验，拍摄一组照片，确定任一点的同名核线，进行核线特征匹配，比较相关系数，验证我们算法的有效性。实验具体步骤如下：

（1）本次实验的照片均为立体交通视频图像，拍摄场景都是高速公路，在道路上停放车辆以及放置轮胎等障碍物，分别拍摄3组不同距离的高速公路图像。

（2）对每组图像进行畸变改正，在任一点位置确定同名核线，然后提取同名核线的一维灰度值数组，并对其进行中值滤波除噪以及灰度拉伸。

（3）分别在左、右两条同名核线上提取特征点，进一步提取对应的特征段，并标记每一特征段所对应的灰度曲线类型，即标记flag。

（4）利用透视投影变换与基于相邻特征段相似度的核线匹配方法相结合，方案一中将左核线上所提取的特征段形成目标窗口，右核线每一个特征段形成待匹配窗口，方案二中将左核线两两组合的相邻特征段形成目标窗口，右核线两两相邻特征段形成待匹配窗口，两种方案都计算两窗口之间的相关系数，以此达到匹配的目的。

（5）分别用两种匹配方案对同一幅立体交通视频图像根据同名核线上的匹配点对分析评价匹配效果。

拍摄3组不同距离的高速公路异物图像，如图7所示，每组图像的大小均为1 080×1 920。

（a）照片组1

（b）照片组2

（c）照片组3

3.2  确定经过任意一点的同名核线

以图7（a）照片组为例，选择无障碍物处P1（905，264）、轮胎处P2（1 485，400）以及汽车处P3（1 378，336）三个代表性位置，提取同名核线以及核线上的特征点，每条核线计算范围为1×1 920，分别对上述3条同名核线上的特征点进行匹配。

3.3  实验结果

在图7（a）组图像上的无障碍处P1、轮胎处P2以及汽车处P3分别任意取经过不同位置的5条同名核线，并记录经过点的坐标。然后分别对图7（b）和图7（c）图像重复（a）组图像做的工作，记录经过点坐标并同时计算匹配时间。通过两种方案进行实验：基于特征段相似度的核线匹配方法和基于相邻特征段相似度的核线匹配方法。为比较匹配精度，我们在每组图像上分别选取了15条不同位置的同名核线。道路上特征点数目提取并不是很多，但提取的特征点都是道路上的关键特征点。

从匹配情况上看，对于方案一，即基于特征段相似度的核线匹配方法的匹配结果图像，特征点检测率效果较好，尤其是在无障碍物或者轮胎处，检测率甚至达到了100%，3组图像的平均检测率分别为90.00%、78.68%、89.68%;对于错配率，在3组图像中都可以看到，特征点在无障碍物处错配率较低，但是对于汽车处，错配率相对更高，3组图像平均错配率分别为41.58%、24.62%、8.00%;从匹配时间上看，3组图像平均所耗费时间分别为127.28 ms、128.64 ms、118.92 ms。

对于方案二，即基于相邻特征段相似度的核线匹配方法的匹配结果图像，特征点检测率一般，3组图像的平均检测率分别为73.01%、72.00%、74.10%，相对于方案一中来说检测率更低;对于错配率，在3组图像中都可以看到，特征点在无障碍物处和轮胎小型障碍物处错配率较低，几乎可以达到0，匹配效果令人满意，但是对于汽车处，错配率相对更高，3组图像平均错配率分别为9.52%、12.38%、14.84%，而且通过匹配的图像可以发现，在经过汽车的核线上的特征点成功匹配的基本上是道路上的点，汽车上的特征点成功匹配率比较低，本文提出的匹配算法在针对这方面有些不足;从匹配时间上看，3组图像平均所耗费时间分别为111.10 ms、109.16 ms、107.09 ms，匹配速度较快。

相比较两种匹配方法，方案二中的检测率较方案一更低，但是其错配率和匹配所耗时间都是更小的，匹配精度和速度均优于第一种方案。从整体看，因为一对特征点匹配成功就已经对应了两对突出点成功匹配，这无形中提高了检测率并降低了错配率，匹配精度和匹配时间都令人满意，说明本文所提出的基于相邻特征段相似度的核线匹配算法是有效的，可以应用在交通道路图像特征匹配当中。

实验证明基于相邻特征段相似度的核线匹配方法是一种高效率、稳定、高精度的方法，实现对影像的全自动匹配，取得了满意的效果。

4  结  论

基于相邻特征段相似度的核线匹配方法，在匹配过程中首先将提取出的特征点连接成特征段，然后将相邻两特征段组合成匹配窗口，匹配窗口大小是不固定的，然后利用相关系数作为匹配测度检测匹配窗口中灰度相似性，最终达到特征点自动匹配的目的，同时一对特征点所对应的两对突出点也对应匹配，匹配点对数无形中增多了，提高了匹配正确率。本文所提出的基于相邻特征段相似度的核线匹配算法對高速公路影像匹配有一定的精度和可靠性，有一定的实用性和研究价值。

参考文献：

[1] 马宗方，张少坤，宋琳，等.一种基于颜色尺度不变和FANN搜索的图像匹配算法 [J].红外技术，2018，40（5）：468-472.

[2] 徐芳，邓非.数字摄影测量学基础 [M].武汉：武汉大学出版社，2017.

[3] 陈春华.基于POS观测值的立体匹配 [D].北京：中国地质大学（北京），2006.

[4] 张靖.物探飞行模式下的机载LiDAR数据与影像配准研究 [D].武汉：武汉大学，2011.

[5] 常津，李浩，杨彪.一种适用于近景数码影像的概率松弛匹配方法 [J].科学技术与工程，2013，13（7）：1713-1717.

[6] 王刃.基于视频全站仪的视觉相关问题研究 [D].郑州：解放军信息工程大学，2004.

[7] 刘德利.基于数字摄影测量的城市三维景观建模 [D].长春：吉林大学，2006.

。