基于CenSurE-star和LDB的被测目标图像匹配算法

胡 正，于 涛，王汝童

(北京化工大学 信息科学与技术学院，北京 100029)

0 引言

在大尺寸加工视觉检测中，常需要在大型构件的关键位置安装靶标并拍摄相应图像进行处理以实现测量工作。其中对于被测目标图像的匹配处理，通过获取不同图像间内容的对应关系，为图像拼接、目标追踪乃至三维建模等后续重要应用提供相关依据。图像匹配所使用的特征主要分为区域特征[1-2]、线特征[3-4]和点特征[5-6]。其中点特征又以其稳定性好，不易受到噪声、光照等外在因素影响的特性，在图像匹配中较为常见。然而如SIFT、SURF等点特征匹配方法往往存在内存资源占用多、计算过程繁琐及实时性不高等问题，在视觉测量任务中制约了整体性能，因此有必要研究快速且匹配可靠的图像点特征匹配算法。

点特征匹配首先检测图像中的关键点，结合其所处图像空间给予特定描述，再根据描述符间相似度的比较实现图像匹配。这其中具有代表性的是由Lowe[5]提出的SIFT特征，其主要思想是检测高斯差分图像中的斑点特征，然后由周围像素梯度赋予主方向并形成128维描述符，依据特征描述之间的欧式距离进行匹配。尽管SIFT特征鲁棒性较好，但整体计算量大且特征维数偏高。之后的SURF特征[6]采用盒式滤波器卷积结合积分图像加快运算速度，根据Haar小波响应确定特征描述，使算法耗时有所缩短。由于对图像角点特征的检测速度相比之前算法的斑点特征更快，于是BRISK[7]、ORB[8]等采用FAST角点特征为基础，并根据模板进行BRIEF描述，但又存在特征点边缘性强、利用图像信息单一的缺点。

之后点特征匹配的改进主要包括特征点检测和特征描述的改进。关于特征点检测的改进，陈梦婷等[9]将Harris角点和SIFT特征描述结合起来进行遥感图像匹配；张子龙等[10]和彭勃宇等[11]则分别将SURF匹配中的特征点改用为FAST和SUSAN角点以提升整体算法的实时性；根据中心环绕极值特征(CenSurE)[12]可快速检测且较稳定的特点，许允喜等[13]在此基础上进行SURF描述以完成景象匹配，上述几种方法尽管在特征点检测上提升了速度，但对应描述的计算量依然较高。而在特征描述方面，LBP特征的引入使得描述更为高效，如郑永斌等[14]基于SIFT方法检测特征点，在邻域内采用旋转不变LBP特征结合相对距离进行描述；也有算法通过特定模板[15]选取邻域点计算LBP值用于描述特征点，减少描述冗余信息，不过LBP特征方法只能实现局部纹理的简单描述；形式简洁的二进制描述符在描述特征点时也常被应用，Cao等[16]提出二进制的ODG描述符，具有较好的光照不变性；吴鹏等[17]不仅在尺度空间构建中运用高斯引导滤波，而且将局部差分二进制(local difference binary，LDB)[18]作为特征描述，使之性能优于常用的BFSIFT算法，但该过程中会损失部分图像信息。此外也有方法通过加入其他处理以实现整体改进，为进一步利用颜色信息，梁焕青等[19]提取图像的颜色不变量进行灰度变换，再结合AKAZE特征实现匹配，不过灰度范围只能由经验给定；罗天健等[20]则融合颜色不变量边缘特征和CS-LBP纹理特征组成融合特征图用于SURF特征匹配，从而提升匹配鲁棒性，但由于融合更多特征导致算法复杂程度增加。

为了提升对被测目标图像匹配的速度并确保匹配精度，本文基于CenSurE-star和LDB完成对图像中特征点的检测与描述，并运用相应准确匹配策略逐步提纯所得到的匹配点对，通过实际图像进行实验并分析性能，探索一种快速准确的被测目标图像匹配算法。

1 特征点检测与描述

1.1 CenSurE-star特征点检测

特征点是实现图像点匹配的基础。作为被安装在构件上的靶标，其上主要包含简单显著的几何线条特征及纹理。对于实现间接测量的被测目标图像中的特征点检测，采用相关角点特征虽然检测速度较快，但所检测到的点易集中于靶标线条边缘处，导致匹配效果不佳；而常见的斑点特征有助于得到更多由靶标纹理产生的特征点，却在计算上相对复杂。CenSurE特征通过构建双极性滤波器对图像滤波，实现对用于检测斑点特征的经典高斯拉普拉斯算子的近似，从而更快速地提取较为稳定的图像斑点特征。双极性滤波器包含正负两极，分别代表+1和-1。常用的双极性滤波器为DOB滤波器，如图1所示。

图1 DOB滤波器

方形的DOB滤波器可以直接利用积分图像，计算速度快。对于在尺度n下检测特征点的DOB滤波器，其外核边长为4n+1，内核边长为2n+1。为使其直流分量为0，内核权值In和外核权值On的关系[12]为:

On(4n+1)2=In(2n+1)2

(1)

相邻尺度间内核权值In和In+1[12]则满足等式:

In(2n+1)2=In+1(2(n+1)+1)2

(2)

受到形状限制，DOB滤波器在图像发生旋转时对相应特征点的检测性能表现不佳。因此如图2所示将两个大小不同的DOB滤波器叠加起来构成包含内外两层星型的滤波器CenSurE-star用于图像特征点的检测。步骤如下：

图2 星型滤波器CenSurE-star

1)采用星型滤波器在图像滤波中计算当前中心像素响应值，其计算公式为:

(3)

式中,R为像素响应值，∑+和∑-分别为浅色的正极和深色的负极对应的灰度和，S+和S-分别为正极和负极的面积大小。在星型滤波器滤波时，利用积分图像计算两个正方形灰度和，求和作为对应星型内的灰度和，同时星型面积也由构成其的两正方形面积和确定，根据内外星型情况得到正负极的灰度和与面积，实现响应值的计算。

而滤波器的尺寸大小反映当前的特征点检测尺度，仅通过改变尺寸就可以实现在不同尺度下的检测，设组成星型的两个正方形中无旋转的边长为2n，旋转45°的对角线长度为3n，滤波器尺寸与检测尺度的关系如表1所示。

表1 星型滤波器尺寸与检测尺度关系

2)为得到可重复性更好、更稳定的特征点，选取各像素在多尺度下响应值R中的最大值为该像素的最终响应值Rf，组成与图像矩阵同等大小的响应矩阵N，再对N进行t×t范围内的非极大值抑制，将所得到的极值作为候选特征点。

3)最后针对候选特征点计算Harris矩阵的迹的平方与其行列式的比值，计算公式为[12]:

(4)

(5)

式中,Ha为对应Harris矩阵，Lx和Ly为响应值矩阵中关于水平和垂直方向的导数，k为Ha迹的平方与行列式的比值。排除候选特征点中的比值k大于阈值的直线型特征点，这里阈值被设定为10[5]，剩余点即为最终所检测的CenSurE-star特征点。

1.2 LDB特征描述

由于被测目标上存在许多相似的图像区域，因此需要采用描述能力相对较强的特征描述方式。Yang等[18]在2014年提出LDB特征描述，最初被用于在移动设备上进行图像匹配。在构建描述时，LDB作为二进制特征描述相比SIFT、DAISY等计算更简单，占用内存资源更少；而将像素灰度强度、水平和垂直图像梯度共同作为描述依据的特性，使其相比仅基于邻域像素灰度强度比较的简单描述LBP等可区分性更好，因此将其用于对被测目标图像中的CenSurE-star特征点进行描述。

在选定图像区域中划分若干相同大小的图像子块，对各子块中的灰度强度平均值利用积分图像进行加速运算，同时引入水平方向和垂直方向梯度反映灰度强度的变化情况，共同组成子块整体特征。在计算完整体特征之后，抽选该区域中的子块对并比较两子块特征的大小，以形成相应描述符。计算公式为[18]:

(6)

(7)

(8)

如果划分子块面积较小，可以更细致地反映区域细节特征，但是诸如图像噪声等小变化会较容易影响到描述符，从而使所计算的相似度发生明显变动，导致特征描述鲁棒性不够；而如果划分子块面积偏大，可以很好地减轻干扰因素对描述符的影响，但同时对图像中特征的反映会趋于简略，降低了特征描述的可区分性。因此LDB采用了多重大小子块的策略，对选定区域进行多次不同大小的子块划分，将每次划分所得字符串描述连接起来形成初步的特征描述符。由于初始描述符的维数较高且相关性较大，通过相应的Adaboost算法对其降维得到最终的LDB特征描述符。

2 图像点特征准确匹配

由不同尺寸的星型滤波器对被测目标图像滤波并结合计算，可检测出图像中对应各尺度的CenSurE-star特征点。对于每个特征点确定特定图像区域，根据灰度质心法由图像矩估计该特征点的主方向。

(9)

式(9)表明特征点主方向θ即为相应图像矩m01和m10之比的反正切值。按照主方向旋转之后，对其特征点邻域进行2×2、3×3和4×4等多次大小不同的分块，从中选取子块对计算二进制字符串以得到原始描述符，然后通过Adaboost算法去相关并降维得到256维的LDB二进制描述符，实现对被测目标图像的特征构造。

由于特征描述的形式为二进制，因此在衡量特征点间的相似度时将汉明距离作为依据。汉明距离的计算方法是比较描述符中各对应位是否相同，如果不同则距离加一，两特征点的描述符间汉明距离越大，则相似度越小。匹配时采用简单易行的暴力匹配搜索，对参考图像中的每个特征点与待匹配图像中的特征点逐个进行相似度计算，搜索出与其汉明距离最近的待匹配图像特征点。特征描述符间的汉明距离计算公式为:

lh(a,b)=∑[a(i)⨁b(i)]

(10)

式中,a和b为图像特征点对应的描述符，i则表示当前描述符中的具体位数，⨁为异或运算符，对两个描述符逐位做异或运算并累加结果，计算出之间的汉明距离lh，用于衡量两特征点间的相似度。

对被测目标图像特征点匹配情况进行交叉验证，即在单方面得到与参考图像上一特征点相似度最高的待匹配图像特征点后，反过来判断与该待匹配图像特征点最相似的参考图像特征点是否为之前的特征点，只有在两点互相似的情况下才接受该匹配。在计算汉明距离并结合交叉验证得到初始匹配之后，为提升准确性需要进一步对其进行筛选，其具体步骤如下：

1)统计初始匹配中对应的最大距离，通过设定距离阈值保留其中描述符间距离与最大距离的比值不大于阈值的匹配点对，实现对初始匹配的粗筛选，通常阈值被设定在0.6～0.8之间；

2)从经过粗筛选后的匹配集中随机抽选匹配以估计相应的图像变换模型，其中所抽选的匹配要求不存在多点共线的情况；

3)计算其他匹配在所得估计模型下的投影误差，统计符合估计模型的匹配数，并更新当前迭代次数；

4)判断当前次数是否达到最大迭代次数，否则重复第2)、3)步；

5)选择对应匹配数最多的估计模型作为准确的图像变换模型结果，将与该结果误差较大的匹配视为误匹配并予以剔除。

通过距离阈值进行初始匹配的粗筛选，再运用RANSAC算法对筛选后的匹配集估计出合理的图像变换模型，根据变换模型结果将剔除图像匹配集中的绝大多数误匹配，从而得到较为准确一致的被测目标图像特征点最终匹配结果。图3为基于CenSurE-star和LDB的匹配算法的整体流程图。

图3 基于CenSurE-star和LDB的点特征匹配流程

3 实验结果与分析

实验中所使用的计算机配置是Intel Core i7-7700HQ 2.8 GHz，16 G内存，操作系统为Windows10，运行平台为Visual Studio 2017。而被测目标图像是在计算机视觉测量实验过程中采集的典型靶标图像。对其进行图像匹配实验，从算法鲁棒性、匹配准确率和耗时等方面对本文算法的匹配性能进行分析。

单应矩阵反映图像中某点在另一幅相关图像中的所处位置，设两幅图像的单应矩阵为H，点(x1,y1)和点(x2,y2)分别是理论上在两幅图像上对应的两点，其关系可表示为:

(11)

利用图像间的单应变换关系H，对之前所得匹配的准确与否进行判断，匹配误差由式(12)计算得到:

(12)

(13)

所选择的三组靶标图像主要体现在图像信息获取过程中受环境影响而产生的光照、噪声、模糊变化等情况，同时图像中也存在一定旋转尺度上的差别，通过本文算法进行图像匹配，所得结果如图4～6所示。

图4 图像光照变化匹配结果

图5 图像噪声变化匹配结果

图6 图像模糊变化匹配结果

从3组被测目标图像匹配结果可直观看出，即使图像中存在光照不同、噪声干扰和图像模糊等情况，采用本文算法依然可以检测到两幅图像中相关联的特征点，并结合对应的特征描述将其匹配关联。

同时统计相应的匹配准确率和运行时间，然后在相同实验条件下采用3种常见算法与其进行比较。这3种算法分别为采用图像斑点特征且应用广泛的SIFT算法和SURF算法，以及描述符同样为二进制形式的BRISK算法，所得结果如表2所示。

由表2中数据可知，在对反映图像典型变化的被测目标图像的匹配中，本文算法在运行时间上均明显低于SIFT、SURF以及BRISK等常见算法，分别为1.872 s、2.366 s和2.971 s。其原因主要在于本文算法仅通过调整星型滤波器尺寸大小完成对图像中不同尺度下相关斑点特征的检测，而这些常见算法需要构建图像金字塔才能实现相应检测；而且二进制型的LDB特征描述符可以通过计算汉明距离快速度量特征间相似度，相比浮点型描述符在匹配效率上更优。

表2 被测目标图像匹配准确率与运行时间对比

对于点特征的准确匹配，在经过距离阈值的粗筛选后，受到靶标中相似区域较多的影响，4种匹配算法的准确率均表现不佳，普遍低于75%，需要进一步通过RANSAC算法估计变换模型以剔除误匹配。在RANSAC误匹配剔除后，光照变化组中SIFT算法的准确率在四种方法中最高，达到99.55%，本文算法和BRISK算法的准确率则低于SIFT算法，分别为99.49%和99.19%，SURF算法准确率最低；而在噪声变化组中，本文算法为99.38%，同样仅次于SIFT算法；在模糊变化组中则是本文算法和SIFT算法的准确率均达到了100%。由此可见在与常见算法的比较中，本文算法匹配准确率依然处于相对较高的水平。结合图4、图5和图6中三组图像的匹配结果，说明本文算法对于图像中光照、噪声和模糊变化均具有一定的鲁棒性。

4 结束语

本文设计了一种CenSurE-star特征与LDB描述符相结合的被测目标图像匹配算法。由CenSurE-star算法可以快速提取被测目标图像中的稳定特征点，在计算图像矩提取特征点主方向的基础上运用LDB描述符实现特征描述，再根据描述符进行暴力匹配搜索和交叉验证得到初始匹配，通过距离阈值和RANSAC算法进一步剔除其中的误匹配点对。经过相关实验证明，该算法对匹配图像间存在的光照、噪声及模糊等典型变化具有鲁棒性，相比一般算法能在缩短图像匹配耗时的同时确保匹配准确率，从而适用于对匹配速度有一定要求的视觉检测场合。