改进Fast ACE 结合边缘检测的预处理算法研究

唐清岭， 汪炫羲， 蒋小菲

（贵州大学 大数据与信息工程学院， 贵阳 550025）

0 引 言

在物联网以及智能设备的广泛应用背景下，人们对定位的需求日益增长。 在室外，有中国的北斗导 航 系 统［1］以 及 美 国 的 GPS （Global Position System）系统［2］对室外环境进行精准定位。 而在室内环境中，由于障碍物的遮挡，卫星技术无法使用。但准确地获取室内环境的位置信息有助于智能服务、智能家居以及在特定情况下的无接触传送，这使室内定位技术一直是研究热点［3］。

近年来，随着对定位的深入了解，研究者们发现在视觉定位技术中图像匹配的准确度以及鲁棒性对定位的结果有决定性作用。 目前基于特征的匹配方法主要有暴力匹配［4］、快速近似最近邻匹配［5］以及RANSAC 匹配［6］。 其中，暴力匹配是最简单的匹配方法，利用描述子距离表示2 个特征之间的相似程度来确定匹配，但当特征点数量较大时，该方法运算量大，不符合实时性需求。 快速近似最近邻匹配是通过先确定一幅图的关键点，利用欧氏距离找出对应图中的关键点，在2 个关键点中，若最近的距离除以次近的距离得到的比例小于提前设定的阈值，则2 个关键点成为一对匹配点，但该方法是近似法，其精确度不高。 RANSAC 匹配是从样本集中随机抽选出一个大小为4 个匹配点对的样本，利用样本计算变换矩阵N，根据N、样本集和误差度量函数三个条件计算能够满足变换矩阵N的一致集，并利用一致集元素个数判断是否为最优集，若是最优集，则更新集合与当前错误概率p，当p大于允许的最小错误概率o，则重复以上步骤进行迭代，直到p小于o。RANSAC 通过迭代能够进行误匹配筛选，但未经处理的室内图像往往纹理较弱且噪声较大，导致筛选出的错误匹配数较多，精确度较低。 针对图像匹配精确度低的问题，文献［7］提出在RANSAC 算法中加入影像的灰度信息进行约束，对于山区和建筑物影像能够进一步剔除匹配粗差，提高剔除率。 文献［8］提出将所有样本点中误差过大的特征点进行剔除，减小迭代次数，再通过反向匹配及逆行二次匹配，提升匹配正确率和速度，在光照变换、模糊环境的干扰下，匹配结果仍然具有鲁棒性和可靠性。 文献［9］提出使用SIFT 算法提取特征点时，主动放弃第一组尺度空间进行特征检测以提高速度，提出相似性系数以进行匹配点对二次筛选，限制了特征点数量，提高了匹配效率。 上述研究利用不同的特征提取方法，在不同环境下对RANSAC 的匹配情况进行了改进，提高了匹配效率，但并未有研究在图像匹配前，对室内场景纹理稀缺且噪声大的图像进行直接改善，以提高在不同特征提取算法后图像匹配的精确度。

为了改善室内场景纹理稀缺且噪声大的缺点，提高图像匹配的精确度，本文设计了一种新的预处理方法。 该方法首先将拉普拉斯算子加入Fast ACE［10］算法得到一种改进Fast ACE 算法，能够调整图像的亮度、色彩、对比度与清晰度，将改进Fast ACE 算法应用于原图像得到增强图像，然后利用Canny 算法［11］提取出增强图像的边缘信息，再按一定比例线性加权原图像与边缘图像，最后使用AKAZE［12］算法与ORB［13］算法提取图像的特征点进行暴力匹配，RANSAC 筛选误匹配进行验证。 算法流程如图1 所示。

图1 算法流程Fig． 1 Flowchart of the algorithm

1 预处理算法

1．1 Fast ACE 算法

Fast ACE 基于2 个假设:

假设1对一幅图像进行ACE 增强得到输出图像A，再对A进行ACE 增强，得到的输出的图像仍是A。

假设2对图像A进行等比例的缩放，使用ACE 增强后的结果是B。 再对B进行ACE 增强，结果仍是B。

快速ACE 算法流程:

（1）缩放原始图像I得到I1。

（2）对图像I1 进行色彩以及空域的调整，校正色差，从而得到空域重构图像。

（3）对空域重构图像进行动态扩展，并映射到［ 0，255 ］的空间中，得到动态扩展图像。

（4）将动态扩展图像缩放至与I相同，得到Y1，则Y1 是I1 经过ACE 处理与缩放所得结果。

（5）Y1 加上I中邻近像素的差分结果，减去Y1中邻近像素的差分结果，得到最终的输出Y。

1．2 拉普拉斯算子

拉普拉斯算子是n维欧式空间的一个二阶微分算子，定义为2 个梯度向量算子的内积。 可用如下公式进行描述:

其在二维空间上的公式为:

对于二维离散，拉普拉斯算子是2 个维度上二阶差分的和，即:

研究后得到常用二维拉普拉斯对应的卷积核为:

1．3 改进Fast ACE

针对Fast ACE 仅能调整具有局部和非线性特征的图像亮度、对比度与色彩，但并未对图像的清晰度进行处理的缺点，提出引入拉普拉斯算子。 拉普拉斯算子应用在图像中是二阶梯度算子，在灰度恒定区域与像素均匀变化区域的结果皆为0，而在像素变化速率变化较大区域其值也会变大，因此能够处理由扩散现象引起的图像模糊，增加图像的清晰度。 该算法的步骤如图2 所示。 由图2 可知，对算法中的各流程步骤可做阐释分述如下。

图2 改进Fast ACE 算法流程Fig． 2 Improved Fast ACE algorithm flowchart

（1）缩放图像I得到I1。

（2）对图像I1 进行色彩以及空域的调整，校正色差，从而得到空域重构图像R（x）。 由此推出的数学公式可表示为:

其中，Ω／x表示｛y∈Ω:y≠x｝；I（x） 与I（y）是2 个不同点的亮度差，表示欧氏距离；R（x） 是中间结果；Sα∈［-1，1］，是亮度表现函数，能够增强小的图像细节以及丰富图像大的差异。 一般地，Sα为:

（3）对R（x） 进行动态扩展，映射到［ 0 ， 255 ］的空间中，得到L（x）。L（x） 的数学公式见如下:

（4）将得到的L（x）缩放至与I相同，得到Y1，则Y1 是I1 经过ACE 处理及缩放后所得结果。 若需要快速得到I1 的ACE 增强结果，则运用金字塔结构思想，对I1 再次缩放得到I2，求I2 的增强结果。

（5）Y1 加上I中邻近像素的差分结果，减去Y1中邻近像素的差分结果，得到图像Y。

（6）由于图像有2 个方向，令Y为二维图像函数f（x，y），引入拉普拉斯算子对f（x，y） 进行处理，得到最终输出结果g（x，y）。 计算求得的公式为:

其中，g（x，y） 为处理后的图像；f（x，y） 为输入图像；c取1；∇2f（x，y） 使用的滤波器如图3 所示。

图3 拉普拉斯滤波器Fig． 3 Laplace filter

1．4 Canny 边缘检测算法

边缘检测的意义是精细描述出图像的轮廓。Canny 算法分为5 个步骤，具体见如下:

（1）使用高斯滤波平滑图像。 即根据待滤波的像素点及其邻域点的灰度值按照一定的参数规则进行加权平均，能够有效地滤去在理想图像中所叠加的高频噪声。

（2）寻找图像中每一个像素点的强度梯度以及方向。

（3）采用非极大抑制（NMS）消除误检的边缘区域。

（4）采用双阈值方法减少假边缘数量。

（5）使用滞后技术跟踪图像的边界。

1．5 图像的线性加权

对图像进行线性加权是将2 幅尺寸、类型一样的图像按照一定的比例混合后转存为另一幅图像，比例之和为1。 其表达式为:

其中，g（x） 表示输出图像；f0x( ) 和f1（x） 表示输入图像；α表示图片所占比例。

在线性加权时，经过多次实验，最终确定原始图像占比95%，边缘图像占比为5%，这样的比例选取在最大限度地保证原图的完整性的同时，丰富了图像纹理，降低了图像噪声。

1．6 改进Fast ACE 算法效果分析

为展示改进Fast ACE 与Fast ACE 算法的不同，算法的验证实验采用由慕尼黑大学制作的TUM 数据集中Testing and Debugging 的fr1／xyz 的rgb 图像，本文采取其中2 组图像为例进行对比，如图4 所示。 图4 中，（a）、（b）为第1 组，（c）、（d）为第2组。 对实验研究结果内容，做剖析分述如下。

图4 原始图像Fig． 4 Original images

（1）将Fast ACE 与改进Fast ACE 处理后的图像利用Canny 算法提取边缘，验证图像的清晰度。如图5、图6 所示。

图5 Fast ACE 处理后提取的边缘图像Fig． 5 Edge image extracted after Fast ACE processing

图6 改进Fast ACE 处理后提取的边缘图像Fig． 6 Edge image extracted after improved Fast ACE processing

通过Canny 算法提取出来的图像轮廓，图像中的实际边缘越多，表明图像的清晰度更强，通过图4与图5 对比，能够明显看出图5 的线条多于图4 的线条，即改进Fast ACE 处理后的图像其清晰度与纹理性均强于Fast ACE 处理后的图像。

（2）计算Fast ACE 与改进Fast ACE 处理后的图像的方差，验证图像的清晰度，见表1。

表1 Fast ACE 与改进Fast ACE 处理后的图像的方差Tab． 1 Variance of images processed by Fast ACE and improved Fast ACE

方差是概率论中用来考察一组离散数据和期望值之间的离散数量的度量方法。 方差较大，表示这一组数据之间的偏差就较大，组内的数据分布不均衡；方差较小，表示这一组数据之间的偏差较小，组内的数据之间分布平均，大小相近。 因此清晰的图像相比模糊的图像，数据之间的灰度差异更大、即方差更大，由表1 可得，改进Fast ACE 处理后的4 幅图像相较Fast ACE 处理后的4 幅图像其方差值更大，表明清晰度更好。

1．7 预处理算法效果分析

经过预处理算法、即改进Fast ACE，Canny 提取边缘图像与线性融合后的图像如图7 所示。

图7 完成预处理后的图像Fig． 7 Images after preprocessing

为了直观表现出经过预处理后的图像噪声的变化，通过计算峰值信噪比（PSNR， 单位为dB）与方差得到的数值结果进行比较。PSNR的数值越大，则表示图像的失真越小。 计算公式为:

其中，n为每像素的比特数。

均方误差（MSE） 的表达式为:

其中，H表示图像高度；W表示图像宽度；X表示当前图像；Y表示参考图像。

预处理前后图像的PSNR见表2。

在表2 中，PSNR用于衡量图像有效信息与噪声之间的比率，可反映图像的失真情况，PSNR提升的数值越大，则表示图像越优质。 由表2 中数值可以得出，预处理后的8 幅图像的PSNR值相较于未处理的图像有明显提升。 分析原因是:经过ACE 处理后提取出来的边缘图片已经进行了降噪及优化，在保证原图至少95%完整性的前提下，线性融合后降低了图像的噪声，并丰富了边缘纹理信息，得到了质量更好的图像。

表2 预处理前后的图像的PSNRTab． 2 PSNR of images before and after preprocessing

2 特征点提取与匹配

2．1 AKAZE 特征提取

构造非线性尺度空间时，AKAZE 非线性尺度空间的构造近似于SIFT 算法［14］。

将尺度空间（高斯金字塔）分为O组，S层。 尺度参数σi的获取方式为:

其中，i∈ [ 0，N -1] ，这里的N表示尺度空间下的图像总数；σi是原图所在尺度空间的尺度参数；o∈[ 0，O -1] ，s∈ [ 0，S -1] 。 为了使用扩散方程，需要把离散的尺度因子转换为时间单位。 通过式（13） 将尺度参数σi转化为进化时间ti，即:

由于非线性偏分方程的求解过程复杂且耗时长，引入了FED 算法［15］来加速求解非线性偏分方程，通过式（14），可得到图像的非线性尺度空间:

其中，I表示单位矩阵；τ表示时间步长；A(Li) 表示维度i上的传导矩阵。

首先，因为将图像分成O组，则需要对不同尺度的算子进行归一化，使用归一化比例因子:

其次，计算非线性尺度空间下图像像素点对应的Hessian 矩阵［16］，计算方法为:

最后，寻找Hessian 矩阵中局部范围内的极值点作为图像特征点。 极值点是通过与邻域以及上下两层邻域共26 个像素进行比较的。

2．2 ORB 特征提取

（1）FAST 描述子。 选取像素p， 假设其亮度为Ip；设置一个阈值T（比如Ip的20%）；以像素p为中心，选取半径为3 的圆上的16 个像素点；假如选取的圆上，有连续的N个点的亮度大于Ip ＋T或小于Ip-T，那么像素p可以被认为是特征点；重复以上步骤，对每一个像素执行相同操作。

（2）灰度质心法计算特征点的方向。 定义该区域图像的矩为:

其中，p，q取0 或者1；I（x，y） 表示在像素坐标（x，y） 处图像的灰度值；mpq表示图像的矩。

在半径为R的圆形图像区域，沿x，y坐标轴方向的图像矩分别为:

圆形区域内所有像素的灰度值总和为:

图像的质心为:

此后，关键点的“主方向”可以表示从圆形图像形心O指向质心C的方向向量，关键点的旋转角度记为:

2．3 暴力匹配

最简单的匹配方法是暴力匹配。 测量在匹配图像与待匹配图像中提取的所有特征点的描述子的距离，并进行排序，取最近的一对点作为匹配点。 描述子的距离能够衡量2 个特征点间的相似程度。

2．4 RANSAC 算法

RANSAC 算法是迭代方法，利用观测到的数据点估计数学模型，也常理解为一种采样的方式。 研究可知，数据点分为2 种。 一种是“内点（inlier）”，指样本中正确的样本点，也称作正确样本；另一种是“外点（outlier）”，指样本中的噪声点，对模型的估计没有利用价值。

每个点是真正内点的概率（Ratio） 表示为:

3 实验与分析

本实验平台为:Kdevelop，运行环境为:Lenovo Legion R7000 2020 ／ 2.90 GHz CPU，16 G 内存，Ubuntu（18.04）。

为验证本文算法的准确性与时效性，本文从TUM 数据集选取2 组图像进行验证分析。 图8 ～图11 为基于AKAZE 提取特征点进行暴力匹配及RANSAC 误匹配筛选后的图像。 图12 ～图15 为基于ORB 提取特征点进行暴力匹配及RANSAC 误匹配筛选后的图像。

图9 原始图像第2 组Fig． 9 The second group of original images

图10 完成预处理图像第1 组Fig． 10 The first group of images after preprocessing

图11 完成预处理图像第2 组Fig． 11 The second group of images after preprocessing

图12 原始图像第1 组Fig． 12 The first group of original images

图15 完成预处理图像第2 组Fig． 15 The second group of images after preprocessing

图13 原始图像第2 组Fig． 13 The second group of original images

图14 完成预处理图像第1 组Fig． 14 The first group of images after preprocessing

基于AKAZE 与ORB 提取特征点进行暴力匹配及RANSAC 误匹配筛选后的图像匹配数量以及精确度见表3、表4。

表3 基于AKAZE 特征点提取匹配Tab． 3 Extraction and matching of feature points based on AKAZE

表4 基于ORB 特征点提取匹配Tab． 4 Extraction and matching of feature points based on ORB

由表3 及表4 可知，经过预处理后的图像在基于AKAZE 以及ORB 提取特征点后进行匹配，其匹配精确度有明显的提高。 分析原因是预处理后的图像噪声降低，纹理丰富，图像质量更高，所以提取出的特征点质量更好，匹配精确度更高。

4 结束语

本文针对室内场景纹理稀缺且噪声大的图像匹配精确度低的问题，提出一种新的预处理图像匹配研究算法。 使用改进ACE Fast 算法对原始图像进行处理，调整图像的色彩、对比度、亮度以及清晰度得到增强图像，然后提取增强图像的边缘图像，与原始图像进行线性融合，降低图像的噪声，最后利用AKAZE 与ORB 算法提取特征点，暴力匹配进行特征点匹配，RANSAC 进行误匹配筛选。 实验结果证明，预处理后的图像在噪声及纹理性方面有明显提升，并且在AKAZE 算法与ORB 算法提取特征点进行匹配与误匹配筛选后，其匹配精确度均有明显的提升。