基于PSO-SURF算法的井下图像拼接

桂方燚　田立勤　杜雨荃

关键词：煤矿图像；SURF；粒子群算法；特征点匹配

中图分类号：TP273 文献标识码：A

文章编号：1009-3044（2023）12-0004-05

0 引言

随着煤矿的开采，煤矿面临着越来越严峻的安全形势。因为开采设备的老化以及人为操作上的失误，可能会造成重大生产责任事故。为了避免这种人为导致的事故，各大煤矿采用了视频监控系统，而由于煤矿下面临着光照以及地形的影响，导致监控设备采集的图像不具有大视野，为获得大视野的图像便于安全监督人员的异常监控，有必要对井下图像的拼接进行研究。

目前在图像拼接领域内使用较为普遍的是采用特征提取的方式，基于特征的拼接方法是通过提取两幅图像重叠区域的特征点再对图像进行融合处理，这类算法具有高稳定性。其中以快速鲁棒特征（Speeded Up Robust Feature，SURF） 算法作为代表，其作为尺度不变特征变换（Scale Invariant Feature Trans?form，SIFT） 算法的改进型，具有较低的时间复杂度和鲁棒性，在图像拼接方面，发挥了很大的作用。Wang?yan等人将遗传算法和SIFT结合运用在无人机航拍图像的实时拼接，提高了实时性和稳健性[1]。杨璇璇运用随机采样一致性算法和ORB算法实现对特征点的提取和匹配，提高了拼接的效率[2]。林晓帆等人采用SURF匹配算法对遥感图像提取得到特征点，利用最小二乘法和Forstner剔除误差大的点，实现了多源遥感影像的高精度配准[3]。谭光兴针对传统SIFT算法的描述子维度高、匹配时间长等问题，提出将SIFT的方形特征点邻域改为十字形分区来简化特征点描述子，减少了图像匹配时间[4-6]。

针对传统的SURF算法匹配效率低以及匹配精准度不高等问题，本文提出了基于粒子群算法的SURF算法。由于粒子群算法作为一种群智能优化算法对并行问题的寻优效果具有加速效果，而传统的SURF算法在特征点匹配阶段采用的是KNN算法对特征点进行匹配，缺点是效率不高并且误匹配的点数量多。故本文采用的是基于PSO-SURF算法对图像进行拼配研究。

1 算法设计

本文算法针对目前井下环境复杂、光照不强，单个摄像头摆放角度影响最终成像的效果，为了将有限的摄像头的拍摄图像拼接成清晰的大视野图像[7-8]，便于工作人员对井下人员、装置的实时情况进行监控。本文首先基于频率域的方法对井下图片进行预处理，再通过SURF提取图像特征点，最后通过粒子群算法的并行性特点对特征点进行匹配，求出两幅图像之间的变换矩阵，采用基于距离加权的方法完成对图像的融合拼接。

2 井下图像的预处理

由于井下环境的特殊性和成像质量，进光量少，一方面会导致图像遭受较大的噪声污染，同时具有较低的对比度，影响安全人员的判断处理。另一方面也影响后续的特征点提取，所以本文首先采用基于频率域的图像增强对井下图像进行预处理[9-10]。首先将图像视为二维信号，对其进行基于二维傅里叶变换，采用高通滤波增强边缘等高频信号，使得模糊的图片变得清晰。如图1所示是原图像和经过预处理之后的图像的对比。

3 算法原理

SURF算法是一种稳健的局部特征点检测和描述算法。SURF算法对于亮度变化的情况鲁棒性好，适用于矿井下亮度不夠的情况。SURF算法的基本流程可以分为以下四部分：提取相邻图像的局部特征点、描述特征点、对特征点进行匹配、图像的融合操作。采用改进后的局部加速稳健算法的图像拼接流程图如图2所示。

3.1 构建Hessian矩阵

Hessian矩阵是一个多变量函数的二阶偏导数构成的方阵，描述函数的局部变化率。在图像处理领域为了生成图像稳定的边缘点，可以采用构建Hessian矩阵。对于图像中的某一点（x，y ），尺度为σ 的Hes?sian矩阵表示为：

积分灰度图像如图3所示，在计算图中的阴影区域元灰度和时，无须考虑窗口的大小，只需要进行三次加减运算即可求得阴影区域灰度和。公式表示为：

3.2 构造尺度空间

SURF算法构造尺度空间不同于传统的SIFT算法利用金字塔模型对原始图像进行降采样以构建金字塔，这种方法导致金字塔层数越多导致计算量增加[11]。而SURF算法是通过盒子滤波器，通过逐步放大滤波模板尺寸，以及放大后的模板不断与图像进行滤波得到下层的图像。同时由于积分图像离散化的原因，两个层之间的最小尺度变化量是由高斯二阶微分滤波器在三个方向上的响应尺度决定的，一般响应长度是盒子滤波器尺寸的1/3，保证每层的中心像素存在即可。

3.3 定位特征点以及分配主方向

将经过Hessian矩阵处理的每个像素点与图像域和尺度空间中的所有相邻点进行比较，当其大于或者小于所有相邻点时，该点就作为极值点。同时在特征点的圆形邻域内，统计60度扇形内所有点的水平和垂直Haar小波特征总和，然后扇形以60°大小的间隔进行旋转并统计Haar小波特征值之后，最后将值最大的扇形的方向作为该特征点的主方向。特征点主方向示意图如图4所示。

3.5 特征点匹配以及改进

特征点匹配首先通过提取图片中的关键点，一般是极值点也就是图像灰度值变化明显的地方。通过对关键点进行描述，找到对应图像中的相似点使得不同特征点的差异尽可能小，计算不同特征描述向量之间距离的远近来判断特征点之间是否相似。若相似点之间满足距离最小原则，则认为这两个点是匹配点。同时SURF算法还加入了Hessian矩阵迹的判断，如果两个特征点的矩阵迹正负号相同，代表两个特征具有相同方向上的对比度变化，如果不同，说明两个特征点对比度变化方向是相反的，即两者的欧式距离为0，直接排除。

3.6 SURF 特征点匹配

SURF 算法采用基于欧式距离的最近邻匹配方法。通过寻找待匹配图像具有相似性的特征点，然后建立两者之间映射关系，即可对图像进行匹配。根据特征点的匹配原则，要找到原图像对应的特征点，需要计算与待匹配图像中所有特征点的欧式距离[13]，将其中的最小值提取出来。虽然SURF算法提取到的特征点描述子只有64维，是传统SIFT算法128维的一半。但是依然具有优化的空间。假设P_i表示待匹配图像的特征点向量，K_j表示参考图像的特征点向量，则对于距离公式可以表示为：

3.7 粒子群算法进行优化

粒子群算法通过群体中个体之间的协作和信息共享来寻找最优解。通过设计出一群模拟鸟群的粒子，在这里本文将已知图像的点作为固定点，待匹配图像上的相似点作为鸟群的食物。SURF算法就是需要在待匹配图像中找到最佳的匹配点，所以可以依赖粒子群算法对点的最优位置进行寻优。粒子群算法的优化过程如下：

1） 初始化粒子。随机初始化60个粒子，赋予每个粒子初始位置和速度。

2） 根据初始化粒子的位置和原图像中的固定点之间的欧式距离作为粒子的适应度函数，计算每个粒子的适应度。

3） 对每个粒子，将当前位置的值和历史最优位置的适应度进行比较，若更小，则更新粒子的历史最优位置。

4） 对每个粒子，将当前位置的值和全局最优位置的适应度进行比较，若更小，则更新粒子的全局最优位置。

5） 根据粒子更新公式对每个粒子进行速度和位置的更新。公式如下所示：

6） 对于粒子的速度更新公式为：

9） 式中v_i 表示粒子i的速度矢量，w 表示惯性权重，c₁和c₂ 表示搜索半径，r₁和r₂表示随机参数，目的是增强搜索的随机性。

10） 由于考虑到时间复杂度的原因，本文将最大循环次数设置为100。

11） 将适应值最小的粒子保留它的位置。则与最终粒子的欧式距离最小的则为匹配的特征点的位置。

3.8 图像融合

图像融合的目的是通过对原来图像中的冗余信息和互补信息进行融合，强化图像中的信息，以便于后续的处理和分析。本文图像融合采用基于距离加权融合的方法，当两幅待匹配的图像进行融合函数时，为了得到没有明显重影的图像，我们需要对缝合线周围的图像进行处理。设两幅图像的像素点域分别为F₁、F₂，则融合之后的图像P的像素点坐标为：

式中，w = f/（d + f ），d 为左侧图像到图像重合区域中间点的距离，f 为右侧图像到图像重合区域中间点的距离。

4 实验结果及分析

实验平台为Inter core i5 11400 CPU，2.5 GHz，32G内存，64位Win10操作系统，Matlab R2021a软件，对本文提出的改进算法进行检验。

4.1 特征点匹配性能测试

实验测试的图片来自林西矿，图6是井下巷道a示意图片，图7是开采掘进工作面b图片，图8是井下巷道c图片。本文通过改进后的SURF算法和传统的SURF、SIFT 以及ORB（Oriented FAST and RotatedBRIEF） 算法進行对比实验。这四种算法通过匹配率=（匹配总数-误匹配数）/匹配总数×100%来进行衡量匹配性能。测试图片a根据传统的SURF算法得到的匹配特征点数是1 658个，根据传统的SIFT算法得到的匹配点总数为1 345个，根据ORB算法得到匹配点1 712，而根据基于PSO-SURF得到的匹配总数是984个，同时匹配的特征点的平均正确率从78.69%上升到87.50%。测试图片b根据传统的SURF算法得到的匹配点数是3 522个，根据传统的SIFT算法得到的匹配点总数为3 365个，根据ORB算法得到的匹配点为3 312个，而根据基于PSO-SURF得到的匹配总数是1 816个，同时匹配的特征点的平均正确率从75.31%上升到85.24%。测试图片c根据传统的SURF算法得到的匹配点数是715个，根据传统的SIFT算法得到的匹配点总数是896个，根据ORB算法得到的匹配点数为1015，而根据基于PSO-SURF 得到的匹配总数是549个，同时匹配的特征点的平均正确率从72.21%上升到84.15%。同时经过优化后的RANSAC算法去除误匹配数得到精确匹配结果，使得匹配用时和正确率得到显著提高。

4.2 对比实验

本文通过从唐山开滦林西矿业有限公司下的林西煤矿井下选取两种应用场景，分别是两个巷道和一个回采掘进工作面的相邻近图片，分别从两者的匹配点、匹配总数、误匹配点以及匹配时间和匹配准确率将本文算法和传统的SURF、SIFT、ORB 算法进行对比。实验结果见表1。图9是四种算法特征点匹配在三幅测试图像上的对比图。

从对比实验结果来看，本文算法对比传统算法具有更高的正确率和更短的时间，表明了改进后算法在煤矿井下具有较好的稳定性，有效地提高了特征点匹配的效率。本文算法得到的融合后的图像，如图10所示，可以看出经过融合后的拼接图像不存在传统方法存在的黑线和重影等问题，图像融合效果有了一定的提高。

5 结论

1） 针对矿井下面光线不佳、矿道弯曲角度各有不同。导致摄像头成像不同，为了克服这些特点，首先对图像进行预处理，使得图像清晰度提高。

2） 其次为了解决传统算法效率以及准确率不高，本文提出基于PSO-SURF算法进行改进，使得图像之间的匹配时间复杂度降低，同时使得图像融合后的效果更好，减少了局部错位以及出现明显的扭曲等现象。

3） 实验结果表明，基于粒子群的加速鲁棒特征算法可以在煤矿井下实现图像的精准匹配