改进的ORB-FLANN 煤矸石图像高效匹配方法

马宏伟 ，周文剑 ，王 鹏 ，张 烨 ，赵英杰 ，王赛赛 ，李 烺

（1.西安科技大学 机械工程学院, 陕西 西安 710054；2.陕西省矿山机电装备智能检测与控制重点实验室, 陕西 西安 710054）

0 引 言

近年来，煤矸石分拣机器人的研究主要集中在煤矸识别[1-3]、机器人轨迹规划[4-6]、多机器人智能协同[7-9]等方面。煤矸识别是实现机器人智能分拣煤矸石的前提，为机器人轨迹规划和协同控制提供煤矸石位姿信息[10-11]。通常在煤矸石分拣机器人识别区域和分拣区域中间设置缓冲区，为煤矸识别模块处理数据提供缓冲时间。然而，由于带式输送机输送带存在打滑、跑偏以及带速波动等现象，造成目标煤矸石位姿发生改变，现有的方法无法实现煤矸石精确定位，进而导致机器人对目标煤矸石抓取失败，甚至空抓、漏抓。因此，机器人在分拣区域执行分拣动作前，通过视觉方法对通过煤矸识别得到的识别图像与分拣时采集获取的分拣图像进行匹配，从而实现对目标煤矸石精准定位，提高机器人分拣精度和分拣效率。

随着煤矿智能化发展，视觉技术凭借着精度高、速度快等优势被广泛应用于煤矿智能化场景，如通过人工智能(Artificial Intelligence,AI)识别完成煤矿生产管控[12-13]、通过视频分析实现矿井生产场景智能监控[14-15]，利用图像识别完成输送带异物检测分类[16-17]等。由此可见，视觉技术已成为解决煤矿井下复杂问题的关键技术。但视觉技术的图像匹配方法主要应用在监控图像匹配拼接[18-20]、无人机图像匹配[21-23]、人脸匹配识别[24-26]等方面。张朝伟等[27]提出基于尺度不变特征(Scale invariant Featu-re Transform,SIFT)匹配的监控图像自动拼接，提高了图像匹配的精度，但SIFT 特征维数高，导致匹配时间长。针对SIFT 特征存在的问题，LI 等[28]提出的改 进 加 速 鲁 棒 特 征(Speeded Up Robust Fe-atures,SURF)算法无人机图像匹配方法，提高了无人机图像匹配速度，但仍不能满足实时性要求。姜煜杰[29]提出的改进局部二值模式特征(Local Binary Pattern,LBP)算法人脸识别，提高了人脸匹配识别的准确性，但LBP 特征采用固定尺度描述图像纹理特征，难以满足不同尺度匹配要求。钟鹏程等[30]提出的 基 于 改 进 ORB (Oriented FAST and Rotated BRIEF)工件图像识别方法，提高了工业机器人对工件识别效率和准确性。ZHANG 等[31]提出基于改进ORB 算法图像特征点匹配，提高了图像匹配的精度。ORB 特 征[32-33]是 采 用OFAST (Oriented Features from Accelerated Segment Test)算法[34]特征点提取，再 通 过BRIEF(Binary Robust Independent Elementary Features)描述符[35-36]进行描述，最后与快速最近邻 搜 索 包(Fast Library for Approximate Ne-arest Neighbors,FLANN)特征匹配方法[37-38]相结合进行图像匹配。由于BRIEF 描述符计算复杂度高、检测速度慢、重复率低，且FLANN 匹配方法是通过设定特征点欧式距离阈值来筛选匹配特征点，从而导致图像匹配精确率低。

综上所述，针对煤矸石图像匹配的匹配率低、匹配时间长等问题，提出了改进的ORB-FLANN 煤矸石图像高效匹配方法，实现煤矸石识别图像与分拣图像精准高效匹配。

1 煤矸石高效匹配方法

从机器人的煤矸识别模块得到目标煤矸石识别图像，目标煤矸石到达分拣区域后，采集获取煤矸石分拣图像，煤矸石高效匹配方法原理如图1 所示，通过ORB 算法提取图像的特征点，利用更高效的BEBLID (Boosted Efficient Binary Local Im-age Descriptor)描述符[39]对特征点进行描述，融合渐进一 致 采 样 法 (Progressive Sampling Consensus,PROSAC)[40]的改进FLANN 匹配方法对错误匹配点对进行剔除，获得最佳匹配点对，采用最小矩形框进行框定得到目标煤矸石精确位置。试验结果表明，文中方法能实现对煤矸石识别图像与分拣图像高效匹配。

图1 煤矸石高效匹配方法原理Fig.1 Principle of efficient matching method for coal gangue

2 改进ORB 特征检测方法

ORB 方法主要作用是对图像特征点进行检测与描述，特征点由OFAST 算法进行选取，煤矸石特征点的选取如图2 所示。以像素点p为中心的圆周上均匀地取16 个像素点，如果其中连续n个像素点与中心点p的像素值之差都大于设定阈值，则该像素点p为特征点。

图2 煤矸石特征点选取Fig.2 Coal gangue feature point selection

为提高特征点抗干扰性与区分度，需使用特征描述符对特征点的邻域信息进行描述。ORB 方法采用BRIEF 描述符进行描述，该描述符采用高斯分布选取并比较特征点对的灰度值差异，具有随机性、不能保证点对的质量，削弱了描述符的表达能力，导致计算量大，检测速度和重复率降低。针对上述问题，通过比较特征点领域内一系列像素点对所在方框区域的平均灰度值差异来构建BEBLID 描述符，该描述符不仅只包含特征点的灰度和位置信息，还包含了特征点领域其他像素点的灰度和位置信息，可并行计算每个特征点的描述符，计算复杂度低、效率高且重复率高。

BEBLID 描述符构建原理如图3 所示，选取N对以特征点为中心，边长为s的方形区域作为采样对，初始化每个特征学习器的阈值T，T由训练集给定，通过特征提取函数f(x)计算出采样对区域的平均灰度值差。

图3 煤矸石描述符构建原理Fig.3 Construction principle of descriptor for coal gangue

式中，f(x)为特征提取函数；I(q)为像素点q灰度值；I(r)为像素点r的灰度值；R(p,s)为中心位于像素点p的矩形边框，边长为s；图3 中红色方框和蓝色方框分别为R(p1,s)和R(p2,s)。

使用自适应增强(adaptive boost,AdaBoost)算法[41]不断迭代p1、p2、s，并训练特征学习器，训练损失函数L为

其中，γ为所有特征学习器的统一权重，取0.005 5；li∈{-1.1}；hk(x)为第k个特征学习器，hk(x)可表示为

训练过程中将损失降到最低，不断优化式(2),得到损失函数最小的K个特征学习器并组合得到h(x)。将-1 转化为0，+1 转化为1，得到向量D(x)即为BEBLID 描述符。其中，依据文献[33]的试验测试结果，在构建煤矸石BEBLID 描述符时设定N=1 024和K=512。

在试验的特征点检测阶段，随机选取100 张煤矸石识别图像和100 张煤矸石分拣图像，利用传统ORB 方法和改进ORB 特征检测方法进行特征点检测试验，记录图像特征点重复率[42]和检测时间，求取平均值进行对比，验证改进ORB 特征检测方法的优劣性。图4a 和图4b 分别是传统ORB 方法与改进ORB 方法检测煤矸石识别图像的特征点结果，图4c 和图4d 分别是传统ORB 方法与改进ORB 方法检测煤矸石分拣图像的特征点结果。

图4 煤矸石特征检测结果Fig.4 Characteristic test results of coal gangue

从图4 可以看出，改进ORB 方法较传统ORB方法检测的特征点数量更多、密度更高，且重复率为82.5%，较传统ORB 方法重复率提高了16.7%。在检测时间上，改进ORB 方法平均检测时间为53 ms，传统ORB 方法为105 ms。综合证明，改进ORB 特征检测方法不仅提高了特征点的重复率，也极大缩短了特征检测时间。

3 改进FLANN 特征匹配方法

煤矸石识别图像与分拣图像特征点检测完成后，需通过特征匹配方法对2 幅图像的特征点进行匹配得到目标煤矸石位置。在FLANN 特征匹配方法的基础上，融合PROSAC 算法改进FLANN 特征匹配方法，进一步剔除错误匹配点对，提高复杂工况条件下图像匹配的匹配精度。

FLANN 特征匹配算法是根据KD-TREE 操作实现[43]，特征点所处的特征空间为n维实数向量空间Rn，通过计算目标煤矸石识别图像的特征点p和分拣图像的各个特征点的欧式距离，来寻找特征点p对应的特征点，计算如式(4)所示。

式中，D为两特征点的欧式距离；(x,y)为特征点的像素坐标；Xi,Yi为在第i空间的像素坐标的值。通过KD-TREE 结构存储所有的欧式距离D，得到特征点p的匹配点对集，对匹配点对集由上而下递归搜索，得到最小D对应的特征点q，得到匹配点对(p,q)，对每个特征点进行如上操作，即可得到煤矸石识别图像与分拣图像的匹配点对。

将PROSAC 算法与FLANN 特征匹配方法融合，对匹配点对的相似度进行排序，构建匹配点对相似度模型，取相似度最高的匹配点对作为假设集，进行采样计算出基础矩阵，剔除误差较大的匹配点对，得到最佳模型参数即最佳匹配点对，采用最小矩形框进行框定得到目标煤矸石位置。

在试验的特征匹配阶段，随机选取100 张煤矸石识别图像与100 张煤矸石分拣图像，利用FLANN匹配方法和改进FLANN 匹配方法进行特征匹配试验，记录图像匹配的精确率[44]和匹配时间，求取平均值进行对比，以验证改进FLANN 匹配方法的优劣性。图5a 和图5b 分别是煤矸石识别图像与分拣图像，图5c 和图5d 分别是FLANN 匹配特征点对结果图与改进FLANN 匹配特征点对结果图。图5e 和图5f 分别是FLANN 匹配结果图与改进FLANN 匹配结果。

图5 煤矸石特征匹配结果Fig.5 Matching results of coal gangue characteristics

由图5c 和图5d 可以看出，改进的FLANN 匹配方法剔除了错误的匹配点对，由图5e 和图5f 可以看出，改进FLANN 匹配方法能更精准地找到目标位置。试验结果表明，改进FLANN 匹配方法的精确率为90.2%，平均匹配时间为145 ms，FLANN 匹配方法的精确率为79.8%，平均匹配时间为138 ms，改进FLANN 匹配方法能够提高匹配的准确性并保证匹配速度。

4 试验结果与分析

4.1 试验环境

双机械臂桁架式煤矸石分拣机器人试验平台如图6 所示，按照工作内容，可以将试验平台分为煤矸石识别区域和分拣区域，在试验平台的煤矸石分拣区域进行试验。试验硬件环境为处理器i7-9700K、4G 内存、NVIDIA GeForce RTX 2080 GPU 的PC 机和MV-HS050GC 维氏相机。

4.2 煤矸石识别图像样本选取

使用MV-HS050GC 维氏相机采集煤和煤矸石图片4 500 张(煤和煤矸石各2 250 张)，并截取样本图像中最具代表性的区域，并对图像采用平移、旋转、缩放等操作进行扩充至45 000 张，将其制成煤矸石识别样本库。随机从煤矸识别系统的煤矸石识别样本库中选取500 张煤矸石识别图像，作为匹配试验的目标煤矸石识别图像样本，部分目标煤矸石识别图像样本如图7 所示。

图7 部分煤矸石识别图像Fig.7 Part of coal gangue identification images

4.3 不同方法匹配试验对比

为验证提出方法的高效性，匹配结果受到带式输送机输送带带速、尺度、旋转角度等因素综合影响，在不同带速、尺度、旋转角度的匹配试验条件下进行文中方法与SURF 特征匹配方法[28]、HU 不变矩匹配方法[6]、SIFT 特征匹配方法[27]和ORB 特征匹配方法[31]对煤矸石识别图像与分拣图像匹配试验。试验以匹配率和匹配时间作为评价指标，其中，匹配率是目标匹配重叠率OP大于给定阈值的图像数占总图像数的百分比，目标匹配重叠率OP计算公式如下：

式中，R1为目标匹配成功框；R0为人工标注的目标真实框；area 为区域面积；∩为二者重叠区域；∪为二者覆盖总区域；文中给定阈值为0.5。

1）试验1：不同带速试验条件下的匹配试验。在煤矸石分拣机器人分拣区域进行试验，相机与机械臂采用eye in hand 方式安装，由于煤矸石图像获取的质量会受光照条件的影响，相机视区光照不均匀导致煤矸石图像特征获取不全面，文献[45]和[46]对不均匀光照下的煤矸石高质量图像的获取与优化，能进一步提高煤矸石图像匹配的准确性。为了保证煤矸石图像特征的全面性，设置光照均匀。在人工拣矸环节中，带速为0.5～0.8 m/s，现有的煤矸分拣机器人分拣煤矸石的输送带带速大小与机器人的机械臂运动性能参数有关，通过现场试验，机器人最高分拣带速为1.1 m/s，设定试验条件为带式输送机输送带带速为0.5 m/s、尺度为0 和旋转角度为0°。将煤矸石识别图像样本1 与其他非样本的煤矸石混合放置在带式输送机上，使用相机采集样本1 煤矸石分拣图像。依次对500 张煤矸石识别图像样本的分拣图像进行采集，得到带速为0.5 m/s 试验条件下的煤矸石分拣图像样本。仅改变带速，保持其他试验条件不变，分别在带速为0.6、0.7、0.8、0.9、1.0 和1.1 m/s 试验条件下，获取不同带速煤矸石分拣图像样本。

分别采用文中方法与SURF 特征匹配方法、HU不变矩匹配方法、SIFT 特征匹配方法和ORB 特征匹配方法对煤矸石识别图像样本与对应的煤矸石分拣图像样本进行匹配，记录不同方法的匹配率和匹配时间，其中，匹配时间求取平均值作为结果，匹配试验数据结果见表1。

表1 不同带速下的匹配试验数据结果Table 1 Results of matching experimental data at different band speeds

由表1 可知，带速增大时，5 种方法的匹配率和匹配时间开始下降，除文中方法外，其他4 种方法的匹配率大幅下降，但文中方法的匹配率仍保持在97%以上且匹配时间保持在145 ms 以下，平均匹配率为98.1%，平均匹配时间为124 ms，文中方法的匹配率比其他4 种方法更高，且匹配时间更短。

2）试验2：不同尺度试验条件下的匹配试验。在煤矸石分拣机器人分拣区域进行试验，相机与机械臂采用eye in hand 方式安装，设置光照均匀，设定试验条件为尺度为0、带式输送机输送带带速为0.5 m/s 和旋转角度为0°。将煤矸石识别图像样本1与其他非样本的煤矸石混合放置在带式输送机上，使用相机采集样本1 煤矸石分拣图像。依次对500张煤矸石识别图像样本的分拣图像进行采集，得到尺度为0 试验条件下的煤矸石分拣图像样本。仅改变尺度，保持其他试验条件不变，分别在尺度为σ、2σ、3σ和4σ试验条件下，获取不同尺度煤矸石分拣图像样本。

分别采用文中方法与SURF 特征匹配方法、HU不变矩匹配方法、SIFT 特征匹配方法和ORB 特征匹配方法对煤矸石识别图像样本与对应的煤矸石分拣图像样本进行匹配，记录不同方法的匹配率和匹配时间，其中匹配时间求取平均值作为结果，匹配试验数据结果见表2。

表2 不同尺度下的匹配试验数据结果Table 2 Results of matching experimental data at different scales

由表2 可知，尺度增大时，5 种方法的匹配率逐渐下降，匹配时间逐渐增加，除文中方法外，其他4种方法的匹配率大幅下降，但文中方法的匹配率仍保持在98%以上且匹配时间保持在173 ms 以下，平均匹配率为98.3%，平均匹配时间为157 ms，文中方法的匹配率比其他4 种方法更高，且匹配时间更短。

3）试验3：不同旋转角度试验条件下的匹配试验。在煤矸石分拣机器人分拣区域进行试验，相机与机械臂采用eye in hand 方式安装，设置光照均匀，设定试验条件为旋转角度为0°、尺度为0 和带式输送机输送带带速为0.5 m/s。将煤矸石识别图像样本1 与其他非样本的煤矸石混合放置在带式输送机上，使用相机采集样本1 煤矸石分拣图像。依次对500 张煤矸石识别图像样本的分拣图像进行采集，得到旋转角度为0°试验条件下的煤矸石分拣图像样本。仅改变旋转角度，保持其他试验条件不变，分别在旋转角度为-90°、-45°、45°和90°试验条件下，获取不同旋转角度煤矸石分拣图像样本，其中旋转角度以顺时针旋转方向为正。

分别采用文中方法与SURF 特征匹配方法、HU不变矩匹配方法、SIFT 特征匹配方法和ORB 特征匹配方法对煤矸石识别图像样本与对应的煤矸石分拣图像样本进行匹配，记录不同方法的匹配率和匹配时间，其中匹配时间求取平均值作为结果，匹配试验数据结果见表3。

表3 不同旋转角度下的匹配试验数据结果Table 3 Results of matching experimental data at different rotation angles

由表3 可知，旋转角度在-90°～90°，5 种方法的匹配率先升高后降低，其中在旋转角度为0°时匹配率最高；5 种方法的匹配时间先降低后升高，其中在旋转角度为0°时匹配时间最短。文中方法的匹配率仍保持在98.3%以上且匹配时间保持在158 ms以下，平均匹配率为98.4%，平均匹配时间为149 ms，文中方法的匹配率比其他4 种方法更高，且匹配时间更短。

综上所述，文中方法在带速0.5～0.9 m/s 可保证98%以上的匹配率，在带速1～1.1 m/s 时匹配率下降，对分拣率有一定影响。在不同条件下，文中方法对煤矸石识别图像和分拣图像匹配的平均匹配率为98.2%，平均匹配时间为141 ms，具有较高的匹配率和实时性。

5 结 论

1)针对传统ORB 特征检测方法中的BRIEF 描述符检测速度慢、重复率低问题，采用BEBLID 描述符对ORB 特征检测方法进行改进，较传统ORB 方法重复率提高了16.7%，实现了对煤矸石图像特征点快速检测，提高了图像特征检测的重复率。

2)融合PROSAC 算法改进了FLANN 匹配方法，解决了传统FLANN 匹配方法精确率低问题，较传统FLANN 方法精确率提高了10.4%，实现了对煤矸石的识别图像与分拣图像高效匹配，提高了图像匹配的精确率。

3)在不同带速、尺度、旋转角度条件下，五种匹配方法进行匹配试验对比，结果表明：在不同条件下，文中方法的匹配率为98.2%，匹配时间为141 ms，实现了煤矸石识别图像与分拣图像的高效匹配。