基于3D视觉的炮孔智能识别方法研究

摘要：针对露天矿山炮孔识别技术进行了深入研究，提出并比较了2种炮孔智能识别方法：基于三维点云的炮孔识别方法和基于目标检测的炮孔识别方法。通过选用不同视觉感知设备，在多个露天矿山环境下进行了试验验证和性能分析。研究发现，2种方法均能有效识别炮孔，具体来说，基于三维点云的炮孔识别方法识别精确率为90%，基于目标检测的炮孔识别方法识别精确率为97.91%。通过对2种方法的硬件设备、数据处理流程和应用潜力进行详细比较，结果表明，结合人工智能技术，炮孔识别技术在智能化炸药现场混装车等采矿装备中具有广阔的应用前景，对推动采矿技术进步，实现无人、高效、安全的矿山开采模式具有重要理论与实际意义。

关键词：露天矿山；炮孔识别；3D视觉；YOLOv8;无人装药；深度学习；目标检测

中图分类号：TD679文章编号：1001-1277（2025）01-0006-05

文献标志码：A doi：10.11792/hj20250102

引言

在当前国民经济体系中，矿业作为中国基础产业之一，扮演着至关重要的角色。在矿石开采过程中，爆破工序的效率与安全性直接影响铲装、运输、破磨等后续工序。回顾炸药与爆破技术发展历史，现场混装乳化炸药技术的发展和推广应用，推动了国际工业炸药与爆破技术的整体进步。经过30余年的发展，工业炸药现场混装车技术已经日臻完善，并形成了多样化的系列产品，包括乳化炸药、铵油炸药、重铵油炸药等类型的混装车。这些设备相较于传统人工装填包装炸药方式，展现出显著的安全性、高效性、经济性和环保性，能够有效满足矿山开采和水利水电等工程领域的需求。近年来，井下使用的乳化炸药现场混装车已成功研发并投入应用，这标志着中国在该领域的技术水平再次提升[23。目前，国产工业炸药现场混装车已经具备紧急情况报警停机、安全联锁保护、一键启动装药等先进功能，并能实时监控转速、流量、温度、料位等关键参数，从而提升了混装车的运行可靠性和计量精度，然而，智能寻孔+、炮孔岩性智能识别、炸药与岩性智能匹配、装药密度自适应调整等技术尚待突破。随着云计算、大数据[13—15]、物联网[16—17]、移动互联网、人工智能[18—22]、区块链等新一代信息技术的快速发展，尤其是智能爆破和智能矿山概念的提出，中国现有的炸药现场混装车技术已无法完全适应智能矿山建设的需求[23—25]因此，针对炸药现场混装车的技术升级与创新成为当务之急。

1炮孔智能识别技术发展现状

中国在炮孔智能识别方面的研发起步较晚。近年来，随着智能爆破、智能矿山概念的提出，相关领域的研究成果逐渐增多。金庆雨等研发了智能炮孔检测与路径规划系统，该系统在炮孔检测方面的准确率可达96.24%，路径规划算法的平均计算耗时为100ms，可提高钻爆法施工过程中装药的效率、安全性和智能化水平。刘权等27改进YOLOv7目标检测模型，优化了炮孔识别特征网络，在检测精度、检测速度方面比原模型分别提升了2.96百分点和13帧/s，提高了炮孔识别效率，有利于促进矿产资源爆破开采向少人化、无人化方向发展。岳中文等2开发了MCIW—2轻量化炮孔智能检测模型，在炮孔识别精确率方面达到了96.18%，检测速度达到了59帧/s。该模型与基准YOLO系列目标检测模型文件最小的模型相比，所构建的轻量化炮孔智能检测模型减小了75.86%，模型文件仅为2.80MB，适用于智能装药工程的轻量化部署需求。潘杉等提出了一种轻量化炮孔检测与定位算法Mv3—SCD，与最先进的检测算法相比，该轻量化算法炮孔检测的平均精度、mAP@0.5：0.95、检测速度分别提升了8.99%、7.76%、39.05%，模型参数量下降了3.96%，能够有效提高智能装药机械臂的精准度，且提高网络模型的轻量化程度。这些方法对基于视觉技术的寻孔方法作了初步探索，对智能寻孔的发展有重要意义。

2技术方案

在当前视觉感知研究领域中，单目相机无法直接从捕获的二维图像中提取场景中点或物体的深度信息，因此无法准确定位一个点或一个物体在三维空间中的位置坐标，直接导致机械臂与视觉感知设备无法联动，不具备实用性。鉴于此，本文基于3D视觉技术，实现三维空间坐标信息的有效获取。在深入调研与对比分析基础上，选取了英特尔RealSense D456深度立体相机和梅卡曼德Mech-Eye LSR S中距离工业级激光3D相机作为感知设备，在真实露天矿山环境下比较二者在抖动、强光、扬尘等条件下的炮孔识别能力。英特尔RealSense D456深度立体相机（见图1）采用了主动立体红外（IR）深度感知技术，有效工作距离达到10m。内置的全局快门传感器具备较低的光敏感性，确保了在低光照条件下机器人仍能有效地感知周围环境。此外，该三维传感器配备相对成熟的软件开发工具包（SDK），在开发过程中提高了稳定性和效率。梅卡曼德Mech-Eye LSR S中距离工业级激光3D相机（见图2）具有精度高、速度快、抗环境光、成像质量高等特点，可对各类材质物体生成高质量3D点云数据。其产品线完整，满足远/中/近不同距离下对于大视野、高速度、小体积的需求。

2.1基于三维点云的炮孔识别方法

梅卡曼德Mech-Eye LSR S中距离工业级激光3D相机虽然也提供多语言、多平台的SDK，但文档和例程尚不完善，开发过程中主要依赖其自研的机器视觉软件Mech-Vision。Mech-Vision已集成视觉应用全流程部署功能，内置3D视觉、深度学习等先进算法，通过拖拉各算法单元来构成不同的算法处理流程，可快速落地复杂、多样的实际需求。实际开发中，Mech-Vision可直接使用相机坐标系下的三维数据编程，炮孔识别程序逻辑见图3。

炮孔识别程序主要包括获取图像、点云预处理、提取平面点云、炮孔定位等主要步骤。炮孔识别程序各步骤可视化见图4。

对测试的10个炮孔进行分析，每个炮孔测试了不同位置拍摄时的识别情况，能识别出其中9个炮孔的中心，即识别精确率为90%，输出炮孔中心在相机坐标系下的x、y、z值（单位m）和炮孔所在平面的位姿（使用四元数表示）及程序运行耗时见图5。由图5可知，炮孔距离相机坐标系中心1.37 m，耗时1.46s。

2.2基于目标检测的炮孔识别方法

基于目标检测的炮孔识别方法，使用露天炮孔数据集训练YOLOv8目标检测模型，与基于三维点云的炮孔识别方法不同的是，本方法仅使用二维纹理信息，识别出炮孔后，结合针孔相机模型、相机内参和通过RealSense API得到的炮孔所在平面深度信息，将像素坐标系下的像素坐标转换为图像坐标系下的图像坐标，再转换到相机坐标系中，便于后续通过手眼标定转换到机械臂基坐标系，引导机械臂寻孔。

2.2.1数据采集与数据集制作

数据采自国内不同露天矿山，为保证数据真实性和全面性，分别在不同天气、不同光照、不同爆区采集真实露天炮孔图像，剔除不合格图像后，共计采集1000张图片。

数据标注是深度学习中的关键环节，按不同任务标注好的数据正确输入相应模型中进行模型训练。本文使用LabelImg作为标注工具，数据保存格式为YOLO格式。使用LabelImg之前需要准备好数据集存放位置，在存放目录下，新建JPEGImages、Annotations文件夹和calsses.txt文件。其中，JPEGImages文件夹存放原始图片，Annotations文件夹存放对应标签文件，classes.txt文件存放所有类别，每个类别独占一行。标注时，用矩形框包裹炮孔，见图6。标注完成后，编写Python脚本，将数据集按8：1：1的比例划分训练集、验证集和测试集，用于模型训练、性能评价。

2.2.2试验平台

试验设备为台式机，内存32 GB，CPU为IntelCore i7-13700K，GPU为NVIDIA GeForce RTX 4070 Ti。编程语言为Python，使用PyTorch深度学习框架搭建人工智能模型，采用OpenCV和PIL进行图像处理。

2.2.3评价指标与结果可视化

本文使用准确率（A）、精确率（P）、召回率（R）和F1值作为炮孔检测模型的定量评价指标。4个指标的计算公式如下：

（1）

（2）

（3）

（4）

式中：TP（True Positive）为真正例，即预测为真且实际为正的数量，在本文中指正确预测的炮孔数量；TN（True Negative）为真负例，即预测不是炮孔实际也不是炮孔的数量；FN（False Negative）为假负例，即预测不是炮孔实际是炮孔的数量，为模型漏检的数量；FP（False Positive）为假正例，即预测为真而实际为假的数量，在本文中指模型判断为炮孔而实际不是炮孔的数量，为模型误检的数量；A（Accuracy）为准确率，代表模型预测正确的数量与测试集总样本数量的比例；P（Precision）为精确率，代表模型预测为炮孔的数据中真实炮孔所占的比例；R（Recall）为召回率，代表所有真实炮孔中模型正确预测为炮孔的比例，精确率和召回率出现矛盾时，通常情况下，精确率越高，召回率会越低，所以需要综合考虑这2个指标；F1值为精确率与召回率的调和平均值，F1值越高，模型性能越好。

训练200次后，检查训练日志，第143次时，模型达到最佳性能，模型最佳性能指标见表1。

2.3方案比较

本文使用基于三维点云的炮孔识别方法和基于目标检测的炮孔识别方法检测露天炮孔，二者检测准确率均能满足实际生产需要。硬件方面，英特尔RealSense D456深度立体相机和梅卡曼德Mech-Eye LSR S中距离工业级激光3D相机各有优势，具体为：在抗光照变化方面，英特尔RealSense D456深度立体相机表现更好，不需要调整相机参数即可适应各种光照变化；在编程难度方面，梅卡曼德Mech-Eye LSR S中距离工业级激光3D相机为图像化编程，操作更简单，但封装程度高导致灵活性较低；在价格方面，英特尔RealSense D456深度立体相机更具性价比。

3结语

针对露天矿山炮孔识别问题，系统探讨了基于三维点云和目标检测的2种炮孔识别方法，并对比了不同硬件设备在实践中的应用效果。研究结果表明，这2种技术均能有效提升炮孔识别的准确性和效率，为智能化矿山建设提供了关键的技术支持。

后续研究应着重于算法的进一步优化、识别速度的提升及成本的降低，以推动炮孔识别技术在矿山智能化领域的广泛应用。同时，结合前沿技术，探索炮孔识别技术在智能爆破和智能化矿山建设中的更深层次应用，有望为中国矿业转型升级和可持续发展贡献新力量。本文成果不仅可为炮孔识别技术的理论发展提供有益参考，也可为实际工程应用提供科学依据和技术指导。

[参考文献]

[1]胡乃联，李国清.我国金属矿山智能化现状与问题探讨[J].金属矿山，2024（1）：7-19.

[2]迟洪鹏，龚兵，臧怀壮，等.地下智能炸药混装车的研究与应用[J].矿业研究与开发，2017，37（6）：98-102.

[3]李鑫，查正清，臧怀壮，等.地下矿用乳化炸药混装车的安全设计与现场应用[J].工程爆破，2015，21（6）：47-50.

[4]胡荣华，安冬，史梦圆，等.智能矿用机器人研究现状及发展趋势[J].黄金，2023，44（9）：59-68.

[5]旷华江，刘光辉，李大林，等.基于Cascade Mask Region-Convolu-tional Neural Network-ResNeSt的隧道光面爆破炮孔残痕智能识别方法[J].现代隧道技术，2024，61（5）：99-110.

[6]郭文馨.露天矿山炸药车智能装药的关键技术研究[J].科技资讯，2022，20（3）：46-49.

[7]杨国华.露天矿无人机炮孔孔位智能识别与孔深反演研究[J].煤炭工程，2020，52（增刊2）：38-42.

[8]张万志.岩质隧道炮孔图像识别算法及光面爆破参数优化研究[D].济南：山东大学，2019.

[9]陈应显，周萌.基于智能岩性识别的炮孔装药量计算[J].爆破，2022，39（4）：92-99.

[10]陈应显，王鹏飞.基于智能岩性识别的爆破岩体三维实体模型建立[J].煤田地质与勘探，2022，52（4）：92-97.

[11]朱海成，韩新平，冀常鹏，等.钻孔岩性识别条件下的数字爆破技术研究[J].煤炭科学技术，2018，46（10）：184-189.

[12]王德民.矿业集团生产运营管控系统研发及应用[J].黄金，2023，44（1）：1-7.

[13]宋晓梅，郭振宇，王锐，等.选冶智能推送云服务系统的设计与应用[J].黄金，2022，43（11）：57-61.

[14]李维禄，高思宇，杨锦坤，等.面向多金属结核资源评价的大数据挖掘与融合[J/OL].吉林大学学报（地球科学版），1-11[2024-07-21].https：//doi.org/10.13278/j.cnki.jjuese.20230166.

[15]余传涛，柳春林，薛俊杰，等.废弃矿井煤层气资源地球物理勘探研究进展[J].吉林大学学报（地球科学版），2023，53（6）：

[16]陈连韫，国祯翔，侯杰，等.地下黄金矿山安全风险智能化综合管控系统研究与应用[J].黄金，2023，44（9）：54-58.

[17]于涛，王启健矿山智能供风监测系统在大尹格庄金矿的应用[J].黄金，2021，42（4）：51-55.

[18]管耀，王清辉，冯进，等.基于机器学习的蚀变火成岩测录井综合岩性识别——以南海北部珠江口盆地惠州26-6井区为例[J].吉林大学学报（地球科学版），2024，54（1）：345-358.

[19]尹纪超，王慎利.瞬变电磁法在矿山巷道超前预报系统构建中的应用研究[J].黄金，2024，45（6）：27-30.

[20]吴凌峰，周宗红，孙伟.基于XGBoost模型岩体可爆性研究[J].黄金，2024，45（2）：21-23，32.

[21]王润年，王永辉.5G+无人驾驶智能配矿行车在有色冶炼企业的应用研究[J/OL].黄金，1-5[2024-08-15].http：//kns.cnki.net/kcms/detail/22.1110.TF.20240810.1039.002.html.

[22]吴博，李永胜，王睿，等.基于自训练的多标签岩矿石薄片分类方法[J].黄金，2024，45（2）：61-67.

[23]葛绍强.基于2D-3D视觉的矿山爆破机器人关键技术研究[D].鞍山：辽宁科技大学，2021.

[24]徐亮.基于三维视觉的炸药填装机器人抓取技术研究[D].鞍山：辽宁科技大学，2021.1991-2005.

[25]张也.智能炸药填装机器人炮孔识别与可行区域规划相关技术研究[D].鞍山：辽宁科技大学，2020.

[26]金庆雨，岳中文，任猛，等.智能炮孔检测与路径规划系统设计与应用[J/OL].煤炭科学技术，1-12[2024-08-21].http：//kns.cnki.net/kcms/detail/11.2402.TD.20240809.1320.002.html.

[27]刘权，龚兵，伍高娃.基于改进YOLOv7的地下矿炮孔图像识别方法研究[J].有色金属（矿山部分），2023，75（6）：1-6，25.

[28]岳中文，金庆雨，潘杉，等.基于深度学习的轻量化炮孔智能检测方法[J].煤炭学报，2024，49（5）：2247-2256.

[29]潘杉，于挺，岳中文，等.轻量化炮孔图像检测与定位方法[J/OL].煤炭学报，1-14[2024-08-26].https：//doi.org/10.13225/j.cnki.jccs.2024.0214.

Research on intelligent blast hole recognition method based on 3D vision

Xu Wei²，Chi Hongpeng'，²，Zhan Kai'

（1.BGRIMM Technology Group;2.BGRIMM Explosivesamp;Blasting Technology Co.，Ltd.）

Abstract：An in-depth study on blast hole recognition technology in open-pit mines is conducted，proposing and comparing 2 intelligent blast hole recognition methods：a 3D point cloud-based method and a target detection-based method.Experiment verification and performance analyses were carried out in various open-pit mining environments using different visual perception devices.The study reveals that both methods effectively recognize blast holes，with the 3D point cloud-based method achieving a recognition accuracy of 90%，and the target detection-based method achieving an accuracy of 97.91%.Detailed comparisons of hardware devices，data processing workflows，and application potential between the 2 methods indicate that when integrated with artificial intelligence technologies，blast hole recognition technology holds significant promise for applications in intelligent on-site bulk charging trucks and other mining equipment.This advancement plays a vital theoretical and practical role in promoting mining technology，enabling unmanned，efficient，and safe mining operations.

Keywords：open-pit mine;blast hole recognition;3D vision;YOLOv8;unmanned charging;deep learning;target detection