基于AI 视频分析的煤矿瓦斯抽采钻场远程监督管理方法

2023-12-06胡金成张立斌蒋泽姚超修蒋志龙王正义

工矿自动化 2023年11期

胡金成，张立斌，蒋泽，姚超修，蒋志龙，王正义

（1.中煤科工集团常州研究院有限公司，江苏常州 213015；2.天地（常州）自动化股份有限公司，江苏常州 213015；3.常州工学院土木建筑工程学院，江苏常州 213032）

0 引言

瓦斯抽采钻场打钻是煤矿井下瓦斯治理的关键环节之一[1-2]，钻孔施工情况直接影响瓦斯抽采效果与煤矿生产安全[3-4]。验证施工过程中的钻杆数等信息可有效防止打假钻、虚报进尺和不按设计路径打钻等情况，确保钻孔的施工质量。然而，井下打钻地点与地面进行信息交互存在较大困难。记录施工信息的传统方式包括人工记录、语音通话与终端记录。人工记录可能出现漏记、多记、错记等情况，且记录效率低、误差大、实时性较差；打钻施工人员通过语音通话告知地面施工信息，事后检阅并数钻杆耗费额外人力；终端记录可人为手动控制，但数据不可靠[5]。此外，现有基于人工及仪器的钻杆计数法存在精度较低、耗时费力等问题[6]。

传统的视频监控系统在钻孔施工及退钻杆期间，执行“一钻一摄像、一孔一视频”管理办法，在地面调度室通过视频对钻孔施工现场的钻进、退杆进行实时监督，代替人工验孔，减少了大量验孔人员，且保证了钻孔进尺的真实性，杜绝虚报进尺现象。然而，传统的视频监控系统只具有监测和存储功能，重要的过程参数或信息只能由监测人员通过视频录像查看[7-8]。

随着大数据、深度学习、图像识别等技术的快速发展，基于深度神经网络搭建模型对视频和图像进行处理，成为实现AI 视频监控的重要手段，有效节约人力资源和提高监控效率[9-12]。通过查阅大量参考文献[13-18]，发现目前AI 视频分析技术已在煤矿智能视频分析领域取得不少研究成果，但AI 视频分析技术在瓦斯抽采钻场视频识别领域应用较少。

针对煤矿井下钻场记录施工信息易出错、钻场管理人员难以连续监控现场视频、人工验收模式效率低且易出现打假钻情况等问题，本文提出一种基于AI 视频分析的煤矿瓦斯抽采钻场远程监督管理方法。该方法通过AI 分析识别出打钻流程后分段存储录像、记录施工参数，基于AI 分析提供无人值守模式，对打钻全过程进行分析与管控，解决了钻点信息需要人工录入、打钻过程录像需要人工控制起止时间的问题，同时解决了钻杆计数需要通过人工回看退钻录像，占用大量人工时间并容易出现计数错误的问题。

1 钻场管理全过程分析

打钻工作前，应根据工作要求制定详细的作业计划，明确工作目标和任务。打钻作业应依次执行开孔、收孔、封孔3 个流程，并分别录制视频。打钻作业流程如图1 所示。准备工作：设计并下发打钻任务。执行过程：在接收并开始打钻任务后，启用目标检测与OCR（Optical Character Recognition，光学字符识别）识别服务，根据依次识别到的开孔、收孔、封孔流程与施工参数，打钻管理系统自动执行是否录像与保存参数的相应操作，直到结束打钻任务。当识别出开始收孔，启用退杆分析服务；当识别出结束收孔，停止退杆分析服务。

实际打钻过程中，井下工人需举牌管理。在开始开孔、开始收孔、开始封孔任务施工前，需吸附上流程编号磁贴，并举牌对准摄像仪；在结束开孔、结束收孔、结束封孔任务施工前，需贴上流程编号，填入对应施工信息，并举牌对准摄像仪。在退杆分析时，要求摄像仪正对钻机与钻杆，能够清晰拍摄退杆过程，拍摄环境光照良好。退杆分析只在收孔过程进行，开孔与封孔阶段不进行退杆分析。

2 AI 视频分析关键技术

基于AI 视频分析的煤矿瓦斯抽采钻场远程监督管理方法涉及信息牌检测、OCR 识别、退杆分析3 种算法。信息牌检测用于检测当前施工环节；OCR 识别用于识别信息牌上打钻流程与施工信息；退杆分析用于分析收孔阶段的退杆数，从而实现打钻作业的全过程分析与管控。

2.1 信息牌检测算法

信息牌检测算法以YOLOv5 算法为核心，采用TensorRT 加速，流程如图2 所示。先逐帧扫描监控视频，再根据检测信息牌边框与表格特征信息来判断信息牌在视频画面中的大小是否达到60%，若达到60%则认为检测到信息牌目标，并截取信息牌图像。需注意的是，信息牌检测过程要求信息牌正对摄像仪且光照良好。

图2 信息牌检测算法流程Fig.2 Process of information board detection algorithm

YOLOv5 算法是一种从端到端的检测算法，其核心是卷积神经网络的特征结构提取，可识别输入目标类别及输出位置，广泛应用于图像分类等场景[19-20]，其模型结构如图3 所示。Focus 结构对输入目标的维度进行切片操作，减少目标原始特征信息的丢失，并提高模型计算速度，经过一系列卷积操作得到不同尺寸的特征图像；通过特征融合结构对特征图像进行采样，将其处理成相同大小，然后进行特征融合及卷积，得到3 个具有更强特征表现能力的特征层；预测结构通过损失函数进行目标类别概率和位置坐标计算，最终得到预测结果[21]。

图3 YOLOv5 算法模型结构Fig.3 Structure of YOLOv5 algorithm model

2.2 OCR 识别算法

OCR 识别算法可解决打钻过程钻点信息需要人工录入、分段录像需要人工控制起止时间的问题。该算法基于PaddleOCR，通过提取打钻各个环节的文字信息，对文字信息进行训练，其业务流程如图4 所示。根据信息牌检测算法截取的信息牌图像，通过文本检测算法与表格结构识别，最终生成关于表格结构的识别结果。

图4 OCR 识别算法业务流程Fig.4 Processes of OCR recognition algorithm

OCR 识别是对检测到的信息牌上的信息进行识别。OCR 识别包括打钻流程识别与施工信息识别，其中打钻流程识别指判断哪个流程对应位置吸附了“绿色磁钉”，则识别出相应流程、施工地点、钻场、钻孔号，并在系统执行对应业务。试验过程中将“绿色磁钉”直接吸附在信息牌流程信息位置。当识别到“绿色磁钉”所在位置为信息牌上方的“结束开孔、结束收孔、结束封孔”时，需对信息牌下方的施工信息进行识别，否则只需识别上方的流程。结束开孔时，需识别出距顶、距底、距测点、方位角、倾角、见煤、见岩、见瓦斯、孔径、施工人员、班次、施工队；结束收孔时，需识别出杆长、杆数、孔深、施工人员、班次、施工队；结束封孔时，需识别出封孔方式、封孔管长度、排气管长度、施工人员、班次、施工队。在开始开孔、开始收孔、开始封孔阶段不识别施工信息。需注意的是，OCR 识别过程不仅要求信息牌正对摄像仪与光照良好，还要清晰看出信息牌上文字。

2.3 退杆分析算法

退杆分析是在收孔阶段进行退杆数与现场人数识别。当识别到收孔阶段的流程信息时，启动AI 分析服务，监控视频显示含有现场人数与退杆数的分析视频流，并实时更新视频画面中现场人数、退杆数。通过获取视频中钻机与钻杆的空间位置关系及运动轨迹，结合人员位置进行综合判断，实现钻杆计数。退杆分析算法业务流程如图5 所示。若钻机与钻杆由位置有交叉到无交叉，且人与钻杆由位置无交叉到有交叉再到无交叉，则退杆数加1，并保存到本地数据库，否则退杆数不变。此外，通过人体检测模型检测并显示视频中的现场人数。当识别到结束收孔阶段的流程信息时，停止AI 分析服务，监控视频显示原始视频流。通过采集煤矿现场的退杆视频，利用机器学习修正模型参数来优化退杆分析算法，不断提高退杆数识别准确率。

图5 退杆分析算法业务流程Fig.5 Process of pip withdrawal analysis algorithm

3 实验结果及分析

3.1 实验过程

为了运行AI 视频分析算法，需搭建GPU 服务器部署AI 分析服务，对打钻监控视频进行分析。实验中GPU 服务器部署在Linux 环境下，采用Docker、Python 及TensorRT 搭建算法模型；采用Tesla P100显卡，32 GiB 内存。在进行实验验证前，需采集现场的打钻视频进行训练，以期获得较好的AI 分析模型。实验步骤包括数据预处理、标注及命名，模型参数配置，模型训练及测试。打钻作业全过程执行流程具体如下，不同流程对应的信息牌如图6-图8所示。

图6 开孔作业对应的信息牌Fig.6 Information board corresponding to the opening hole

图7 收孔作业对应的信息牌Fig.7 The information board corresponding to the closing hole

图8 封孔作业对应的信息牌Fig.8 Information board corresponding to the sealing hole

1）当识别出开孔开始，则开始开孔录像，启动信息牌检测与OCR 识别服务，并发出语音播报“现在开始开孔”。

2）当识别出开孔结束与开孔参数，则结束开孔录像，保存参数并发出语音播报“现在结束开孔”。

3）当识别出收孔开始，则开始收孔录像，启动退杆分析服务，实时更新分析视频上的退杆数及现场人数，并发出语音播报“现在开始收孔”。

4）当识别出收孔结束与收孔参数，则结束收孔录像，停止退杆分析服务，保存参数，并发出语音播报“现在结束收孔”。

5）当识别出封孔开始，则开始封孔录像，发出语音播报“现在开始封孔”。

6）当识别出封孔结束与封孔参数，则结束封孔录像，停止信息牌检测与OCR 识别服务，保存参数，并发出语音播报“现在结束封孔”。

7）当识别出打钻流程错误，如开孔后识别出封孔，则发出语音播报“当前打钻流程错误，请重新举牌”。

一旦检测到信息牌，AI 分析服务会自动启用OCR 识别算法分析信息牌上信息，并反馈识别结果。

3.2 结果分析

将5 张信息牌分别连续检测100 次，观察检测成功的次数，得到信息牌检测成功的准确率约为96%。OCR 识别算法通过识别信息牌上的“绿色磁贴”所在位置，确定当前打钻流程与施工信息，并用紫色框圈出。识别开孔阶段的结果如图9 所示。当处于开孔开始阶段，可识别出施工地点、钻场、钻孔号、施工人员、班次、施工队。若为开孔结束阶段，可识别出开孔参数，包括距顶、距底、距测点、方位角、倾角、见煤、见岩、见瓦斯、孔径。

图9 OCR 识别开孔结果Fig.9 The result of opening hole by OCR recognition

采用PaddleOCR 识别算法与常用的文字识别算法EasyOCR、ChineseOCR 分别对500 张信息牌图像进行识别，识别效果见表1。可看出PaddleOCR 识别算法平均用时17.51 ms，较其他2 种识别算法分别降低了25.25，4.34 ms，PaddleOCR 识别算法的准确率较其他2 种识别算法分别提高了5.75%，2.29%，召回率较其他2 种识别算法分别提高了9.77%，2.36%。