基于万兆网络的 煤矿钻场视频智能管理系统的研究与应用

郑东波 王海君 许浩

摘要：本文介绍了一种基于万兆工业以太环网的的煤矿钻场视频管理系统，该系统采用图像处理和机器视觉相结合的技术，将打钻过程中的各种参数进行机器识别和自动记录，做到了自动化的监管。通过视频监控煤矿各采煤、掘进工作面、钻场工作面的现场情况能够有效预防煤矿突出事故，保障煤矿井下作业人员的人身安全。该系统融合了最新的万兆工业以太环网传输技术，钻场视频的数据经过万兆网络传输到地面，保证了系统的稳定性。

关键词：万兆网络;钻场管理;智能视频;机器学习

一、引言

煤矿打钻工程是瓦斯、冲击地压治理，探放水的关键环节之一，如何监管实际打钻进尺使其与设计一致同时考虑数据传输在地面远端进行监管，一直是困扰钻场管理的主要问题。本文提出了通过智能视频监控煤矿各采煤、掘进工作面、钻场工作面的现场情况能够有效预防煤矿突出事故，保障煤矿井下作业人员的人身安全。

传统的钻杆计数方法主要有两种：由钻机操作人员人工记录打钻钻杆数和打钻深度;采用接近开关，当钻杆机器移动到某一位置，接近开关发出一次信号，再通过其他装置累加计数。第一种方法主要靠人工进行记录，可能出现漏记、多记、错记等情况;第二种方法使用接近开关，接近开关容易损坏，使得钻杆计数失效出现误差，且其原理过于简单，误差比较大;接近开关虽然可以手动控制，但是記录数据不可靠。

本文介绍的系统集机器学习、视频监控、语音广播、环境监控、AI智能计数、通信传输、计算机信息管理等技术于一体[1]，实现了辅助验钻、视频可视对讲、万兆网络的远距离传输、打钻过程中参数记录、视频智能分段存储与查询、数据报表等功能，为煤矿安全生产提供有力保障。

二、项目建设遵循原则

系统设计遵循技术先进、功能齐全、性能稳定、节约成本的原则，并综合考虑维护及操作因素，并将为今后的发展、扩建、改造等因素留有扩充的余地。主要参考以下原则：

（一）安全第一：必须符合煤矿矿井安全要求，所有井下产品均通过煤安认证。在达到国家规定的安全指标的基础上，全面提升系统的性能。

（二）先进性：系统的技术性能和质量指标应达到国际领先水平;同时，系统的安装调试、软件编程和操作使用应简便易行，容易掌握。该系统集国际上众多先进技术于一身，体现了当前计算机控制技术与计算机网络技术的最新发展水平，适应时代发展的要求。

（三）经济性与实用性：充分考虑钻场管理的实际需要和信息技术发展趋势，根据钻场的现场环境、设计选用功能适合现场情况、符合钻场智能管理系统要求的系统配置方案，通过严密、有机的组合，实现最佳的性能价格比，以便节约工程投资，同时保证系统功能实施的需求，经济实用。

（四）可靠性：本系统基于可靠的网络通信技术，能确保系统级别的高稳定性和可靠性，满足7×24小时、全年365天的全天候长期稳定运行。稳定性：系统的设计具有较高的稳定性，系统具有一整套完整的系统管理策略，可以保证系统的运行安全。

（五）升级方便：模块化设计，界面必须清晰，无论硬件还是软件，各个分层间结构清楚，完全标准化，便于升级和扩容。

（六）扩展性：采用标准TCP/IP接口，完全满足信息化要求，可与各种应用软件接口传递数据。

（七）迭代性：识别算法可以进化升级迭代和扩展。

（八）兼容性：配套使用的摄像仪与现有矿井视频系统具备大平台兼容、同步显示效果。

三、系统设计

项目所采用的关键技术主要是机器视觉图像处理技术，众所周知，随着新的智能视频图像分析技术的发展，机器视觉技术是解决煤矿行业内视频监控领域疑难技术问题的重要手段。目前在煤矿打钻视频智能分析技术可以分为两大类：一类是通过前景提取等方法对打钻视频监控画面中的钻杆的移动进行检测，通过规划的规则来识别不同的行为，如闯入、物品遗留、边界等;另一类是利用算法识别技术对监控区域中的画面中所需要监控的物体进行针对性的建模，从而达到对监控中的特定物体进行检测及相关识别，如人脸识别、区域限员、人数统计等应用。系统主要由地面客户端软件、服务器、万兆网络、线缆、智能摄像仪、操作盒等设备组成。

本项目的图像识别技术主要是采用神经网络的卷积算法，如下图1打钻算法所示，将输入的打钻视频的RGB图像经过卷积、激活函数和批标准化等系列操作多次后，得到一个特征矢量，然后利用该特征向量进行分类或者是标定检测，并进行分类，经过神经网络的运算后可以识别出该图像是否出现钻杆的种类。在输入到神经网络前还需要对钻杆视频图像进行数据加强，比如随机遮挡、翻转以及改变色调和对比度等操作。

检测打钻视频的积分卷积算法用两张图片即可进行简单解释，第一是将输入的打钻图片经过高速卷积神经元网络提取出特征，当提取了打钻视频特征以后在特定的特征打钻图上会将原始图片分成若干的网格，每一个网格都会去预测多个检测框（Bounding Box，Bbox），每一个检测框都会对物体进行边界框的回归和类别的预测，最后预测的结果就是按照公式的S×S×（B×5+C）的一个矢量。在推理过程部分，将得到的估算量对先验框进行调整，并给出类别和可信度，在打钻视频场景检测中一般分类是钻杆和钻机以及背景，可根据需要自行定义类别。

在推理过程中还需要针对不同视频情况网格点产生不同的检测框进行非极大抑制，防止出现一个视频场景中的钻杆目标被检测多次的问题。最后将图片数据处理好，将所需要的参数针对自己的数据集进行修改利用开源框TensorFlow、Pytorch就可以对积分网络进行训练，训练完成后就会得到当前训练的模型权重文件。

一个深度学习的机器算法的开发到落地是需要经过数据的获取与处理、软硬件部署及现场测试。算法层面还需要对数据的标注有一定理解，通常在开发过程中也是利用一些标注工具例如对获取的数据进行人工标注，作为机器视觉训练的标签。在本项目中，将带有机器视觉技术的芯片移植到相关产品中，如矿用本安型摄像仪和图像处理分站，都是采用此种技术进行开发设计。

矿用本安型摄像仪具备普通矿用本安型高清网络全方位球形摄像机所有功能，可以选择双绞线或者WIFI连接到矿用万兆环网交换机中，摄像机通过自身自带的网口或RS485可联结矿用本安型显示控制箱;摄像仪本身植入深度学习算法并可以从钻机终端获取图像并可识别出钻杆、钻机、放水管，放水管数量，摄像仪可以与客户端软件进行实时语音对讲，并可以通过客户端可调节摄像机云台。

矿用本安型显示控制箱用于井下操作人员对系统进行接收并查看作业任务、打钻开始结束指令、参数设定、查看系统状态、钻探施工情况汇报、预览当前安装相机图像、同地面进行双向对讲等功能。具体功能包括：LCD显示屏，金属键盘;通过RS485或以太网络与摄像机连接;操作简便的GUI人机交互界面;打钻参数录入、存储或通过打钻平台同步;显示本安型智能分析球机实时图像;显示监控终端相机图像，传感器状态，识别状态;数据存储记录，保持7天打钻视频及相关记录;语音呼叫、对讲;实时显示自动计数的钻杆数量;钻杆计数按钮可以手动进行计数并进行视频联动;通过蓝牙与钻孔测斜仪通信获取打钻的轨迹;通过蓝牙与压力传感器通信获取当前钻进压力。

矿用隔爆兼本安型图像处理分站主要用于给设备供电，就地算法支持等。

钻场智能管理服务器是用于在地面进行算法程序的开发及部署，是系统的核心设备;可以在客户端上配置钻场信息、智能摄像机信息、操作盒信息、钻机终端信息、以及用户权限信息等内容;系统可以保存预先设计好的打钻参数，用于与实际打钻参数进行比对;保存所有用户信息并进行权限管理;对打钻智能摄像机和钻杆计数器提交的钻杆数量进行实时保存并生成台账;对打钻过程的中视频和图片进行实时保存，并提供查询接口;对打钻轨迹进行保存，并与钻场相对应。

将钻机周围环境参数进行保存，并提供查询接口;通过网络通信将钻场信息、钻杆数量、录像信息、环境参数、摄像机信息等发送给打钻客户端;安装数据库，方便日后的管理和维护;视频存储期限设计不低于36个月，保证施钻工作有据可查;对打钻过程进行录像。

钻场管理客户端主要是输入打钻任务，并下发打钻任务，下发打钻任务时可以选择调度员，只有通过调度员登录的账号才能接收到井下的呼叫和下发任务。

下发打钻任务时可以选择手动计数或者自动计数;系统在打钻过程中全程显示。

实时显示打钻视频，并可以实时截图;显示需要监视的钻场参数，如钻杆数量、环境参数等;可以对所有钻场发出语音广播，并可以单独对选中的钻场进行语音对讲，将打钻数据生成报告并打印出报表进行签字确认，可以对打钻视频录像进行回放;查询打钻台账并生成报表进行打印;可以定位查看每个钻杆的打入时间和退出时间，并关联到录像，可以任意选中打钻录像并进行下载。可以查看日报表、周报表、月报表、统计报表等。

本项目的智能视频算法主要有自动化计数算法和计数流程设计两个方面。通过机器深度学习方法识别出钻杆和钻机，在退钻过程中如果出现钻杆与钻机之间从有钻杆连接到没有钻杆連接，判定为退出一根钻杆，将自动识别出的钻杆数量显示在操作盒LCD显示屏上，并同时显示在客户端上。钻场智能管理系统主要包含调度中心、钻孔设计、钻孔验收、钻孔报表、钻孔查询以及系统设置模块。在主界面包含整个矿场的地测图，通过一张图可以清晰地看到当前各个钻场的打钻情况，也可以一键进入查看选中钻场中钻机的视频以及打钻参数情况。

在地面调度中心主要用于查看矿场所有钻机的视频，并可以进行语音对讲、图像抓拍、录像、监听等功能，可以根据当前打钻的实际情况设置9分屏、6分屏、4分屏或者自定义分屏。

在调度中心可以分类查看钻机的视频画面，可以选择全部、打钻中、我的管理、在线设备、离线设备进行筛选。

系统建成后最终可以实现如下功能：

（一）系统建成后形成数据库，方便日后的管理和维护，视频存储期限设计不低于36个月，保证施钻工作有据可查;

（二）以采掘工作面或巷道为单位进行瓦斯钻孔设计，将设计的数据信息录入到系统用于审批和查询;

（三）系统依据钻孔施工管理要求，实现对瓦斯钻孔施工地点、施工时间、施工单位、钻孔设计参数等数据信息填报和审批，同时系统还可以关联摄像机视频，下达人工智能识别指令;

（四）采用云台球型摄像机作为智能识别分析摄像机，井上调度人员可以通过客户端软件调整摄像机角度;

（五）采用深度学习技术自动计数验钻，降低劳动管理强度，计数更准确;

（六）智能识别自动计数后可以将钻杆的数量实时显示在操作盒上便于打钻人员实时查看;

（七）打钻前判断钻孔角度是否满足设计要求，由事后验证变成事前判断，有效规范工人作业，提高钻孔质量;

（八）通过将打钻视频与钻孔台账关联，有效杜绝谎报进尺、违章操作、打假孔等危及安全的事件发生;

（九）系统以视频监控为基础进行实时监控，实现打钻施工的全过程监控。系统自动按打钻过程，将视频存储和排序，便于后期资料查找;

（十）系统能够将钻场的设计参数、施工过程参数、施工人员等按照打钻过程需要记录在案，形成电子文件存档，作为打钻管理的一部分;

（十一）系统可自动统计出日报表、周报表、月报表、统计报表、异常报表、钻杆计数报表、瓦斯浓度报表等。轻松掌握井下各个钻场工作情况;

（十二）实时监测井下设备的通讯网络状态，当出现网络中断等异常情况时，将发出提示信号，保障钻场管理工作顺利有效进行;

（十三）系统支持井下钻场与地面管理中心对讲功能，方便双向对讲联络，可实时指挥，并使用数字语音处理技术降低语音底噪、去除对讲回音，实现井上和井下的清晰通话;

（十四）当有多个钻场同时呼叫时调度中心按照先后顺序依次接听，调度员也可以通过客户端进行优先选择接听;

（十五）打钻参数实时叠加到视频上，便于实时查看和后期录像查看;

（十六）在打钻过程中通过根据人工判断当前打的是煤层还是岩层，然后打钻工在操作盒上选择煤还是岩，并将结果记录到数据库中，便于后期对应查看;

（十七）通过读取钻孔测斜仪的数据，实现精准的钻孔方位验证，并通过图形方式展现成孔轨迹，方便与设计要求进行偏差分析;

（十八）通过压力传感器检测出当前钻杆的钻进压力，并且通过蓝牙方式实时发送给操作盒，并在操作盒及地面客户端实时显示，提醒打钻工。

四、结语

该项目的成功建设并且投入运行后，实现了打钻过程中的全生命周期检测、分析、存档及管理，大幅提升了煤矿打钻过程中的安全，节约了日常检修时间，降低了煤矿职工劳动强度和查绳的危险程度，保障了职工生命和煤矿财产安全，为进一步推进煤矿行业的智能化建设，提升煤矿行业的生产效率和管理水平，推进煤矿智能化生产起到了表率作用[2]。

作者单位：郑东波    内蒙古上海庙矿业有限责任公司新上海一号煤矿

王海君    许浩    华洋通信科技股份有限公司

郑东波（1987.10- ），男，蒙古族，宁夏银川，本科，内蒙古上海庙矿业有限责任公司新上海一号通防副总工程师，采煤工程师，研究方向：煤矿信息化自动化。

参  考  文  献

[1] 丁宇辉，赵金升，等.基于AI视频识别的斜巷绞车智能控制系统[J].中国高新科技， 2021（11）.

[2] 王海君，谢宝东.基于图像识别技术的煤矿井下胶带机智能巡检的研究与应用[J].科技创新导报， 2020（12）.