基于AI视频识别技术的井下规范操作监控系统设计

杨景峰

(陕西陕煤彬长矿业有限公司，陕西 咸阳 712000)

0 引言

彬长公司现有五对矿井，设计能力2 900万t/a，主采侏罗纪3号、4号煤层，煤层埋深500～1 000 m，煤层厚度4～26 m，煤层开采条件复杂，水、火、瓦斯、冲击地压等灾害耦合叠加，被定位为全国煤矿灾害最重、治理难度最大、安全风险最高、有效防范和遏制重特大事故任务最繁重的矿区之一[1-4]。近年来，面对严重的矿井自然灾害和安全风险，彬长公司牢固树立“少人则安、无人则安”的理念，大力实施“三优三减三提升”工程，以科技创新提升灾害治理水平、以“四化”建设提升灾害治理能力、以灾害治理达标保障安全生产，严格执行行业管理标准和安全管理规定，努力建设多元灾害条件下的本质安全型矿区。

结合彬长矿区煤层赋存条件和生产装备实际现状，彬长公司制定了在3年内建成多元灾害条件下，智能化开采示范矿区的目标，按照“企业管理智慧化、煤炭开采智能化、辅助系统自动化、灾害治理精准化、现场管理透明化”的总体工作思路，大力推进智慧矿区、智能矿井建设工作。小庄煤矿作为彬长矿区首个陕煤集团数字化矿山示范矿井，基于5G、物联网、大数据、虚拟现实、人工智能技术在煤矿安全生产过程中进行了大量实践工作，特别是在井下作业人员安全管理方面，首次引入了智能化视频监控系统，利用AI视频识别分析技术，对井下多个作业场景进行智能识别，对现场安全管理提供有力的技术支撑和手段。

1 预期目标及关键技术

1.1 预期目标

针对煤矿井下实际作业环境，解决现场安全管理遇到的问题，需要预先设定功能目标[5-8]。具体如，实时监测工作人员行为是否安全规范，是否规范佩戴安全帽，是否有空岗、脱岗、睡岗现象，重点区域人员入侵，转载机、轨道违规行为监测，巡检人员巡检次数、时间等数据的智能感知、预警。监测到“三违”行为时，可按照“三违”等级报警，严重违规时，报警的同时弹出视频以支持管理人员处理。发现异常时，系统应与声光报警器联动，实现文本消息、语音、声光多形式的自动报警，值守人员可对异常事件进行处置，填报处置结果。依托感知网络所汇聚的视频数据，以所见即所得的仿真图形式，在三维运输系统底图上，叠加企业基本信息、视频监控点位置信息，发现异常实时报警。视频方面，需实现智能应用及实时回放，并具有关键证据视频录制、图片截取和云端同步功能，掌握煤矿井下规范操作智能化视频监控技术的应用。此外，需实现井下固定岗位无人值守，沿线无人作业，地面无人监控，系统智能化经济运行。

1.2 关键技术应用

煤矿智能视频监测：实现场景定制的智能监测，需将计算机视觉(CV)技术与面向业务场景的监控规则深度融合[9-12]，实现多场景视频智能监测，并在三维矿井图上以可视化方式展示。

机器智能分析+人工辅助校对：为实现精准报警，需提供计算机视觉识别与人工辅助校对功能，依托模型识别率优化机制，避免由于机器或人为因素所造成的“误报”“漏警”情况，不断降低模型召回率，提升模型识别准确率。

构建异常处置闭环管理机制:实现异常事件实时推送，形成煤矿安全事件“报警—推送—处置—反馈—统计”的管理闭环,实现异常事件精准推送、有效快速处置，构建异常可检、问题可追、责任可溯的企业安全管理机制。

辅助生产管理智慧决策:运用大数据分析技术抽取有价值的关键信息，从多角度分析状态数据，对安全状态进行分析，为优化企业安全生产过程提供决策支持。

构建人工智能视频监测技术体系:建立一套适合小庄煤矿井下规范操作智能化视频监控技术体系，将安全人员从繁杂而枯燥的“盯屏幕”中解放出来。减少人员工作量，提高矿井安全监督能力。

煤矿瓦斯钻场智能监测:让煤矿管理者实时全面掌握煤矿井下瓦斯抽放钻孔施工作业情况，保障钻孔质量，减少瓦斯灾害发生，减少监钻工人，实现减人提效。杜绝施工人员谎报进尺、违章操作、打假孔等危及安全的事件发生；杜绝工作量瞒报的费用开支。为安全监管、事后追溯、科学决策，提供直观、可靠的手段和证据。

AI推理分析管理平台：构建“云-边-端”体系，充分发挥云、边、端技术优势，云端数据汇聚，借助于云端资源弹性伸缩、服务高实时、高可用的特性，进行数据深度挖掘，将数据价值发挥到极致。同时，云端具有管理控制集中化，部署升级自动化，访问操作自由化的优势。利用边缘计算模式实现智能识别机制下沉，既满足边测低时延、大带宽、高并发、本地化的需求，又可以进行多方融合，结合煤炭行业特点和企业自身需求，构建企业自己的生态系统。端测智能感知设备下沉，提供AIoT实时采集、实时运算、实时推理和场景闭环能力，为煤矿企业安全高效生产保驾护航。

标准化接口服务能力：为企业及第三方应用系统提供标准化API、WebServices、OPC、XML等标准化数据接口，赋能行业边缘计算与云端应用能力。

“云-边-端”一体的可视化管理平台：通过可视化平台，便于用户部署配置与更新升级，实时查看当前服务状态与统计信息，第一时间获知最新的场景和服务，AI模型识别清单见表1。

表1 AI模型识别清单

2 系统架构及功能设计

2.1 系统架构设计

煤矿智能视频监控系统应用架构如图1所示，部署架构如图2所示，业务流程如图3所示。

图1 煤矿智能视频监控系统应用架构

图2 煤矿智能视频监控系统部署架构

图3 煤矿智能视频监控系统业务流程示意

2.2 系统功能设计

信息概览：在首页上方对当前数据进行实时展示，便于管理人员对当前煤矿的安全情况有整体把握。包含煤矿名称、监测点数、报警总数、井下人数等信息，并以直观的数字和状态予以展示。

矿井图展示：系统依托感知网络所汇聚视频数据，在矿井三维系统底图上，叠加基本信息、视频监控点、传感器监测点位信息。实现实时状态报警，发现异常实时报警(摄像头闪烁及列表展示)，支持按人、机、环分类或区域分布进行组合查询。

智能感知报警：当识别异常情况时，系统依照异常定义级别，进行分类、分级报警，各类报警；用户可对报警信息进行处置，实现智能感知—实时报警—异常处置的闭环管理。报警信息包含监测类型、监测点位置、报警级别、报警时间。

智能仪表盘：对当日异常问题进行统计分析，采用“管理驾驶舱”方式展示，具体统计内容包含报警次数统计、人员违规统计、设备故障类型统计、环境安全报警统计等。

实时监测：实时视频查看主要展现矿井近一周异常报警信息展示及矿井实时视频列表；支持监测点设备信息、实时报警信息、处置状态查看。

显示屏警示：显示屏终端安装在重点位置(如领导办公室、安全调度室等重要监督区域)，显示屏展示功能主要实现报警视频及报警信息的滚动展示。

统计分析：实时分析以小时为周期，对当天的实时数据进行分析，包含监测点在线情况、异常事件态势、异常事件处置时间等，并以折线图、柱状图、饼状图、进度图等方式予以展示。以日、周、月、年为统计周期，对历史数据进行分析，包含监测点在线情况、异常事件态势、异常事件处置时间等信息，并以折线图、柱状图、饼状图、进度图等方式予以展示。

历史查询：默认按时间倒序排列，支持按报警级别、报警地点、报警起始时间升序/降序排列；包含查看报警详情、3个月内历史报警视频回放；实现历史报警信息的处置、填报。

系统管理：实现视频监测点信息、组织机构信息、人员排班及数据字典的维护和管理，为系统运行提供基础信息数据。实现模型下载管理、场景定义、关联配置管理，满足用户在不同应用场景下的定制化配置。

3 基础平台设计

3.1 总体架构

基于“云-边-端”一体化架构，充分发挥云、边、端技术优势。实现终端设备的接入、按需感知、实时监测，为监测预警、决策分析等核心业务提供有效数据支撑。

云端：借助于云端资源弹性伸缩、服务高实时、高可用的特性，实现数据采集、汇聚、挖掘、利用，为业务决策、安全管理提供决策支持，为模型优化提供数据支撑；实现云端服务控制集中化，部署升级自动化，访问操作自由化，共同构建云平台持续运营模式。

边侧：利用边缘计算模式实现智能识别机制下沉，有利于解决边侧低时延、大带宽、高并发的性能需求，煤炭行业特点和企业自身需求，定制满足本企业需求应用系统。

端侧：将智能感知设备下沉，利用终端管控设备，提高AIot实时采集、实时运算、实时推理和场景闭环的能力，为煤矿企业现场安全的高效生产保驾护航。

3.2 平台构成

智能感知云平台：该平台为边侧和端侧AI模型，提供完整的生命周期管理、运维监控和在线升级服务。基于云强大的底层资源框架，提供“云-边-端”协同增量学习、AI模型发布、更新、推送，形成完整闭环。提供对边侧视频数据采集、实时视频分发、回放、视频数据转储、证据视频及证据图片调取查看功能。提供对智能感知边平台和智能感知端设备的生命周期管理、运维监控、接入服务、在线升级。提供OpenAPI Cloud Server第三方接口服务，为云端第三方应用提供AI智能分析能力。

智能感知边平台：该平台对边侧视频终端采集设备资源进行统一管理。通过可视化平台，用户可将云端下发的AI模型很方便的与边侧视频资源进行配置绑定，并将模型下发到端侧基于实时视频进行识别。对每一路AI模型提供完整的生命周期管理、运维监控和在线升级功能。满足“端-边-云”的设计要求，通过安全可靠的边云数据通道，将增量视频数据同步到云端，为云端AI模型提供增量学习数据基础。OpenAPI Edge Server，开放的边侧API接口服务，为边侧应用系统提供AI能力。

智能感知端平台：“端-边-云”体系生态的边、端侧智能计算支撑软件底座平台；为全场景提供端侧或边侧智能硬件终端的统一调度、统一管理、统一运维；提供可视化运维、配置、运行状态监测、日志跟踪服务；为人工智能模型、大数据分析算法提供可控、安全、可靠的执行环境；支持多种工业协议，可直接连接工业自动化系统或直接连接传感器采集数据，对接外部感知和动作执行单元，联动智能化煤矿生产场景。

4 系统创新点及预期成果

4.1 系统创新点

该系统建立了井底车场AI识别模型、辅助运输AI识别模型、人员巡检AI识别模型、人员违规作业AI识别模型、皮带运输AI识别模型、钻场AI识别模型。将AI能力赋能给边侧视频，让边侧视频“聪明”起来。为每一路视频智能应用服务提供完整的生命周期管理、运维监控和在线升级。

4.2 系统应用预期成果

系统建成后可实现人员发生违规作业时系统自动进行声光告警，实时“三违”监测，为安全监管提供可靠的技术手段，将煤矿安全管理由事后分析变成事前预警和监督，拥有预防和积极干预功能，从而做到防患于未然。系统建成后将解决作业过程中作业不规范、监管不透明、依靠大量人员人为主观判断等管理难题，确保工程质量；同时提供边侧视频数据采集、实时分发、回放、视频数据转储、证据视频及证据图片调取查看功能。减少人员工作量，提高矿井安全监督能力，同时为彬长矿区其他矿井提供理论指导和实践借鉴。

5 结语

利用AI视频识别、大数据分析、云计算、边缘计算等技术，建立煤矿井下规范操作智能化视频监控系统。该系统可以实时发现作业现场违章行为，发出语音报警提醒地面值班人员及现场作业人员，实现智能视频分析、作业人员违规及设备异常状态实时监测等功能。在此基础上，形成“人、机、环、管”安全闭环管理模式，有助于提升煤矿现场安全管理水平，具有很高的推广应用价值。