基于情景感知驱动的煤矿监察装备及平台设计

魏 峰

(1.煤炭科学技术研究院有限公司装备分院，北京 100013； 2.北京市煤矿安全工程技术研究中心，北京 100013； 3.煤炭资源高效开采与洁净利用国家重点实验室，北京 100013)

煤矿井下环境复杂、具有多种生产场所，机电设备数量众多，存在大量的安全事故隐患，煤矿日常安监执法是保障煤矿安全生产的重要抓手。然而，现行监管监察主要以人工现场执法为主，存在监管手段、装备落后，存在取证过程时空不连续，以主观经验评判为主等问题。因此，设计一种可量化、可复现而且能够排除人为因素影响的执法方式及装备是规范执法人员自由裁量权的重要手段。

1 基于情景感知驱动的执法方法

情景感知驱动是一种研究基于图片、视频、场景以及实物设备的智能识别方法，具体来说是可以根据图片识别出井下不同的工作场景，对应于不同的场景给出不同的反馈意见[1]。目前，相对流行的识别方法主要有三类：第一类是基于对象的情景分类，根据场景中出现的特定对象来区分不同的场景；第二类是基于区域的情景分类，首先通过目标候选区域选择算法，生成一系列候选目标区域，再通过深度神经网络提取候选目标区域特征，并用这些特征进行分类；第三类是基于上下文的情景分类：将情景图像看作全局对象而非图像中的某一对象或细节，可降低局部噪声对场景分类的影响[2]。

例如，利用基于特定对象的场景分类方法，这种分类方法以场景中的“对象”为识别单位，依据场景中出现的一个特定对象来识别、区分不同的工作场景。利用深度卷积神经网络提取图像中各个对象的特征，并将提取出的对象特征进行分类。通常可以使用GoogleNet、VGG-Net等深度模型进行场景分类[3]。将需要识别的设备或场景的图片输入到选定的神经网络模型，然后根据网络的输出我们可以获取对象的类别，最后根据对象类别与场景的相关性，分析出这张图片中的工作场景所属的类别[4]，具体过程如图1所示。

图1 基于特定对象的场景分类过程

基于情景感知的执法方法是利用执法场景的协同感知和基于深度神经网络的情景信息处理技术，实现执法路径、执法流程、执法内容、执法标准、执法设备及其他执法辅助业务的自动触发，较以往传统的监察执法方法相比，基于情景感知驱动的执法方法，是一种相对客观、简易的移动执法方法。监察执法人员在井下执法过程中，配套执法装备借助机器视觉分析技术和深度卷积神经网络算法，鉴别视频片段及图片中的场景特征，分析出所处的不同工作场景，根据相关作业规程、行业标准和监管要求，自动生成执法业务导航，通过本安型手持终端呈现给现场监察执法人员，用以辅助、引导整个监察执法过程。

执法业务导航包括监察人员所处工作场景中的执法项目，执法标准和所需执法工具等提示信息，监察人员按照业务导航中的信息引导，按照既定步骤及方式完成现场检查、信息核实、违章取证等工作任务，整个执法过程中，最大限度地降低了执法人员的工作疏忽与主观偏差，同时，电子物证自动标记工作场景信息随整个基于时间戳可信证据链保存、上传，防止中途恶意篡改。基于情景感知的执法方法是在煤矿复杂环境背景下，对执法场景准确感知、特征信息提取，进而自动生成执法策略，引导辅助执法人员的执法过程，可以显著提升执法过程的精准性和高效性。

2 移动互联的执法终端

移动互联的执法终端基于安卓主控平台，采用10Ah锂离子电池组供电，主要由人员精确定位模块、气体参数检测模块、无线通信模块、视频、图像记录模块、电子物证数据存储模块、电源管理模块以及照明模块组成，其系统结构如图2所示。执法终端实物图如图3所示。

图2 执法终端结构框图

图3 执法终端实物图

其中，精确人员定位模块采用UWB技术，利用终端内置板卡天线与人员定位基站进行通信，获取位置信息，人员数据及上传报警信息可由安卓主板的SPI接口实现；气体参数检测模块可检测周围环境空气中甲烷、氧气、一氧化碳三个参数的实时浓度，安卓主板可通过UART接口获取监测数据或下发气体标校参数；无线通讯模块由WiFi通信和4G通信模块构成，可以依据井下现有通讯网络自动灵活切换，执法内容及电子物证数据可由井下无线网络向地面执法管控平台实时传输。同时，执法终端可通过位于灯头的麦克和扬声器实现井下4G通讯功能，终端主体侧面设计有快捷按键，佩戴者无需从腰间取下主机便可“一键接听”电话；拍照摄录模块由USB数字式摄像头构成，鉴于井下光照度有限，该终端选用低照度外加红外补偿摄像头，可通过终端主体上的拍照快捷键在井下黑暗环境中获取较为清晰的视频或图像数据；执法终端配备有高灵敏语音采集麦克，具备“一键录音”功能，实时采集在执法过程中的音频数据，作为电子物证的一部分。照明模块与普通锂电池矿灯类似采用高亮度LED灯作为主光源，可实现远近光自由切换。

执法终端在整个煤矿监察执法过程中，可在线获取执法平台下发的执法任务与行进路线，通过实时摄像头获取周围环境视频或图像数据，成功识别执法人员所处井下工作场景后可自动生成并呈现执法业务导航，在执法过程中，可利用自带气体检测模块比对关键场所环境气体参数，利用音、视频或图像拍照功能，记录井下违章作业场景，自动保存并上传电子物证数据，在执法结束后，可依据执法过程中录入的气体参数、人工记录、电子物证等信息，自动生成执法结果，并附加且能精确查询执法过程中的人员位置、轨迹以及环境参数、电子物证信息。

执法终端在监察执法过程中全程自动采集视频信息，结合特定场景特征及正常工作状态，利用卷积神经网络和循环神经网络结合的方法来检测执法场景及执法过程中的问题隐患[5]。具体过程为：首先将执法视频文件转换成卷积神经网络能够处理的图像信息，例如转换成1000帧的视频图像信息，之后将转化好的图像信息输出到一个深度神经网络模型提取图像特征值，输出的结果即为每一帧信息的特征矩阵，最后利用循环神经网络对上述离散的图像帧信息在整个时间域上进行整合，通过分类器进行场景识别及相应违章行为的分析[6]，整个过程如图4所示。

图4 视频信息违章分析流程

在煤矿安全监察执法过程中，借助执法终端的机器视觉技术并结合神经网络算法进行场景感知和违章识别，可以显著提升执法过程的科学性和高效性[7]。

3 基于时间戳的电子证据链

监察执法过程中所采集的电子物证，可利用时间戳与终端特征参数交互认证的电子证据链可信固化技术，与情景感知获取的特征数据相融合，从而形成由内容至形式不可篡改的完整的电子证据链[9]。具体过程为：首先运用时间戳电子签名技术在电子证据上唯一地标识某一刻的时间信息，再结合DSA加密算法给电子证据附加针对终端设备、采集人员体征等物理属性的完整性权威，最后通过GIS技术、实时数据库技术、硬件接口技术、物联网技术等实时上传至煤矿安全监察执法平台，形成完整、可信证据链。安监执法系统汇集来自平台的电子物证，分析评判，形成最终执法结果及文书，整个流程如图5所示。

图5 执法电子证据链流程

远程时间戳服务器对电子物证数据提供时间戳加盖服务，当客户端对电子物证执行完取证、固定工作，并将Hash值上传到时间戳服务器时，时间戳服务器对Hash值上传时间进行时间戳加盖，通过法定时间参数的唯一性和不可逆性，辅助证明该电子物证的唯一性[10]，其流程如图6所示。

图6 可信时间戳工作流程

4 基于WebGIS的煤矿安全监察执法平台

煤矿安全监察执法过程由基于WebGIS的执法平台统一管理。借助高性能服务器端强大的应用模型分析、运算能力，WebGIS服务可实现地理空间数据发布、监察数据查询与交互、Web资源调用等功能[11]。按照煤矿安全监管监察业务需要，整个平台可分为八个功能模块，如图7所示。

图7 系统模块结构图

“矿井信息模块”用于显示受检矿井的基本信息，包括矿井特征、运行状态、人员信息等；“任务管理模块”可根据矿井信息内容以及近期的监察监管计划等，自动规划监察执法任务如果确认无误，则可以分配到本安型手持执法终端设备中；“流程管理模块”显示监管监察的执法流程及各流程的详细说明，方便执法人员事先熟悉本次执法过程，在执法过程中也可起到提示作用，规范现场执法行为；“终端管理模块”可以授权、激活本安型手持终端，在执法前将执法人员与指定终端关联，同时将本次执法任务下载到手持终端里，在执法过程中，平台可通过4G、WiFi等移动互联手段，实时与终端通讯，提供技术支持、获取并保存加密电子物证，执法完成后，可从终端上传执法结果；“记录查询模块”可以在执法记录上传之后，随时查阅执法过程中人工记录或者拍摄的视频、图像等原始记录；“证据查询模块”可在对执法结果发生质疑时，提供物证支持，所有保存在平台的电子物证数据均为时间戳及人员体征加密数据，真实有效，透明公开，可防止人为恶意篡改；“实时预览模块”可以在GIS地图上实时调取监察执法人员的行动轨迹，同时，获取现场语音、画面等信息，可远程监督执法人员及执法行为是否规范，当现场遇到问题时，也可以远程求助地面人员进行协助处理；“报告管理模块”可以根据执法任务、现场原始记录、电子物证等信息，自动生成并记录执法报告，同时向上一级监管部门平台推送此次监察结果。

5 结 语

本文研究内容主要为矿山安全生产监察执法提供技术支持服务和手段，通过研究多语义情景感知、多参数信息采集、异构数据融合、WebGIS等先进技术，研制相应系列安监执法装备及管控平台。其研究的相关技术及设备可应用于全国煤矿企业和各级政府监管监察机构，可有效解决现场执法人员在执法过程中拥有不同程度自由裁量权的问题。同时，对促进煤矿监察执法技术装备的升级换代，提升监管监察效能，推动行业技术全面进步，具有积极的作用，社会效益巨大。