基于L—R算法的矿井监视图像复原装置设计

付元

(1.煤炭科学技术研究院有限公司， 北京 100013；2.煤矿应急避险技术装备工程研究中心， 北京 100013；3.北京市煤矿安全工程技术研究中心， 北京 100013)

0 引言

煤炭是我国能源的基石，是可以实现清洁高效利用的最经济、可靠的能源[1]。我国的煤炭开采方式主要以井工开采为主，综采工作面是井工开采的核心组成部分。由于煤矿井下综采工作面矿尘浓度高、环境潮湿、噪声大，且存在冒顶、片帮、冲击地压、瓦斯突出等危险，所以，引导煤矿开采方式机械化、自动化与智能化，逐步实现少人化、无人化开采是煤矿综采技术的发展方向和实现煤矿安全生产的必然要求[2-3]。煤矿智能化是实现煤炭工业高质量发展的核心技术支撑,建设智能化煤矿是煤炭工业的战略方向,是煤矿高质量发展的必由之路[4-6]。随着煤矿开采机械化、自动化的逐步实现，煤矿开采智能化技术已成为煤矿综采技术的研究热点。煤矿开采智能化技术是通信技术、感知技术、信息技术、智能分析技术等信息化技术的深度融合，通过对采煤机的自主导航、三机联动的自动控制、地面对设备、系统、环境的实时监测与控制等功能，实现综采工作面智能化开采[7-8]。煤矿开采智能化技术分为两大阶段:可视化远程干预型智能化无人开采和自适应型智能化无人开采[9-11]。

矿井视频监控智能化技术是实现煤矿可视化远程干预型智能化无人开采的关键技术之一[1-2,9]。但煤矿井下开采工作面环境恶劣，使得采集的矿井监视图像具有严重的退化现象，影响了煤矿开采智能化的发展[4,12]。因此，研究矿井监视图像复原技术，以改善矿井监视图像的质量具有重要意义。

矿井监视图像复原主要是利用矿井图像采集过程中的有关先验知识建立退化模型，进而恢复图像的原始面貌。根据图像退化模型的确定性，图像复原算法可以分为确定性算法和随机性算法，其中，确定性算法主要是利用偏微分方程和小波变换实现，而随机性算法主要是利用概率统计算法实现图像复原。

考虑到矿井监视图像的采集过程受液压支架、采煤机、破碎机与带式输送机的振动及矿尘、喷雾等因素的随机影响，无法准确获知图像退化的深度、强度、范围等有用信息，因此，采用随机性算法复原矿井监视图像。比较常用的随机性算法有马尔科夫随机场方法、最大后验概率、基于贝叶斯的L-R算法(以下称L-R算法)等。基于马尔科夫随机场的复原方法易受图像灰度变化的影响，基于最大后验概率的图像复原算法易受高斯分布的限制，而L-R算法拥有预测各种概率分布、估计不同模型的参数与估算各类不确定因素的优势，比较适合于煤矿井下的图像监视复原场景[13-14]。基于图像超分辨率的矿井监视图像复原方法主要是利用图像缩放、降质模型等机理，恢复图像中丢失的高频信息，但是该方法对噪声信息比较敏感[15]。基于暗原色与暗通道的复原方法是将原始图像中比较暗的区域分离出来，得出整体图像的统计模型，但是对于煤矿井下低照度的监视图像，该方法效果不是很明显[16-17]。

鉴此，本文设计了一套基于L-R算法的矿井监视图像复原装置。该装置利用基于L-R算法的图像复原模型，可对矿井监视图像进行精确复原，提高了矿井图像复原的质量。

1 基于L-R算法的图像复原模型建立

L-R算法是根据泊松分布特性，基于贝叶斯理论与迭代理念推导出的图像复原算法[18]。

贝叶斯理论表述如下：

(1)

式中：p(f)为事件f发生的概率；p(g)为事件g发生的概率；p(f|g)为事件f在事件g发生基础上发生的概率。

由全概率公式可得

(2)

将式(1)、式(2)应用到图像复原过程中，用f表示原始图像，g表示退化图像，p(f)表示原始图像m(x,y)((x,y)表示原始图像m(x,y)的元素坐标)的灰度分布函数，p(g)表示退化图像n(x1,y1)((x1,y1)表示退化图像n(x1,y1)的元素坐标)的灰度分布函数，p(g|f)表示以点(x,y)为中心的点扩散函数h(x1-x,y1-y)，可得

m(x,y)=

(3)

调整式(3)积分项中分子的x1与x、y1与y的顺序，再次变换可得

h(-(x-x1),-(y-y1))dx1dy1m(x,y)

(4)

以退化图像n(x1,y1)为基础，将式(3)、式(4)进一步以卷积的形式表示如下：

(5)

对式(5)中的m(x,y)的表达式进行进一步分析，并以迭代的方式求原始图像m(x,y)，可得

(6)

式中：k为迭代次数，取值范围为1～∞；e(x,y)为迭代后的图像。

针对图像复原场景的表示，e0(x,y)=m(x,y)，随着迭代次数k的增加，ek+1(x,y)会根据概率收敛于e(x,y)。

2 装置设计

基于L-R算法的矿井监视图像复原装置需要实现以下功能：获取矿井摄像头的多媒体包流、调用图像复原模块、将复原后的图像以多媒体包流的形式转发到视频监控端。

装置工作原理如图1所示。首先，采集摄像头的多媒体包流信息，并对流信息进行解析，获取视频流，得到图像帧信息；然后，调用基于L-R算法的图像复原模块，进行图像复原，并输出复原后的图像；最后，将复原后的图像帧编码为多媒体包流信息转发至视频监控端，为操作人员远程操作采煤设备提供清晰的视频信息。该装置可通过API的形式配置图像复原模块的参数[19-21]。

2.1 装置硬件设计

基于L-R算法的矿井监视图像复原装置硬件主要由供电模块、通信模块、处理模块与存储模块组成，如图2所示。供电模块用于向处理模块供电。通信模块用于处理模块与摄像头、视频监控端的通信。存储模块用于存储处理程序与临时数据。处理模块以BCM2711处理器为核心，操作系统为Ubuntu，主频为1.5 GHz，指令集为ARM7，用于完成视频取流、图像复原与视频流转发操作。

图1 基于L-R算法的图像复原装置架构Fig.1 Architecture of image restoration device based on L-R algorithm

图2 装置硬件组成Fig.2 Device hardware composition

2.2 装置软件设计

基于L-R算法的矿井监视图像复原装置软件系统采用面向服务的架构、模块化的设计思路。整体软件系统包含取流模块、配置模块、复原模块与转发模块。

2.2.1 取流模块

取流模块主要用于获取矿井摄像头的多媒体文件，从多媒体文件中解码出视频帧，主要流程如下：

(1) 获取矿井监控信息的多媒体包流文件，包括网络地址及端口与获取格式。

(2) 解析多媒体包流文件，检测多媒体包中是否含有视频流，若有，则获取流信息;若没有，则丢弃。

(3) 解析流信息，获取视频流。

(4) 解析视频流信息，获取解码器信息，根据解码器信息，加载对应的解码器模块。

(5) 调用解码器模块，对视频流进行解码，并获取视频帧信息。

(6) 调用图像复原模块。

2.2.2 配置模块

配置模块主要是对复原模块中所需要的参数进行配置。该模块按照复原模块的参数属性、个数及位置要求，以API的形式对外发布参数需求，其主要格式如下：

地址：

POST http://{IP}:{PORT}/api/config

描述：

配置复原模块的参数

参数：

半径：Rad

标准差：Std

迭代次数：k

参数示例：

{

“Rad”:5,

“Std”:3,

“k”:25

}

状态码：

200 OK

400 BadRequest

2.2.3 复原模块

复原模块属于该装置的核心模块，利用L-R算法对图像进行复原，主要流程如下：

(1) 加载复原模块的配置参数(半径r，标准差σ，迭代次数k)。

(2) 加载退化函数模型(以高斯函数为例)，并设定参数。

(3) 监听调用。

(4) 获取图像信息，转换为图像矩阵。

(5) 退化模型以图像矩阵中的每一个元素值为中心，与图像矩阵进行卷积操作(边缘处补0)。

(6) 迭代次数为k-1，检测迭代次数是否为0，若为0，则退出，并将迭代后的图像矩阵转换为图像信息。

(7) 输出图像信息。

2.2.4 转发模块

转发模块主要完成输出图像的编码，进行网络流媒体传输，主要流程如下：

(1) 对图像复原模块输出的图像进行编码。

(2) 调用图像帧并转换至byte数据。

(3) 初始化RTP(Real Time Protocol, 实时传输协议)包，开始构建视频流。

(4) 对RTP数据包添加时间戳，加载byte数据。

(5) 发送RTP数据包，返回剩余数据，继续步骤(3)。

3 装置实验验证

采用基于ARM的微型计算机作为实验平台，并采用8台高清数字摄像机作为视频流采集设备，用于采集综采工作面的视频数据，复原后的视频流通过RJ45网口转发至视频监控端，其中复原模块中的退化模型采用高斯函数模板，半径为3，标准差为5，迭代次数为45。

在视频监控端，分别采集高清数字摄像机与图像复原装置转发的视频流，采集时长分别为1，3，5 min，并将采集到的视频流转换为视频帧，计算每一帧图像的灰度平均梯度值、拉普拉斯算子和与信息熵值，并计算其各段时间内的视频流图像帧的平均值，结果见表1。灰度平均梯度值、拉普拉斯算子和与信息熵的评价准则如下[22-24]：

(1) 灰度平均梯度值:主要反映图像的对比度和纹理特征，其值越大，表示图像越清晰。

(2) 拉普拉斯算子和：主要反映了图像灰度边界的数量和，其值越大，表示图像越清晰。

(3) 信息熵：主要反映图像的信息量，其值越大，表示图像中的信息量越大。

表1 视频流质量对比Table 1 Video stream quality comparison

由表1可看出，相对于原视频流质量，复原后的视频流的图像质量得到明显提升，表明基于L-R算法的矿井监视图像复原装置可有效提升煤矿井下的视频质量。

4 结语

针对矿井视频监视图像存在严重退化的问题，设计了一套基于L-R算法的矿井监视图像复原装置。该装置通过矿井摄像头获取视频流信息，并对流信息进行解析，获取视频流，得到图像帧信息；基于L-R算法的图像复原模块进行图像复原，并输出复原后的图像；将复原后的图像帧编码为多媒体包流信息转发至视频监控端，为操作人员远程操作采煤设备提供清晰的视频信息。实验结果表明，该装置可有效提升矿井监视图像的质量，为实现煤矿可视化远程干预型智能化无人开采提供技术保障。