深度图像及其修复在煤矿井下的研究

梁燕华，李金峰

（黑龙江科技大学，黑龙江哈尔滨，150022）

0 引言

人类对煤矿的需求日益增加，因为煤矿里，提供我们的矿产，我们需要的热，需要的其它能力，很多矿物质，各方面化工，都需要它们的产品，只不过是随着煤矿产量的增大，煤矿开采工作和地点也越来越多，事故也随之增加，因此煤矿成为了重点照顾对象。井下安全[1]生产长期以来一直是我们所强调的，是保护劳动者安全健康和发展生产力的重要工作。煤矿井下环境普遍存在的安全隐患[2]有瓦斯爆炸、煤尘爆炸、矿井火灾、矿井水灾、顶板离层、脱落及支护不完好等。当危险发生时如何该如何自救，化险为夷成为了讨论的热点。如果对井下环境足够熟悉，对地形、方向以及各位置的距离掌握准确的话，可以大大提高脱险概率。

在计算机视觉系统中，三维场景信息为很多计算机视觉应用创造了很多的价值，深度图像也成为获取三维场景信息的一种方法，并且运用的很广泛。本文提出深度图像与煤矿井下相结合，可以对井下环境真实距离进行获取。这样就可以更好的掌握井下的三维场景信息，提高工作效率，并且在危险发生或将要发生时快速的进行避险。

1 深度图像

深度图像也被称之为距离图像，它是反应环境内各个点到传感器之间的距离的图像，采集到的深度用像素的值的大小来表示，通过处理将像素的值转化为灰度，灰度越深，距离传感器距离越近，灰度越浅，说明距离传感器越远。深度图采集到的是深度信息，不同的像素点对应其相应的深度值，无固定的取值范围，灰度图存储的是灰度信息，取值范围是0-255（8位深度）。通过深度图像可以直接看出被测环境内物体的外形和轮廓。目前，可以通过激光雷达成像法、结构光法、主动（被动）传感器测距等方法来获得深度图像。

2 深度图像的获取

获取深度图像的方法[3]可以分为两类：被动测距传感和主动深度传感。

2.1 被动测距传感

双目立体视觉是被动测距传感法使用比较多的方法，双目就是两个摄像机或者一个摄像机在同一水平线不同位置拍摄同一场景，像人的眼睛一样。拍摄得到两张不同位置同一场景的照片后，找到图像中对应的像素点，然后根据相似三角形的原理计算出视差信息（图1），视差信息转换后可以表达场景的深度信息。立体匹配的算法，还可以对同一环境进行角度的变换来进行拍摄来获取这个被测场景的深度信息。

图1 被动测距原理图

2.2 主动测距传感

主动测距传感[4]和被动测距传感的区别在于，前者是通过设备自身发出的能量来获取深度信息。后者则是前文说到的要通过两个不同的机位拍摄一组图片，通过这组图片之间的视差来获取深度信息。

图2 深度相机工作原理

3 深度图像的修复

虽然深度相机应用很广泛，给很多领域创造了价值，但是相机因为自身硬件条件的影响，目前通过深度相机拍摄出的深度图还有很多不足，很多深度相机拍摄的深度图有部分深度值的缺失，使深度图不完整，这影响我们对深度图的研究和应用。

因此，深度图补全一直是一个非常有用的研究方向，很多深度相机拍摄出的深度图像由于传感器的质量比较低会出现较多孔洞。因此需要深度图修复算法[5]对孔洞进行填充。

4 二阶平滑度先验算法

本文所提出的算法二阶平滑度先验的方法，下面先对原始二阶平滑度先验算法[6]进行简单介绍和研究。

首先，定义一个能量函数E，将其分为两个部分，（平滑项与数据项），数据项的作用是获取每个点的填充像素的值[7]，平滑项的作用是通过最小化深度导数对填充的区域进行平滑。能量函数可用公式表示为：

其中是图像像素点p的观察深度值，Z(p)是填充的深度值，将深度图的像素强度转化为测量距离。dρ限制了每个像素点深度值的贡献度，可用公式表示为：

5 仿真结果分析

为了验证算法的可靠性，本文实验采取的深度图取自公开NYU数据集。这个数据集由1449张640*480的图像组成，其中包括彩色图和对应的未处理的深度图。

为了对本文算法进行定量分析，在数据集中取未处理的深度图进行修复实验，并且计算了被填充深度值的均方根误差、中值误差和平均绝对误差。结果如表1所示。

表1 在NYU V2数据集中的定量分析

从图3与图4对比可以看出对未处理的深度图修复效果很好。

图3 未处理的深度图

图4 本文算法修复

6 结束语

本文提出深度图像应用在煤矿井下环境，并对深度图修复进行了实验，修复效果很好，应用到恢复煤矿井下深度图，这样就可以掌握井下的三维场景信息，对井下环境真实距离进行获取。提高工作效率，并且在危险发生或将要发生时快速的进行避险。