复合式图像监测技术在井下测量中的应用

张桁维，郝敬宾，朱文杰，卢震，杨乾龙

（中国矿业大学机电工程学院，江苏 徐州 221116）

复合式图像监测技术在井下测量中的应用

张桁维，郝敬宾，朱文杰，卢震，杨乾龙

（中国矿业大学机电工程学院，江苏 徐州 221116）

煤矿井下的空间变形是煤矿开采过程普遍存在的一种现象，即时对巷道变形预警可以保证煤矿井下安全生产，考虑到井下巷道中光源色温、光线照度等条件限制，以及井下作业环境粉尘较大，会造成获取的井下巷道图像失真甚至无法获取有效信息。本系统采用双目视觉和激光测距相结合的方法来提高井下空间可视化环境的测量效果，通过数据比较实现处理和分析图像，可以长时间、精确地、非接触地进行井下巷道变形和围岩形貌的测量。

复合式图像监测；井下可视化；巷道变形；围岩形貌

0 引言

中国煤炭产量在整个全球产量中的份额达到了37%，但我国矿井事故死亡人数却占全世界煤矿死亡总人数的70%左右，致使我国的煤矿事故频发的因素主要有矿井下特殊的作业环境，作业人员素质参差不齐，井下环境的突发性，多样性以及企业管理人员安全意识不足。随着煤矿井下的安全生产面临越来越严峻的形势，矿井安全监控以及检测系统得到了快速发展，由最初的瓦斯遥测系统开始实现单一的瓦斯监测到目前单方面、多参数监控系统实现对井下轨道运输、环境安全、皮带运输、通风、排水等各大系统的监控，并随着计算机技术和网络技术的发展，已研制出KJ90、KJ4等监控系统以及MSNM、WEBGIS等综合化和数字化的煤矿安全网络监测管理系统，提高了煤矿生产的安全保障性［1-3］。

大部分发达国家利用人工智能，图像处理等领域的前沿技术，结合网络传输技术，已经研发出把视频、数据集合于一体同时兼容各种专用视频监控系统功能的综合系统，将信号控制、图像识别、通信功能合成一体，多样化发展、灵活性强、兼容性好、便于无线接入技术的引入［4，5］。

但由于煤炭的采掘主要以井下采掘为主，生产条件极为恶劣；有甲烷等爆炸性气体、以及井下低光源、多粉尘的工作环境特别是瓦斯爆炸、冒顶、垮塌等事故时有发生，这就要求井下监控测量系统能够提供工作面的测量数据［6］。然而，目前的监控系统存在很多的不足，由于它监控的基本信号为模拟信号，从监控现场得到的相关图像只用于在视频显示器上显示，依赖于工作人员的观察和判断，无法实现精确的数据测量和收集任务，井上监控人员就无法做出准确快速地判断，就会对井下作业人员的生命安全产生一定的威胁。

为克服已有井下可视化监控系统的不足之处，本文采用将双目视觉和激光测量相结合的复合式图像监测技术，以实现在低光源、高粉尘等极端环境下井下可视化监测，为井下作业安全预警提供及时准确的数据支持。

1 复合式图像监测的工作原理

本系统利用搭载在高精度旋转云台上的激光测量仪和双目摄像头组成，两个摄像头对同一目标物拍摄两幅图像，并采用双目视觉和激光测距相结合的方法来对井下巷道进行测量。双目摄像头对井下的岩壁进行图像提取，通过选择像素点，记录每一个像素点相对于整个图像的坐标（X，Y），激光测量仪对图像上选择点进行扫描，得到选择点相对于激光测距仪的距离S，通过每一个选择点的坐标（X，Y，S）以便于构建井下巷道三维模型，并采用图像增强技术来处理图像，图像的线性拉伸、对数指数拉伸、直方图均衡化、图像正规化、直方图高斯化、高通滤波、低通滤波、带通滤波、全方向的各种滤波，纹理增强等是图像增强的主要方法［7］。

双目摄像头的工作原理是利用三角测距原理即已知两摄像头的位置，且同时知道同一物体在2个摄像头中的成像位置，利用三角原理计算物体在空间的位置。

如图2所示，考虑最简单的情形，L和R分别为2个参数相同的摄像头，f为2个摄像头的焦距，L和R光轴平行，与X轴重合，Y轴垂直于纸面。以R的原点或投影中心的偏移量为b，b成为立体视觉系统的基线，L的摄像头坐标系为世界坐标系目标点为P，P在左右摄像头中投影的x坐标分别为x1，x2。根据空间几何的原理，有如下公式［3］：

图2　三角测距原理示意图Fig．2 Triangle Ranging Principle Diagram

式中：b—L、R两点间的距离；x1—A、B两点间的距离；x2—C、D两点间的距离；f—摄像头焦距；y1，y2—P在左右摄像头中投影的y坐标；Z—P在Z轴的坐标。

已知（x1，y1），（x2，y2），焦距f和基线长度b即可以得到P点的三维坐标（X，Y，Z）：

式中：f—焦距；X，Y，Z—P点的三维坐标；x1，y1—P在左摄像头中投影的x坐标和y坐标；x2，y2—P在右摄像头中投影的x坐标和y坐标。

系统采用光学测量技术，拥有测距远、非接触式、快速性好、系统柔性好，精度优良等优点，利用经发射装置发射一束激光到达被测物体表面再按原路径返回，由时间计数器计算得光束由发射到被接收所用时间，然后算出仪器到被测点的距离。

激光测距技术是光波测距中的一种测距方式，根据测量时间方法的不同，激光测距仪通常可分为相位式和脉冲式两种测量形式。激光测量技术的工作原理示意图如图3所示。

图3　激光测量原理示意图Fig.3 Laser ranging principle diagram

在此基础上，应用如湿敏传感、温度传感、气敏传感、测距传感等多传感器的传感信息，利用信息冗余分析与融合滤波进行信息消噪，同时对色温、照度等因素进行估计与补偿，实现异构传感信息之间的最优互补。进一步，分析衍射效应和聚焦误差对分辨率的影响，基于异构信息融合，采用基于尺度不变特征和变换设计特征匹配算法进行匹配，修正全景模型偏差并重构细节信息。

对于一台双目摄像头，由于安装误差会使摄像头和激光发射器之间的位置产生误差，所以在第一次测量前，应对摄像头和激光发射器进行标定以提高测量的精度。

同时，为了更好地对前期图像的采集可能出现质量不足进行处理，将在后期在线监控的过程中，运用实时摄像所获取的信息，通过双目摄像头获取的图片拼接与成像特征提取，结合超分辨率重建方法，进行多次离线或在线渐进补偿，以提高信息重构的质量与精度。该检测系统直观地监测煤矿井下巷道空间的变化情况，处理和分析巷道图像，使测量的可靠性和重复率均满足要求，并根据测量结果，对煤矿井下作业环境中的围岩空间变形进行早期预警。

2 复合式图像监测装置的设计与实现

复合式图像监测装置由双目摄像头和激光测量仪组成，激光测量仪安装在双目摄像头的上方，使两者位于同一测量原点。双目摄像头对井下的岩壁进行图像提取，激光测量仪对岩壁进行扫描，操作人员观看照片，标定需要进行测量的地方，利用激光测量仪获得标定位置的岩壁区域距离数据，并通过换算得到所需数据。

该检测系统的基础是硬件系统，系统的组成决定了井下图像采集的质量，对最终的测量结果会产生很大的影响。本系统主要部件包括：激光测量仪、高精度旋转云台、双目摄像头和无线收发模块，它们是整个系统的关键，该检测系统由煤矿井下图像采集系统和煤矿井上图像分析系统两部分组成。煤矿井下数据收集系统实现生产现场巷道空间采集和图像传输，井上图像分析系统分析获得的数字化图像，得出巷道空间变形的数据。

该检测系统的远程控制与协调由以下两步组成：控制指令由控制键盘传送给现场主机，主机直接控制高精度旋转云台，使双目摄像头对准被测量巷道围岩表面，照明系统将井下照亮并以固定的时间间隔，对井下巷道内岩壁的情况进行连续的自动测量和采集图像。计算机对图像进行分析处理，图像处理过程包括对图像中巷道的岩壁特征识别、宽度和高度测量，得到巷道信息，为建立井下巷道三维模型提供理论依据。

整个系统的工作流程如图4所示，双目摄像头用来采集图像，旋转部件带动激光发射器在一定的角度内旋转以便激光发射器的照射范围可以覆盖整个图像，旋转云台使双目摄像头可以拍摄到一周360°的图像，得到的数据由无线收发模块传送到主机内，从而进行实时图像显示和巷道虚拟重现。

图4　监测装置硬件系统示意图Fig.4 Monitoring device hardware system schematic diagram

3 结论

该系统能提供连续的井下图像同时可以实时显示出矿井下巷道围岩表面状况，使信息直观化、可视化，并比对数据库的信息及时做出预警，以便于井下问题被测量者提早觉察并做出及时的应对，提高了测量效率，节省了成本。

本文综合考虑了煤矿井下实际的工作环境，对基于图像处理技术的巷道围岩空间变形检测系统的总体设计进行了阐述。该检测系统具备对煤矿井下巷道围岩空间变形进行预警的功能，直观的显示了巷道围岩空间变形的程度，给我国矿井的安全管理和生产提供了科学依据，具有一定的推广价值。

［1］赵修霞.矿井安全监控系统可靠性研究［D］.山东：山东轻工业学院，2011.

［2］朱文杰，郝敬宾，杨乾龙，卢震，张珩维.巷道围岩表面变形的激光测量方法研究［J］.煤矿安全，2015.

［3］杨武，姚锡凡，范路桥，基于双目视觉定位的排爆机器人控制系统［J］.微计算机信息，2008，2.

［4］刘尹霞，马恒.机器视觉技术远程煤尘颗粒在线检测［J］.辽宁工程技术大学学报（自然科学版），2012，6.

［5］邢喆.矿井深部开采巷道维修及其支护理论与应用［J］.黑龙江科技信息，2007，17.

［6］张琦，张柯.激光的特点及其在测距上的应用［J］.办公自动化杂志，2011，211.

［7］魏连云，王怀强，邓恒淹，等.图像增强技术在煤矿岩层监视系统中的应用研究［J］.科技资讯，2009，35.

Application of Compound Image Monitoring Technology in Mine Measurement

ZHANG Heng-Wei，HAO Jing-Bin，ZHU Wen-Jie，LU Zhen，YANG Qian-Long
（College of Mechanical and Electrical Engineering，China University of Mining and Technology，Xuzhou Jiangsu 221006，China）

Deformation of the coal mine space is a common phenomenon in the process of coal mining，and deformation forecast in advance can ensure the safety production in mine.Considering the restriction of the temperature of the light source，light intensity and a lot of dust in the mine which will cause image distortion and even cannot obtain the effective information，the system adopts the combination of binocular vision and laser ranging in order to improve the measuring results of coal mine.Through the data comparison，the system can realize the image processing and analysis，meanwhile the measurement can be accurate，non-contact and last a long time when measuring the deformation of the surrounding rock in tunnel.

composite image monitoring；mine visualization；deformation of the coal mine；morphology of the surrounding rock

TD76

A

10.3969/j.issn.1002-6673.2015.02.034

1002-6673（2015）02-089-03

2015-03-07

国家自然科学基金项目（51305443）；863计划项目（2012AA062100）“本科教学工程”国家级大学生创新训练项目（201310290015）

张桁维（1993-），男，陕西西安人，本科生在读。参与发表论文两篇，申请发明专利一项；郝敬宾（1982-），男，江苏徐州人，工学博士，讲师，研究方向：快速成形与快速模具制造及激光微纳米加工技术，发表学术论文十二篇，申请国家发明专利两项。