基于井下移动图像采集的目标识别与精确定位方法

2021-06-02刘毅翟贵盛

工矿自动化 2021年5期

刘毅，翟贵盛

(中国矿业大学(北京) 机电与信息工程学院，北京 100083)

0 引言

煤炭是我国的主要能源，目前煤矿多采用井工开采方式，井下易发生各类灾害与事故。井下人员定位系统是煤矿安全避险“六大系统”之一，是煤矿安全生产的重要保障[1]。因此，井下定位技术研究具有重要意义。现有的定位技术中，全球定位系统(Global Positioning System，GPS)等卫星定位系统无法应用于井下定位；基于接收信号强度指示(Received Signal Strength Indication，RSSI)的井下定位系统误差达10 m以上；基于无线电波飞行时间的井下定位系统目前定位精度最高可达0.3 m，但易受巷道的形状、分支和巷道中固有设施及移动人员、车辆等影响，定位精度波动较大，难以进一步提高。

目前煤矿朝着智能化方向发展，现有定位技术难以满足井下智能设备高精度定位需求。因此，需要从新的技术层面探索研究井下精确定位方法，以进一步提高井下定位精度。本文提出了一种基于井下移动图像采集的目标识别与精确定位方法,通过识别井下移动采集图像中的目标物，在已知目标物位置的情况下测量人员或移动设备与目标物间的距离，实现井下精确定位。

1 方法流程

基于井下移动图像采集的目标识别与精确定位方法的流程如图1所示。

图1 基于井下移动图像采集的目标识别与精确定位方法流程Fig.1 Flow of target identification and precise positioning method based on underground moving image collection

(1) 井下移动图像采集：通过井下工作人员或移动设备携带的摄像机主动式采集前方环境的图像信息。

(2) 图像预处理：对采集的图像进行预处理，为目标检测做准备。

(3) 井下图像目标检测：对经过预处理的图像进行目标检测，检测出测距需要的目标物，为后续测距做准备。

(4) 目标物测距：对井下图像目标检测得到的目标物进行测距。

(5) 定位：参考目标物的已知位置数据,获得井下人员或移动设备的位置。

限于篇幅，本文主要介绍井下图像目标检测和目标物测距与定位的相关研究内容。

2 井下图像目标检测

2.1 图像预处理

由于煤矿井下环境特殊，全天人工照明，加上粉尘和潮湿等因素的影响，井下采集的视频、图像往往存在照度低、光源分布不均匀、几乎没有色彩信息等特点，加大了图像分析检测的难度，也不利于后续进一步利用井下的图像、视频信息[2]。另外，不同于井下传统的固定摄像设备，通过移动设备采集井下图像、视频时，很难保证摄像机和目标物体相对静止，容易出现模糊的情况。因此，有必要在检测识别之前对图像、视频进行预处理。

在实验室模拟井下巷道环境，使用移动摄像机采集模拟井下标牌图像信息，并通过自适应直方图均衡化方法[3]对采集到的原始图像进行预处理，结果如图2所示。通过图像预处理，增加了图像对比度，使图像更加清晰。

(a) 原图

2.2 目标检测算法

2.2.1 传统算法

传统的井下目标检测算法主要包括灰度图像匹配算法和特征图像匹配算法。灰度图像匹配算法通过遍历原始灰度图像，寻找与灰度模板图像匹配程度最高的区域[4]，从而实现目标检测。该算法复杂度低，匹配准确率较高。特征图像匹配算法通过检测原始图像中的不变特征，实现目标匹配[5-6]。该算法对于图像的尺度变换、仿射变换等具有良好的适应性。

2.2.2 基于深度学习的目标检测算法

基于深度学习的目标检测算法主要分为2类:一类是以R-FCN(基于Region的全卷积网络)、Fast R-CNN(基于Region的快速卷积网络)等为代表的二阶段算法[7-9]，另一类是以YOLO(You Only Look Once)、SSD(Single Shot Multibox Detector)为代表的一阶段算法[10]。虽然一阶段算法检测准确度稍低于二阶段算法，但运行效率高。SSD采用多尺度的金字塔结构特征层组对目标进行分类和定位[11]，适应性优于YOLO，因此本文采用SSD作为研究模型。

SSD算法框架如图3所示。其中浅层网络特征图感受野较小，主要用来检测小目标物体；深层网络特征图感受野较大，主要用来检测大目标物体。

图3 SSD算法框架Fig.3 Frame of SSD algorithm

2.2.3 数据增强SSD算法

通过数据增强可以减少网络的过拟合现象，对参与训练的图片进行变换，从而获得泛化能力更好的网络模型。在进行SSD数据集训练时，通过引入噪声扰动和对比度变换等进行数据增强，具体方法如下：① 在原始图像中引入不同程度的椒盐噪声，扩增训练样本，增强网络对一般性噪声信息的鲁棒性。② 在训练过程中，对原始图像进行灰度处理，增强检测网络对巷道环境光照不足、光照变化、色彩信息缺失等环境影响因素的鲁棒性。③ 通过随机改变原始图像的亮度值来调整原始图像的对比度。

2.3 实验分析

2.3.1 传统算法目标检测实验

在实验室模拟井下环境，移动采集包含待测目标物的图像，以验证灰度图像匹配算法和特征图像匹配算法的匹配效果。灰度匹配模板如图4所示，灰度匹配效果如图5所示。特征匹配效果如图6所示，左侧为匹配模板图像，右侧为匹配目标图像，黄线连接的是匹配特征点。计算各算法的匹配准确率,分析算法性能，结果如图7所示。

图4 灰度模板Fig.4 Grayscale template

分析实验结果可知：灰度图像匹配算法受限于模板特征，准确率受距离影响较大，到0.7 m时已无法匹配；特征图像匹配算法在适应性方面好于灰度图像匹配算法；随着距离增大，2种传统算法的匹配准确率下降明显，不适用于本文移动图像检测应用场景。

图5 灰度匹配效果Fig.5 Gray matching effect

图6 特征匹配效果Fig.6 Characteristic matching effect

(a) 灰度匹配算法

(b) 特征匹配算法

2.3.2 SSD算法目标检测实验

在实验室走廊模拟井下巷道弱光环境，工作人员携带摄像机在巷道中移动，采集目标图像，建立模拟井下数据集。总样本数为4 806，其中训练样本数为3 845，测试样本数为961。

通过增加椒盐噪声、灰度处理和对比度增强的方式对样本集进行数据增强处理，效果如图8所示。

使用模拟井下数据集对SSD网络进行训练，得到检测模型，通过测试集验证模型检测性能，检测结果如图9所示。检测性能对比见表1。

实验结果表明，与传统算法相比，SSD算法对距离和角度变化的适应能力更好，距离为4.5 m时平均检测精确率仍达89.2%。数据增强SSD算法提高了鲁棒性，平均检测精确率比SSD算法高1.7%，可以更好地适应复杂环境。

(a) 原图

(a) SSD算法

(b) 数据增强SSD算法

表1 SSD 算法检测性能对比Table 1 Detection performance comparison of SSD algorithm

SSD算法、数据增强SSD算法的检测效果对比如图10所示。可见，通过合理的数据增强操作可提高SSD算法对井下图像目标的识别性能。实验中所使用的模拟里程标志牌相对墙壁具有比较明显的差异，而且只有一种待测目标物，这些条件均减轻了深度学习训练的压力，因此,目标检测精度比较高。在井下真实环境中，针对标志牌的设立应制定相关标准，标志牌与周围环境必须有明显的区分度。

3 煤矿井下测距与定位

3.1 坐标系转换

通过摄像机采集目标图像并完成测距和定位，首先需进行物理坐标系和像素坐标系之间的转换。像素坐标系中点p的像素坐标(u,v)代表该点在数字图像数组中的行列数；物理坐标系中点p的坐标(x,y)表示像素在图像中的位置[12-13]。2种坐标系的转换关系如图11所示，坐标转换关系为

(a) SSD检测结果

(b) 数据增强SSD检测结果

(1)

式中：sx，sy为图像平面中不同方向上单位距离的像素数；(u0,v0)为原点坐标，即摄像机光轴与图像平面的交点坐标。

图11 物理坐标系与像素坐标系转换Fig.11 Transformation between physical coordinate system and pixel coordinate system

图像物理坐标系与像素坐标系间的转换关系可表示为[14]

(2)

式中dx，dy分别表示单个像素在x和y方向上的物理尺寸。

3.2 单目测距方法

为了尽可能满足实时性要求，本文采用基于小孔成像原理的单目测距方法[15]检测移动摄像机与目标物的距离，如图12所示。

图12 单目测距方法Fig.12 Monocular distance measuring method

将移动摄像机理想化成一个点，已知待测目标物的高度为L，测得目标物在图像上的高度为l，由几何关系可得当前摄像机光心与待测目标物之间的距离d为

(3)

式中f为摄像机焦距。

根据式(2)可得x=(u-u0)dx，y=(v-v0)dy，此时目标物在成像平面的高度的平方为

[(um-un)dx]2+[(vm-vn)dy]2

(4)

式中:(xm,ym),(xn,yn)表示目标物在成像平面的预测矩形框右侧的两顶点坐标;(um,vm),(un,vn)表示目标物预测矩形框右侧的两顶点坐标。

设ax=f/dx,ay=f/dy，代入式(3)和式(4)可得摄像机与待测目标物之间的距离为

(5)

3.3 方向判定与定位

测量出移动摄像机与待测目标物之间的距离后，还需要确定待测目标物与移动摄像机的相对位置关系，即方向判定。在本文实验模拟环境中，将模拟里程标志牌分别部署在墙壁两侧，统一进行图像采集，并统一进行训练和目标检测。在实际应用中，标志牌是固定在墙壁一侧的，需在其左侧和右侧分别进行图像采集，单独进行分类训练，才能实现摄像机方向识别。在已知目标物位置的前提下，当定位系统完成目标物的检测、测距和方向判定后，以目标物位置数据作为参照点坐标，即可实现携带摄像机的人员、车辆或设备等移动目标的定位。

4 实验分析及井下应用

4.1 实验分析

基于VS 2012、OpenCV视觉库和Matlab平台进行实验。选用可设置视频分辨率的摄像机作为图像采集设备，所采集的图像像素为600×800。摄像机内参矩阵为

(6)

从式(6)可知摄像机基本参数：ax=659.831 2，ay=580.782 9，成像平面原点像素坐标为(u0,v0)=(328.399 1,412.290 2)。

在实验室模拟环境中，采用基于井下移动图像采集的目标识别与精确定位方法计算移动摄像机与待测目标物之间的距离，结果见表2。由表2可知，随着测量距离的增加，测量精度有所下降。

表2 测距实验结果Table 2 Ranging experiment results

4.2 井下现场应用

在国家能源集团宁夏煤业有限责任公司双马煤矿井下现场，采用KT559-S2本质安全型智能手机采集环境图像，如图13所示。基于摄像机标定数据进行测距，结果见表3。由表3可知，在井下应用时，基于井下移动图像采集的目标识别与精确定位方法可在一定距离范围内得到较理想的效果。当待测目标物距离较近时，测量误差在3%之内；随着距离的增加，测量精度有所下降。