基于双摄像头组合成像的钻孔成像系统

2022-12-19刘放杨飞

科学技术与工程 2022年31期

刘放，杨飞

(武汉大学电气与自动化学院，武汉 430072)

随着中国经济迅速增长,隧道建设重心逐渐向西部等地质环境恶劣的地区偏移,各类大埋深、高海拔隧道将逐步建成，充分了解地质情况在隧道建设、煤矿勘探等领域起着极为重要的作用[1-2]。例如，在川藏线雅安至林芝段地质勘探工程中，四川省地矿局项目组曾克服孔内涌水量大、水压高等困难，完成903.28 m的水平取芯钻孔；在天山胜利隧道地质勘探工程中，中交一公局集团项目组进行水平定向钻长距离取芯探测最长钻孔距离达2 271 m，因此，在隧道地质勘探等任务中，高地应力、高水压等恶劣的勘探环境都对地质勘探设备的质量提出更高的要求[3]。目前，地质钻探方法包括钻孔成像法、钻孔岩芯法等方法。钻孔岩芯法采集、观察、分析岩芯，优点在于原理简单、分析方便，但取芯时岩芯易断裂、岩芯保存维护代价大且难以观测岩芯中裂隙开度和确定裂隙走向[4]。钻孔成像法使用摄像头观测钻孔孔壁，能有效克服钻孔岩芯法的缺点。钻孔成像技术自20世纪50年代以来经历了钻孔照相、钻孔电视、数字式全景钻孔摄像三个阶段[5]，其逐步走向数字化、智能化，并为岩体孔隙结构识别[6]、结构面自动提取[7-8]等技术奠定基础，是一种实用的钻孔勘探技术。

传统数字式全景钻孔成像探管包含微处理器、深度仪、摄像头，透明保护罩、电源等。在钻孔成像勘探工程中，成像探管逐步深入钻孔，采集孔壁图像信息并传输给上位机程序处理，获得钻孔孔壁全景图。传统单摄像头或多摄像头钻孔成像方案均要求摄像头同时获取同一深度的360°全周孔壁图像[9-11]，因此探管在摄像头外安装360°透明保护罩作为光学视窗且防止水流、灰尘进入探管。这种结构的传统成像探管在垂直孔环境下凭自身重力深入钻孔，碰壁造成的探管损坏有限，可以在垂直孔勘探工程中安全使用。但隧道勘探等工程通常进行水平定向孔钻探[12]，水平定向钻孔常遭遇含水岩层，由于孔内水压高、推杆重量大，因此在实际勘探工程中需要借助钻机钻杆将探管逐步推进孔内。透明保护罩360°包围摄像头的传统探管在此情况下存在如下问题：由于钻机推力大且不易调节，且探管易阻塞于突出岩壁或碎石，若探管受挤压则透明防护罩将直接承受外界压力，存在透明保护罩破裂、水流浸入探管内部的风险。实际上，在水平钻孔内，即使使用人工推杆推进探管也会出现将透明保护罩撞裂的情况。文献[13-14]仍使用钻孔岩芯法进行隧道水平孔地质勘探，此方法相较于钻孔成像法费时费力，且难以观测钻孔中裂缝信息。文献[15-16]对传统钻孔成像算法进行改进，能获得图像质量更好的钻孔全景图，但仍然是传统探管结构，在水平定向孔钻探工程中存在损坏的风险。文献[17]给出一种超前水平钻孔成像的装置，然而对于探管碰撞并无保护手段。文献[18]为探管增加防碰板，然而当探管碰撞孔壁时，虽有防碰板作为缓冲，透明防护罩仍然承受较大压力，依然存在透明防护罩破裂的风险。即现有的钻孔成像系统[19-20]受限于成像探管结构，无法在水平定向孔勘探任务中安全使用。

针对上述传统成像探管在水平钻孔成像勘探遇到的问题，现提出一种双摄像头组合钻孔成像系统，打破传统成像方案中透明保护罩360°包围摄像头的约束，设计类“弓”形的探管结构，且使用两个相机互相弥补被探管壁遮挡的视野，借助双摄像头组合成像算法得到两幅180°钻孔全景图并拼接成360°钻孔全景图。这样在生成图像质量良好的同时，可以避免透明保护罩直接承受外界压力，为水平定向孔成像系统设计提供新思路。

1 双摄像头组合成像原理

由于在水平定向孔钻探工程中，探管易在钻机的强外力作用下撞击孔壁而损坏，提出一种双摄像头钻孔成像探管方案及相应的全景成像算法，探管成像原理如图1所示。探管外壁上2个相反方向侧面各挖出1个半圆柱缺口用作相机的拍摄窗口，保留部分做支撑结构承受探管前后端压力。由于每个相机视野受探管壁遮挡，只能采集180°钻孔图像，因此使用两个摄像头，视野范围合计覆盖360°钻孔孔壁，并提出一种双摄像头组合成像算法，算法由单摄像头钻孔成像算法与180°全景图拼图算法组成。

图1 双摄像头组合成像原理图Fig.1 Imaging principle of integral imaging of dual-camera

1.1 单摄像头钻孔成像

对于单摄像头钻孔成像，已有大量研究取得良好效果[21-23]。单摄像头钻孔成像原理为从原始图像中取圆环区域，根据图像像素点与真实孔壁的映射关系，将此圆环图像映射为孔壁矩形图像，随着勘探任务进行，将相邻的孔壁矩形图像配准、拼接，最终得到钻孔孔壁360°全景图。本系统单摄像头钻孔成像亦符合上述原理，区别在于本系统单个相机只采集180°井壁图像，映射公式为

xc=Ox-(Rmax-y)sin(∂x)

(1)

yc=Oy-(Rmax-y)cos(∂x)

(2)

(3)

wimg=(Rmin+Rmax)π/2

(4)

himg=Rmax-Rmin

(5)

式中：(x,y)表示孔壁矩形图像中任意一点像素坐标;(xc,yc)表示圆环图像中与(x,y)对应的像素点坐标;(Ox,Oy)表示圆环图像中圆心的坐标;Rmax为圆环图像的外径；Rmin为圆环图像的内径；wimg、himg为孔壁矩形图像的宽和高。根据映射公式可将孔壁圆环图像映射为孔壁矩形图像，再经过图像匹配、图像拼接得到180°钻孔全景图。

1.2 180°全景图拼图算法

由于本系统包含两个摄像头，且单个摄像头只采集180°孔壁图像，则在完成180°全景图拼接后还需将两幅180°全景图拼接成360°全景图。

记两摄像头生成的180°全景图分别为I1与I2，由于两摄像头在探管上处于不同高度，所以I1与I2在同一图像高度下并不对应同一钻孔孔壁高度，为了将两幅180°孔壁全景图拼接成360°孔壁全景图，本系统需求取I1与I2由探管结构产生的图像高度偏移Δh。需注意，两摄像头位置相对固定，在理想状况下Δh为一固定值。但在实际勘探工程中，光照、探管抖动等因素会影响180°全景图的拼接质量，即同一段孔壁映射在I1与I2上的图像高度存在较小的差别，若以固定的Δh拼接I1与I2，则误差必将累计。所以，为降低误差干扰，求取I1与I2的图像高度偏移Δh极为必要。本系统借助图像拼图算法的思想计算图像高度偏移Δh。图像拼图算法从散乱的图像碎片方块中恢复完整图像，原理为根据图像碎片方块边界的像素值计算每两个方块之间的匹配度，匹配度表示此两个图像方块在完整拼图中相邻的程度。以下首先给出本系统计算图像高度偏移Δh的具体步骤，再介绍可选用的图像匹配度计算方法。

本系统按照以下步骤计算出图像I1与I2的高度偏移Δh，将两幅180°全景图拼接成360°全景图。

(1)取I1左右任一边界上大小为m×1的窗口，窗口遍历I1边界，计算窗口中像素值方差，记方差最大处窗口起点行高为h1。

(2)在I1的高h1边界处取大小为m×m的矩形像素块，记为Rect1，在I2中与步骤(1)中I1相反边界自上往下以一个像素为步长取大小为m×m的像素块，记为Rect2j。

(3)选取合适匹配度度量算法，遍历计算Rect1与Rect2j的邻近匹配度θj，θj越小表示Rect1与Rect2j越可能是相邻的图像块，遍历过程中记θj最小处Rect2j的行高为h2。

(4)可得到Δh=h2-h1，将I1、I2以Δh为高度偏移进行水平拼接即得到360°孔壁的全景图。

步骤的关键在于计算两方块图像之间的图像匹配度。

计算拼图碎片方块图像之间匹配度的度量算法包括SSD(sumof squared difference)度量算法、(Lp)q度量算法、MGC(mahalanobis gradient compatibility)度量算法[24]。

SSD算法根据两碎片方块图像边界像素值之间的差异计算匹配度θSSD(xi,xj,r)，计算速度快但准确度较低,计算M×M大小碎片方块图像公式为

xj(row,1,c)]2

(6)

式(6)中：xi(row,M,c)表示碎片方块图像i第row行第M列c通道的像素值;xj(row, 1,c)表示碎片方块图像j第row行第1列c通道的像素值;r表示xi与xj之间的放置关系。

(Lp)q度量在SSD度量算法基础上加入了p、q参数，提高了准确度，公式为

(7)

MSG度量[25]不仅考虑碎片方块图像边界像素值，还加入了方块边界像素值梯度，使得匹配度结果更为准确，但增加了运算时间，公式为

θMGC(xi,xj,r)=DLR(xi,xj)+DRL(xj,xi)

(8)

(9)

GijLR=xj(row,1,c)-xi(row,M,c)

(10)

(11)

GiL(row,c)=xi(row,M,c)-xi(k,M-1,c)

(12)

式中：SiL表示xj左边缘RGB通道3×3协方差矩阵；GijLR(row)表示从xi右侧到xj左侧在第row行的梯度；μiL表示xi右边界梯度均值;GiL表示xi右边界的梯度。

根据工程需求选取合适的匹配度算法，然后按照步骤计算图像高度偏移Δh，最终得到360°钻孔孔壁全景图。

2 双摄像头组合成像系统

为了胜任强外力推进的水平定向孔勘探任务本系统设计了类“弓”形结构的探管，避免透明保护罩直接承受外界压力，借助双摄像头组合成像算法得到两幅180°钻孔全景图并拼接成360°孔壁全景图。

2.1 双摄像头全景成像探管

探管结构如图2所示，双摄像头组合成像探管主要由摄像头、光源、透明窗口等组成。探管整体为内中空的圆柱舱体，探管外壁上2个相反方向侧面各挖出1个180°圆柱缺口用作相机的拍摄窗口，探管内部类“弓”形结构能承受探管前后端压力且留足相机的拍摄窗口。需注意，探管中部两个视窗缺口以及其中的相机与光源需要对称安装，保证两摄像头画面上光照亮度相同，同时这两个视窗缺口所对应圆周扇形角均应不小于180°，以确保透过这两个视窗缺口所拍摄的图像组合起来能覆盖钻孔360°孔壁范围。两相机分别固定于探管视窗缺口一端，两相机光轴尽量保持重合且平行于探管中轴线。视窗缺口内安装LED灯珠作光源，提供均匀合适的光照，透明防护罩将探管内部进行密封以防止空气和井液进入探管内部。探管主体部分如图3所示。

图2 探管结构示意图Fig.2 Schematic diagram of probe structure

图3 探管主体部分实物图Fig.3 Main part of the probe

2.2 钻孔孔壁全景图生成算法流程

本系统钻孔孔壁全景图生成算法流程分为两部分：单摄像头钻孔成像算法以及两幅180°全景图拼接算法。

单摄像头钻孔成像算法包括：圆环内径、外径、圆心的参数选择；圆环图像展开；图像配准；图像融合。

圆环的参数由人工选择，本系统结合成像探管的特殊结构对传统的圆环展开算法略作调整，参照式(1)～式(5)。

本系统使用块匹配算法作为图像配准算法，截取匹配图像Ia(x,y)上部分图像作为匹配模板IT(x,y)，模板在待匹配图像Ib(x,y)上遍历，计算匹配模板与待匹配图像的相似度Ф(x,y)，根据相似度极值处坐标值取匹配图像与待匹配图像的最佳匹配点，计算相似度公式为

(13)

(14)

(15)

(16)

式中：φ(x,y)为互相关值；‖IT(x,y)‖、‖Ib(x,y)‖分别表示模板图像与待匹配图像的自相关值；M、N分别为模板图像的宽和高；U、V分别为待匹配图像的宽和高。

在遍历过程中，记Ф(x,y)取最大值时，模板图像中心在待匹配图像中的坐标为(u,v),模板图像中心在匹配图像中坐标值为(x,y),则匹配图像与待匹配图像的偏移为dx,dy，即

(17)

本系统对两图像重叠部分做权值ω相加进行图像融合,即

It(x,y)=ωIa(x,y)+(1-ω)Ib(x+dx,y+dy)

(18)

式(18)中：It(x,y)为180°孔壁全景图。

得到两幅180°孔壁图像后，根据具体施工工程的实时性与准确性要求选取合适的图像匹配度计算方法，按照1.2节中所介绍的图像拼接步骤，得到360°孔壁全景图。双摄像头组合成像算法流程如图4所示。

图4 双摄像头组合成像算法流程图Fig.4 Flowchart of integral imaging of dual-camera

3 实验与分析

为了验证双摄像头组合钻孔成像系统的可行性，本系统在铺设世界地图的直径100 mm的管道与成都某隧道工地进行测试。隧道工地现场如图5所示，系统采集的原始图像如图6所示，单幅180°孔壁图像如图7所示，由两幅180°孔壁图像自动拼接生成的360°孔壁全景图如图8所示。

图5 隧道施工现场Fig.5 tunnel construction site

图6 单相机原始图像Fig.6 original image by a single camera

图7中单幅180°孔壁全景图由单摄像头钻孔成像算法生成，可以看出，隧道钻孔获得的单幅180°孔壁图像光照均匀，纹理清晰。在测试过程中发现，地图管道的180°全景图在细节处较为模糊，而图7(a)中细节清晰，碎石与凹痕清晰可见。分析具体实验场景：在测试地图管道时，管道水平放置，本文在探管下安装支撑板使探管尽量处于管道中心，然后人工将探管推进管道，在实验过程中，由于支撑板与地图存在摩擦且手臂轻微抖动，导致探管在管道中不能平稳前进，从而影响生成180°全景图的图像质量；而在隧道钻孔中，探管由钻机推杆送入钻孔，正常情况下探管无抖动。所以为了获得细节更清晰的全景图，探管需要在钻孔中尽量平稳前进。

图7 单相机180°全景图Fig.7 Panorama generated by a single camera

图8中360°孔壁全景图由180°拼图算法生成，算法的关键在于通过计算两幅180°全景图的图像匹配度得到纵向偏差，进而根据纵向偏差拼接成360°孔壁全景图。在1.2节中介绍了多种匹配度度量算法，在实时性与准确性方面各有优劣，由于本系统采用离线拼图的工作方式，对实时性要求不高，所以本系统选取计算复杂但准确度高的MSG(mahalanobis gradient compatibility)度量算法计算图像匹配度。若工程需要实时观察钻孔全景图，则可以使用SSD或(Lp)q算法。