基于双目图像三维重构的桥梁表观缺陷智能测量

宋祖广,国璟,陈志豪,王高新

(1.宿迁市公路事业发展中心,江苏 宿迁 650041;2.中交二航局第三工程有限公司,江苏 镇江 212000;3.中国矿业大学,江苏 徐州 221116 )

钢筋混凝土是桥梁结构的常用材料,但在长期使用过程中会受到复杂环境和人为因素影响,出现混凝土破损、剥落等不同种类的坑洞病害[1-3]。这些病害已经威胁桥梁结构安全性、稳定性及耐久性,严重影响交通质量。目前主要测量方法是利用双目图像特征点对坑洞缺陷进行测量,但是该方法存在诸多问题,为此,本文拟利用高清全彩三维重构算法对坑洞缺陷进行全域三维重构,不再局限于有限稀疏特征点重构,可得到坑洞缺陷的三维空间全貌模型,进一步利用智能测量算法,从三维空间全貌模型中自动提取坑洞缺陷参数信息,实现桥梁坑洞缺陷的智能化、自动化测量。

1 基于双目成像的桥梁表观缺陷高清全彩三维重构方法

利用双目相机从不同位置获取被测物体的两幅图像,通过极线矫正和立体匹配算法获取视差图像[4-5],利用视差图像生成被测物体的三维密集点云并赋予色彩,完成被测物体三维重构。主要包含四个步骤[6]：代价计算、代价聚合、视差计算和视差优化,其重要计算公式分别如式(1)～(6)所示：

C(u,v,d)=f(pl(u,v),pr(u-d,v))

(1)

(2)

(3)

dmin=minS(p,d)

(4)

(5)

(6)

式(1)中,pl,pr为矫正后左右图像中的两个像素点;d为视差,C(u,v,d)为点pl在d处的代价;f为匹配代价计算函数,可以为AD、SAD、BT、NCC、Census-Hamming、HMI等。式(2)(3)中,p点上某个邻域方向的代价聚合值分为三项,第一项是当前点的匹配代价C,第二项是min(当前邻域方向上p-r这个像素点的当前视差代价聚合值,p-r点的视差差值为1的代价聚合值+P1,p-r点的视差差值大于1的最小代价聚合值+P2),第三项是p-r点的视差插值大于1的最小代价聚合值。式(4)中dmin表示代价聚合后的最小视差;式(5)(6)为视差优化的子像素拟合和左右一致性检验,其中c0表示视差为dmin的代价;c1、c2为视差dmin左右两侧的代价;dsub为子像素拟合后的代价;Dlp、Drq为左图与右图上的对应点p、q所对应的视差;erq为右图同名点计算函数。

然而,上述算法尚未考虑双目图像中非重叠影像以及遮挡区域带来的视差无效问题,只考虑同名点的匹配进而计算视差,但是非重叠区域与遮挡区的图像并不存在同名点,导致立体匹配得到的视差图存在大面积的无效区域,求得的三维模型与实际不符。为此提出基于“无效-保留”判别的双目图像三维重构算法。具体是在视差填充前,先设置一个连通判定阈值θ,通过区域跟踪算法将待填充视差区域标记为块Si,然后判断各个块Si是否大于阈值θ,如果是,将该块区域视为无效视差区域,对该块区域标记为1(记MSi=1),此区域予以舍弃;如果否,将该块区域视为有效视差区域(记MSi=0),此区域予以保留填充。判别方法如式(7)。

(7)

式中,Si为第i个无效视差连通区域的像素面积。

2 基于三维重构模型的桥梁表观缺陷智能测量方法

提出一种基于闭合轮廓线的表观缺陷信息智能测量方法,根据三维点云的形状特征分离缺陷区域,将其投影至像素平面内识别闭合轮廓线,再将闭合轮廓线投影回三维模型中,利用平面投影像素转化法计算闭合轮廓线所包围的缺陷面积,利用点面距离法计算闭合轮廓线区域内的最大缺陷深度。

2.1 分离缺陷区域的三维点云

借助三维点云数据,利用最小二乘法拟合平整区域的平面方程M：Ax+By+Cz+D=0。平面M与三维点云模型相交,且存在以下关系：理论上,如果此三维点云模型无缺陷,则三维点云均落在平面方程M上;反之,则三维点云落在平面方程M之外。因此,引入距离阈值λ分离三维点云模型中的缺陷部分,即距离平面M超过λ的三维点云判定为缺陷部分Pq：

(8)

Pq=P{DMP>λ}

(9)

式中,DMP为三维点云P(x,y,z)点到平面M的距离。

2.2 识别缺陷区域的闭合轮廓线

利用三维点云Pq求解闭合轮廓线,具体通过坐标转换将Pq逆向计算至平面图像上,得到Pq(Xq,Yq,Zq)在平面图像上的像素坐标Pe(u,v),计算公式如式(10)所示。

(10)

式中：s为尺度因子,P3×4为投影矩阵,由相机标定参数得到。

利用Sobel边缘检测算法识别Pq在平面图像上的外围边界,即闭合轮廓线L2D。根据式(10)逆运算将L2D投影回三维模型中,得到闭合轮廓线的三维形状L3D。

2.3 计算缺陷面积

缺陷面积是指L3D在构件平面上的外包投影面积平面。由于闭合轮廓线的投影形状边缘不规则,较难通过积分求解面积,因此提出一种平面投影像素转换的缺陷面积快速求解方法,具体如下：

先将L3D投影至世界坐标系XOY平面得到平面轮廓L3DXY,在L3DXY外包一个正方形,如图1所示。正方形边长a按式(11)计算：

图1 轮廓投影

a=max(max(x)-min(x),max(y)-

min(y))+a0

(11)

式中：x为L3DXY的X坐标;y为L3DXY的Y坐标;a0是一个附加项,建议取值5～10 cm,保证正方形能外包L3DXY。

XOY面上正方形面积为As。然后,按照实际尺寸与像素大小1∶100的转换关系(即用1个像素代替XOY平面中的0.1 mm),将XOY平面尺寸图转化为像素图I,通过区域跟踪算法分别计算L3DXY和正方形在像素图I中的像素面积A3DXY-I、As-I。由于两者等比例转换关系,L3DXY与正方形的实际面积之比等于像素面积之比,基于此比例关系得到L3DXY的实际面积A3DXY如下：

(12)

式中：n为实际尺寸与像素大小比例1∶100。

由于缺陷面积定义为构件平面上的投影面积,因此需要进一步将XOY平面上的投影面积A3DXY转化为构件平面上的投影面积A3D：

A3D=A3DXY×secα

(13)

式中：α为平面M与平面XOY的夹角。

2.4 计算缺陷深度

缺陷最大深度是指缺陷距离构件平面的最大垂直距离,按构件表面缺陷的个数对缺陷三维点Pq分块,分别标记为Ki(i=1,2,…)。利用式(8),得到第i个缺陷Ki的最大深度maxDi,根据式(14)可求：

maxDi=maxDMP{DMP|Pq∈Ki}

(14)

3 实验验证

3.1 三维重构效果验证

实验对象是一块带坑洞缺陷的桥梁板构件,如图2所示。利用式(1)—(9),验证所提“无效-保留”判别方法的三维重构效果。式中参数d=205,P1=10,P2=100。式(7)中,连通判定阈值θ的取值直接关系三维重构效果。θ取值与无效视差来源有关,即非重叠区域无效视差大小s1、遮挡区域无效视差大小s2、算法误匹配无效视差大小s3。根据先验知识可知,关系为：s1>s2>s3。因此,θ的取值分为4种情况进行讨论：①当θ≥s1时,对整个视差区域进行填充,视差填充及三维重构效果如图3(a)所示,可以看出非重叠区的视差填充导致三维模型出现断层现象,与实际情况不相符合。②当θ=s2时,对遮挡区域和算法误匹配区域进行视差填充,视差填充及三维重构效果如图3(b)所示,可以看出坑洞管道的视差填充区域是平面而不是弧形,与实际情况不符合。③当θ=s3时,只对算法误匹配区域进行视差填充,视差填充及三维重构效果如图3(c)所示,可以看出整体效果良好。④当θ=0时,对所有区域均不进行视差填充,三维重构效果如图3(d)所示,可以看出重构结果呈现出不切实际的蜂窝状孔洞,重构效果差。由此可得,θ=s3时的视差填充及重构效果较好。

在确定θ取值后,利用 “无效-保留”判定法,舍弃无效视差区域,保留待填充的有效视差区域,对有效视差区域进行填充,最终三维重构模型如图4所示,可以看出基于“无效-保留”判定的三维重构模型更能真实反映实际缺陷的三维形状和色彩特征。

图2 双目桥面板坑洞

图3 不同阈值填充模型

图4 高清全彩三维空间全貌模型

3.2 智能测量效果验证

基于高清全彩三维重构模型,进一步测量坑洞面积和坑洞深度,并与真实值对比验证,其中真实值可由设计图纸准确求出。将桥面板表面视为一个平面,选取λ=0.5 mm,分离桥面板平面部分与缺陷部分,分别如图5(a)、(b)所示。进而利用式(10)—(14),计算得到坑洞面积为228.31 cm2,坑洞深度为7.4 cm。根据该坑洞的设计图纸,得到坑洞面积、坑洞深度的真实值分别为230.52 cm2和7.5 cm,可知智能测量结果与真实值之间的最大误差仅为1.3%,说明基于三维重构模型的智能测量方法可满足缺陷尺寸的测量精度要求。

图5 三维轮廓标记示意

4 结论

1)提出了基于“无效-保留”判别的坑洞缺陷高清全彩三维重构方法,在此算法中引入连通判定阈值θ,可较好剔除无效视差区域及保留待填充的有效视差区域,实现较好的视差填充及高清全彩三维重构效果。

2)提出一种基于闭合轮廓线的坑洞缺陷信息智能测量方法,利用平面投影像素转化法计算闭合轮廓线所包围的缺陷面积,利用点面距离法计算闭合轮廓线区域内的最大缺陷深度,可自动测量坑洞缺陷的坑洞面积和坑洞深度。

3)实验验证结果表明,基于“无效-保留”判定的坑洞缺陷三维重构模型能够真实反映实际缺陷的三维形状和色彩特征,基于三维重构模型的坑洞缺陷智能测量方法可满足测量精度要求,最大误差仅为1.3%。