基于立体视觉的桥梁裂缝自动检测系统研究

张开洪，罗 林，颜 禹

(重庆交通大学 信息科学与工程学院，重庆 400074)

随着桥梁工程建设的发展，桥梁已经成为交通基础设施的重要组成部分。钢筋混泥土桥梁在桥梁建设中占据重要地位，而桥梁裂缝病害是影响桥梁安全和寿命的重要因素。因此，桥梁裂缝是评价桥梁安全性的重要指标之一[1,2]。

基于立体视觉的桥梁裂缝自动检测系统(以下简称“裂缝检测系统”)结合了数字图像处理技术和双目测距原理，能够快速、准确、便捷地测量出可视范围内裂缝的相关参数，包括裂缝的长度、宽度和深度；同时，裂缝检测系统克服了传统人工测量桥梁裂缝存在的人为误差大、漏检率高和实时性差等问题。

1 系统组成

裂缝检测系统结合图像处理技术，通过设置特征点，采用非接触双目立体视觉测量方法获取特征点的三维坐标信息，从而计算裂缝深度；并通过对裂缝像素点的统计计算出桥梁裂缝的宽度和长度。裂缝检测系统组成如图1。该系统包括：①图像采集传感器：左右两个CCD传感器和图像采集卡；②摄像机标定模块[3]：摄像机标定板；③特征点设定模块：两个激光发射器；④数据处理模块：PC机。

图1 系统组成Fig.1 System composition

2 裂缝深度测量

裂缝检测系统基于立体视差原理，由三角法获取公共视场内任意点的三维信息，在已知两个摄像机之间的位置后，便可获取两个摄像机公共视场内特征点的三维坐标[4]，测量桥梁裂缝深度。

2.1 针孔摄像机模型

图2为针孔摄像机模型。

图2 针孔摄像机模型Fig.2 Pinhole camera model

如图2，该模型是由实际针孔摄像机模型交换投影中心O和图像平面I得来，其目的是让目标图像不再倒立[5]。从物体的某点P出发的光线，到达投影中心O，在图像平面I上的投影点为P1。

2.2 摄像机标定

摄像机标定是由二维图像获取三维立体视觉信息的关键步骤，用于重构三维真实的世界模型，其目的是确定摄像机的内部参数和外部参数[3]，参数的精度直接影响三维重构结果的准确性[6]。

裂缝检测系统的摄像机标定参照了张正友的平面标定方法[7]，通过设定标定板，获取标定图像以及标定图像特征点，计算出摄像机的内部参数和外部参数，最终实现摄像机的自动标定，摄像机标定是实现裂缝深度精确测量的关键步骤。

2.3 特征点物理坐标计算原理

裂缝检测系统通过摄像机采集的二维图像获取已设置特征点的三维坐标，根据三维坐标信息求出裂缝的深度。

2.3.1 特征点设置方案

如图3，平面I1为目标平面，即：桥梁裂缝平面，两条弯曲线之间的部分表示裂缝，P，Q点是待测点，平面I2是左摄像机的成像平面，平面I3是右摄像机的成像平面，平面I1和平面I2是两个相互平行的平面。

在左、右摄像头上分别安装两个可以旋转激光源，编号为1,2；激光源1在平面I1上成像光斑为P点，P点位置在裂缝内部，称为目标点，激光光源2在平面I1上成像光斑为Q点，Q点位置在裂缝边沿附近，Q为参考点。激光光斑P点，Q点坐标是测试点，P、Q点为特征点。

图3 特征点的三维重建Fig.3 3D model reconstruction of the feature points

2.3.2 特征点像素坐标计算

激光光斑中心坐标的精确提取过程，是裂缝深度计算的关键步骤，当前主要的检测算法有灰度重心法、中值法及Hough变换法[8]，每种方法各有优缺点，由于裂缝检测系统的激光源近距离垂直打在目标板上，激光源受散射、衍射和光线等干扰因素的作用较小，激光光斑图像分布较均匀和信号强度高，在此情况下，重心法能精确提取激光光斑中心坐标。

灰度重心法[9]是激光光斑图像经过预处理转换为灰度图像，通过相应的算法求出激光光斑重心坐标的过程。具体过程如下：

在摄像机成像平面下，摄像机采集的图像经图像处理为二值图像，大小为M×N，其表达式：

(1)

式中：1表示二值图像中的光斑；0表示背景。

对于激光光斑重心坐标(x0,y0)计算式：

(2)

由于激光源近距离垂直打在目标板上，获取的图像中光斑分布比较均匀，对称，通过灰度重心法可以快速，精确计算出激光光斑重心像素坐标(x0，y0)，即为特征点像素坐标。

2.3.3 像素坐标系与摄像机坐标系之间的转换

在成像平面I上建立图像像素坐标系Ouv-UV；以投影中心O为坐标原点，X，Y轴分别平行于图像像素坐标系Ouv-UV中的U，V轴，Z轴于光轴重合，建立摄像机坐标系O-XYZ；摄像机的光轴与成像平面I相交于主点O1，则|OO1|为摄像机的焦距f；以O1为坐标原点，X，Y轴分别平行于图像像素坐标系Ouv-UV中的U，V轴，建立图像的物理坐标系O1-XY。

设P1是摄像机坐标系O-XYZ中任意一点，其坐标为(X,Y,Z),通过投影变换[5]，将P1映射到成像平面，其物理坐标为(x,y)。

运用透视几何和三角形相似相关知识可得：

(3)

齐次坐标形式：

(4)

在图像像素坐标系Ouv-UV中，假设O1(u0,v0),P1(u1,v1)，dx和dy分别表示在x和y上，单个像素所占据的物理长度(单位：mm/像素)。由几何关系得：

(5)

齐次坐标形式：

(6)

将式(2)带入式(4)可得：

(7)

对于式(7)的推导，其目的是将图像像素坐标系Ouv-UV下的P1(u1,v1)转换为摄像机坐标系下的P1(X,Y,Z)。M为3×3 维矩阵,只与摄像机的内部结构有关，称为摄像机的内参数矩阵。

2.3.4 摄像机坐标系与世界坐标系之间的转换

裂缝检测系统中摄像机可安放在环境中的任何位置，选取一个基准坐标系来描述摄像机的位置，并用它描述环境中任何物体的位置。该坐标系称为世界坐标系[3](图2)，它由Xw,Yw和Zw轴组成。

摄像机坐标系与世界坐标系之间的关系可以用旋转矩阵R与平移向量T来描述[3]，则有：

(8)

结合式 (7)和式(8)，可以得出P1点在世界坐标系与图像像素坐标系之间的关系为：

(9)

R是3×3维摄像机坐标系与世界坐标系之间的旋转矩阵，T则是3×1维的平移矩阵，R和T完全由摄像机相对于世界坐标系的方位决定，称为摄像机外部参数。

裂缝检测系统选取左摄像机坐标系O-XYZ作为世界坐标系Ow-XwYwZw，即坐标系O-XYZ与Ow-XwYwZw重合。

2.4 裂缝深度计算

裂缝检测系统通过灰度重心法获取激光光斑在图像像素坐标系下特征点P，Q的像素坐标分别为(UP，VP)，(UQ，VQ)；将P，Q的像素坐标带入式 (9)，获得激光光斑三维坐标，即：目标点P(XP，YP，ZP)，参考点Q(XQ，YQ，ZQ)。

由于目标平面I1和左摄像机的成像平面I2是两个相互平行的平面，所以P和Q在左摄像机成像平面I2上的垂直投影是相互平行且垂直于平面I1和平面I2，则裂缝深度D=ZP-ZQ。

2.5 系统适用范围

根据系统检测原理和实验分析，当特征点P在可视范围内裂缝末端的情况下，裂缝检测系统能快速、准确、便捷地测量裂缝的深度。

当特征点P点不在裂缝末端，或摄像机不能拍到P点的情况，可以利用数字图像处理技术，将待测裂缝缩小到一个矩形框内，利用激光，按一定距离，以垂直于裂缝的方向扫描整条裂缝，获取桥梁裂缝深度值，选取最大深度值为测量值。

3 裂缝长度和宽度测量

裂缝的长度和宽度是桥梁裂缝测量中两个重要的参数，也是桥梁安全性评估的重要参考指标。

3.1 像素标定

计算机对图像以像素为单位进行处理，为得到以毫米为单位的裂缝相关参数的物理值，需对图像中的像素标定[10]，找出两种单位之间的对应关系。

像素标定步骤比较简单，将一张已知长度的白纸条放在摄像机拍摄范围内，通过读取白纸条上对应长度的像素之和，即可找出一幅图像中单位毫米所包含的像素点的个数，其值为Δ，单位为像素点个数/mm。

3.2 裂缝长度和宽度计算

裂缝长度L和宽度W测量的基本原理为：对二值图像细化，对细化后的图像中亮度值为1的像素点进行统计，像素个数n1，由像素标定实验得出Δ(单位为像素点个数/mm)。裂缝的长度L=n1/Δ(mm)；对二值图像中亮度值为1的像素点进行统计，像素个数为n2，裂缝的宽度W=n2/(n1×/Δ)(mm)。

4 裂缝图像预处理

裂缝检测系统通过摄像机标定，确定了左右摄像机的相对位置，使用左右摄像机采集裂缝图片，但获取的裂缝图像是RGB模型的彩色图像，对于裂缝相关参数的测量带来一定难度，为了方便测量，对彩色图像预处理，将彩色图像转化为二值图像，获取裂缝的深度、长度以及宽度的数据信息。

4.1 彩色图像转灰度图像

裂缝检测系统中裂缝的相关参数的测量，首先要对裂缝图像的提取和识别，一幅图像中不同区域的亮度是不相同的，因此，通过亮度参数处理，对裂缝图像提取和识别。

裂缝检测系统通过CCD获取裂缝彩色图像，一幅彩色图像由红(r)、绿(g)、蓝(b)三基色组成，通过3种颜色的不同比例组合，可以形成各种各样的颜色[11]。 因此，一幅彩色图像是代表红、绿、蓝三幅灰度图像的叠加，每一幅灰度图像只有亮度的差别[11]，用Y代表灰度图像的亮度，彩色图像转灰度图像如式(10)：

Y=0.30r+0.59g+0.11b

(10)

通过式(10)变换，得到的灰度图像的亮度Y需确定一个等级范围，最好为2n，该系统对Y的等级为28，即256级。

4.2 灰度图像二值化

裂缝检测系统获得的灰度图像的亮度为256级，为了能够更好地获取所得图像中的裂缝信息，需将灰度图像二值化。

当灰度图像只有0，1两个等级时，被称为二值图像[12]，在进行划分的时，对于阈值的选取是至关重要的。通过裂缝的亮度与背景亮度的不同，提取图像中的裂缝信息，对裂缝进行识别。

4.3 二值图像去噪

裂缝检测系统获得的二值图像含以黑白点形式叠加在图像上的椒盐噪声[12]。为抑制椒盐噪声的影响，选取中值滤波器去噪，其具体描述如下：

中值滤波器[12]是以滤波模板所覆盖的图像区域中像素点的像素值统计排序为基础，按统计结果所得的中值代替中心像素点的像素值，中值滤波对一定类型的随机噪声具有优秀的去噪能力。为去除椒盐噪声的干扰，采用3×3领域模板的中值滤波器滤波去噪。

5 实验及误差分析

裂缝检测系统所测试的裂缝是一个用纸板制作的槽模拟桥梁裂缝，对模拟的桥梁裂缝的深度、长度以及宽度进行测量，并与实际值进行比较分析。

5.1 摄像机标定实验

裂缝检测系统对摄像机标定选用40 mm×40 mm的小方格(7×9)棋盘，通过摄像机标定得左、右摄像机内参矩阵：

畸变系数矩阵：

KL= [-0.063 91 0.103 00 -0.001 14 0.002 18 0.000 00]，

KR= [-0.058 90 -0.086 47 -0.000 86 0.005 48 0.000 00 ]。

右摄像机相对左摄像机的外部参数旋转矩阵：

旋转矩阵平移向量：

T=[-84.091 20 -1.878 45 -3.377 42]。

5.2 裂缝深度测量实验

实验对50～80 cm之间的不同位置测量模拟裂缝的深度值，设定的模拟裂缝深度的精确值为40.0 mm，测量的总次数为10次，实验所测裂缝深度值如表1。

表1 图像传感器位置与裂缝深度值

为更加直观的反应实验测得的裂缝深度值随图像传感器位置的变化情况，以图像传感器与裂缝的距离为横坐标，实验测得的裂缝深度值为纵坐标，得到如图4的坐标系。

图4 裂缝深度值Fig.4 Crack depth

根据表1和图4可知：①实验测得裂缝深度的平均值接近精确值，平均相对误差在3%以内；②裂缝的深度值始终稳定在40 mm±3 mm范围内，系统能够稳定、精确的测量出可视范围内裂缝的深度值。

5.3 裂缝宽度和长度测量实验

实验选取10个不同的地方采集模拟裂缝图像，设定的裂缝宽度精确值为11.7 mm，裂缝长度精确值为163.0 mm，实验测得裂缝的长度值L、宽度值W以及像素标定值Δ，如表2、表3。

表2 裂缝长度值

表3 裂缝宽度值

同样，以图像传感器与裂缝的距离为横坐标，实验测得的裂缝宽度值和长度值为纵坐标，得到如图5的坐标系。

图5 裂缝长度、宽度值Fig.5 Crack length and width

根据实验数据和图5可知：①实验测得裂缝的宽度和宽度平均值非常接近精确值，裂缝的宽度、长度平均相对误差在3%以内；②实验测得裂缝的长度在165 mm±5 mm范围内，宽度在11.7 mm±1 mm范围内，系统能够稳定、精确的测量出裂缝的宽度值和长度值。

6 结 语

桥梁裂缝是评价桥梁安全性的重要指标之一。裂缝检测系统结合数字图像处理技术，设置特征点，利用双目测距原理，求出特征点的三维坐标，由特征点坐标计算出裂缝的深度；并通过像素标定和相应的图像处理算法，求出裂缝的长度和宽度。实验数据表明，当特征点P在可视范围内裂缝末端的情况下，裂缝检测系统能够稳定、准确、快速地测量出裂缝的相关参数。对于特征点P不在裂缝末端、摄像机不能拍到P点或裂缝弯曲程度很大的情况，需要作进一步的研究。

应用该成果对桥梁裂缝参数进行检测，有利于相关技术部门评估桥梁的安全性，了解桥梁裂缝的发展变化趋势，采取相应措施对桥梁进行维护。

[1] 张旭,张奔牛.基于机敏网裂缝监测技术的实验研究[J].重庆交通大学学报:自然科学版,2013,32(1):18-22.

Zhang xu,Zhang Benniu.Experimental research on monitoring technology of incisive network [J].Journal of Chongqing Jiaotong University:Natural Science,2013,32(1):18-22.

[2] 宋军,周建庭,王杨.桥台裂缝的温度场效应研究[J].重庆交通大学学报:自然科学版,2013,32(2):190-193.

Song Jun,Zhou Jianting,Wang Yang.Temperature effect of abutment crack [J].Journal of Chongqing Jiaotong University:Natural Science,2013,32(2):190-193.

[3] 伍雪冬,蒋新华,李建兴,等.计算机视觉中传统摄像机定标方法综述[J].福建工程学院学报,2007,5(1):57-60.

Wu Xuedong,Jiang Xinhua,Li Jianxing,et al.Review of traditional camera calibration methods in computer vision [J].Journal of Fujian University of Technology,2007,5(1):57-60.

[4] 谢飞,张旭苹,张益昕,等.基于机器视觉的货物列车超限检测中基准面获取方法[J].铁道学报,2012,34(10):72-77.

Xie Fei,Zhang Xuping,Zhang Yixin,et al.Exterior orientation calibration method for freight train gauge-exceeding detection based on computer vision [J].Journal of the China Railway Society,2012,34(10):72-77.

[5] Bradski G,Kaehle A.学习OpenCV[M].于仕琪,刘瑞祯,译.北京:清华大学出版社,2009:406-497 .

Bradski G,Kaehle A.Learning OpenCV [M].Yu Shiqi,Liu Ruizhen,translation.Beijing:Tsinghua University Press,2009:409-497.

[6] 张岩,臧珠萍,曾培峰.一种基于双平面镜的摄像机标定算法[J].东华大学学报:自然科学版,2012,38(1):93-98.

Zhang Yan,Zang Zhuping,Zeng Peifeng.A camera calibration algo

rithm based on two-mirror set [J].Journal of Donghua University:Natural Science,2012,38(1):93-98.

[7] Zhang Zhengyou.Flexible Camera Calibration By Viewing a Plane From Unknown Orientations[C]//Proceedings of the 7thIEEE International Conference on Computer Vision.Corfu,Greece:[s.n.],1999:666-673.

[8] 孔兵,王昭,谭玉山.基于圆拟合的激光光斑中心检测算法[J].红外与激光工程,2002,31(3):276-279.

Kong Bing,Wang Zhao,Tan Yushan.Algorithm of laser spot detection based on circle fitting [J].Infrared and Laser Engineering,2002,31(3):276-279.

[9] 唐冠群.几种激光光斑中心定位算法的比较[J].北京机械工业学院学报,2009,24(1):61-64.

Tang Guanqun.Analysis and comparison of several calculation methods of beam spot center [J].Journal of Beijing Institute of Machinery,2009,24(1):61-64.

[10] 查旭东,王文强.基于图像处理技术的连续配筋混凝土路面裂缝宽度检测方法[J].长沙理工大学学报:自然科学版,2007,4(1):13-17.

Zha Xudong,Wang Wenqiang.The testing method of crack width for continuously reinforced concrete pavement based on image processing technique [J].Journal of Changsha University of Science and Technology:Natural Science,2007,4(1):13-17.

[11] 蓝章礼,李益才,李艾星.数字图像处理与图像通信[M].北京:清华大学出版社,2009.

Lan Zhangli,Li Yicai,Li Aixing.Digital Image Processing and Image Communication [M].Beijing:Tsinghua University Press,2009.

[12] 王伟,何小元,杨福俊,等.基于数字光测的表面裂缝宽度图像分析法[J].测控技术,2006,25(7):23-25.

Wang Wei,He Xiaoyuan,Yang Fujun,et al.Image analysis method on surface cracking width based on digital optical test [J].Measurement & Control Technology,2006,25(7):23-25.

[13] 胡志萍,欧宗瑛,李云峰.海上工作平台固定用导管架下水运动参数立体视觉测定[J].仪器仪表学报,2003,24(4):496-501.

Hu Zhiping,Ou Zongying,Li Yunfeng.Measuring of kinematics parameters of offshore platform jacket launch based on stereo-motion analysis [J].Chinese Journal of Scientific Instrument,2003,24(4):496-501.

[14] Rafael C G,Richard E W.数字图像处理[M].阮秋琦,阮宇智,译.北京:电子工业出版社,2011:62-190.

Rafael C G,Richard E W.Digital Image Processing [M].Ruan Qiuqi,Ruan Yuzhi,translation.Beijing:Publishing House of Electronics Industry,2011:62-190.