基于无人机视觉的桥梁裂缝检测

陶晓力，武 建，杨 坤

(1.南京航空航天大学 计算机科学与技术学院,江苏 南京 211106；2.中设设计集团股份有限公司，江苏 南京 210000；3.连云港市公路管理处，江苏 连云港 222002)

0 引 言

当前，我国的道路桥梁建设十分迅速，随着巨大的交通网络的建成，随之而来的公路桥梁养护和管理问题也变得越来越重要。在实际的工程中，桥梁检测也逐渐从人工向半自动化发展，从最开始单纯的人工到桥检车，到各种检查设备以及更进一步的智能检测。为了满足方便快捷的检测需求，不断提出新的方法思路并在实际应用和实践中加以完善。路桥检测还没有真正实现全自动化，目前通用的方法还是通过人工观察道路桥梁表面进行病害检查，其效率低，速度慢，存在很大的问题，很难适应公路养护现代化的发展需求[1-2]。因此，道桥检测技术要求从人工检测向智能自动化检测方向发展。

道路桥梁表观图像的获取技术是进行道桥病害检测的第一步，是后续所有工作的基础。大量有效的道桥病害样本，有利于分类器的训练过程。道路的表面视野开阔，想要进行表面图像的获取较为容易。但是桥梁的结构比较复杂，需要对位于桥梁底部的梁体进行检测，同时，各种桥墩桥柱对桥梁进行了阻断，如何对这些结构进行表面拍摄也存在很大的技术问题。另一方面，不同的桥梁结构不同，拉索、支座、锚碇等都需要考虑在内，为获取完整的桥梁表观图像，研究人员需要开发多种桥梁表观图像的获取技术。

车载检测系统、爬行机器人[3]、无人机[4]等是目前常用的图像获取技术。陈瑶设计了一款足式壁面攀爬机器人[5]，能够在粗糙的垂直墙面上进行攀爬；邹大鹏等[6]在桥梁地面安装了可以伸缩旋转的机械臂，同时在机械臂上安装视频采集传感器，通过调整机械臂的探测角度和距离即可将桥梁底部进行检测。

在裂缝图像的智能识别方面，Nguyen等[7]提出了一种基于加权融合纹理的裂缝检测算法；Xu等[8]通过机器学习的方法进行裂缝检测，引入BP神经网络，通过其对提取的特征点进行训练，从而实现裂缝的分类；文献[9-10]综合运用小波变换、灰度矫正、图像分割等算法进行裂缝检测，该方法提出了完整的裂缝检测流程，具有较好的参考价值。

1 处理框架和面对的问题

文中采用无人机的方式进行图像采集。由于桥梁裂缝的精度能够达到0.1 mm，同时要确保无人机飞行过程中的安全性，经过现场试验，通过大疆无人机装配Guidance防撞系统并使用高倍变焦摄像头的方法能有效地获取裂缝图像。

在裂缝的智能识别过程中，首先面对的是图像的滤波去噪问题，常用的如中值滤波、均值滤波等都会导致边缘模糊。其次是图像的分割问题，将裂缝边缘从图像背景中分离出来，阈值分割的方法由于难以确定阈值而变得困难重重，基于边缘检测的方法由于图片背景复杂会引入过多的干扰。再次就是在分割图片时必然会破坏裂缝的连续性，对此，设计了一种基于裂缝最近邻端点的连接方法[11]。

裂缝智能检测的流程如图1所示。

图1 裂缝智能检测流程

2 算法流程

2.1 图像预处理

首先对图像进行灰度化处理。采用式(1)将 RGB图像转换为灰度图像：

g=0.299R+0.587G+0.114B

(1)

其中，g为灰度图像的像素值；R、G、B分别为真彩色图像中像素的红、绿、蓝分量值。

灰度化后需要对图像进行滤波去噪。图像滤波需要注意两方面，一是尽可能地去除噪声，二是尽可能地保护裂缝的边缘，防止在去噪的同时使得裂缝边缘过于模糊。文中以实际桥梁裂缝图像为试验对象，分析了几种常用的滤波算法。由于裂缝都是局部颜色最深的，发现最小值滤波能够有效地减少噪音，同时能够突出裂缝的存在。

2.2 边缘检测

桥梁裂缝的主要特征就是其线性边缘。第一步需要据此对图像进行比较准确的边缘检测，然后在此基础上进行有效的图像分割，将裂缝从背景图像中分割出来。经过试验，确定采用沈俊边缘检测算子进行边缘检测[12-14]。

沈俊边缘检测的主要思想是对数字图像分别按行和列进行两次正反向的递归滤波计算，式(2)表示按行进行正向滤波，式(3)表示对式(2)的输出进行按行反向滤波。同理，再对式(3)的输出按列依次进行正反向的滤波。之后计算滤波后的图像与原图像的差，并对其进行二值化处理，最终得到边缘图像。

f1(x,y)=a0×[f(x,y)-f1(x,y-1)]+f1(x,y-1),y=1,2,…,n

(2)

f2(x,y)=a0×[f1(x,y)-f2(x,y+1)]+f2(x,y+1),y=n-1,n-2,…,1,0

(3)

其中，f(x,y)表示图像像素的灰度值大小；a0为(0,1)之间的一个数，当a0越接近于1，边缘的定位精度越高。随着a0的减小，抗干扰能力增强，但边缘细节丢失增多，边缘检测的精度将受到影响。实验中，将a0的取值设为0.15，既能清晰地保留裂缝边缘，也不会残留过多的噪声。

2.3 裂缝连接

单纯的边缘检测方法在检测裂缝时会破坏裂缝的连续性，无法完整地将裂缝的实际情况表现出来。因此需要设计一种裂缝连接的方法，用以得到完整连续的裂缝，方便后续处理，也有利于对桥梁损坏程度进行更为准确的评价。

首先识别裂缝线段的起点和终点，找出每条裂缝线段的端点，得到端点集合S={S1,S2,…,Sn},其中Si是每条线段的端点。具体方法为获得包含分段裂缝区域的最小凸多边形，裂缝与最小凸多边形相交的像素点即为裂缝线段端点，即寻找线段的凸包。

其次是遍历所有端点，对于不同的线段Si和Sj，找到其中欧氏距离最小的两点，得到距离d=min(Si,Sj),如果d小于阈值距离，则将裂缝端点连接。

裂缝连接如图2所示。

图2 裂缝连接

2.4 裂缝线性目标识别

2.4.1 链码跟踪

链码跟踪技术常用于跟踪目标区域的边界，适合进行边界描述以及特征提取，对于目标的角点、面积、周长等特征有良好的计算效果[15]。采用链码跟踪的方法记录裂缝边缘轮廓的走向，在此基础上获取其裂缝的长度和宽度等信息。

对于一幅灰度图像，将其看成是二维矩阵，则图像上的一个像素即为矩阵中的一个坐标。每个像素与周围的像素的连通性可以分为8邻域，即能够向8个方向扩展，每一个方向用一个链码表示，如用0～7对应8个方向，如图3所示。链码就是以一个特定点为起点，将一个个方向码连续记录下来构成的。

图3 数字图像坐标系与8邻域

设链码为{a1,a2,…,an}，定义(x0,y0)是起点坐标，ai在X轴上的分量为aix，在Y轴上的分量为aiy，则aix和aiy是ai相对于ai-1的偏移量，即当ai=0时,aix=1,aiy=0;ai=7时,aix=1,aiy=-1。

(1)链的长度。

(4)

其中，L为长度；ne为方向链中偶数码的数目；no为奇数码的数目。

(2)目标的面积。

(5)

(6)

其中，S为面积；n为链码长度。

2.4.2 线性特征

裂缝一般来说是一种线性特征，并具有一定的方向。对剩下的目标抽取以下线性特征:

(1)面积、周长及其比值：设S为裂缝的面积，L为裂缝周长，则

A=S/L2

(7)

显然，具有细长线性特征的目标A值较小。

(2)矩形度特征。

(a)反映一个目标矩形度的特征是矩形拟合度。

R=A0/AR

(8)

其中，A0为目标的面积；AR为其最小外接矩形的面积；R(0

(b)最小外接矩形的长宽比特征。同式(7)，这里计算的是目标对象的最小外接矩形的长宽比。

2.4.3 裂缝识别

通过链码跟踪的方式很容易得到裂缝的封闭外边界，以此得到裂缝的面积S和周长L。实验中，将满足条件S≤L2/20的边缘保留。

寻找剩下每个连通区域的最小外接矩形，得到外接矩的面积S,长L和宽W，因为裂缝必然在图像中占据一定的面积和长度，将满足S≥width*height/1 000，L≥height/10，L≥3*W的线段保留。其中width和height分别是图像的宽和高。

2.5 去除记号笔标记

经过以上步骤之后，已经得到了清晰的裂缝标记，但由于采集照片的大桥已经经过了人工检测，并用记号笔进行了标记，因此采集到的裂缝图像也会包含记号笔标记，并且上述识别流程也会保留记号笔标记。记号笔标记虽然满足了裂缝的一切特征，但明显比实际裂缝宽了很多。根据这一特征，可以轻易将记号笔标记去掉，如图4所示。

图4 记号笔记的去除

3 实验结果与分析

实地考察了位于江苏省扬州高邮市的某座大桥，并通过无人机采集了其上的裂缝病害图像，以这组照片(见图5)进行实验。

实验是在Windows10平台上进行，采用C++语言进行程序的编写。首先将拍摄的图像进行预处理，其次采用沈俊算子进行边缘检测，在此基础上进行裂缝的链接，最后通过多步的条件筛选进行线性目标的识别，将裂缝筛选出来。

图5 临泽公路桥

实验共检测了46张含有裂缝的病害图片，识别出裂缝42张。部分实验结果如图6所示。采集的实验图像的裂缝实际宽度在0.1～0.5 mm之间。图6选取了图像处理过程中的部分中间处理过程，由最后的结果(e)对照原图(a)可知，实验对于采集的病害图像具有较好的识别能力。

图6 裂缝图像智能识别

4 结束语

对于桥梁裂缝的图像采集，设计了一种基于无人机搭配高清变焦摄像头的方法，并设计了一种基于边缘检测的裂缝智能识别的算法，对于检测过程中裂缝的断裂设计了一种连接方式。结果表明，该方法具有良好的识别能力，但对于不同桥梁其识别效果也存在不足，仍需要进一步的探索。

[1] 曹固恩.桥梁检测技术综述[J].山西建筑，2008,34(28):314-315.

[2] 郭泽刚.关于桥梁裂缝成因的探讨[J].山西建筑,2009,35(32):311-312.

[3] 戴启凡.桥梁检测爬壁机器人及其自适应控制技术研究[D].南京:南京理工大学,2013.

[4] 尹 栋.基于无人机系统的桥梁质量快速检测装置:中国,201510215371.6[P].2015-07-08.

[5] 陈 瑶.基于图像分析的桥梁裂缝检测方法硏究[D].合肥:中国科学技术大学,2016.

[6] 邹大鹏，吴百海，赖亚勇,等.智能视频桥梁检测车工作臂超声探障系统研究[J].机床与液压,2010,38(13):74-76.

[7] NGUYEN T S,BEGOT S,DUCULTY F,et al.Free-form anisotropy:a new method for crack detection on pavement surface images[C]//Proceedings of international conference on image processing.Brussels:IEEE,2011:1069-1072.

[8] XU G A,MA J L,LIU F F,et al.Automatic:recognition of pavement surface crank based on BP neural networks[C]//International conference on computer and electrical engineering.Atlanta:[s.n.],2008.

[9] 魏 武，王俊杰，蔡钊雄.基于小波和Radon变换的桥梁裂缝检测[J].计算机工程与设计，2013，34(9):3151-3157.

[10] ITO A,AOKI Y,HASHIMOTO S.Accurate extraction and measurement of fine cracks from concrete block surface image[C]//28th annual conference of the industrial electronics society.Sevilla:IEEE,2002:2202-2207.

[11] 任 亮，徐志刚，赵祥模，等.基于Prim最小生成树的路面裂缝连接算法[J].计算机工程，2015，41(1):31-36.

[12] 魏伟波，芮筱亭.图像边缘检测方法研究[J].计算机工程与应用，2006，42(30):88-91.

[13] SHEN J,CASTAN S.An optimal linear operator for step edge detection[J].CVGIP:Graphical Model and Image Processing,1992,54(2):112-133.

[14] 张 闯，王婷婷，孙冬娇，等.基于欧氏距离图的图像边缘检测[J].中国图象图形学报，2013,18(2):176-183.

[15] 李雨田，晋小莉.基于图像边界跟踪的顶点矩阵算法[J].计算机工程，2010，36(1):231-232.