基于机器视觉的桥梁裂缝检测应用及发展综述

宋泽冈,刘艳莉,张长兴

(1.云南省公路科学技术研究院,昆明 650051; 2.昆明理工大学建筑工程学院,昆明 650500)

过去20年中国公路桥梁迎来建设高峰,截至2021年末全国公路桥梁达96.11万座、7 380.21 万延米,由于过去“重建轻养”,超过40% 的桥梁已进入病害高发期,因此,中国正在进入桥梁养护的关键期,桥梁检修工作的时间紧、任务重[1-2]。裂缝是桥梁结构特别是混凝土桥病害萌发的一个主要特征,在近30年,中外针对桥梁裂缝检测出现了多种技术手段[3]。现阶段中国桥梁裂缝检测方法以人工检测为主,例如,桥梁检测车巡检,检测人员通过检测车桁架机构或吊篮进入桥跨下方进行检测,人工检测精度依赖于检测人员经验,而且检测效率低。随着检测技术的进步,一批现代化检测手段逐步应用于桥梁裂缝检测,主要有超声法、传感仪器法、冲击弹性波法、声发射法和光纤传感网络法等[4-8]。近年来,随着新技术不断应用于桥梁检测领域,涌现出了各种新型的桥梁病害检测方法及装置,其中利用相机拍摄桥梁结构表面图像识别裂缝的机器视觉技术引起业界广泛关注[9-11]。伴随着各种巡检无人机和爬壁机器人的快速发展,在巡检机器人或无人机上配备相机代替人工对桥梁表面病害进行快速检测,基于机器视觉的桥梁裂缝检测系统正越来越多地应用于工程实践[12-14]。

1 机器视觉在桥梁裂缝检测中的现状

机器视觉是利用视觉传感设备采集物体图像用计算机来实现人的视觉功能,对被测物体的形状、尺寸、表面特性、运动特征等物体特性进行识别,视觉传感器包括相机、摄像机及其他图像采集设备。人天生就对视觉信息敏感,研究表明,人获取的外界信息中超过80%来自视觉。源自人类对视觉信息获取的追求及技术进步,以相机为代表的图像采集设备在分辨率不断提升的同时成本不断下降,使得利用以相机等图像采集设备替代人眼通过获取物体图像来检测物体特性成为现实。特别是近十年来,机器学习及深度学习迅速发展,机器学习和深度学习的一个重要应用即在图像识别领域,使得计算机能够代替人脑快速处理大量物体图像。

由于图像采集设备和基于深度学习的图像处理技术快速发展,机器视觉被广泛应用于汽车无人驾驶、工业检测等各个领域。在桥梁裂缝缺陷检测领域,近年来国内外涌现了诸多基于机器视觉的桥梁裂缝检测系统。基于机器视觉的结构表面缺陷检测系统具有装置简单、效率高、成本低的优点,正逐步应用于各种产品及结构表面损伤检测包括桥梁裂缝检测。通过在桥梁检测机器人、桥梁检测车检测臂或无人机上搭载相机对桥梁表面进行图像采集,利用图像处理技术对桥梁裂缝进行识别。随着图像采集设备等硬件的价格下降和检测技术特别是机器学习及深度学习图像识别技术的进步,极大地促进了基于机器视觉的检测系统在桥梁裂缝检测中的应用[15-20]。

2 基于机器视觉的桥梁裂缝智能检测系统

目前已有基于机器视觉的桥梁裂缝智能检测系统应用于实际桥梁裂缝检测中。基于机器视觉的桥梁裂缝智能检测系统主要由3 部分组成:采集桥梁表面图像的图像采集设备、识别裂缝的桥梁图像裂缝识别算法和对桥梁裂缝进行扫描检测的机器视觉检测硬件平台。

2.1 图像采集设备

如图1所示工业相机是目前常用的图像采集设备,通常广义的相机是由镜头和图像传感部分组成。镜头按焦距类型分类分为定焦镜头和变焦镜头,定焦镜头即焦距固定镜头,变焦镜头为焦距可调镜头。图像传感部分由图像光感应芯片不同分为光电耦合组件CCD(charge coupled device)和互补式金属氧化半导体CMOS(complementary metal oxide semiconductor),两者都是利用感光二极管进行光电转换将图像转换为数字数据利于传输,两者比较而言CCD成像质量好,适用于成像质量需求较高的场景和动态测量,CMOS随着技术赶上和价格优势其应用也在逐步增多,适用于低速或静态测量。机器视觉的强大之处在于通过复杂的图像处理方法模拟人脑识别图像,图像质量决定了机器视觉图像识别的精度上限,所以获得高质量的图像是机器视觉图像识别技术的关键。工业相机的主要参数包括分辨率、像素深度、最大帧率、曝光方式和快门速度、像素尺寸、光谱响应特性,现今工业相机分辨率不断提升,各种高质量镜头不断涌现,能采集各个光波段相机也不断出现,使得工业相机采集的图像质量不断提升。

图1 工业相机[21]

图像采集的质量除了受图像采集设备本身性能控制外,还受到桥梁服役自然环境因素制约,例如桥梁表面普遍光照照度低且不均匀而影响采集图像质量。为了获取高质量图像,排除环境光照的干扰,如图2所示采用照明光源补光是其中一个重要手段。根据物体光学特性,补光灯的波段可以选择可见光各个波段甚至紫外光,相机镜头可以选择滤镜容许特定波段光进入相机图像传感部分。

图2 光源补光[22]

2.2 桥梁图像裂缝识别算法

通过图像采集设备拍摄获取桥梁表面图像时由于环境干扰夹杂着噪声,其中的环境干扰包括如背景噪声、光照不均匀等,此外桥梁随着服役时间增长表面出现污渍、表皮脱落等情况,这些因素都会对桥梁裂缝识别带来干扰。因此在对桥梁表面裂缝进行识别前,需要对桥梁表面图像进行预处理,包括图像增强和去噪,然后对预处理后的桥梁表面图像进行裂缝识别,桥梁裂缝识别方法主要有数字图像处理和深度学习两种方法。

2.2.1 图像增强

由于桥梁服役在自然环境中,利用图像采集设备拍摄桥梁表面图像时,外界光照对桥梁表面的照射亮度不可避免是非均匀的,而且诸多位置背景光照亮度较暗,因而需要对桥梁表面图像进行亮度增强,使得桥梁表面对比度增大更便于裂缝的识别。

图像采集设备采集的图像包含黑白图像和彩色图像,目前通常为彩色图像,彩色图像由红(Red)、绿(Green)、蓝(Blue)3种颜色通道叠加而成,即RGB图像。对于桥梁裂缝识别,直观上裂缝亮度暗于正常桥梁表面,识别裂缝最主要依赖于亮度,彩色图像含有3个波段通道其信息太大且对裂缝识别来说是非必要的,因而通常将采集的彩色图像转化为灰度图像只含亮度信息,降低图像处理成本,如图3所示。RGB彩色图像转化为灰度图像的方法通常有分量法、最大值法、平均值法和加权平均值法,通过将彩色图像转化成灰度图像再经过图像增强,将裂缝与桥梁表面其他背景对比度予以增强。

图3 桥梁裂缝采集图像灰度图转化

采集的桥梁表面图像可能出现整体偏亮或偏暗,图像亮度灰度值分布范围较小,通过灰度直方图对图像对比度进行调整,从而增强图像整体对比度,使得裂缝的灰度较暗,桥梁表面背景较亮。常用的调整图像灰度直方图方法有灰度线性变换、分段线性变换和非线性变换[23]。

设原图像中的像素位置坐标为(x,y),原图像的像素灰度值为f(x,y),变换后的图像灰度值为g(x,y),图像拉伸前的灰度范围为[fmin,fmax],图像变换后的灰度值范围为[a,b],灰度线性变换公式为

(1)

对于图像中不同区域灰度区间范围差距较大情况,例如裂缝灰度区间特别小,可将图像灰度线性变化拉伸分区段进行,及分段线性变化,每一段变化采用变化公式仍如式(1)所示,使得变化各段的灰度范围差距适当。如果线性变换后裂缝区域增强效果仍不明显,可采用指数拉伸或对数拉伸等非线性变换,以达到如图4所示裂缝图像增强效果。指数拉伸非线性变换公式为

图4 图像增强效果

(2)

式(2)中:b0、c、d为调整指数拉伸变换参数。

对数拉伸非线性变换公式为

g(x,y)=C0ln[f(x,y)+1]

(3)

式(3)中:C0为对数拉伸变换比例缩放系数。

对灰度直方图对比度调整突出裂缝的核心思想就是把蕴藏在很窄灰度区间裂缝区域通过图像灰度值分布调整,加大裂缝区域的灰度区间使得与背景反差增大,达到增强图像中裂缝区域对比度的目的。具体采用哪种图像增强方式,得根据裂缝图像灰度分布特点出发,选取裂缝图像增强效果最好的图像增强方法。

在环境中采集得到的桥梁表面图像不可避免包含着噪声,虽然图像增强增加了裂缝与背景对比度,但噪声也同时被增强,所以有必要对图像进行噪声去除。

2.2.2 图像去噪

图像质量是决定机器视觉检测桥梁裂缝效果的关键,由相机等图像采集设备采集的图像或多或少都带有噪声。这些噪声一方面是由于外部环境包含光照变化和拍摄物体背景噪声引起的,另外一方面图像采集设备本身也会带有一定的系统噪声。这些噪声造成图像出现模糊、对比度较差等图像质量下降情形,为后续桥梁裂缝识别造成极大困难。所以在进行图像识别桥梁裂缝之前,通常需要对采集的桥梁表面图像进行噪声去除,图像滤波是最常使用的去噪工具[24]。

去噪算法按照不同的分类方法可分为空域和频域,或者线性和非线性。如图5所示常用的图像滤波方法对含噪声的裂缝图像去噪效果。基于空域的滤波方法是通过分析一定大小窗口内,中心像素灰度值与其他像素灰度值之间的直接联系计算来获取更新后的中心像素灰度值,存在一个需要输入的滤波半径参数值,常用的有均值滤波、中值滤波、高斯滤波、双边滤波。其中均值滤波和高斯滤波为线性滤波,以中值滤波和双边滤波为非线性滤波。均值滤波能滤掉图像中的加性噪声,但会模糊裂缝图像边缘。中值滤波结构简单且能保护裂缝边缘,但滤波效果严重依赖于滤波窗口大小,并且无法滤掉高斯噪声。高斯滤波本质上是对图像像素点加权平均处理,适用于消除高斯噪声,但同均值滤波一样会失去图像裂缝的一些细节和锐度。双边滤波是一种基于空间域和灰度域的滤波方法,通过同时考虑像素点在空间域和灰度域上的相似性消除噪声,双边滤波器中的滤波器权值包含空间距离和灰度距离,其中空间距离衡量像素点在空间上的相似性,灰度距离衡量像素点在灰度域上的相似性。双边滤波能很好地消除噪声并保留裂缝边缘等细节,但计算复杂度较高。其他滤波算法中还有和双边滤波效果差不多的导向滤波,同样有助于保留裂缝边缘细节,而且使用大滤波窗口时效率更高,但同样计算复杂度较高。基于频域的滤波方法是在图像经过傅里叶等变换后,在变换频域空间范围内对图像频谱进行处理,比较成熟的频域滤波方法有小波滤波。小波滤波由于其多分辨率和多尺度分析的特点,对于大部分噪声和背景纹理去除效果较好,但由于小波滤波是根据图像的高低频来分割信号和噪声点的,对于噪声和信号之间频率太接近的情况会导致噪声分离不够精确,在有效去除噪声后很难保证图像分辨率。

图5 桥梁裂缝图像几种滤波效果

由于桥梁裂缝形态及混凝土桥梁表面情况千差万别,没有固定某种滤波器能处理所有的桥梁表面裂缝图像噪声。针对常见桥梁表面裂缝图像含有的高斯噪声和椒盐噪声,采用均值滤波或高斯滤波的效果和效率相对较好。但一般线性滤波和非线性滤波在处理噪声同时也对图像细节做相同运算操作,在噪声滤除同时也会抹去图像的部分细节。中外学者仍在开发和改进各种滤波器,通常针对桥梁表面某一类裂缝识别效果不错的滤波器,在对另外的桥梁裂缝识别处理的适用性就较差,这也是限制机器视觉大规模应用于桥梁裂缝检测的重要原因之一。随着机器学习和深度学习技术近几年的飞速发展,机器学习特别是深度学习在图像识别应用上对图像噪声相对不敏感。近几年出现大量应用深度学习识别桥梁裂缝的方法,取得了不错效果,但这并不代表图像去噪对基于图像的桥梁裂缝识别不重要,减少图像噪声提高图像质量仍是对包括深度学习在内的桥梁裂缝识别图像处理方法提升裂缝识别精度和效率的关键控制因素[25-28]。

2.2.3 基于数字图像处理的桥梁裂缝检测

经过对采集的桥梁表面图像进行灰度化、图像增强对比度和图像去噪滤波后,通常利用图像中裂缝与背景的区别对图像进行分割,把采集图像中桥梁裂缝所在区域提取出来。主要的图像分割方法有阈值法、区域法和边缘法,通过对图像各像素灰度值进行运算,把除裂缝外的背景去掉,只保留裂缝。阈值法是通过求取合适的像素灰度阈值,由于裂缝的灰度值整体偏低,通过判定图像中像素灰度值与阈值关系来分割裂缝,设定图像灰度值阈值T,如式(4)所示将裂缝图像分割成两个部分。

(4)

经过式(4)将图像变为二值化图像,如图6所示,小于阈值的区域变为白色认定为裂缝,大于阈值部分变为黑色认定为背景。通过设计不同的阈值求解方法,寻找最为合适阈值,最大程度地把裂缝分割出来。阈值T主要有全局阈值和局部阈值和两种形式。全局阈值T由图像中所有像素点的灰度值决定,该阈值对于整幅图像是固定的。局部阈值T由像素点的灰度和其局部领域的灰度值共同决定,将图像分割为若干子区域,每一子区域在其内部根据各自局部阈值对图像进行分割。阈值的选取主要有人工选择和自动选择,人工选择阈值是根据经验人为选择一定阈值,然后通过试验来调整阈值大小以取得最好的分割效果。阈值自动选取最常用的有最大类间方差法,即通过使类间方差最大来确定阈值。对于一个大小为M×N的灰度化图像,图像中每个像素灰度值在(0,255),裂缝和背景的分割阈值记作T,属于裂缝的像素点占整幅图像的比例为ω0,裂缝像素点的平均灰度值记为μ0,背景像素点占整幅图像的比例为ω1,背景像素点的平均灰度值记为μ1,则整幅图像的平均灰度值μ由式(5)确定。

μ=ω0μ0+ω1μ1

(5)

类间方差σω由式(6)确定:

σω=ω0(μ0-μ)2+ω1(μ1-μ)2

(6)

将式(5)代入式(6)化简得

σω=ω0ω1(μ1-μ0)2

(7)

通过阈值T从图像最小灰度值到最大灰度值遍历找到类间方差最大的阈值T*,T*即为所要的阈值。最大类间方差法优点计算快速且不受图像亮度和对比度的影响,缺点是当裂缝和背景面积大小比例悬殊时最大类间方差函数可能出现双峰或者多峰效果不好。

区域法是利用算法将具有一定相似性的区域像素点予以合并分类,最后分割出裂缝所在区域。通常随机选取图像中的一个像素作为种子点,通过搜索种子点附近未被标记的像素点,若他们的差值在规定阈值内,则搜索的点合并到分割区域内,重复上述搜索过程直至区域停止扩张。再选取另一种子点划分区域,将整幅图像中每个像素分配不同区域即完成了相似区域分类划分。在裂缝分割中优点是计算简单,缺点对噪声敏感导致抽取的区域有空洞。

边缘法是利用算法对裂缝边缘进行识别,通常裂缝边缘两侧区域与边缘像素灰度值存在较大梯度,通过边缘检测微分算子基于灰度值梯度对裂缝边缘进行定位,进而识别出裂缝[29-31]。常用的边缘检测算子包括梯度算子和二阶导数算子。梯度算子包含Robert算子、Prewitt算子、Sobel和Canny算子,二阶导数算子典型的有Laplace算子[32-35]。梯度在图像微分运算中最为常见,灰度图像在像素点(x,y)的梯度为∇f(x,y),即

∇f(x,y)=[fx(x,y),fy(x,y)]

(8)

式(8)中:fx(x,y)、fy(x,y)分别为图像沿x和y方向上的梯度[36-40]。

上述不同微分算子即图像梯度的不同运算式,以检测处裂缝边缘这一梯度突变位置。不同边缘检测算子适用的裂缝边缘情况不一,都具有计算简单快速的优点,但单一的检测算子很难满足复杂背景的裂缝分割,且对含有噪声比较明显的情况处理效果都不是太好[40-44]。

对于经过预处理后裂缝较为清晰的情况,图像分割能很好地提取出裂缝。但实际环境中采集得到的桥梁表面图像背景干扰较大,而且干扰情况千差万别,经过预处理的图像中干扰也不能完全去除,如桥梁表面有大面积污渍等干扰物的情况下,阈值法等图像分割方法能识别的桥梁裂缝精度和效率有限,而且一种图像分割方法对不同桥梁表面裂缝识别的通用性有限。针对实际桥梁表面图像中裂缝识别的复杂性,急需适用性较广的图像处理方法,近年来飞速发展的深度学习图像识别方法为解决上述难题提供了一个重要方向[45]。

2.2.4 基于深度学习的桥梁裂缝检测

近年来随着人工智能的飞速发展,特别是以深度学习为代表的人工智能方法在机器视觉领域应用取得突破性进展,使得机器视觉在表面缺陷检测包括桥梁表面裂缝识别检测方面得到大量应用研究。特别是深度学习中卷积神经网络在图像处理领域应用取得显著成效,国内外学者开始应用深度学习方法识别对桥梁图像进行裂缝识别检测。深度学习识别裂缝中的核心是卷积神经网络算法(convolutional neural networks,CNN),于1989年由Lecun最早提出。该算法主要包括训练库,卷积层,池化层,全连接层模块等构成。相较处理单图携带的像素信息,卷积神经网络算法需对计算机输入大量的图片信息进行训练运算,计算机以获得海量的数据作为图像识别判断的依据,并用比对局部特征的方式对待定图像进行扫描识别。连接数据库、卷积层、池化层、全连接层,计算机将完成训练运算,即可按卷积神经网络原理实现对图片进行识别的功能。输入待定图片后,计算机会按照特征子矩阵划定的步长顺次比对待定图片,分析图片中包含特征子矩阵的分布状态与出现概率,综合比对所有特征子矩阵后给出待定图片包含待识别物体的概率。

深度学习技术被广泛应用于图像分类、目标检测和图像分割领域,近年来成功应用于桥梁裂缝检测,如图7所示。近年来发展了诸多深度卷积神经网络学习模型诸如AlexNet、GoogLeNet、VGGNet、ResNet及DenseNet等[47-51],在桥梁裂缝识别目标检测方面得到了初步应用。但是常规的深度卷积神经网络模型并不适用于直接进行图像分割,原因在于这些模型中的卷积层和池化层降低了输入图像的空间维度,产生高度抽象的特征向量,缺乏清晰的细节信息[52-54]。若构建保持裂缝细节的深度卷积神经网络,会提高复杂度并加剧内存消耗,实际应用中无法实施[55-57]。

目前为止已有诸多学科领域学者基于机器视觉特别是利用深度学习方法对桥梁裂缝进行识别,提出了许多桥梁裂缝识别算法。由于桥梁长期在自然环境下服役,桥梁表面裂缝不可避免地夹杂出现水渍、油污、斑点污损等与裂缝形态和灰度相似的表面形态,对桥梁裂缝识别造成干扰。面对各种各样桥梁表面裂缝识别,用一种算法能识别所有裂缝难度巨大,桥梁裂缝识别算法在识别精度和抗干扰性方面仍然有较大的提升空间[58-59]。

2.3 机器视觉检测硬件平台

利用机器视觉对桥梁表面裂缝进行检测,关键是利用图像采集设备获取桥梁表面图像,如果仅对桥梁某特定局部进行检测,可直接将图像采集设备固定在桥梁上或者桥梁待检测部位旁对该桥梁部位进行图像采集。但更多的情况下,需要对桥梁进行大面积的裂缝检测,这就需要将图像采集设备装载在特定的检测平台上,对桥梁待检测区域进行扫描检测。目前使用较多的机器视觉检测硬件平台有机械臂、爬壁机器人和无人机等[61-64]。

2.3.1 机械臂或爬壁机器人

如图8所示,桥梁检测车目前常被应用于对桥梁进行大规模检测,借助桥梁检测车在其上加装机械臂,将图像采集设备装载在机械臂上,通过操作机械臂使得图像采集设备对桥梁表面进行扫描检测。以桥检车为移动载体,通过机械悬杆将机械臂伸到桥跨下方等桥梁待检测部位,通过移动机械臂对桥梁结构表面进行扫描获取表面图像[16]。对于桥梁诸如高墩、桥塔等高耸结构机械臂伸展较难到达的区域,智能化爬壁机器人被采用对桥梁表面进行裂缝检测,此时将图像采集设备集成在爬壁机器人上,通过机器人移动对桥梁裂缝进行扫描,如图9所示[65-68]。

图8 桥检车[16]

图9 爬壁机器人[69]

2.3.2 无人机

近几年来无人机快速发展,其在桥梁检测领域也得到了广泛应用,无人机携带摄像头可以快速地对桥梁表面进行拍照,如图10所示。但无人机受环境特别是恶劣天气影响较大,其中无人机续航能力是制约其长时间对桥梁进行检测的重要因素,所以目前桥梁基于机器视觉的裂缝检测平台仍然是各种检测平台配合使用的状态[71-72]。

图10 无人机裂缝检测[70]

3 结论与展望

随着中国交通强国建设战略的实施,桥梁数量快速增长,桥梁病害检测特别是桥梁裂缝检测量不断攀升,桥梁裂缝自动化检测系统的市场需求越来越大。在交通运输领域新型基础设施建设背景下,桥梁裂缝智能检测将成为中国桥梁养护智能化的重要一环。相比于人工检测危险性高、耗时长等问题,基于机器视觉的桥梁裂缝检测具有高效、安全、经济的优势,特别近年来人工智能技术在图像识别领域的广泛成功应用,极大地促进了基于机器视觉的桥梁裂缝检测技术的进步[73-74]。现针对机器视觉在桥梁裂缝检测应用及发展中做了回顾、研究和展望,得出如下结论。

(1)随着桥梁检测智能化发展,机器视觉由于其具有的便捷性和快速响应性,将得到越来越多的应用。随着图像采集设备成本的不断下降,各种检测载体例如爬壁机器人和无人机等的出现,将进一步推动机器视觉桥梁检测装置的迭代更新。

(2)随着人工智能算法的不断进步,特别是机器学习和深度学习算法在图像检测中的广泛应用,适用性和识别检测精度不断提升,基于机器视觉的桥梁裂缝检测算法在原有的图像处理方法基础上得到了大大提升。在未来随着深度学习算法的精度和速率的进一步提升,将推动机器视觉在桥梁裂缝检测中得到进一步广泛应用。

(3)在未来,随着中国大力发展智慧交通,桥梁智能建设养护作为智慧交通的重要组成部分,基于机器视觉的裂缝检测在内的桥梁养护创新技术将扮演重要角色。未来智慧交通基础设施运维以数字化和智能化为基础,机器视觉在桥梁健康监测中通过采集桥梁表面的数字图像进行智能识别桥梁损伤,不仅是促进桥梁运维科技创新发展,机器视觉对整个新型智慧交通基础设施建设运维都将起到服务支撑作用,对安全高效的现代综合交通运输现代化建设发展也将起到推进作用。

(4)目前基于机器视觉的裂缝检测在检测效率和精度特别是抗干扰能力方面还有进一步提升的空间,同时这项技术属于多学科交叉领域,需要更多的包括土木、计算机等多学科领域的交叉复合型人才培养投入[75]。