基于计算机视觉的钢结构表面缺陷智能识别研究综述*

姚志东, 卢佳祁, 熊梦雅, 卢 炜

(1 中冶建筑研究总院(深圳)有限公司，深圳 518055；2 深圳市建筑幕墙智能检测工程技术研究中心，深圳 518055)

0 引言

钢结构在服役过程中由于施工不规范、温度波动、盐湿环境、反复荷载等多因素影响,会出现螺栓缺失、断裂与松动[1]、钢构件锈蚀[2-3]、焊缝开裂[4]等问题,从而威胁到整个结构的安全性和稳定性,如果不及时发现并修复会严重影响到钢结构的服役寿命[1-4]。

针对钢结构缺陷,传统的检测方式主要靠人工检查或接触式传感检测及监测[5-7]。其中人工检查[8]的问题有:操作空间受限、人员观察与记录周期长、数据分析依赖检测人员主观判断。接触式传感检测及监测的问题有:大量部署接触式传感器成本很高、容易受到温湿度等外在环境影响并造成检测结果的失真。

近年来,随着人工智能技术的进步,基于计算机视觉的检测方法得到了学术界与工业界的广泛关注,该方法可以实现将图像信号转化为数字信号并处理离散数字信号[9],具有非接触传感、成本低、安装和操作简单等优点,可以大幅提升检测与监测的效率。深度学习技术[10]在计算机视觉领域表现了优异的性能,基于深度学习的图像分类[11]、目标检测[12]、数据增强[13]与语义分割[14]等技术在工业缺陷检测中(如PCB[15]、玻璃[16]、电子[17]、金属面板[18]、胶囊[19]等)有着深入的研究与应用。

我国钢结构建筑与基础设施保有量巨大,每年耗费大量的人力、物力成本用于工程运维,如何高效、安全、低成本地实现钢结构缺陷的工程诊断具有重要的意义。目前针对钢结构建筑与基础设施表面缺陷的智能检测与识别的相关研究已经取得一定的进展,在对国内外研究现状系统总结的基础上,本文研究旨在给出基于计算机视觉的表面缺陷识别技术流程,并结合我国实际情况系统地回顾和总结出常见的三种钢结构表面缺陷(高强螺栓缺失与松动、钢构件的表面锈蚀和表面裂缝),如图1所示。

图1 常见的三种钢结构表面缺陷

1 基于计算机视觉的缺陷识别流程

根据计算机视觉技术的特点以及不同缺陷的特征,给出了智能识别的技术流程,如图2所示。由图2可知,基于计算机视觉的缺陷识别流程由三步组成:图像采集、目标提取和缺陷识别。

图2 智能识别的技术流程图

1.1 图像采集

图像获取主要由高清相机进行采集,包括CCD摄像机、光学镜头、光源及其夹持装置等[20],其功能是完成表面图像的采集。工厂内的工业缺陷检测主要是将图像采集设备放置于生产线上,而本文研究的对象为钢结构建筑与基础设施,图像可通过人工手持相机采集或在固定位置设置高清摄像头的方式进行采集。

对于大型钢结构(比如大跨度结构、桥梁结构等),很多区域的图像无法人工获取,广泛布置摄像头成本较高,因此采用无人搭载平台(无人机、无人车、无人船等)集成高清相机。

近年来,随着无人机技术和RTK定位技术的长足进步,越来越多的工程巡检中采用了无人机搭载高清相机进行图像采集,如图3所示,特别是电力行业输电线路的巡检[21-22]。但无人机在土木工程行业的应用目前主要集中在摄影测量,进行以图像采集为目的的工程巡检还不普遍。

图3 某款具备RTK定位与精准复拍功能的巡检无人机

1.2 目标提取

这里的目标主要指缺陷,目标提取的过程包括感兴趣图像识别→图像分割→缺陷目标检测,均需采用基于神经网络的深度学习[10]方法进行深度学习模型训练,其中为提高模型泛化能力,需进行数据增强,感兴趣图像识别采用了目标检测技术,图像分割采用了语义分割技术,缺陷目标检测采用了目标检测技术。

1.2.1 神经网络

目前计算机视觉领域最常用的深度学习网络模型为卷积神经网络(convolutional neural network,CNN),其现代网络结构由Le Cun等[23]于20世纪90年代建立,他们设计了一种可以对手写数字进行分类的LeNet-5网络。该网络处理复杂问题能力不足,Alex K等[24]于2012年提出了与LeNet-5网络类似但层次结构更深的AlexNet框架,如图4所示。

图4 AlexNet框架[24]

在AlexNet之后,多种CNN的改进方法被提出和应用,比如ZFNet[25]、VGGNet[26]、GoogleNet[27]和ResNet[28]、EfficientNets[29],这些方法各自的内容和特点[12]如表1所示。

表1 不同CNN改进方法的内容和特点

1.2.2 数据增强

数据增强主要是为了减少过拟合现象,通过对训练图片进行变换(包括尺度变化、透视变换、随机旋转和翻转、加高斯噪声、HSV(色调hue、饱和度saturation和明度value)空间颜色变换、转灰度等),提高模型泛化能力,而产生过拟合问题的根源是训练样本不足[13]。

以某桥梁工程螺栓检测为例,在模型训练的过程中使用在线数据增强的方式,如图5所示,采用了YOLOv4[30]中的马赛克数据增强方法。

图5 螺栓数据增强最终效果示意

1.2.3 目标检测

目标检测是计算机视觉领域的核心问题之一,它的任务是找出图像中的感兴趣目标以及位置和大小。传统的目标检测的方法主要包括区域选择、特征提取和分类三个阶段,随着深度学习技术的进步,其强大的表征能力以及丰富的特征表示使目标检测的准确度获得了很大提升。

仍以某桥梁工程螺栓检测为例,在图像中找出螺栓即是目标检测,如图6所示。

图6 螺栓目标检测示意

根据文献[12]的总结,当前常用的目标检测算法主要包括两种类型,一种是基于锚点的目标检测(anchor-based),包括R-CNN[31]、Fast/Faster R-CNN[32]、SSD[33]、YOLO[34]等;另一种是基于关键点的目标检测(anchor-free),包括CornerNet[35]、ExtremeNet[36]等,两者区别在于有没有利用anchor提取候选目标框。虽然anchor-based是目前主流的算法,但同时存在有限anchors的限制,检测框容易受到anchors尺度的影响,anchor-free是目标检测算法中很有前途的研究方向。

1.2.4 语义分割

图像是由许多像素组成,而语义分割的目的是将像素(场景图像)分割解析为与语义类别相关的不同图像区域。传统的图像分割方法根据图像的颜色、空间结构和纹理信息等特征进行处理分析,深度学习技术的进步有效支撑了图像分割技术的发展。

同样以某桥梁工程螺栓检测为例,采用图像分割的方法得到语义分割掩码图,从而将感兴趣的前景区域分割出来,如图7所示。

图7 桥梁钢结构语义分割示意

根据文献[14]的总结,将现有语义分割算法分为两类:一类是使用人工高精度加工的像素级标注作为训练样本的全监督学习图像语义分割方法,包括DeepLab系列方法[37]、基于图像金字塔方法[38]和基于循环神经网络方法[39]等;另一类是使用弱标注数据作为训练样本的弱监督学习图像语义分割方法,包括基于边界框标注方法[40]、基于图像级标注方法[41]和基于附加数据源方法[42]等。其中全监督学习图像语义分割方法的分割效果优于弱监督学习图像语义分割方法。

1.3 缺陷识别

完成目标检测获取感兴趣区域后,下一步是进行缺陷识别,其首要内容是针对缺陷特征的提取,再针对缺陷特征同标准缺陷样本进行比对,特征相匹配即表明存在缺陷。根据文献[20]的总结,缺陷图像的特征提取可理解为从高维图像空间到低维特征空间的映射,其有效性对后续缺陷的识别精度、计算复杂度、鲁棒性等均有重大影响,目前常用的图像特征主要有纹理特征、颜色特征、形状特征等。

本节所提的缺陷识别流程为一般流程,具体的技术流程要根据不同缺陷的具体特点进行专门制定和研究。

2 钢结构表面缺陷的智能识别

2.1 高强螺栓缺失与松动

对于钢结构螺栓连接节点而言,主要的表面缺陷有两种:螺栓缺失与螺栓松动。

2.1.1 螺栓缺失

结合文献[43-50]发现目前对于螺栓缺失的缺陷检测的方法较少,现有为数不多的方法主要是基于深度学习的目标检测方法[43],该方法通过训练螺栓缺失样本,进而直接检测螺栓缺失的缺陷。然而通过实际工程调研,发现螺栓缺失后的特征多种多样,尤其一些螺栓延迟断裂后,螺杆仍然保留在螺孔中,且几乎与连接面齐平,缺陷特征不够显著,如图8所示。

图8 几种螺栓缺失的情况示意

当前深度学习的算法如果想拥有优良的性能,十分依赖训练样本的质量和数量,但在实际工程中采集到大量的螺栓缺失样本十分困难,因此直接检测的方法很难达到满意的效果。文献[44]将缺陷异常检测转化为正常螺栓检测的问题,检查关键部件上的螺栓当前数量与原始数量是否一致,避免了缺陷样本较少的问题。该方法的缺点在于,当螺栓目标较小或出现污渍与锈蚀时,其特征与螺栓缺失特征相近,容易造成螺栓的漏检与误检,如图9所示,因此该思路有较大的提升空间。

图9 正常螺栓检测方法的缺点示例

上述研究表明仅靠深度学习的目标检测算法检测螺栓缺失,其可靠性还有待提升。

2.1.2 螺栓松动

螺栓松动是由于螺栓拧紧后轴向预紧力的减小引起的。常见的螺栓松动可能是由于连接件反复相对滑动磨损或螺栓与连接件的塑性变形引起的。对于螺栓松动的检测有三类方法。

第一类检测方法是划线标定检测法,如图10所示。根据文献[45]的总结,属于现场检测技术的一种,具体方法是在螺栓拧紧后,在螺母与连接结构上画一条特定颜色的直线,如果螺栓出现松动,则检测螺母上的直线与连接结构的直线会发生错位,从而判断出螺栓松动。该方法在轨道列车的螺栓检测上应用广泛,然而钢结构工程由于螺栓数量较多,节点形态各异,若采用该方法会导致检测成本较高,因而较少采用。

图10 划线标定检测法

第二类方法是通过检测螺栓与连接面是否出现分离来判断螺栓松动情况。文献[46]通过深度学习目标检测的方法检测螺纹暴露的状态以判定螺栓是否松动,如图11所示。该方法存在两个缺点:一是在实际工程中螺纹暴露的图像样本难以采集,仅靠实验室模拟的有限缺陷样本难以代表既有钢结构工程的实际缺陷状态,即无法解决深度学习中跨域的问题,如图12(a)所示;二是该类方法需要从侧面拍摄才能采集到螺纹暴露的特征,而实际工程的螺栓连接节点上螺栓的排列数量较多且比较密集,所采集图像中螺栓之间的遮挡比较严重,如图12(b)所示。因此该类方法适用性较差。

图11 螺栓与连接面的分离[46]

图12 检测螺栓与连接面分离方法的缺点示例

第三类方法是通过比对检测到的历史和当前的螺栓边缘直线角度的差值判断螺栓是否发生松动。文献[47]首先对螺栓连接节点进行透视变换,将进行比对的两张照片转换成同一视角,然后对检测到的螺栓区域进行Hough变换以检测螺栓角度,通过比较对应螺栓角度的差值以判断螺栓是否松动,如图13所示。该方法的缺点主要有两点:一是在透视变换选取参考点时采用了人工选取的方式,自动化无法得到保证;二是在螺栓边缘直线检测上直接在原图使用Hough变换,容易受到光线、污渍与锈蚀等其他边缘的干扰,鲁棒性较差,如图14所示。

图13 螺栓边缘直线检测[47]

图14 对比螺栓边缘直线角度差方法的缺点示例

文献[48]在文献[47]的基础上进一步研究,采用了alpha-shape[49]算法对单元螺栓连接节点螺栓的外轮廓螺栓位置进行提取,进而找到角点螺栓作为透视变换的参考点,如图15所示。然而该方法未考虑到螺栓缺失与螺栓目标误检或漏检的情况,如图16所示,当角点螺栓缺失时,无法检测出与标准螺栓节点图像对应的参考点,因此适应性有待提高。

图15 螺栓参考点获取方法[48]

图16 螺栓角点定位提取方法的缺点示例

文献[50]中,进行边缘直线检测的对象是螺栓所在的节点板,同样采用Hough变换,然后通过提取各边缘直线交点作为透视变换的参考点,然而此方法容易受到周围其他边缘的干扰,难以提取准确的节点板直线。如图17所示,节点板边缘直线检测方法错误地提取了很多非连接板边缘直线,此外,螺栓连接节点区域并非都固定在节点板上,因此此方法通用性不高。

图17 节点板边缘直线检测方法的缺点示例

2.2 钢结构表面锈蚀

锈蚀是钢结构的常见缺陷,当钢结构表面防腐涂层破坏以后,钢材直接接触周围大气环境,很容易产生锈蚀问题,对钢结构的安全使用产生严重威胁。当钢结构发生锈蚀后,表面颜色会发生变化,因此适合用计算机视觉的方法进行检测,目前这方面的研究方向主要有两类。

第一类是基于锈蚀颜色特征的钢结构锈蚀区域检测。文献[51]采用在RGB 空间获取材料腐蚀特征图像信息,通过HSV 颜色空间描述该腐蚀特征区域的颜色值的方法,可满足腐蚀特征颜色等级的评定要求。文献[52]使用了一种结合粗糙度和颜色两个视觉特征的算法,用于在给定的图像中定位锈蚀区域,其中粗糙度分析考虑了由灰度共生矩阵计算的均匀度度量,颜色分析使用了从HSV颜色空间的数据集中提取锈蚀代表颜色直方图,研究表明该方法是有效的。上述方法的优点在于基本不会漏检锈蚀区域,但缺点在于容易将背景中与锈蚀颜色特征相近的区域误检成锈蚀区域,如图18所示(与锈蚀颜色相近的地面被误检为锈蚀)。

图18 基于HSV颜色空间锈蚀检测的缺点示例

第二类是采用基于深度学习的目标检测或图像分割方法进行钢结构锈蚀区域检测。文献[53]介绍了一种基于卷积神经网络的金属表面锈蚀评估方法,对两种预训练的最新卷积神经网络结构和两种卷积神经网络结构的性能进行了评估,研究结果表明,卷积神经网络的性能优于基于纹理和颜色分析的锈蚀检测方法,且该研究所提出的卷积神经网络显著提升了效率。文献[54]提出了一种对锈蚀图像进行语义分割来实现锈蚀区域的检测与定量分析的方法,以苏通大桥锈蚀数据集训练网络并对其进行了数据增强,最终正确率可以达到训练集92.55%和验证集90.56%。文献[55]提出了一种改进的轻量化目标检测网络,并将该方法用于检测岸桥表面锈蚀,该网络相对于其他轻量级网络速度快、精度高,在嵌入式设备计算资源有限的情况下也能胜任图像识别、目标检测等视觉任务,如图19所示。上述方法均基于深度学习,其优点在于鲁棒性较高,但缺点在于有限的锈蚀缺陷样本数量会影响检测精度。

图19 基于图像分割方法的钢结构锈蚀检测[55]

2.3 钢结构表面裂缝

钢结构表面裂缝的检测可以归类为裂缝检测问题,相关研究中最常见的裂缝检测对象是路面裂缝,对钢结构及焊缝的裂缝检测研究较少。基于计算机视觉的裂缝检测方法大致可分为两类:图像处理方法和深度学习方法。

图像处理方法常见的方法有:阈值分割法[56]、边缘检测法[57]、直方图分割法[58-59]等, 这些方法在图像处于某些特定条件下能够达到比较好的检测效果,然而当图像背景复杂,如存在光照不均、阴影、污渍等情况时则鲁棒性较差。这些方法目前常用于对象单一的路面检测。

基于深度学习的方法在裂缝检测的性能上要优于传统的图像处理法,主要分为两类。

第一类是基于滑动窗口的方法[60],普遍采用卷积层结合全连接层的二分类神经网络判断窗口内是否含有裂缝,如图20所示。由于使用了全连接层,输入图像尺寸只能是滑动窗口的尺寸,因此大量窗口区域图像分批次循环输入神经网络进行运算非常耗时。在提取裂缝时,大部分研究都采用了在窗口区域内使用最大类间阈值分割法[61]对裂缝进行最终的提取,然而该方法计算的阈值比实际阈值略高,导致提取的裂缝宽度比实际裂缝要宽,当背景区域干扰噪声较多时,这些干扰区域很难用形态学的开闭操作[62]去除掉。

图20 使用滑动窗口法的钢结构表面裂缝检测

第二类是图像分割法(1.2.3节),即将整个裂缝图像中不同类别的像素用不同颜色标注出来。深度学习的图像分割模型[14]包含了多种全卷积网络模型,包括FCN、U-Net、DeepLab等,这些模型鲁棒性较高,可以准确地恢复裂缝的形态与细节特征。文献[63-64]均采用深度卷积神经网络分别对钢桥节点板焊接接头裂缝和桥梁钢箱梁表面疲劳裂缝进行了检测及研究,获得了良好的识别精度。然而对于裂缝本身的特征而言,狭长的裂缝区域在整个图像中相对背景而言往往占比很低,这就意味着负样本数量(背景区域)要远远大于正样本数量(裂缝区域),这种样本的严重不均衡会导致模型训练时更关注负样本的学习而忽略了正样本的学习,影响裂缝识别效果。

文献[65]对第一类方法中最大类间阈值分割法(OTSU)和第二类方法中采用U-Net网络模型的方法之间的优缺点进行了对比和举例说明。如图21所示,OTSU分割法容易将背景干扰区域误识别为裂缝区域,当裂缝区域较细时,OTSU分割法和U-Net图像分割法提取裂缝结果的连续性较差。

图21 两种方法检测结果的对比[65]

3 未来研究方向

前文总结了基于计算机视觉的缺陷识别流程和目前国内外钢结构表面缺陷智能识别的研究现状,未来的研究方向主要是如何解决目前研究的缺点和不足。

3.1 目前研究的不足

根据对钢结构表面缺陷智能识别相关研究的总结,现有研究还存在许多问题,难以形成产业化应用,具体包括:

(1)钢结构缺陷待检测图像中的背景信息、光照与污迹等噪声造成伪缺陷,导致误检率较高。

(2)现有缺陷识别方法单一地采用分类、目标检测与语义分割等技术,当正常样本与缺陷样本在某些维度特征相近时,容易造成缺陷的漏检。

(3)缺陷样本难以低成本搜集,少量缺陷样本无法保证模型泛化性能,而基于小样本的深度学习技术尚不成熟。

(4)钢结构表面裂缝这种细小缺陷在检测时存在鲁棒性差或者模型训练时正负样本数据不均衡的问题。

3.2 计算机视觉方法的改进

如前文所述,以卷积神经网络为代表的深度学习方法[10]在计算机视觉领域的基础理论研究日益成熟,其鲁棒性要远远优于传统的机器学习方法或图像处理方法。但当前的深度学习算法在解决小样本问题[66]、长尾问题[67]与非显著目标识别[68]等问题上仍有待提高,未来的研究应着眼于这些问题,给出系统性的解决方法。

本文认为可以在已有基于深度学习方法的研究良好效果的基础上,尝试开展基于已知多维先验性深度特征交叉判断的缺陷识别研究,从而实现目标特征的显著化、检测数据的均衡化与检测任务的简单化,最终提高深度学习方法的准确性。

3.3 钢结构表面缺陷的智能识别

通过总结已有钢结构表面缺陷智能识别方法的缺点,采用基于多维度深度特征与几何特征交叉判断的研究思路,未来的研究方向如下。

(1)目前螺栓缺失检测的主要问题是:在通过检测正常螺栓间接判断螺栓缺失时,由于钢结构螺栓连接节点螺栓数量较多,又限于大部分服务器的计算性能,目标检测模型在训练和测试时图像分辨率一般不会太高,造成单个螺栓目标不是很显著,容易与背景的一些其他类似特征混淆,造成模型将螺栓缺失区域特征或污渍特征等误检成螺栓,间接造成缺陷的漏检。针对上述问题,可在低分辨率螺栓目标检测时将阈值降低,保证不漏检正常螺栓,然后将所有单体螺栓区域在原始高清图像提取出来,再经过高精度二分类卷积神经网络模型剔除掉误检目标,从而提高螺栓辨识精度。

(2)螺栓松动检测的前提是要将当前采集图像的视角转换成与标准螺栓连接节点图像相同的视角后再进行比对,所采用的方法为图像处理技术中常用的透视变换[69]方法,而如何自动准确地获取透视变换四个参考点是本方案成功与否的关键。在未来的研究中,针对螺栓节点的特征,即无论是螺栓位置信息还是节点板信息都可以提供可靠的固定位置信息,也都可以作为透视变换的参考点。

(3)基于锈蚀颜色特征的钢结构表面锈蚀检测,关键在于排除掉非检测区域近似颜色信息的干扰。未来的研究工作中,可进行针对性的研究,即:在图像采集阶段确保采集的数据具备用于深度学习的数据数量与质量,然后通过图像分割的方法准确地检测到钢结构区域,并排除非钢结构区域的干扰。

(4)对于使用图像分割的裂缝提取方法而言,在裂缝检测过程中背景区域远大于裂缝区域,造成样本的不均衡,是裂缝识别需要解决的一个主要问题。未来的研究可以通过预过滤非目标背景区域的方式平衡图像分割前景与背景区域数据,提高裂缝区域的显著性,从而提升裂缝识别的准确性;此外,后期还可进一步基于分类算法实现高效的滑动窗口判别算法,用于进行感兴趣区域筛选工作。

4 结语

本文涉及到计算机视觉、人工智能、钢结构工程及缺陷识别等多学科交叉研究和应用,面向表面缺陷诊断的工程需求,从图像处理、算法研究、智能诊断等多个方面对钢结构表面缺陷智能识别的关键技术问题进行系统性的总结研究。目前的研究工作证明将人工智能技术引入土木工程诊断领域是可行的,同时从整体而言,技术还不完全成熟,尚有可以进一步研究和发展的空间。随着计算机技术的不断进步和相关研究工作的陆续开展,智能诊断技术会发展成为工程诊断行业的新领域。