基于深度学习的激光剪切散斑干涉无损检测缺陷识别

吴 荣,汪剑伟,谢锋云

(1.华东交通大学机电与车辆工程学院,江西 南昌 330013; 2.载运工具与装备教育部重点实验室(华东交通大学),江西 南昌 330013;3.华东交通大学轨道交通基础设施性能监测与保障国家重点实验室,江西 南昌 330013)

1 引 言

激光剪切散斑干涉技术是一种运用光学、计算机、数字图像处理等现代技术发展起来的非接触物体变形测量技术,其通过计算物体变形前后散斑图的相位来获取被测物体的应变信息[1]。剪切散斑干涉技术运用剪切装置将物光分为两束光,使待测表面相邻两点的物光相干涉,相比较物光与参考光相干涉的电子散斑干涉技术[2],剪切散斑干涉技术对于环境中的扰动较不敏感,更加适用于工程现场检测,并被广泛应用于工业无损检测。

激光剪切散斑干涉技术在执行缺陷无损检测时,首先通过对被测对象进行一定程度的均匀加载,常见的加载方式包括热加载、真空加载、振动加载等;加载后引起内部缺陷处的应力集中,并导致对应的表面产生与其周围有差异的微小变形。利用激光剪切散斑干涉技术能直观精确地测量出该变形,从而推断出物体内部缺陷,缺陷通常以“蝴蝶斑”状干涉条纹的形式呈现[3]。特别是对于复合材料与粘接结构的缺陷检测,激光剪切散斑干涉技术能够有效检测被检对象中的气泡、空隙、分层、裂纹、脱粘等缺陷。对比传统无损检测方法,激光剪切散斑干涉技术具有测量面积广、效率高、非接触、高灵敏度等优点,因此在航空航天、船舶制造、汽车等领域的使用量正在迅速增加[4]。Leszek[5]结合全息术和剪切散斑干涉技术通过声波使壁画振动,在壁画有损伤处发生不规则变化,检测缺陷的大小和分布;Kim[6]利用剪切散斑技术对轮胎面上的空洞缺陷的大小和形状进行了检测;马银行等人[7]搭建了数字剪切散斑干涉测量系统用于含狭缝的悬臂铝板的振动分析;刘斌等人[8]运用剪切散斑干涉技术对不同类型缺陷的卫星用铝蒙皮铝蜂窝夹层结构实现了缺陷检测。剪切散斑干涉技术的发展和应用为工业发展中结构应变分析、健康状态检测以及部件维修等方面提供了重要的技术支持。

随着航空航天、交通运输等领域的快速发展,材料缺陷检测的准确率和效率的提升有助于推动现代化工业生产的高质量与高效率发展,因此需要发展一种高精度高效的缺陷自动识别方法来替代人工识别方式。为此,国内外许多学者对激光剪切散斑干涉缺陷自动识别方法做出了大量研究。例如南瑞亭等人[9]提出的基于剪切散斑图角点特征的轮胎缺陷识别方法,实现了轮胎缺陷的自动识别,提高了轮胎检测的效率;李学哲等人[10]通过图像降维和协同进化算法实现了剪切散斑条纹信息的识别,且在测量速率和抗干扰方面有着明显提高;冯巍巍等人[11]采用了基于小波分析和神经网络的算法,实现了特种材料表面激光散斑特征的提取和识别,操作简单且识别率较高,但识别速率较慢。近年,深度学习技术被快速发展,并在激光散斑干涉技术中的条纹图像去噪、解包裹以及缺陷识别等方面取得了重要进展。例如,Gurrola-Ramos[12]提出了一种用于条纹去噪的U-Net神经网络模型,该方法在计算上更简单高效;Wang[13]提出了将包裹相位经U-Net网络直接获取展开相位的一步解包裹技术,并且可实现相位去噪;因此,将深度学习运用于缺陷识别是发展趋势,例如:Chang等[14]将卷积神经网络与高性能快速区域卷积神经网络集成混合融合,检测轮胎剪切成像图像中的气泡缺陷;Ye等[15]开发了一种基于深度学习的圆柱形表面检测的剪切成像系统。相对于传统算法,深度学习相关方法具有更快的速率和更高的识别精度;将深度学习与剪切成像技术结合使用的方法是实现无损检测自动化的第一步,同时为进一步发展开辟了空间。

尽管以上研究能解决剪切散斑缺陷图像的检测与识别,但其检测效率和检测精度仍然有待提高。近年,YOLOv5、Faster R-CNN等深度学习算法在图像识别方面取得了高效与高精度的识别效果,并在无人驾驶、工业缺陷图像识别等领域被广泛使用[16]。本文提出将YOLOv5和Faster R-CNN算法应用于剪切散斑干涉缺陷图像的自动识别,分析对比了两者的检测准确率和效率,并设计制作了用于缺陷检测的大量样本数据,为缺陷高精度快速自动识别提供了依据。

2 剪切散斑干涉无损检测原理

剪切散斑干涉无损检测原理如图1所示,在执行检测时,首先需要对被检测对象进行均匀的加载,加载方式通常有热辐射加载、负气压加载和振动加载。物体被加载后,缺陷处将产生与周围有差异的微小变形,该变形将反映到物体表面,进而利用剪切散斑干涉技术检测该变形,从而实现物体内部缺陷的检测。在缺陷检测运用中,通常采用检测离面位移导数的迈克尔逊干涉光路,即剪切干涉来实现表面的变形检测。该光路如图1所示,激光入射到粗糙物体表面产生漫反射,反射光进入迈克尔逊干涉光路;反射光进入分光棱镜被分为两束光线,一束反射到剪切镜,并从剪切镜反射到分光棱镜;另一束是直接穿透入射在平面镜,再反射到分光棱镜上。最后,两束光同时进入到摄像机并产生干涉,从而通过计算机处理获得剪切散斑干涉条纹图。

图1 剪切散斑干涉无损检测系统示意图

本文采用被广泛使用的高精度四步相移技术来获取剪切成像条纹图[17]。测量首先在物体变形前运用驱动电路使PZT相移器产生精确的四步相移,四步相移对应的激光相位分别为(0,π/2,π,3π/2),同时相机同步采集对应的物体表面相移图。假设物体变形前的四步相移图为Ri(x,y),i=1,2,3,4,具体表示如下:

(1)

其中,(x,y)是图像的空间像素坐标;Ri(x,y)是变形前采集到的四幅散斑图像,它们依次有π/2相移量;A(x,y),B(x,y)分别表示背景光强和条纹的调制幅值;φR(x,y)是变形前的散斑相位。

联立上述四个方程,即可得到变形前的相位分布:

(2)

同理,假设变形后的四幅散斑图像为Di(x,y),i=1,2,3,4,

(3)

则可得到变形后的相位分布:

(4)

将变形后的相位减去变形前的相位即可得到由于变形引起的相位差:

Δφ(x,y)=φD(x,y)-φR(x,y)

(5)

或者运用以下等式获得相位差[18]:

Δφ(x,y)=

(6)

通过以上等式直接获得的相位图通常包含较大的噪声,为了提高干涉相位图的成像质量,因此,需要对获得的图像进行滤波处理[19],进而得到高信噪比的干涉条纹图。

3 深度学习缺陷智能识别算法

剪切散斑干涉缺陷的高精度智能识别能为其工业应用提供一种自动化的无损检测手段,从而提高检测效率和检测准确率。目前基于深度学习的目标检测算法主要包括SSD、YOLO、Faster R-CNN、Mask-RCNN等[20]。各个算法在不同的应用场合和数据集样本下的效果存在差异,而本文将目前较为主流的YOLOv5和Faster R-CNN两种目标检测算法引入到剪切散斑干涉缺陷的智能识别中,并深入分析这两种方法的优劣势。

3.1 基于YOLOv5算法的缺陷检测模型

如图2所示为YOLOv5的缺陷检测模型,该网络首先将输入的缺陷图像分别进行8倍、16倍和32倍下采样,从而获得3种尺寸大小不同的特征图,然后将特征图输入到特征融合网络中,经过特征融合网络的深层次卷积后得到具有丰富语义信息的特征图。虽然在多次卷积之后会丢掉目标图像的部分位置信息,但是目标位置的信息是仍较为精确。

图2 YOLOv5的缺陷检测模型

3.2 基于Faster R-CNN的缺陷检测模型

Faster R-CNN主要由特征提取网络CNN,区域建议网络RPN(region proposal network)和目标检测网络RCNN这3个部分组成,如图3所示为其缺陷检测模型。特征提取网络CNN采用经典的卷积神经网络VGG16对输入的高分辨率图像可提取相对初级特征,并输出对应的特征图;区域建议网络RPN的输入是特征提取网络CNN输出的特征图,使用滑动窗口对该特征图进行遍历卷积,然后将特征图映射成的低维向量送入分类层和回归定位层,最后输出被检测物体的区域建议框;目标检测网络RCNN利用非极大值抑制算法获取感兴趣区域(region of interest,ROI),接着通过ROI池化层并将其下采样至某一固定尺寸。最后通过全连接层获得ROI的低维特征向量并送至Softmax分类器中,从而使得目标分类置信度和矩形框位置得到进一步的调整。

图3 Faster R-CNN的缺陷检测模型

3.3 基于YOLOv5与Faster R-CNN的缺陷智能检测

缺陷的自动检测要求结构的各部分获得图像的相位图,且通过拼接技术实现缺陷分布的全尺寸图像的映射。如果结构中存在缺陷,它们将通过剪切散斑干涉条纹反映在相位图中。为了准确识别与缺陷相关的条纹图案,需要使用包含条纹图案的样本训练相应的模型。由于主要考虑的缺陷是脱粘,所以样本为包含蝴蝶斑状的条纹图像。在深度学习算法中,实验的样本数量对最后识别的结果起着非常关键的作用。样本数量太少会使得回归方程中的相关系数比较低从而导致识别精度也不高。

训练完成之后,便可将模型用于缺陷识别。图4(a)描述的是基于YOLOv5算法的缺陷自动识别过程的示意图。输入图像进入输入端进行Mosaic数据增强、自适应锚框计算和自适应图片缩放操作;然后在基准网络中利用Focus结构提取一些通用的特征表示;接着在Neck网络中使用SPP模块、FPN+PAN模块进一步提升特征的多样性及鲁棒性;最后通过Head输出端完成目标检测结果的输出。

(a)YOLOv5识别流程图 (b)Faster R-CNN识别流程图

图4(b)是基于Faster R-CNN的缺陷自动识别过程的示意图。输入图像通过预先训练好的卷积神经网络得到卷积特征映射。然后通过区域建议网络(RPN)寻找可能包含缺陷的区域。在原始图像中列出了可能的相关缺陷及位置后,Faster R-CNN网络使用该信息对边界框中的内容进行分类,以及调整边界框最佳匹配缺陷。在执行以上步骤之后,显示所有筛选区域内的缺陷类别,并识别有缺陷区域的位置。

4 实验与结果

4.1 样本制作与数据采集

为获得缺陷高度敏感的识别,样本尺寸和缺陷位置应具有多样性,训练样本应是不同尺寸和位置的缺陷剪切散斑干涉相位图,这些相位图代表实际样本中预期的特征。为此,本次实验制作了多种尺寸和类型的缺陷样本,样本制作过程如图5所示,其中,(a),(b)为模拟不同形状的内部缺陷图,(c)为制作完成的内部含缺陷的试样。试样中间是一块长宽高为150 mm×150 mm×5 mm的铝板,并在铝板上制作了几种不同形状和尺寸的孔洞,并在铝板两面均粘贴厚度为4 mm的橡胶板,以此模拟复合材料中脱粘、气泡和分层等缺陷。

图5 缺陷样本

完成样本缺陷的制作之后,即可使用剪切散斑干涉无损检测仪进行缺陷图像数据的采集。该设备采用532 nm激光器,相机的空间分辨率为2048×1536,型号为MER2-302-37 GM-P,帧率为37 f/s。如图6所示为剪切散斑干涉无损检测仪对样本进行采集,其中加热灯热加载时间设置为2 s,采样间隔时间为5 s,重复上述操作,并采集500幅包含缺陷的剪切散斑干涉条纹的图像 。如图7所示为采集的部分数据。

图6 剪切散斑干涉无损检测仪采集样本数据

图7 采集的部分数据

4.2 缺陷智能检测

将上述采集到的含有缺陷的500幅图像随机选择80 %作为YOLOv5和Faster R-CNN网络的训练数据集,剩下的20 %则是用来评估两个模型准确性的测试数据集。训练样本由500幅包含缺陷的剪切散斑干涉条纹的图像组成,这些图像是由迈克尔逊剪切散斑干涉检测设备对粘有橡胶的铝板实体进行热加载时获得的。由于这些样本图像是从一系列脱粘缺陷实验中采集的,因此缺陷的剪切散斑条纹自然也各不相同。为了能够对模型进行有效的应用测试,所以样本被分为训练集和测试集。

搭建适合的硬件和软件环境是深度学习算法运行的首要条件。在本文实验中所有算法均在Windows10的64位操纵系统上运行,该系统搭载Intel Core i9-10900处理器,NVIDIA Quadro RTX 4000 显卡和32 G内存,实验网络在由python 3.7.11和pytorch 1.8.1搭建的框架内运行。为提高训练模型的速度,所以配置了cuda和cudnn来调用GPU参与训练。最后,本文对复合材料板结构进行了自动检测,结果如图8所示。由此可知,测试结果与人工观察判断结果一致,并且大大提高了缺陷检测效率。

图8 缺陷识别效果图

4.3 模型评价

在深度学习领域中,模型的效果需要用多种指标来进行评价。目标检测模型的评价指标有精度(Precision)、召回率(Recall)、PR曲线、AP(平均精度)等。本次实验对样本数据进行10次训练集和测试集的随机选择(D0～D9),然后分别对这10组数据集进行训练,最后通过检测速率和检测精度对训练完成的YOLOv5和Faster R-CNN模型进行对比分析。

如图9(a)和(b)所示分别为YOLOv5和Faster R-CNN模型在本次实验硬件及软件环境下的检测精度和速率对比。从图中可知,在检测精度方面,Faster R-CNN明显比YOLOv5更高,且检测精度也更加稳定;计算10次训练模型的精度平均值,得到Faster R-CNN和YOLOv5的平均精度分别为97.84 %和92.09 %。而在检测速率方面,Faster R-CNN的平均检测速率为11 f/s,YOLOv5的平均检测速率则可达到50 f/s,YOLOv5明显比Faster R-CNN更快。

图9 YOLOv5和Faster R-CNN模型

5 分析与讨论

上述实验将YOLOv5和Faster R-CNN算法应用于剪切散斑干涉缺陷图像的自动识别,分析对比了两者的检测精度和检测速率。其中,YOLOv5模型尺寸小,部署成本低,灵活性高,检测速率快;而Faster R-CNN检测精度高,但模型较为复杂。两种基于深度学习的缺陷检测方法的检测精度和检测速率都远远高于传统的识别方法,能有效提高实际工程应用的缺陷检测效率和准确率。在实际的工程运用中,可根据需求选择使用YOLOv5和Faster R-CNN方法。当然,本研究是基于实验室的模拟缺陷所建立的模型,实际应用中增加更多不同类型、尺寸的样本量,将能进一步提高缺陷的识别率。同时,通过提升计算机的硬件配置可进一步提高缺陷的识别效率。

6 结 论

本次研究搭建基于迈克尔逊干涉的剪切成像系统并利用高精度四步相移技术获得高质量剪切成像条纹;然后使用YOLOv5和Faster R-CNN深度学习算法对典型剪切散斑干涉缺陷条纹数据集进行训练,得到相应的检测模型;最后将这两种检测模型成功地应用于复合材料的缺陷识别。在本次实验条件下,YOLOv5和Faster R-CNN缺陷识别方法的检测平均精度分别为92.09 %和97.84 %,检测平均速率分别为50 f/s和11 f/s。因此,提出的两种缺陷检测方法能够有效提高剪切散斑干涉成像复合材料缺陷评估中的检测效率和准确率。