超声图像中复合材料褶皱形态的Mask-RCNN 识别方法*

张海燕 徐心语 马雪芬 朱琦 彭丽

1) (上海大学通信与信息工程学院,上海先进通信与数据科学研究院,上海 200444)

2) (上海电机学院机械学院,上海 201306)

3) (上海大学机电工程与自动化学院,上海 200444)

复合材料在制造和使用过程中不可避免地会产生褶皱缺陷,因其形态变化多样,形变程度较小,人工辨认存在一定障碍,容易出现错漏情况.为提高检测效率,提出利用Mask-RCNN(Mask region-based convolutional neural networks)目标检测算法对复合材料超声图像中不同形态的褶皱缺陷进行检测并分类.制备含有不同形态褶皱缺陷的碳纤维复合材料层合板,利用超声相控阵采集全矩阵数据;通过波数成像算法得到复合材料层合板纵切面图像,根据地质层中褶皱的几何学特征,将复合材料层合板中存在的不同褶皱分为三类,进而建立褶皱形态与材料损伤程度之间的关系;提出Mask-RCNN 算法用于褶皱缺陷的自动检测并分类,该算法中语义分割的引入可显示褶皱缺陷的位置和形状.实验结果表明:Mask-RCNN 对不同形态褶皱识别的准确率分别达到92.1%,90.9%和93.3%,褶皱分类识别准确、有效.为实现复合材料层合板数据采集-成像-缺陷判别一体化、自动化提供了理论支撑.

1 引言

碳纤维复合材料具有高比刚度、高比强度、耐高温、耐磨擦等特性,一定程度上取代了传统金属、合金材料,在航空航天、化工、建筑、汽车和医学等领域发挥着重要作用[1-4].由于不同复合材料制备工艺自身缺陷、操作者失误或者外力挤压拉伸诸如此类的因素导致复合材料出现夹杂、空隙、褶皱、断裂等缺陷[5].缺陷会对复合材料造成不可逆转的损伤,影响材料性能,如果不能及时准确检测出缺陷,可能会造成严重经济损失、威胁生命安全.

褶皱是指复合材料内部的一层或多层纤维在复合材料的表面或内部形成的折痕、皱纹或弯曲变形[6].褶皱因为变形程度不同,大小差异明显,成为难以识别的缺陷类型.对褶皱的识别以及褶皱带来的损伤研究成为复合材料缺陷研究领域的重点问题.Hsiao和 Danie[7,8]通过对单向面外褶皱的复合板进行实验,得出褶皱会显著地降低层合板的刚度和压缩强度的结论.Alexander和Kulkarni[9]研究了管道褶皱对管道完整性和寿命的影响.李韦清等[10]发现褶皱角度是衡量内嵌褶皱对层合板拉伸性能影响的最主要因素,其拉伸性能呈现出随褶皱角度的增加而逐渐降低的趋势.张婷等[11]研究了褶皱角对力学性能的影响,证明复合材料的拉伸强度和压缩强度均随褶皱角度的增大而持续降低.

近年来,国内外关于复合材料褶皱缺陷的研究有一些新的进展.Sandhu 等[12]提出一种马尔可夫链蒙特卡罗算法,使用Karhunen-Loeve(KL)模式定义的随机场参数化来定义缺陷,从缺陷的图像数据中推导出褶皱缺陷的随机分布,该方法显著地降低了随机数值研究参数化对缺陷影响的不确定性.KL 系数的分布是从使用改进版本的B-Scan 数据中提取的错位数据中推断出来的.Koich 等[13]研制了一种新型涡流检测探头,利用该探头可以检测到在厚的单向碳纤维增强复合材料中引起的平面波纹.在扫描具有平面外波形的材料时,获得的复平面输出信号环状图能够识别平面外光纤波形是否存在,并确定其位置.张海燕等[14]提出基于指向性函数校正的全聚焦成像方法,有效地降低了背景噪声,被检试样的褶皱缺陷和铺层结构等细节信息得到了准确还原.

褶皱本身属于微小缺陷,其物理形状和空间分布通常具有分散性,在复合材料中表现复杂,检测难度大.现阶段的缺陷检测大多是在成像方法上进行改进,以提高褶皱成像准确度和分辨率,很少存在对于复合材料褶皱缺陷的自动化识别检测.因此,提出利用Mask-RCNN 算法对碳纤维复合材料褶皱缺陷进行检测并分类.利用波数成像法生成包含褶皱的复合材料纵切面图片,以此为基础制作数据集,然后基于Mask-RCNN 算法进行训练检测,识别出褶皱缺陷并对其进行分类.此方法的缺陷检测结果可视化,不需要二次人工诊断,不受主观因素影响,并且对缺陷按形态分类有助于与复合材料损伤程度建立联系,以此判断材料性能.

2 复合材料褶皱的超声成像及分类模型

针对人工识别褶皱缺陷的局限性,提出一种褶皱缺陷自动分类识别的方法,图1 为其流程图.该方法可概括为两部分:一是由包含褶皱缺陷的待测样品得到超声图像;二是对深度学习模型进行训练并得到检测结果.

图1 褶皱缺陷自动分类识别流程图Fig.1.Flow chart of automatic classification and recognition of wrinkle defects.

2.1 全矩阵波数算法多层介质成像

复合材料层合板由不同介质层叠加而成,不同介质层拥有不同的波速.在复合材料层合板成像中,将超声相控阵收发的全矩阵数据[15]运用波外推法将阵列虚拟的移动到第l层的顶部,在每一层实现超声波束聚焦,多层介质被分为厚度为dl的不同均匀介质.因此,张海燕等[16]提出混合玻璃纤维层的碳纤维增强复合材料层合板的正向模型为

其中ω为角频率;f(x,z)为散射体的分布;波数ku和kv分别对应于超声相控阵发射阵元 (u,0)和接收阵元 (v,0) ,G(x,z,ω) 为格林函数[17],并且

其中cl为第l层的波速.

时域数据通过三维傅里叶变换转换为频波(f—k)数域数据:

对每个波数对应的二维傅里叶变换数据片进行逆Stolt插值变换,完成E(kv,ω|ku) 到F(kx,kz,|ku)的转换:

其中

通过计算每个ku的二维傅里叶变换,得到波数域中的图像:

最后进行二维傅里叶反变换实现图像重建:

利用波数成像法总共得到200 张灰度图像,排除无缺陷和无法辨别的图片,得到包含缺陷的有效原始复合板纵切面图175 张,其中训练集和测试集按4∶1 划分.

2.2 形态分类

复合材料层合板受到的损伤程度不同,导致产生形变也不相同.由于复合材料层合板与地质层几何形态相似,借助地层中褶皱几何学特征[18]来研究复合板中褶皱的几何形态.将褶皱缺陷分为三种不同几何形态,分别为form-I,form-II和form-III,如图2 所示.form-Ⅰ是褶皱的形成阶段,铺层形成波纹形隆起,且铺层之间平行,褶皱宽高比不同对力学性能的影响也不同.form-Ⅱ是褶皱发展阶段,部分铺层之间发生相交合并的形变,损伤程度加重.form-Ⅲ是褶皱生长的最终阶段,在褶皱内部存在部分断裂,此时复合材料损伤严重,褶皱已经向断层演变.

图2 褶皱形态分类 (a) form-Ⅰ类别褶皱形态;(b) form-Ⅱ类别褶皱形态;(c) form-Ⅲ类别褶皱形态Fig.2.Classification of wrinkle morphology:(a) Form-Ⅰcategory wrinkle morphology;(b) form-Ⅱ category wrinkle morphology;(c) form-Ⅲ category wrinkle morphology.

2.3 数据增强

在使用深度学习模型训练网络时,数据集图片数量太少很容易出现过拟合现象[19],造成模型准确率降低,因此需要进行数据增强.通过python程序对每一张标注过的原始图片进行模糊、亮度调整、平移、镜像或以上任意操作的叠加组合生成新的图像并保存,同时生成相对应的标签文件.每张图片经过处理生成5 张新图片,图像数量扩大为原来的6 倍.原始图像140 张,最终用于模型训练的数据集包含840 张带标签的图像.

2.4 Mask-RCNN 网络模型

深度学习因其能够自动提取鉴别特征的优越性,已被应用于层压复合材料的结构健康监测.提出基于Mask-RCNN 算法对复合材料层合板中的褶皱缺陷进行检测和分类.Mask-RCNN 网络结构如图3 所示.Mask-RCNN 包含两个分支,能够同时实现分类、回归及分割三项任务,因此用该网络对复合材料层合板的褶皱缺陷进行检测和分类,可同时显示缺陷轮廓实现定位检测.模型采用RPN(region rroposal network) 区域建议网络层,分类使用的是基于softmax 函数[20]的交叉熵损失函数,该算法以类别样本特征的“最大值”判断和抽取作为核心取向,能够实现快速收敛.RPN 的回归是从前向传播计算得到的所有anchors 偏移量数组中找到正样本所在索引对应的偏移量,以此与正样本和真实框之间的偏移量计算损失值,使用的是基于smoothL1 函数的损失函数,来更新权重实现反向传播.Mask 为掩膜图像分支,先分类后分割,显示每一个褶皱缺陷的位置和形状轮廓.

图3 Mask-RCNN 网络结构Fig.3.The network structure of Mask-RCNN.

为检测复合材料层合板中的褶皱缺陷选用ResNet50(residual network,残差网络)作为Mask-RCNN 算法中特征提取的骨干网络(backbone),其具有易于优化的特点.ResNet50 包含50 个conv2d操作.首先对输入进行卷积,输入部分采用的卷积核为7×7,能够在缩小图像尺寸的同时保留尽量多的图像特征信息,接着包含4 个残差块(residual block),最后进行全连接操作以便于进行分类任务,图4 为其网络构成.

图4 ResNet50 网络构成Fig.4.ResNet50 network composition.

3 实 验

实验采用计算机、M2M (Multi2000,M2M Inc,Les Ulis,France)相控阵超声波探伤仪、相控阵探头、碳纤维增强复合材料层合板试样,实验装置如图5 所示,各参数设置如表1 所列.实验样品为280 mm×180 mm×18 mm 的碳纤维复合材料层合板,该板堆叠角为[0/(0/90)20/0/(0/90)10/0/(0/90)10/0/(0/90)10/0/(0/90)10/0],堆叠序列为[G/C40/G/C20/G/C20/G/C20/G/C20/G],其中G和C表示单向玻璃和碳纤维预预料,厚度分别为0.08 mm和0.14 mm.所用Mask-RCNN 算法模型在keras+tensorflow 框架下运行,学习率设置为0.001,输入图像尺寸为512 pixel×512 pixel,bitch size 为1,目标检测种类分为form-Ⅰ,form-Ⅱ和form-Ⅲ三类.

图5 实验装置图Fig.5.Experimental device.

表1 超声相控阵参数设置Table 1.Parameter settings of ultrasonic phased array.

将超声相控阵探头放置于复合材料表面,利用超声相控阵收集32×32 全矩阵数据,记录一次数据改变一次位置,根据波数成像法得到碳纤维增强复合材料层合板试样不同位置的纵切面灰度图,得到图像分辨率为709×378,进行数据增强,完成数据集的准备工作.图6 为检测试样及其波数成像,图6(a)为检测试样的显微镜图,图6(b)为图6(a)的波数成像结果,图6(c)为图6(b)加噪声后的结果,图6(d)为对图6(b)调整亮度并沿x轴翻转后的结果.

图6 检测试样及其波数成像 (a) 显微镜图;(b) 波数成像法图;(c) 对图(b)加噪声;(d) 对图(b)调整亮度并沿x 轴翻转Fig.6.est sample and its wavenumber imaging:(a) Microscope image;(b) wavenumber algorithm;(c) add noise to Figure (b);(d) adjust the brightness of Figure (b) and flip along the x-axis.

由于三种形态褶皱缺陷样本数量不均衡,采用MicroF1作为模型分类结果的评价指标.MicroF1为将n分类的评价拆成n个二分类的评价,将n个二分类评价的TP (true positives),FP (false positives)和FN(false negatives)对应相加,计算评价准确率P=TP/(TP+FP)和召回率R=TP/(TP+FN).其中,TP,FP和FN 由混淆矩阵中引出,这些数据被用于评估分类器的性能[21].TP:正样本被正确识别为正样本;TN:负样本被正确识别为负样本;FP:假的正样本,即负样本被错误识别为正样本;FN:假的负样本,即正样本被错误识别为负样本.

由准确率P和召回率R计算评价指标 MicroF1,其表达式为

MicroF1取值在0—1 之间,分数越高,分类效果越好.

4 结果与分析

400 个epoch 后Mask-RCNN模型loss开始收敛.取测试集图片输入训练好的模型进行检测,得到结果如图7 所示.从图7 可以看出,无论是单个褶皱缺陷还是多个褶皱缺陷,无论是一种类别还是多种类别,都能在图像中准确定位、分类识别.图7(b)表明图7(a)只包含一个褶皱,类别为form-Ⅲ,形状已由红色阴影区域标明,该缺陷位于x轴5—15 mm,深度3—6 mm 处.图7(d)表示图7(c)包含两个form-Ⅲ类别的褶皱缺陷,两个褶皱形状分别由两块红色阴影标明,两处缺陷分别位于x轴19—32 mm,深度12—14 mm 处和x轴15—30 mm,深度15—17 mm 处.图7(f)表示图7(e)包含一个form-Ⅱ类别褶皱、两个form-Ⅰ类别褶皱,分别由两个分类检测框标注检测结果,form-Ⅱ类褶皱形状由一块位于x轴10—16 mm,深度4—6 mm 处的红色阴影标明,form-Ⅰ类由位于x轴8—19 mm,深度7—8 mm 以及x轴5—15 mm,深度11—12 mm 处的两块蓝绿色阴影标明.图7 检测结果表明,在复合材料层合板中,虽然褶皱缺陷和非缺陷部分结构差距细微,难以辨认,Mask-RCNN 模型仍然能够实现对褶皱缺陷的分类识别,分类检测结果准确,还原褶皱的位置和形状.并且,不同褶皱的识别之间互不影响,原始图片存在多少个、多少种褶皱,模型就能够全部检测识别.将三类不同形态褶皱与材料损伤等级建立联系,由form-Ⅰ到form-Ⅱ再到form-Ⅲ,根据褶皱生长规律,材料损伤程度逐级增强,在图7中可以看出:图7(f)包含form-Ⅰ,form-Ⅱ两类褶皱,褶皱还处在发展阶段,材料损伤程度较弱;而图7(b)和图7(d)都包含的是form-Ⅲ类型褶皱,此类褶皱已经向断层演变,损伤程度强.

图7 测试图像及其分类结果 (a) 含有一个褶皱的原始图片;(b)图(a)的测试结果图;(c)含有同一种类多个褶皱的原始图片;(d)图(c)的测试结果图;(e) 含有多种类多个褶皱的原始图片;(f)图(e)的测试结果Fig.7.Test image and its results:(a) The original picture containing one wrinkle;(b) the test result picture of Figure (a);(c) the original picture containing multiple wrinkles of the same type;(d) the test result picture of Figure (c);(e) the original picture containing multiple types of wrinkles;(f) the test result picture of Figure (e).

测试集共有35 张包含褶皱缺陷的图片,其中form-Ⅰ类褶皱缺陷有39 处,form-Ⅱ类褶皱缺陷有10 处,form-Ⅲ类褶皱缺陷有31 处.表2 为分类结果的混淆矩阵.三分类变成三个二分类,每一类的混淆矩阵数据如表3,表4和表5 所列.根据表3、表4和表5 中数据可得,Mask-RCNN 模型对form-Ⅰ类型褶皱识别准确率为PⅠ=0.921,form-Ⅱ类型褶皱识别准确率为PⅡ=0.909,form-Ⅲ类型褶皱识别准确率为PⅢ=0.933,三类褶皱缺陷识别的总准确率P=0.924,召回率R=0.913,然后由(8)式得MicroF1=0.918,分数接近于1,分类效果优秀,能够达到对褶皱缺陷准确分类识别的实验目的,证明该模型有效.

表2 分类结果的混淆矩阵Table 2.Classification results confusion matrix.

表3 form-Ⅰ混淆矩阵数据Table 3.The form-Ⅰ confusion matrix data.

表4 form-Ⅱ混淆矩阵数据Table 4.The form-Ⅱ confusion matrix data.

表5 form-Ⅲ混淆矩阵数据Table 5.The form-Ⅲ confusion matrix data.

5 结论

由于复合材料褶皱缺陷细微多样,识别检测困难,提出一种基于Mask-RCNN 的复合材料褶皱自动分类方法.以复合材料层合板为样本采集数据,将褶皱按形态学分为三类,对其进行分类识别.研究结果为:

1) 提出Mask-RCNN 算法进行碳纤维复合材料中褶皱的识别.人工识别褶皱缺陷受检测者心理、生理状态等影响,检测结果失准,并且费时费力.Mask-RCNN 深度学习算法克服了主观因素影响,能够准确高效的识别褶皱缺陷,达到复合材料褶皱缺陷无损检测的目的.

2) 借助地层中褶皱的几何形态对碳纤维复合材料中的褶皱进行分类.按照褶皱发展过程中的波纹平行隆起、波纹交合、褶皱部分断裂三个阶段,将褶皱分为form-Ⅰ,form-Ⅱ和form-Ⅲ三类,以此作为Mask-RCNN 模型训练时的分类标准.在此基础上,建立褶皱形态与材料损伤等级之间的联系,进而实现复合材料性能评价.

3) Mask-RCNN 算法中语义分割的引入能够显示出碳纤维复合材料层合板褶皱缺陷的位置和形状,褶皱缺陷检测结果可视化,提高了检测效率.