基于多尺度融合的蜂窝复合材料缺陷检测网络

马 敏,马小雯

(中国民航大学 电子信息与自动化学院，天津 300300)

0 引言

随着现代复合材料和制造工艺技术的不断发展，以碳纤维、芳纶纤维、玻璃纤维等高性能纤维制成的材料得到了越来越广泛地运用[1]。蜂窝复合材料以其优异的性能得以迅速发展，因具有高抗压性、低变形、耐腐蚀、优良的电绝缘性能，能够减轻飞行器结构质量，提高飞行器隔热性能，因而被广泛应用于航空航天、国防工业等领域。蜂窝复合材料主要由三部分组成，蜂窝材料的上下表面蒙皮(一般为树脂或碳纤维材质)，内部的蜂窝夹芯层(一般为芳纶纸粘合而成)，用来结合表面蒙皮和蜂窝芯的胶层。常见损伤包括脱粘、基体开裂、进水和冲击损伤，常见的损伤检测方法有红外成像法、X射线检测、声阻法等。红外成像法借助对热红外敏感的特点对物体进行成像，常用于蜂窝复合材料是否进水的检测，但受周围环境温度影响很大；X射线检测的检测结果虽然准确可靠，但设备庞大，费用高，且对人体有伤害[3]；声阻法检测构建冲击损伤操作简单，但检测效率和判伤/类型不够灵敏，具有一定局限性。常规无损检测存在检测盲区、检查效率差、检测成像效果差等缺点。因此，本文首次提出基于电容层析成像技术对航空蜂窝复合材料进行缺陷检测。其检测原理是通过测量获得一组电容值，再根据计算得到的电容值求取介质的介电常数分布。当蜂窝复合材料内部有损伤缺陷时，电极板产生的电场线会发生扭曲，电容传感器可以由此检测到电学信号的变化，再通过电容层析成像算法重构图像[4]。

1 平面ECT系统检测原理

平面阵列ECT传感器各极片在电压激励下的电场线分布是均匀的，如图1所示，当电极片相对时电场线为平行线，当电极片在同一平面上时电场线呈“开口状”分布，电场分布因电极片的分布变化而改变，这种现象称作电容的边缘效应。平面阵列ECT即根据电容的边缘效应进行基本的复合材料检测。

图1 电容的边缘效应示意图

检测原理如图2所示。通常情况下，电容的边缘效应被认为检测工作过程中的一个干扰因素，ECT技术是对电容的边缘效应的利用，并逐步发展为一种新型的无损检测手段。

图2 电容的边缘效应检测原理

根据待测场介质排列和分布的不同和初始边界条件，将已测得的因复合材料缺陷产生的介质变化情况转换为电极对间的电容值序列。

通过高斯通量定律得电极板i、j之间的电容值Ci,j：

(1)

式(1)中，φi,j(x,y)表示电场分布情况，Q表示极板间的电荷值，εi,j(x,y)表示被测场域的介质分布，V表示两电极板之间的电势差值。

对于数目为N的电极阵列，首次单循环对1号电极进行激励，剩下的N-1个电极依次获取接收信号，第二次单循环激励以2号电极为激励电极，剩余的N-2个极板接收信号，循环上述操作[5]。对于16电极传感器得到独立测量电容值数据个数为120。

1.1 蜂窝复合材料建模过程

首先创建三维模型向导，运用模型开发器中的几何工具和零件绘制一个三维蜂窝复合材料的模型，设置蜂窝夹层的介电常数为1.069 5，蜂窝表面蒙皮树脂材料介电常数为4.0。

如图3所示蜂窝复合材料板的尺寸设置为100 mm×100 mm×12 mm，中间蜂窝芯的高度为8 mm，上下表面蒙皮厚度均为1 mm，蜂窝芯与蒙皮之间的胶层厚度均为1 mm。

图3 蜂窝复合材料模型图

在材料的上表面胶层的中心位置绘制一个半径为10 mm圆柱缺陷，模拟此处受到冲击损伤缺陷。如图4所示。

图4 缺陷透视图 图5 网格剖分图

敏感场的准确性会伴随有限元的剖分网格数的增加和减少产生变化，一般细化网格数会增加精确度，但是细化会占用很多的内存造成资源浪费，计算时间也会随之变得更长。该模型较为简单，可以根据物理场控制网格划分对网格进行常规剖分即可，如图5所示。

系统检测数据的来源是平面阵列电容传感器，因此传感器的性能对数据的准确性至关重要。为了使传感器精度更高，实验为传感器设置了极间屏蔽、边缘屏蔽和底部屏蔽。因为平面阵列电容传感器的边缘电场很微弱，为了使测量数据更精确避免外界噪声干扰，如图6所示添加极间屏蔽和边缘屏蔽的电势分布，图7所示为添加屏蔽的传感器模型，每个电极对之间设置了宽度为1 mm的极间屏蔽和边缘屏蔽，为了使测量数据更精确避免外界噪声干扰，在传感器底部设置10 mm×10 mm的底部屏蔽。

图6 添加屏蔽的电场线变化

图7 添加屏蔽的传感器仿真模型

1.2 数据归一化

在ECT系统中电容值信号比较微弱，且传感器不同位置的电容值会相差很多个数量级，相距较近的电极对间电容值远远大于相距较远的电极对，为解决ECT系统中电容值数量级相差过大的问题，在研究中将得到的电容数值和灵敏度矩阵[6]进行归一化处理，以减少电容差别对于图像准确性产生的干扰。电容的归一化公式为:

(2)

式(2)中，Cemp表示不放置材料即被测区域为空气时的电容值即空场电容值，Cful表示检测材料完整无缺陷时测得的电容值即满场电容值，Cobj表示缺陷材料的被测电容值即物场电容值。灵敏度矩阵处理过程如下：

(3)

2 图像重建算法

首先通过传统算法对仿真模型进行图像重建结果及分析，为构建损伤分类模型选取合适的算法[7]。基于COMSOL Multiphysics 5.3有限元仿真软件构造不同的缺陷类型，在MATLAB编译相关的图像重建算法进行成像。根据损伤位置和损伤大小将缺陷类型定义为双矩形、中心圆形、复杂类型3种，其中双矩形缺陷尺寸为1.5 cm×1.5 cm，中心圆形缺陷半径为1.5 cm，复杂形损伤的矩形缺陷尺寸为1.5 cm×1.5 cm、中心圆形缺陷半径为1.5 cm。根据图像重建的结果，如表1所示，结合图像重建评价标准分析不同算法的成像效果。

表1 不同算法对蜂窝复合材料重建图像仿真对比

从表1中可以得出，LBP和共轭梯度算法的成像效果比Newton-Raphson算法成像效果好，能够准确地反映出简单缺陷所在的位置和大小，Newton-Raphson算法在平面电容层析成像的失真和伪影现象都比较严重。共轭梯度算法的成像效果与LBP算法较相似，实验仿真能够清晰地显示出简单缺陷信息。

选取图像相关系数(CORR，correlation coefficient)和图像相对误差(IME，image error)作为图像重建效果的评价标准定量评价图像重建的效果，公式如下：

(4)

(5)

根据图像重建的评价标准，计算出图像相关系数和图像相对误差。通过不同算法针对蜂窝复合材料重建图像仿真，LBP算法针对缺陷类型一的图像相关系数为0.674 4，针对缺陷类型二的图像相关系数为0.706 2，针对缺陷类型三的图像相关系数为0.643 5，平均图像相关系数为0.674 7；Newton-Raphson算法针对缺陷类型一的图像相关系数为0.422 3，针对缺陷类型二的图像相关系数为0.416 8，针对缺陷类型三的图像相关系数为0.310 4，平均图像相关系数为0.383 2；共轭梯度算法针对缺陷类型一的图像相关系数为0.785 5，针对缺陷类型二的图像相关系数为0.713 4，针对缺陷类型三的图像相关系数为0.634 7，平均图像相关系数为0.711 2。对比柱如图8所示。

图8 图像相关系数对比柱

LBP算法针对缺陷类型一的图像相对误差为0.327 5，针对缺陷类型二的图像相对误差为0.295 4，针对缺陷类型三的图像相对误差为0.365 7，平均图像相对误差为0.329 5；Newton-Raphson算法针对缺陷类型一的图像相对误差为0.585 7，针对缺陷类型二的图像相对误差为0.515 6，针对缺陷类型三的图像相对误差为0.542 5，平均图像相对误差为0.547 9；共轭梯度算法针对缺陷类型一的图像相对误差为0.316 5，针对缺陷类型二的图像相对误差为0.270 8，针对缺陷类型三的图像相对误差为0.344 2，平均图像相对误差为0.310 5。对比柱如图9所示。

图9 图像相对误差对比柱

通过数据对比可以得到共轭梯度算法的平均图像相关系数最高，平均图像相对误差最小，整体看来，共轭梯度算法的成像效果较好。因此在后续损伤分类模型构建中，使用共轭梯度算法进行成像。

3 基于多尺度融合深层神经网络

针对传统平面电极电容层析成像技术可以为复合材料检测技术提供依据，但有精度不高、对比度低等缺陷。为此提出一种基于多尺度残差编码解码路径的深层神经网络Ms RED(multi-scale residual encoding and decoding paths)，使用多分支卷积层MCL(multi-branch convolution layer)来提取特征，使用多尺度残差编码融合模块MsR-EFM(multi-scale residual encoding fusion module)来融合编码特征，使用多尺度残差解码融合模块MsR-DFM(multiscale residual decoding fusion module)反映了多尺度残差译码路径，引入卷积注意力模块(CBAM，convolutional block attention module)来捕获远程多通道的依赖关系和有效利用空间特征表示，将一种新的池化模块(Soft-pool)引入到复合材料缺陷检测网络中，该模块能够在降采样时保留更多的信息，并获得更丰富的特征，多尺度残差编码译码网络(Ms RED)总体框架如图10所示。使最终的结果完全融合每一层在解码阶段学到的特性，实现融合解码特征，实现ECT的图像重建。

图10 多尺度残差编码译码网络(Ms RED)总体框架

3.1 多尺度融合策略

传统卷积神经网络在信息传递过程中总会存在信息丢失、信息损耗、梯度消失、梯度爆炸等问题，多尺度可以通过对信号的不同粒度进行采样解决此类问题[9]。通常，为了完成不同的任务，可以在不同的尺度上观察到不同的特征。目标尺寸的巨大变化是影响模型性能的主要因素，极小或极大的目标将显著降低模型的性能，当接收场较小时，只能观察到目标的局部特征。当接收野较大时，大量无用的信息会混入视野中。卷积神经网络一层层地提取目标特征，随着层次的加深，神经网络的接受野逐渐增加[10]。因此，多尺度模型体系结构在近年来备受关注。其结构可以分为多尺度输入、多尺度特征融合、多尺度特征预测融合[11]，以及这3种结构的组合。目前有两种常见的多尺度特征融合网络。第一种是并联多分支网络，第二种是串行跳层连接结构。它们都提取了不同感受野的特征。多尺度特征融合首先根据不同尺度的特征对目标进行预测，然后将预测结果进行融合。

3.2 多尺度残差编码融合模块MsR-EFM

为了使网络在编码阶段能够完全学习数据的上下文特征[12]，设计了多尺度残差编码融合模块MSR-EFM，与其他采用元素相加或连接的方式融合多尺度特征的方法不同[13]，本文提出的MsR-EFM能够自适应地学习不同编码级别的特征权值[14]。MsR-EFM包括两个步骤：相同缩放和自适应融合。结构如图11所示。

图11 多尺度残差编码融合模块结构模型

(6)

YMSR-EFM=

(7)

其中:l为4，w1，w2，w3，w4为可训练参数，表示通过缩放得到的特征的权值，可以是简单的标量变量，它们可以在所有通道中共享。w1+w2+w3+w4=1并且w1，w2，w3，w4∈[0,1]。wn定义为：

(8)

其中:n∈{1,2,3,4}。分别以λ1，λ2，λ3，λ4为控制参数的Soft-max函数定义w1，w2，w3，w4，可以通过标准反向传播学习。

3.3 卷积注意力模块CBAM

本文引入卷积注意力模块CBAM，利用通道注意块和空间注意块两种注意模块来增强分类间的识别能力和响应能力[16]，进一步将局部特征与全局特征相关性结合，有效利用多通道空间进行特征表示和非特征化，是网络更有效地针对损伤进行分类。空间注意模块通过所有空间位置的加权特征选择性地聚合每个空间位置的特征，使得模型能够捕获特征的远程依赖关系，如图12所示。

图12 注意力机制模块结构模型

注意力机制模块中使用了卷积、批归一化、反卷积。CBAM的结构为输入输出大小为C×H×W，其中C表示输入特征的维数，H和W分别是输入图像的高度和宽度，本网络中使用的是512×14×14。N=H×W表示的是特征数量。Q和K的转置应用Soft-max层可以得到类内空间关联。由于一个高级特征的每个通道都可以看作是一个特定类的相应，通过空间注意块来改进特征表示。

3.4 多尺度残差解码融合模块MsR-DFM

在编译码网络中，不同层次的接收域不同，所接收到的信息也不同。为了充分融合解码器中不同级别的信息，获得更可信的分割结果，本文提出了MsR-DFM，如图13所示。

图13 多尺度残差解码融合模块结构模型

(9)

(10)

3.5 多分支卷积层MCL

为了增强网络提取更丰富层次特征的能力，在每个分支中使用多层卷积。使用不同内核的多分支池，如图14所示。

图14 多分支卷积层结构模型

该结构由1×1卷积和n×n(n∈{1,3,5})卷积组成。前者用于压缩特征通道，减少计算量。后一种卷积被1×n卷积和n×1卷积所取代，以减少参数的数量。为了进一步减少参数，增强更深层次的非线性，引用两个堆叠的3×3卷积，增强了模块的特征提取能力[18]。然后，使用1×1的卷积来融合和细化这些层次特征，以生成最终的表示。

3.6 Soft-pool

(11)

Soft-Pool是可微的，在反向传播计算时，Soft-Pool梯度根据前向时的激活值比例进行计算，若梯度过小，将直接赋予预设的非零最小梯度值。Soft-Pool能够很好的保留特征表达，是最大池化和平均池化两者有利属性的折中。 Soft-pool池化对矩阵的扩展过程如图15所示。

图15 Soft-pool池化对矩阵的扩展过程

3.7 损失函数

所有数据集都包含完整的标注，在二维图像中对损伤的分割可以看作是一个像素级的二值分类任务:损伤还是材料。在本网络中，采用二进制交叉熵(BCE)损失作为网络训练的目标函数。二进制交叉熵公式表示为：

(12)

其中:gi∈{0,1}和pi∈{0,1}分别表示注释和概率映射，N表示像素个数。最终训练过程的损失函数曲线如图16所示。

图16 损失函数

3.8 训练过程

具体实现分为以下几个步骤。

步骤一：首先，配置PyTorch运行环境, 在平台上建立Ms RED模型；

步骤二：获取ECT图像样本集，利用共轭梯度算法进行反演，将1×120一组的电容值转换为224×224一组的灰度值；

步骤三：训练样本为的2 000组不同位置、不同大小不同形状的损伤模型特征，其中1 600组为训练组，400组为测试组，训练过程设置的Batch_size为64。

步骤四：将训练好的网络模型用于检测测试集ECT数据，分析测试结果。

4 检测结果与分析

4.1 模型评价指标

为了评价网络中各个模块，进行不同模块的消融实验。基线：选择CS2-Net[19]为模型基础上完成网络结构的设计。模型一：使用多分支卷积层替换CS2-Net中的编码解码模块。模型二：在模型一的基础上添加多尺度残差编码融合模块。模型三：在模型一的基础上添加多尺度残差解码融合模块。模型四：在模型一的基础上添加多尺度残差编码融合模块和多尺度残差解码融合模块。模型五：在模型四的基础上添加Soft-pool。模型六：本文构建的Ms RED网络。

为评价各模型效果，选用的性能指标分别为：准确率Accuracy(ACC)、召回率Recall、精确率Precision，计算公式如下：

(13)

(14)

(15)

式中，TP表示预测为正，实际为正；FP表示预测为正，实际为负；TN表示预测为负，实际为负；FN表示预测为负，实际为正。ACC、Recall、Precision三种模型评价指标对比如表2所示。可以看出与模型一相比，模型四的ACC提高了2.286 %，证明了增加多尺度残差编码融合模块和多尺度残差解码融合模块可以自适应学习不同编码级别的特征权值，有效提高网络模型的准确度；与模型四相比，模型五的ACC提高了0.189%，证明了Soft-pool可以更好地保留信息特征，提高网络准确率；与模型一相比，模型六的ACC提高了3.418%，Recall提高了5.056%，Precision提高了3.971%，验证了添加模块的有效性和构造网络的有效性。

表2 3种模型评价指标对比

4.2 模型效果验证

为了验证模型成像的有效性，选取了如表3所示4种常见损伤进行实验分析，前文对比了3种传统成像算法，其中共轭梯度算法的成像效果较好因此本节选择共轭梯度算法成像图像和指标数据作为对照组，将共轭梯度算法成像效果与多尺度融合算法成像效果做对比。

表3 不同损伤图像重建对比

对比Ms RED算法和共轭梯度算法的成像质量可以看出，共轭梯度算法在反演图像的过程中仅能定位损伤的大致位置，缺乏对于损伤具体形状的表现能力，而Ms RED算法不仅能够较为精确地定位损伤位置，在对于损伤大小、形状的识别效果更好。

表4和表5所示对比了共轭梯度算法和Ms RED算法的图像相关系数和图像相关误差，可以看出，Ms RED算法在4种损伤检测的相关系数更高，其IME指标数据也同样优于共轭梯度算法。

表4 图像相关系数CORR

表5 图像相对误差IME

从图17可以更加直观的看出Ms RED算法的优越之处，综合成像质量和指标数据共同验证了Ms RED算法在蜂窝复合材料损伤检测中的适用性，可以从图像中获得更有效的缺陷信息。

图17 共轭梯度算法和Ms RED算法指标柱

5 结束语

本文提出基于平面ECT的航空蜂窝复合材料缺陷检测方法，构建了基于多尺度残差编码解码路径的深度神经网络Ms RED来进行ECT图像重建。详细介绍了基于平面ECT检测蜂窝材料的工作原理和图像重建的网络结构。结果表明：Ms RED网络对于蜂窝复合材料缺陷的对真实分布的形状保真度更好。设置不同模块的消融实验对比，通过ACC、Recall、Precision三种模型评价指标验证了所添加模块的有效性，并对基于Ms RED的ECT图像重建算法进行验证，得到较高图像相关系数和较低图像相对误差[20]，本网络获得的图像误差平均值为0.266 7，图像相关系数平均值为0.805 3，表明了Ms RED是一种有效的图像重建算法。