基于卷积—反残差和组合注意力机制的航天器多余物检测

花诗燕,李大伟,贾书一,汪 俊,+

(1.南京航空航天大学 计算机科学与技术学院,江苏 南京 210001;2.南京航空航天大学 机电学院,江苏 南京 210001)

1 问题的提出

密闭电子设备作为航天器自动控制系统软件运行的核心载体,其稳定性能是飞行安全的重要保障。飞行过程中由于航天器振动、冲击作用或密闭电子设备老化,设备内部元器件脱落、错位等问题时有发生,是引发多余物产生的重要因素。另外,由于工艺的局限性,密闭电子设备生产过程中残余的金属微颗粒极易掉落在设备内腔隐蔽处,人眼难以观测。航天器密闭电子设备中存在的多余物[1-3]主要包括焊锡珠、残余引线、脱落镀层、焊渣等金属物质,它们可能随着航天器的运动滑落到密闭电子设备的任意位置,极易造成设备短路、轴承卡死、管道堵塞等问题,严重时会导致航天器坠毁。因此,密闭电子设备内腔多余物的精准检测与排查对保证国防工程设施安全具有重要意义。

密闭电子设备内腔多余物检测主要包括以下3方面难点(如图1):①与其他目标检测样本相比,多余物体积偏小,粒径量级为微米级,容易漏检;②多余物分布无规律,常隐匿于密闭电子设备内腔,极易被设备内部复杂构件遮挡,难以检测;③多余物与密闭电子设备内腔部分细小组件的形态结构相似,这些组件易形成干扰信息,造成多余物的误识别。

图1 多余物检测所面临的挑战

当前,针对密闭电子设备中多余物的检测方法较多。通过X光机扫描获取设备内部影像,再采用人工目视的方法进行检查。该方法主观性强且检测效率低下。基于硬件的微粒碰撞噪声检测(Particle Impact Noise Detection,PIND)方法和马特拉(MATRA)方法在多余物检测时易受环境影响,检测成本高、精度低、速度慢[4-5]。严明等[6]设计一种基于归一化最小均方(Normalized Least Mean Square,NLMS)的自适应滤波算法,在滤除由转台和振动台驱动所带来的平稳背景噪声和缓变直流偏置后,提取粒子碰撞噪声信号,从而判断待测产品内是否存在多余物。邓威威等[7]提出一种基于正弦激励的舱体设备多余物振动检测方法,研究振动加速度、振动频率、多余物材质和粒径参数4个因素对PIND方法检测效果的影响。上述都是基于PIND的多余物检测方法,此类方法受外界环境影响大、检测结果不可靠,且尚未考虑到如何排除设备内部与多余物相似的组件所带来的干扰,无法解决多余物漏检、误检问题。

李硕等[8]提出一种基于多传感器数据融合的航天装置多余物检测方法,设置多个传感器对同一信号脉冲提取并处理。该方法能够有效抑制非多余物信息干扰,提升多余物检测精度。刘海江等[9]提出一种基于谱减法去噪、两级脉冲提取和脉冲发生序列周期性分析的高精密航天器多余物检测算法。该方法以周期信号相似度作为区分多余物和可移动组件的依据,实现对多余物有无的判断。上述都是基于脉冲信号提取的多余物检测方法,该类方法受提取到的脉冲质量影响较大,检测效果不稳定,且无法解决多余物漏检问题。

基于深度学习的目标检测技术是当前流行的研究热点之一,随着AlexNet[10]在ImageNet竞赛上取得优异成绩,目标检测算法的产生和迭代层出不穷,检测速度和精度持续上升。当前流行的目标检测器主要分为以Faster R-CNN[11]为代表的二阶段目标检测器和以YOLO[12-15]为代表的单阶段目标检测器两类。二阶段目标检测器检测精度高但推理速度慢;相比之下,单阶段目标检测器在速度方面更有优势,但精度略有下降。由于深度学习方法具有通用性好、准确率高、鲁棒性强等优点,它不仅在目标检测与分类[16-23]方向得到了较快发展,而且在3D视觉追踪[24]、视觉导航优化[25]、故障诊断[26]、任务调度[27]等领域实现了广泛应用。

现阶段,基于深度学习的小目标检测方法[28-31]较多,但是此类方法未能精准提取小目标特征以及未考虑与小目标形态结构相似部件带来的干扰因素,使用其进行多余物检测会造成严重的漏检、误检问题。孟偲等[32]提出一种基于支持向量机的飞行器多余物信号识别方法。该方法利用短时自相关函数提取PIND脉冲信号,在提取多种时频域统计特征并将其与梅尔频率倒谱系数(Mel-Frequency Cepstral Coefficients,MFCC)特征结合后,训练多分类支持向量机模型实现多余物识别。孙志刚等[33]提出一种基于k邻近(k Nearest Neighbors,kNN)优化算法的密封电子设备多余物定位技术。该方法通过基于参数优化的kNN算法对多余物进行定位,解决密封电子设备体积大导致检测出的多余物定位难的问题。上述是基于深度学习的多余物检测方法,因在多余物细粒度特征提取方面存在短板且无法排除与多余物相似部件带来的干扰,尚未解决多余物漏检、误检问题。

虽然相关文献较多,大部分基于PIND的方法,该方法受检测环境影响大,检测精度低且速度慢。基于图像和深度学习的多余物检测文献较少,且现有算法在多余物细粒度特征提取以及排除与多余物相似部件带来的干扰等方面严重不足,在检测过程中漏检、误检情况频发,算法性能有待进一步提升。综上,针对多余物体积小、与设备内常规组件形态结构相似度高且易被管道遮挡等问题,暂无有效的解决方案。

为解决上述问题,本文根据密闭电子设备内腔多余物检测要求,结合X光成像技术,研究基于深度学习的多余物检测方法,为密闭电子设备内腔多余物检测提供全新的解决方案。具体地,本文提出一种基于卷积—反残差和组合注意力机制的航天器密闭电子设备多余物检测网络(Remainder Particles Detection Network,RPDN),主要包括:构建卷积—反残差模块(Convolution-Inverted Residual Module,CIRM),细化多余物低层特征提取过程,保证多余物特征的完整性;设计组合注意力机制(Squeeze Excitation_Position Attention Mechanism,SE_PAM),促进多余物通道和空间特征的加权与融合过程,建立通道及空间特征的关联性,提升多余物特征的表征能力;采用多尺度特征融合模块,对网络中高低层特征图进行融合,最后结合目标检测层从多个维度对多余物进行预测。实验结果显示,在GTX 1660显卡加速下,RPDN在测试集上的检测速度能达到13 FPS(实际应用场景下芯片内X光图像采集帧率不超过5 FPS),满足实时检测需求。其mAP达到92.16%,精确率达到91%,召回率达到93%,有效解决了现有方法普遍存在的多余物漏检、误检等问题,实现了航天器密闭电子设备多余物的高效、精准检测。

2 航天器多余物检测框架

如图2所示为航天器密闭电子设备内腔多余物检测流程图,检测分为数据准备阶段、模型生成阶段和应用阶段3个阶段。①数据准备阶段,首先进行数据收集,其次,对数据进行标注后制作多余物数据集(Remainder Particles Dataset,RPD),最后将数据集划分为训练集、验证集、测试集;②模型生成阶段,包括构建多余物检测网络RPDN,基于RPD训练RPDN,最终生成多余物检测模型;③应用阶段,基于实际场景采集的X光影像数据,使用上一阶段生成的模型进行多余物实时检测,最后将检测结果反馈给工作人员。

图2 航天器密闭电子设备多余物检测流程图

为解决航天器密闭电子设备内腔多余物误检、漏检情况严重的问题,本文提出一种基于卷积—反残差和组合注意力机制的航天器密闭电子设备内腔多余物检测网络RPDN,如图3所示。RPDN主要包括Focus模块[34]、卷积—反残差模块CIRM、组合注意力机制SE_PAM、多尺度特征融合模块和目标检测层。首先,采用Focus模块对图像进行划分;其次,使用卷积—反残差模块CIRM细化多余物特征提取过程,确保提取过程中多余物特征的完整性;然后,通过组合注意力机制SE_PAM促进多余物通道和空间特征的加权与融合过程,建立通道及空间特征的关联性,提升多余物特征的表征能力;最后,采用多尺度特征融合模块进行高低层特征图融合,结合目标检测层从多维度、多尺度进行多余物预测。

图3 RPDN网络结构

2.1 Focus模块

首先网络通过Focus模块切割图像,初始输入为1 024×1 024的X光图像被切分成4张512×512的特征图,经过3×3卷积,生成512×512×32的特征图,如图4所示。原高分辨率图像经切割后,下一个模块的输入特征图分辨率降低。Focus模块不仅提升了网络的学习速度,还降低了特征提取时的计算复杂度。

图4 Focus处理过程

2.2 卷积—反残差模块

由于标准卷积的特征提取方式单一,使用它进行特征提取会导致多余物细粒度特征丢失。为解决这一问题,本文提出一种卷积—反残差模块(CIRM),该模块由3个卷积层和3个反残差层交替串联组成,如图5所示。CIRM核心单元模块化,降低网络连接的复杂度。输入特征图从CIR_1到CIR_3经过3次卷积和反残差操作,这样做的优点包括:①卷积和反残差联合,通过增加特征学习方式提升网络学习能力;②从多维度及多尺度(如H1×W1×64、H2×W2×128、H3×W3×256)捕获多余物特征,保证多余物信息的有效性与完整性,解决了多余物特征难提取、传递过程中易丢失等原因造成的特征图表征能力弱的问题。

图5 CIRM模块

CIR_i(i=1,2,3)的卷积层数学表达式如下:

(1)

(2)

式中:xconv_i表示3×3卷积运算后的输出;ε是防归零系数,取10-5;默认情况下,γ取1,δ取0,且随着输入大小动态变化;E表示均值运算,Var表示方差运算,xbn_i表示归一化后的输出,归一化有助于提高模型收敛速度;Fout_i表示激活后的输出,激活函数通过引入非线性因子增强网络健壮性。经过标准卷积,得到强化的多余物特征图。

CIR_i(i=1,2,3)的反残差(inverted residual)[35]结构如图6所示。首先,通过一组1×1卷积(Conv)、归一化(BatchNorm)、激活(ReLU6)操作,对通道进行扩张,达到升维效果;然后,在上述生成的特征图基础上进行一组3×3卷积、归一化、激活操作,对每个特征通道独立进行二维卷积运算,该过程通道数不变,特征图尺寸变小。最后,通过一组1×1卷积、归一化进行维度还原,输出特征图。经过上述反残差层的维度扩充、深度卷积、维度还原后,提升特征图的表征能力。

图6 反残差结构

CIRM模块使用标准卷积得到的强化特征图具有更大的感受野,但卷积提取特征的手段过于单一,单凭卷积难以做到多余物特征的精准提取。因此在卷积后增加反残差层,通过通道扩充、深度卷积、通道还原增加网络的学习方式,提升特征图的表征能力。一次卷积—反残差操作只能学习到同一层级的目标特征,对微小多余物来说仍面临着丢失重要信息的风险。为确保多余物特征信息的完整性,将卷积—反残差操作循环3次,从多维度、多尺度提取多余物特征,增强模型的泛化能力。CIRM模块细化特征提取过程,通过卷积层和反残差层的交替作用,最大程度保留多余物特征,过滤无效背景信息,帮助模型精准检测复杂背景下的微小多余物目标。

2.3 组合注意力机制

SENet[36]提出的通道注意力机制通过网络自发学习最佳的通道权值分布,提升了传统卷积神经网络的目标分类效果。CBAM[37]沿通道和空间两个维度并行推导出注意图(attention maps),并对其进行自适应特征细化,提升了网络检测的准确性。DANet[38]在扩展的全卷积网络(Fully Convolutional Networks,FCN)上添加的两类注意力机制分别从空间和通道两个维度上对语义相关性进行建模,提高了实例分割的准确性。注意力机制能够关注到最佳中间特征,并对其进行加权,有助于提升模型性能。

本文使用的X光数据集由单通道图像组成,网络中Focus、CIRM、C3[39]等都可能使通道数发生改变,通道相关性成为提升多余物检测精度亟需考虑的重要因素之一。由于多余物与密闭电子设备内腔的细小组件形态结构相似,这些组件极易形成干扰信息,采用现有方法对多余物检测时误检情况严重。空间信息作为一种有效信息来源,对解决多余物误检问题显得尤为重要。因此,本文提出一种将通道注意力机制(Channel Attention Mechanism,CAM)和空间注意力机制(Position Attention Mechanism,PAM)结合的组合注意力机制SE_PAM,如图7所示。通道注意力机制通过挖掘通道之间的相互依赖关系,提高多余物特征的语义性。空间注意力机制对特征图中任意两个点的空间关系建模,生成位置残差矩阵为多余物空间特征加权,增强特征图的表征能力。

图7 SE_PAM模块

基于全局平均池化(Global Average Pooling,GAP)的方法能够较好地强化普通目标的通道特征,但对微小多余物来说,该方法并不足以充分利用多余物全部通道特征信息,除均值响应外,还应考虑特征图的最值响应[40]。因此本文在通道维度上使用全局平均池化和全局最大池化(Global Max Pooling,GMP)相结合的加权方式。如图7通道注意力机制所示,F作为待重标定的特征图,同时对其进行基于全局平均池化和全局最大池化的一系列通道特征加权操作,公式如下:

F1=Sigmoid(Li(ReLU(Li(GAP(F)))));

(3)

F2=Sigmoid(Li(ReLU(Li(GMP(F)))));

(4)

F′=F(αF1+βF2)。

(5)

式中:GAP和GMP分别表示全局平均池化和全局最大池化函数;Sigmoid、ReLU为激活函数;Li代表全连接函数;F表示输入特征图;F1、F2分别为基于全局平均池化、全局最大池化进行通道加权后的特征权重;α、β分别是F1、F2的占比系数,总和为1。式(3)表示F经过GAP、Li、ReLU、Li、Sigmoid函数处理后,得到重标定的特征权重F1;式(4)表示F经过GMP、Li、ReLU、Li、Sigmoid函数处理后,得到重标定的特征权重F2;W1、W2是两种方式生成的中间通道权重;式(5)表示将F1和F2按比例相加后,与输入特征图F矩阵相乘,得到通道加权后的新特征图F′。通道注意力机制使用基于全局平均池化和全局最大池化组合的方式强化多余物通道特征,提高了通道特征的利用率。

对式(5)中α、β进行21组具有代表性的取值,α取值越大代表基于全局平均池化的注意力机制比重越大,对应的基于全局最大池化的注意力机制比重越小,反之亦然。实验结果如图8所示,由图可知,在使用组合通道注意力机制时,mAP取值整体呈先上升后下降趋势。当α取值在0.35～0.55时,mAP取值在90%以上,明显高于其他组指标,这说明组合通道注意力机制在多余物检测性能上优于仅基于全局平均池化的注意力机制或基于全局最大池化的注意力机制。当α=0.45、β=0.55时多余物检测的mAP达到最大,为92.16%,此时基于全局平均池化和全局最大池化的组合通道注意力机制对多余物精度的提升效益达到最大。

图8 α取值不同时对应的mAP变化

通道特征加权后,空间信息作为另一种重要信息来源,同样不能被忽略,因此本文在SE_PAM中添加了改进的空间注意力机制PAM。PAM出自DANet,它通过矩阵乘法、空间变换快速提取特征图中的关键空间域信息,并对其进行加权,提高了空间信息的利用率。本文使用Sigmoid函数替换PAM模块原有的Softmax函数,改进后的PAM结构如图7中空间注意力机制所示。具体过程如下:首先,将输入特征图F上的任意一点看作一个长度为C的向量,通过两次1×1卷积,压缩出长度为原向量1/8的空间向量V1、V2,将两者相乘得到空间矩阵;其次,对空间矩阵上每个向量进行归一化、Sigmoid激活处理后,得到空间权重W3;最后,将W3与维度重组后的F相乘形成残差,加到输入特征图F上,得到空间特征加权后的新特征图F″,计算过程如下:

F″=Reshape(F)+Reshape(F)×

Sigmoid(Norm(Conv(F)×Conv(F)))。

(6)

式中:Norm表示归一化函数,Reshape表示维度重组操作。

PAM模块内置的激活函数为Softmax,表1展示在PAM模块内分别使用Softmax和Sigmoid函数时mAP对比结果。PAM使用前者时mAP为87.15%,使用后者时mAP为92.16%,mAP提升了5.01%。实验结果表明,在PAM模块内使用Sigmoid比Softmax效果更好,这是因为Softmax适用于多分类任务,而Sigmoid更适合二分类任务,本文中多余物检测结果分为多余物和非多余物两类,所以PAM使用Sigmoid函数效果更佳。

表1 PAM使用Softmax和Sigmoid函数mAP对比

(7)

2.4 多尺度特征融合模块

由于多余物体积小、分布范围广且密闭电子设备内部结构复杂,现有的目标检测算法在检测多余物时误检、漏检情况严重,除CIRM、SE_PAM外,多尺度特征融合是提高多余物检测精度的另一重要手段。在目标检测领域,特征金字塔网络(Feature Pyramid Network,FPN)[41]通过多尺度特征融合并基于多尺度特征进行目标预测,解决了目标检测时普遍存在的多尺度变化问题。此外,由于预测是在每个融合后的特征层上单独进行的,提升了复杂背景下目标检测效果的稳定性,FPN在目标检测方向得到了广泛应用。本文的多尺度特征融合模块源于FPN的融合思路,引入路径聚合网络(Path Aggregation Network,PANet)[42]的设计理念,如图9所示。PANet通过自底向上的跨模块连接方式,缩短低层与高层之间的信息传播路径,将低层特征的强定位信息融合到高层特征中。这种方式能够弥补高层特征图定位信息的缺失,提高多余物定位的准确性。

图9 多尺度特征融合模块

图中Conv是由Conv2d、BatchNorm、SiLU三个函数组成的标准卷积模块,用于实现跨通道特征融合和信息交互。上采样(Upsample)使用二倍最近邻插值法扩大特征图分辨率,对于扩充后的空网格点,用数学公式计算距离该空网格点最近的原像素位置,复制其像素值对该点进行填充,如图10所示。p1,p2,p3复制距离它们最近的p点像素值p(x1,y1),同样q1,q2,q3复制q点像素值q(x2,y2)。上采样让特征图分辨率成倍增加,为后续具有不同感受野的特征图之间的融合打下基础。

图10 二倍最近邻插值

C3的结构如图11所示,输入通道数为d1,输出通道数为d2。首先,将输入特征图折半,分别送入两个分支:分支一进行1×1卷积计算;分支二先进行1×1卷积,通道数变为d2/2;再经过1×1、3×3标准卷积模块,以通道先减半后加倍方式提取特征,该过程通道数不变;然后调用特征加(Add)运算将特征图对应位置数据相加,完成残差连接;最后通过通道拼接(Concat)运算,将分支一和分支二生成的特征图进行融合。C3模块通过分支结构减少了模型训练时产生的重复梯度信息,缓解了深度网络中的梯度发散问题,有助于提高网络的学习效率。

图11 C3模块

根据多尺度特征融合模块分析可得,从输入开始,首先通过上采样的方式传递强语义特征,经过两次上采样后,得到具有不同感受野的强化特征图;然后多次使用C3模块消除网络中的重复梯度信息,通过两次通道拼接(Concat)操作缩短低层与高层之间的信息传播路径,同时融合每次上采样前的特征;最后从3个融合后的特征层上分别将不同维度特征图输入目标检测层Detection Layer,进行多尺度目标预测。该模块融合了低层特征图具有的多余物位置信息和高层特征图具有的多余物强语义信息,从多维度、多尺度展开预测,有助于提升模型的检测精度。

3 实验结果与分析

3.1 数据集

由于航天产品结构的复杂性和多余物特征的多样性,现如今缺乏数据集基准[43],因此本文使用实际项目中采集到的图像数据进行实验验证。标准X射线检测系统YXLON CHEETAH EVO对封闭小器件内腔有最佳的细节呈现。本文采用YXLON系统扫描航天器密闭电子设备,得到了高分辨率X光图像数据,经筛选、扩充后制作多余物数据集RPD。RPD共4 296张,均是分辨率为1 024×1 024的灰度图像,将其分为训练集、验证集、测试集3个子集,X光图像随机划分到各子集中。实验共设置训练集3 092张,验证集776张,测试集428张,训练集与验证集的比例约为4∶1,测试集是与训练集、验证集同源的数据集。本文使用LabelImg以矩形框的形式标注多余物,所有多余物归为一类,标签为0。RPD对促进航天器密闭电子设备多余物研究具有重要意义。

3.2 实验平台与参数设置

本实验平台的配置为:Windows 10系统、Intel(R) Core(TM) i7-9700 CPU 处理器、32 G内存、NVIDIA GeForce GTX 1660(6 G显存)、CUDA 10.2、CUDNN 7.6.5,RPDN训练在Python 3.8和Pytorch框架上进行。数据集准备完毕后,搭建网络训练环境,初始输入网络的图像分辨率为1 024×1 024,批量设置为4,迭代次数设为300,初始学习率为0.01,冲量为0.937,防止过拟合的权重衰减系数设置为5×10-4,使用SGD优化器迭代训练,预热学习迭代次数为3,预热偏差学习率为0.1,预热冲量为0.8。

3.3 评价指标

本文使用mAP评估算法精度,精确率(P)表示模型正确预测多余物数量占所有预测为多余物数量的比例,召回率(R)表示正确预测多余物数量占所有多余物数量的比例,F1是精确率和召回率的调和平均值,计算公式如下:

(8)

(9)

(10)

(11)

式(8)和式(9)分别为精确率P和召回率R的计算公式,其中:TP(true positive)统计测试时正确预测为多余物的样本数,FP(false positive)统计非多余物被预测为多余物的样本数,FN(false negative)统计多余物被预测为非多余物的样本数。式(10)和式(11)分别为F1和mAP的计算公式,F1作为精确率P和召回率R的综合衡量指标,将P、R放在同等重要的位置上,当两者同时较大时,F1取较大值。mAP评估算法精度,以P/R曲线的积分值作为结果,P/R曲线下降越慢,mAP取值越大,模型检测性能越稳定。

3.4 卷积—反残差模块性能测试

为验证CIRM模块的有效性,设计对比实验,使用YOLOv5[34]作为基准框架。本文在无特殊说明的情况下,所有YOLOv5均指YOLOv5s网络,YOLOv5s训练参数少且对计算资源消耗小,本文使用的GPU可满足其训练要求。YOLOv5分为backbone和head两部分,本文提出的CIRM主要用于特征提取,功能类似于YOLOv5 的backbone,验证CIRM与YOLOv5 backbone对多余物检测精度的影响,CIRM与YOLOv5 backbone模块的结构组成如表2所示。

表2 CIRM与YOLOv5 backbone结构组成及参数对比

为保证训练的公平性,在CIRM模块前使用了Focus结构。为保证训练的正常进行,在CIRM模块后添加了Conv模块。由表2可得,添加了Focus、Conv后的CIRM仍比YOLOv5 backbone少了SPP、C3两层结构,参数量也大幅减少,节省了计算资源。本次共设计两组实验,在相同的软硬件环境下进行训练和测试,测试结果如表3所示。表3中YOLOv5 backbone+YOLOv5 head组mAP为87.76%,CIRM+YOLOv5 head组mAP为89.52%,比前者提升1.76%。此外,两组实验的精确率、召回率分别表现为后者比前者高1.33%、3.08%。实验结果显示,第二组检测效果明显优于第一组,这是由于最小多余物粒径达到微米级,属于微小目标检测,普通的目标检测算法已不再适用。CIRM模块细化特征提取过程,通过卷积层和反残差层的交替作用,最大程度提取多余物特征,帮助模型更加精准地检测微小多余物目标。

表3 CIRM对多余物检测性能的影响 %

3.5 组合注意力机制性能测试

为评估本文提出的组合注意力机制SE_PAM的性能,以YOLOv5为基准网络,共设计无注意力组、通道注意力组、空间注意力组和组合注意力组CBAM、DANet、SE_PAM六组实验,记为YOLOv5、YOLOv5+SENet、YOLOv5+PAM、YOLOv5+CBAM、YOLOv5+DANet、YOLOv5+SE_PAM,从精确率、召回率、F1、mAP四个指标评估不同注意力机制在YOLOv5上对多余物检测性能的影响,实验结果如表4所示。表4中YOLOv5组mAP为87.76%,YOLOv5+SENet组mAP为88.02%,比YOLOv5组高0.26%,YOLOv5+PAM组mAP为89.49%,比YOLOv5组高1.73%,YOLOv5+CBAM组mAP为89.11%,比YOLOv5组高1.35%,YOLOv5+DANet组mAP为90.40%,比YOLOv5组高2.64%,证明各种注意力机制均有效提升了多余物检测精度。YOLOv5+SE_PAM组mAP为91.04%,比YOLOv5组高3.28%,比YOLOv5+SENet组高3.02%,比YOLOv5+PAM组高1.55%,比YOLOv5+CBAM组高1.93%,比YOLOv5+DANet组高0.64%,证明组合注意力机制SE_PAM对多余物检测精度提升的有效性。此外,YOLOv5+SE_PAM组精确率约达92%,召回率、F1达92%,明显高于其他组,这是由于SE_PAM加强了多余物通道和空间特征的融合和提取过程,促进网络学习高语义性特征,增强模型的泛化能力。消融实验验证了SE_PAM模块的有效性。

表4 不同注意力机制对多余物检测性能的影响 %

3.6 对比实验结果分析

本文使用目前最流行的单阶段目标检测网络SSD[44]、YOLOv4、EfficientDet[45]、YOLOv5与RPDN在多余物数据集上做对比实验,所有实验均在同一软硬件环境下进行,使用相同训练集、验证集,在同一个测试集上进行测试。如表5所示为5种网络在多余物测试集中的检测结果统计,从精确率、召回率、F1、mAP四个方面来比较各类网络在检测多余物时的性能优劣。由表5可得,SSD的mAP为69.52%,YOLOv4的mAP为71.65%,EfficientDet的mAP为74.38%,YOLOv5的mAP为87.76%,而RPDN的mAP最高,达92.16%,比SSD提高了22.64%,比YOLOv4提高了20.51%,比EfficientDet提高了17.78%,比YOLOv5提高了4.4%。在GTX 1660显卡加速下,RPDN在测试集上的检测速度能达到13 FPS(实际应用场景下芯片内X光图像采集帧率不超过5 FPS),满足实时检测需求。此外,RPDN的检测精确率达91%,召回率达93%,F1达92%,明显优于其他网络。

表5 不同网络在多余物测试集中的检测结果 %

本文提出的RPDN是单阶段目标检测网络,为突显算法优越性,本文使用目前最流行的单阶段目标检测网络与RPDN进行对比,如SSD、YOLOv4、EfficientDet、YOLOv5。相同实验条件下,SSD各项指标均处最低,EfficientDet召回率偏低,这是由于两者低层卷积层数少,存在特征提取不充分的问题,不利于多余物检测。YOLOv4和YOLOv5各项指标明显低于RPDN,这是由于未充分考虑到多余物的通道和空间特征对多余物识别能力的影响,准确率难以提高。RPDN性能上的优越性主要归功于通过卷积—反残差模块CIRM细化多余物低层特征提取过程,确保多余物特征信息的完整性,解决了多余物漏检问题;构造组合注意力机制SE_PAM促进多余物通道和空间特征的加权与融合过程,建立空间及通道特征的关联性,提升多余物特征的表征能力,解决了多余物误检问题。如图12所示,将5种网络的检测结果可视化,给图像进行排序,图12a～图12e依次表示SSD、YOLOv4、EfficientDet、YOLOv5、RPDN在多余物测试集上的检测结果。

图12 5种网络在多余物测试集中检测结果可视化

由图12可得,SSD、YOLOv4在图片中的漏检情况严重,EfficienDet、YOLOv5漏检情况时有发生,只有RPDN在各图像中展现了良好的检测性能。图片①、②展示当X光图像中存在较多零散分布的微小多余物时4种网络的检测性能,从整体来看,SSD、YOLOv4、EfficientDet、YOLOv5在图片①、②上都有明显的漏检发生,这是由于这些网络对多余物细粒度特征提取不充分,多余物漏检情况严重。RPDN对图片①、②的检测完整度最高,因为RPDN构建了卷积—反残差模块CIRM,细化多余物低层特征提取过程,保证提取的多余物特征的完整性,有效解决了多余物漏检问题。图片③、④展示了多余物被密闭电子设备内部管道部分遮挡情况下各种网络的检测性能,其中 SSD漏检情况严重,在两张图片上均未正确检出多余物,YOLOv4、EfficientDet、YOLOv5各检出一张,RPDN全部检出。这是由于RPDN设计了组合注意力机制SE_PAM,促进多余物通道和空间特征的加权与融合过程,建立空间及通道特征的关联性,提升多余物特征的表征能力,证明了多余物被管道遮挡情况下RPDN检测性能的稳定性。图片⑤、⑥展示了当密闭电子设备内腔中存在较多与多余物形态结构相似的细小组件时各网络的检测性能,其中SSD、YOLOv5漏检情况严重,因为这两种网络对多余物细粒度特征提取不充分,YOLOv4、EfficientDet可以检出多余物但误检情况严重,这是因为没有考虑到密闭电子设备原部件与多余物之间的空间相关性,无法解决与多余物相似部件干扰带来的误检问题。只有RPDN正确检出多余物,是因为RPDN通过组合注意力机制 SE_PAM建立了通道及空间特征的关联性,有效解决了密闭设备内腔存在相似细小组件干扰的情况下对多余物检测的误判问题。这组对比实验展示了5种网络在相同实验环境下对多余物的检测性能,其中SSD检测性能最差,YOLOv4误检率和漏检率偏高,EfficientDet、YOLOv5漏检率偏高。本文提出的RPDN在多余物检测时展现出优良性能,能够有效解决多余物漏检、误检问题,满足多余物高效、精准检测需求。

4 结束语

本文针对航天器密闭电子设备中存在的多余物展开深入研究,采集航天器密闭电子设备内X光图片制作多余物数据集RPD,提出一种基于卷积—反残差和组合注意力机制的航天器密闭电子设备多余物检测网络RPDN,设计卷积—反残差模块CIRM,细化多余物低层特征提取过程,确保多余物特征信息的完整性;构造组合注意力机制SE_PAM,促进多余物通道和空间特征的加权与融合过程,建立通道及空间特征的关联性,提升多余物特征的表征能力;最后,使用多尺度特征融合模块进行高低层特征图融合,结合目标检测层从多维度对多余物进行预测。RPDN解决了航天器密闭电子设备复杂背景下多余物的漏检、误检问题,实现了航天器密闭电子设备内腔多余物高效、精准、实时检测。本研究对航天产品多余物的预防和控制具有重要意义。

实验中,本文将所有多余物归纳为一类,事实上,从多余物粒径范围或成分进行分析,多余物可以划分为数10种及以上,因此在保证不损失检测精度和速度的情况下,未来会进一步涉及多余物细粒度分类研究,以满足更加精准的识别需求。