固体火箭发动机药柱CT图像缺陷分析技术研究进展①

戴俊杰,宣兆龙,李天鹏,胡利青,郭爱强

(陆军工程大学,石家庄 050003)

0 引言

固体火箭发动机药柱(简称药柱)作为火箭的重要动力源,有着长期储存、一次使用的特点,在储存运输的过程中会受到温度载荷、冲击载荷等多种因素作用,不可避免地会产生缺陷,危害性最大的缺陷主要有脱粘、夹渣、气泡和裂纹[1]。在发射过程中,这些缺陷会导致燃面突扩,使燃烧室的压力突然增大,严重时将造成爆炸等灾难性事故[2]。研究表明,药柱缺陷是影响发动机性能的关键因素[3-4]。

在固体火箭发动机储存年限到期后,需要对它进行无损检测,判断装备能否继续服役。目前,最有效的无损检测手段就是应用工业CT探伤,即计算机层析成像技术[5]。在经过工业CT扫描后会得到一系列的断层图像,基于计算机视觉技术对这些图像进行分析,实现对图像中是否含有缺陷及缺陷的种类进行自动判别,一直是固体火箭发动机缺陷检测领域的难题之一。

1 药柱工业CT检测现状分析

目前,固体火箭发动机的无损检测手段主要有超声波探伤、X射线探伤和工业CT探伤[6]。三种检测方法优缺点的对比如表1所示。

表1 无损检测方法对比

超声波探伤技术对壳体与绝热层之间的脱粘检测情况十分有效,对于药柱内部出现的裂纹等缺陷却不适用[7];X射线探伤不适用药柱裂纹的检测;工业CT探伤则可以得到高空间分辨率、高密度分辨率的数字化图像,能够实现对缺陷空间位置的确定以及缺陷尺寸大小的测量,王正安等[8]确定了工业CT探伤达到的精度为脱粘面积宽度0.4 mm,气孔和夹杂直径5 mm,裂纹宽度0.4 mm,可很好地满足现有的缺陷分析要求。由工业CT探伤技术得到的高分辨率数字图像,可用于深度学习,实现缺陷自动检测,这是优于其他检测手段的重要区别。

2 传统药柱CT图像缺陷分析

传统的固体火箭发动机CT图像缺陷分析算法是分为两步进行[9]:(1)对含缺陷的图片进行图像分割,运用图像分割技术[10]如阈值分割、边缘检测、区域生长等方法,将所有潜在的缺陷区域从CT图像中分割出来,并选取边界闭合的区域作为可能是缺陷的候选区域;(2)对候选区域进行识别,不同的缺陷具有不同的形状特征、灰度特征及Hu不变矩特征[11],通过人为的设置一些主要特征参数,经过算法运算后,将不同的缺陷识别出来。

在传统的缺陷分析方法中,图像分割是作为预处理的一部分,它分割的质量将决定后续的缺陷识别是否准确。不同的分割对象需要使用不同的分割方法,因此近年来在图像分割领域,有许多新的算法出现。

2.1 图像缺陷分割

对于一张图片来说,可以分为前景和背景,前景是需要提取出来研究的部分,其余部分便是背景,图像分割的目的便是将前景和背景分开,将前景的轮廓信息、灰度特征等提取出来,从而提高图像分析的效率[12]。

对于固体火箭发动机药柱CT图像,其前景与背景的划分如图1(a)、(b)所示。图中的气泡、裂纹和夹渣是前景,其余部分为背景。缺陷的边缘信息是缺陷特征的主要部分,而图像中梯度的幅值可以反映边缘的清晰程度,图1(c)、(d)则展示了药柱CT图像中的梯度幅值图像。从图中可以看出,背景中的药柱部分噪声很大,而缺陷部分的边缘清晰,即前景与背景的差别明显。因此,针对药柱CT图像中的缺陷分割主要是对前景进行定位和解决背景中噪声的干扰问题。

图1 含缺陷药柱CT图像及其梯度幅值图像

传统的图像分割方法包括阈值分割法、边缘检测法、区域生长法等,这些方法都有着各自的优缺点。对于固体火箭发动机药柱CT图像的缺陷分割而言,通常是采用多种分割方法结合起来达到分割缺陷的目的。

朱敏等[13]提出了一种集合了边缘检测法、数学形态法和多阈值分割法为一体的一种分割固体火箭发动机缺陷的方法,这种方法先通过边缘检测和形态学的方法分割出固体火箭发动机CT图像的外层空气环影,减少了部分背景的干扰。然后,采用多阈值法分割出推进剂和缺陷,再通过多阈值法和形态学的方法将推进剂和缺陷分开,从而实现了缺陷的提取,该方法流程如图2所示。这种方法得到的精度非常依赖阈值的选取,若设置的阈值过大,提取的缺陷边缘可能不连续,若设置的阈值过小,则会提取出大量的伪影及噪声边缘。还有另一种方法是在基于相似变换定位出缺陷的基础上,在缺陷区域内利用边缘检测算子得到缺陷的边缘,以此排除背景中噪声的干扰,以缺陷区域的几何中心为标志点,将确定的缺陷标志点向外填充至缺陷的边缘,即可提取出所有的缺陷点及其坐标[14]。王新军等[15]提出了一种动态合并准则的改进分水岭算法,这种方法可以避免像区域生长法一样需要对图片有较多的先验知识,也可以避免像边缘检测法一样,在检测到边缘之后,还需要对边缘进行连接,它可以有效地解决传统分水岭算法会过分割图像的缺点,但它只针对了含裂纹的图像进行处理,算法的局限性较大。

图2 基于阈值分割的图像分割方法[13]

对于传统的缺陷识别方法而言,这一点是比较难以实现的,传统的方法都是建立在CT图像是有缺陷的基础上来识别缺陷的类型,并不符合实际的应用传统的图像分割方法的优点是原理简单,容易实现,过程简单快捷,但是往往在分割的精度上有所不足,鲁棒性并不高。以阈值分割法为例,它的关键在于选取合适的阈值,目前被广泛应用的是Otsu分割法。Otsu算法结合了阈值分割和聚类思想,它通过遍历整个图片的灰度值来获得一个最佳的阈值,使得前景和背景的差异最大,这就使得它的耗时长,在实际应用中很难满足实时检测的要求,并且只考虑了图像灰度值的变化,没有考虑其空间分布,在图像灰度级数越多时,这种算法的合理性也就越低[16]。

2.2 缺陷特征识别

缺陷识别的目的是对缺陷存在的区域进行边框定位并识别出具体的缺陷类型,传统的缺陷识别方法大多是在图像分割的基础上进行的,在经过图像分割后,缺陷所在区域即前景与背景已经分开,只需对前景的图像特征进行分类识别,便可判断出缺陷的类型。

朱敏等[17]通过图像不变矩的方法,首先利用形状识别提取出药柱CT图像中的裂纹,然后通过直方图分析法分别计算出气泡和夹渣所在的灰度区间,根据不同的灰度分布区分气泡和夹渣,从而实现缺陷的自动分类,这种方法优点在于简单且容易实现,但需遍历整个图片才能得到识别结果,耗时较长;于光辉等[18]提出一种基于相似变换的缺陷定位方法,通过任意取CT图像的一部分作为模板,使模板在整个CT图像中遍历,得到模板与各个区域的相似程度,设定一个合适的阈值,判断模板与子图像是否相似,由相似数目的多少来判断该区域是否为含缺陷区域,从而实现了缺陷的定位。这种方法需要人为选定阈值,其鲁棒性并不好,并且模板的选择会影响识别的结果,不同的模板识别的结果精度也有差异。李慎等[19]提出了一种基于图像配准技术的固体火箭发动机缺陷识别方法,以标准无缺陷的固体火箭发动机CT图像作为参考图像,待检测的发动机CT图像作为浮动图像,通过配准算法将浮动图像做空间变换,使得浮动图像与参考图像重合,对这两幅图像进行比较,灰度区域不同的地方便是缺陷区域,这种配准方法的优点在于可以通过特征提取,大幅降低计算量,但配准的精度会受到特征提取精度的影响,具有主观性。

以上这些方法的最终识别准确率均能达到90%左右,但这些方法都不可避免地需要人为设计选择药柱CT图像的缺陷主要特征,耗时较长。同时,通过传统的方法对药柱CT图像的缺陷进行识别时,都是选择一个小的窗口遍历计算整副图像,时间开支与图像的大小成正比,而药柱CT图像往往都很大,很难实现实时检测的要求[20]。

通过上述对上述固体火箭发动机CT图像缺陷分析领域技术的分析,传统的缺陷分析方法可以实现对缺陷分析,精度也能有保证,但是有着较大的计算量,并且都无法避免的需要人为参与,设计缺陷的主要特征。对于固体火箭发动机的缺陷检测,在得到其工业CT图像后,首先需要判断的是有没有缺陷,有缺陷便进行后续的分析。传统方法可以解决实际应用中的缺陷分析问题,但在分析过程中存在效率不高、对缺陷特征的人为设计因素较多的问题。

3 基于深度学习的药柱CT图像缺陷分析

近年来,深度学习的快速发展为固体火箭发动机的缺陷分析技术提供了新的发展方向。深度学习相比传统的缺陷分析方法有一个非常显著的特点就是无须使用人工设计的特征,它是一种通用性很强的框架,通过将特征提取与机器学习算法结合,直接完成端到端的训练,这种端对端的学习框架如图3所示。这种框架具有很高的灵活性,能够针对不同问题的特点,设计不同的神经网络结构,使用不同的损失函数来实现目标[21]。在固体火箭发动机缺陷分析领域,对于图像分割问题,可以设计全卷积神经网络完成对每个像素类别的预测;对于缺陷识别,可以设计专用的卷积神经网络完成对目标位置和大小的预测。

图3 端对端学习框架图

在缺陷分析领域,使用的深度学习方法主要是基于深度卷积神经网络。卷积神经网络是一类包含卷积计算且含有深层次结构的深度前馈神经网络,是深度学习的代表算法之一[22-23]。在各种深度网络中,卷积神经网络是应用最广泛的一种,卷积神经网络的出现使图像识别技术有了突破性进展,它是一种将卷积运算和人工神经网络相结合的网络[24]。通过该网络对药柱缺陷CT图像进行分析可以实现自动从图像中提取特征,并依据提取的特征采用相应的分类器进行分类,这种方式获得的特征通用性更好,鲁棒性更强[25]。

目前,基于深度学习的方法对固体火箭发动机缺陷进行分析的方法并没有得到推广,主要是现有含缺陷药柱CT图像数据量不够支撑一个高准确率的深度卷积神经网络的训练,迁移学习[26-27]、数据扩增[28]和生成对抗网络(GAN)[29]均可以在一定程度上解决这个问题。而FERGUSON等已经证明了在深度学习模型上使用迁移学习技术,能够使得缺陷检测系统的性能得到提升[30],这对于深度学习在药柱CT检测中的应用具有重大意义。魏龙等[31]提出了一种基于机器学习的固体火箭发动机无损检测数据智能判读,但没有聚焦运用于工业CT探伤缺陷分析,但在别的领域,如铸件的缺陷检测[32]、焊缝表面的缺陷检测[33]等领域都有了成熟的应用。

3.1 基于目标检测的缺陷特征识别

对于目标检测,输入一张图像后,需要判断该图像中是否包含目标,如果包含目标,则输出目标的位置,通常用矩形框进行标定。对固体火箭发动机工业CT图像而言,需要对脱粘、气泡、夹渣和裂纹四类缺陷进行标定,如图4所示。

图4 基于目标检测的缺陷识别

目前,在基于目标检测的缺陷识别技术中,应用最广泛的就是基于Faster R-CNN的方法。Faster R-CNN的算法分为三步进行:(1)使用深度卷积神经网络模型提取图像特征;(2)提取出目标的候选区域;(3)对目标类型进行分类并确定边界框的位置。它通过引入区域生成网络(RPN)来筛选出可能会存在目标的区域[34],通过简单的交替优化,实现RPN和Fast R-CNN之间的卷积特征共享,可以缩短Fast R-CNN[35]的检测时间。其算法框架如图5所示。从图5可以看出,Faster R-CNN涉及两个CNN网络的训练,在实际运用中对输入图片的分析也分两阶段进行,在一定程度上限制了算法的运行速度。由此,REDMON等[36]提出了单阶段的目标检测网络——You Only Look Once(YOLO)网络,它将目标检测作为一种回归问题,对输入图像进行一次计算就能得到目标的位置、所属类别以及相应的置信概率。在文献[37]中对航空维修任务中的目标检测任务中对YOLO算法和Faster R-CNN网络的运行速度进行了对比,如图6所示。其中mAP代表平均准确率,YOLOv3和YOLOv4是YOLO网络的不同版本。从图6可以看出,单阶段的目标检测算法能够在保持检测精度的同时,大幅度提高模型的运算速度。相比于Faster R-CNN有着较大的进步。

图5 Faster R-CNN框架[35]

图6 不同目标检测算法的精度与运算时间对比图[37]

对于药柱CT图像中的缺陷检测,加快模型的检测速度对于提高缺陷检测的效率有着重要意义,提高深度学习模型的运行速度,并同时保持模型的检测精度是未来的主要发展方向。

Faster R-CNN在工业CT图像缺陷识别领域已得到了成功应用,在固体火箭发动机缺陷识别领域显示出极大的应用前景。常海涛等[38]提出了一种基于Fast R-CNN的缺陷检测方法,利用该方法使得检测准确率高达96%,平均每张图片的检测时间为86 ms,避免了传统缺陷检测需要手动选取目标特征的问题,缺陷的识别与定位过程的自动化程度更高。吉卫喜等[39]提出了一种改进的较快的基于Faster R-CNN的齿轮缺陷识别模型并设计出VGG-2CF网络,提高识别较小目标的能力,引入AM-Softmax损失函数,以减小类内特征的差异性,进一步增大类之间差异性,结合机器学习算法中的F度量值,提出一种AMF-Softmax损失函数,解决数据不平衡的问题。证明了Faster R-CNN可以有效识别工业CT图像中的缺陷。考虑到药柱CT图像的尺寸较大,图像中可能会出现尺寸相对较小的缺陷,CAO等[40]提出了一种能更好适应小目标检测的Faster R-CNN方法,通过基于交叉联合的改进损失函数对边界框进行定位,使用双线性插值来改进目标区域操作,解决在识别阶段的定位偏差问题,可以更好地检测小物体目标。部分药柱CT图像中的缺陷部分及其尺寸如图7所示。由图可以看出,缺陷对于药柱CT图像来说属于小目标物体。上述文献中对Faster R-CNN的改进措施,均可在药柱CT图像的缺陷自动识别时起参考作用。

图7 部分缺陷尺寸示意图[40]

相比于传统缺陷识别技术,基于目标检测的缺陷识别方法利用深度学习,使得训练好的模型能够自组地对输入图像的内容进行判别,避免人为参与,实现对缺陷的位置进行标定,并且提取的精度与粒度都有了较大的提升,能够很好满足固体火箭发动机CT断图像缺陷识别的要求。由此,基于目标检测的缺陷识别技术将极大提高固体火箭发动机缺陷检测效率。

3.2 基于全卷积神经网络的缺陷分割

在应用深度学习的方法对图像进行分割时,一般会先明确分割类型,根据实际分割任务的不同,可以分为普通分割、语义分割和实例分割。普通分割是把图片内不同物体的像素区域简单分开;语义分割是在普通分割的基础上,对不同物体的像素区域的语义进行分类;实例分割则是语义分割的基础上更进一步,对图片中的不同物体进行编号。

目前,应用最广泛的就是语义分割,在语义分割中有四种最为典型的算法,分别是FCN、PSPNet、DeepLab、Mask R-CNN[41]。其典型的代表就是全卷积神经网络(FCN)。

FCN可以对图像进行像素级的分类,从而实现了语义级别的图像分类[42]。与CNN网络在经过卷积、池化之后使用全连接层获得固定长度的特征向量进行分类不同,FCN采用反卷积层对最后一个卷积层的图像进行采样,使它恢复到了与输入图像相同的尺寸,从而对每一个像素都有一个预测值,同时还保留了原始输入图像中的空间信息,最后在特征图上进行了逐个像素的分类。VILLA等[43]运用FCN的方法实现了超声图像中骨边界的分割,该方法的精度能达到80%。BUDAK等[44]采用基于FCN的方法,实现了从组织病理学图像中分割乳腺肿瘤。其中,超声图像和组织病理学图像中的待分割目标情况比药柱CT图像中的缺陷目标更为复杂,这些成功的应用都表明FCN具备分割药柱CT图像中缺陷的能力。

3.3 基于Mask R-CNN的缺陷分析

采用基于深度学习的方法可以实现对图像进行缺陷识别、图像分割,但是基于Faster R-CNN的方法可以很好地实现对图像缺陷的识别和目标定位,但无法对图像进行分割,而基于FCN的算法可以实现对图像的分割,无法实现对缺陷图像的识别,而在深度学习端到端训练的框架下,二者是可以结合的,即通过一次训练,得到一个可以同时实现缺陷识别和分割两项任务的模型,这是传统的缺陷检测技术很难做到的。

HE等[45]将图像识别算法Faster R-CNN与图像分割算法FCN结合,提出了实例分割网络——Mask R-CNN,它是在Faster R-CNN的基础上,通过FCN增加一个掩码预测分支,实现了识别与分割的一体化。其算法实现的原理如图8所示。

图8 Mask R-CNN框架[45]

Mask R-CNN是在Faster R-CNN的基础上进行修改的,其主要的改动是将RoI Pooling层改为了RoI Align层。主要是RoI Pooling层中对特征图采用了两次量化操作,这会产生量化误差,这会影响实例分割的效果。而RoI Align层没有采用量化操作,用线性插值的方法可使误差得以减少。

目前,Mask R-CNN在缺陷检测领域的有着极大的发展潜力。刘智勇等[46]基于Mask R-CNN的方法对混凝土道路裂缝进行实例分割,这种算法对道路裂缝可达到98.12%的准确率。胡晓红等[47]利用Mask R-CNN方法,对立铣刀图像破损进行分割检测,并对Mask R-CNN提出了改进方法,在结合多级特征融合基础上增加一条自下而上的路径,以提取尺度较小的崩刃特征,使用线性加权的方法改进原有NMS算法,保留部分正确的破损目标候选框,以降低崩刃的漏检率,使得对缺陷检测的准确率达到了98.15%。在超声图像这类质量不高的图像中,Mask R-CNN也能较好地实现目标识别与分割,CHIAO等[48]采用基于Mask R-CNN的方法对乳腺肿瘤进行检测,检测和分割的平均精度能够达到75%。GAMDHA等[49]采用Mask R-CNN的方法对固体火箭发动机药柱X射线图像进行检测,其精度超过87%。道路裂缝和立铣刀破损图像中的待检测目标比固体火箭发动机药柱CT图像中的缺陷目标更为复杂,乳腺癌超声图像和药柱X射线图像的质量比药柱CT图像的质量要低得多。因此,采用合适的Mask R-CNN模型对药柱CT图像进行处理,可以达到更高的精度。

基于Mask R-CNN框架,可以简化固体火箭发动机缺陷分析的步骤,将图像分割与缺陷识别两个步骤合并为一个,并且算法的精度并没有下降,Mask R-CNN的应用将提高固体火箭发动机CT图像缺陷分析的效率,简化分析步骤。

传统的药柱CT图像中缺陷分析大多是在对图像中缺陷进行分割的基础上进行,利用四种典型缺陷的特征不同实现缺陷种类的识别,在这个过程中,需要人为参与设计多种缺陷的特征,以适应形状、灰度多变的药柱缺陷。而基于深度学习的药柱CT图像缺陷分析,通过预先准备的数据集对算法模型进行大量的训练,使得算法模型能够自动对输入图片进行判别,在没有分割药柱中缺陷的需求情况下,不需进行缺陷分割,能够减少缺陷分析的流程,提高效率。

基于目标检测的深度学习方法,可实现缺陷识别;基于全卷积神经网络的深度学习,可实现药柱CT图像缺陷分割;而基于Mask R-CNN的方法,则可实现药柱CT图像缺陷识别和缺陷分割。在数据集的数量能够满足深度学习要求的前提下,深度学习的方法可以很好地满足药柱CT图像缺陷分析的要求,相比于传统缺陷分析方法有着极大的进步,是未来药柱CT图像缺陷分析技术的发展趋势。

3 结束语

(1)现有的无损检测手段能够有效地检测出固体火箭发动机药柱中存在的缺陷。工业CT探伤的检测质量高于超声波探伤和X射线探伤,但成本较高,检测效率也不高。

(2)固体火箭发动机药柱CT图像缺陷分析技术主要分为缺陷分割与识别两方面,而传统的缺陷分析技术存在效率不高、人为干预较强的缺点。基于深度学习的药柱CT图像缺陷分析技术能避免这些缺点,且精度相比于传统的方法有较大的提高,是未来固体火箭发动机药柱CT图像缺陷分析技术的发展方向。

(3)目前,基于深度学习的方法对药柱CT图像缺陷进行分析的技术途径已经成熟,Faster R-CNN、FCN、Mask R-CNN等深度学习模型均能很好地实现药柱缺陷分析需求,尚未出现成熟的应用主要是受限于图像数据量不足,在保持良好检测精度的同时,降低深度学习模型的训练成本以及增强对小目标缺陷检测能力是基于深度学习的药柱CT图像缺陷分析技术需要解决的问题。