基于机器视觉的固体火箭发动机喷管喉径测量方法①

孙旭阳,沈 飞,谢俊彦

(西安航天动力测控技术研究所,西安 710025)

0 引言

固体火箭发动机具备结构简单、工作可靠、推重比高、启动迅速、低成本、长期贮存等优点,尤其在降低重力损失和提升质量比方面具有明显优势,不仅可提升运载能力,还可有效降低系统复杂性[1-6]。因此,固体火箭发动机在航天、军事等领域有着广泛的应用和重要的地位。

对于固体火箭发动机,喷管是其重要的组成部分之一,主要完成热能到动能之间的转换。在固体火箭发动机的运行过程中,其喷管内流动的高温燃气工质含有一定量的熔融态颗粒,当燃气流过喷管喉部时,将对其壁面造成急剧的加热、冲刷及烧蚀。喷管作为发动机的关键部位,其喉部的烧蚀会直接影响到发动机的工作压强[7-10],从而影响到发动机的工作状态和工作参数。在固体火箭发动机的设计中,喷管喉部的直径在建立发动机的质量方程、比冲方程和进行总体设计参数选择时具有重要的意义。此外,在固体火箭发动机的性能测试中,通过精准测量发动机工作前后喷管的喉径变化,可以计算得到燃烧室内压、喷管出口压和喉部材料的烧蚀特性。因此,喉径的精确测量对于发动机性能的评估具有重要意义。

目前,国内外对固体发动机喷管喉径测量的研究较少,现有的深孔测量方法,如三坐标测量仪等,由于缺乏对发动机喷管特点的适配,有的测量空间受限,有的测量精度不够,导致实际应用起来较为麻烦。针对喷管喉径测量,COLBAUGH等[11]提出了一种基于X-ray的直接测量方法。洪洋等[12]提出了一种面向拉瓦尔喷管的液力测量方法,具有非接触、稳定性好的优点。张翔等[13]提出了一种基于芯型测头塞规法的拉瓦尔喷管喉径液力测量方法,取得了较高的测量精度。尽管当前针对喷管喉径的测量方法能够较好完成喷管候径的测量,但系统的复杂度普遍较高,测量成本较大。机器视觉的方法指利用摄像头所拍摄的图像或视频,通过图像处理技术,从而实现非接触式的测量,具有测量过程快捷、方便的特点。目前应用机器视觉对固体火箭发动机进行测量已经有了相应的研究,文献[14-15]等利用机器视觉实现了发动机摆动喷管空间位姿的测量,但对于发动机喷管喉径的测量,目前仍是一个未探索的领域,缺少相关研究。

针对固体火箭发动机喷管喉径测量问题,提出了一种基于机器视觉的测量方法,构建了一套测量系统,该系统通过平行面激光源将喷管喉部投影至成像平面,通过工业级高分辨率单目相机获取喷管的投影图像。在该图像中,需要准确的提取出喉部区域,然而传统直接对图像提取特征的方法,存在对环境光照变化鲁棒性不足的缺点,需要设定较多阈值,而固定的阈值参数很难兼顾精确度和鲁棒性。常规基于深度学习的语义分割模型,存在着边缘细粒度不够的缺点。因此,通过新提出的基于改进DeepLab v3+的深度学习网络模型,可以提取得到图像中的喉部区域。相比其他模型以及改进前的网络模型,该模型更适应于喷管喉部图像分割任务,在模型更轻量化的同时,对喷管喉部边界划分有更高的细粒度。真实数据实验结果表明,所提出的改进模型相比其他的语义分割模型,具有了更高的图像分割细粒度和鲁棒性。最后,通过棋盘格对相机进行参数标定,利用标定结果对该区域面积进行估计,最终实现了喉径的测量。相比于传统测量方式,本文提出的方法和构建的系统不仅方便、快捷,对于烧蚀后不规则的喷管喉部测量,还具有了更高的准确性。

1 系统总体方案

1.1 系统设计要求

针对固体火箭发动机喷管喉径测量的实际需求,提出以下的系统设计要求:

(1)能够测量喷管喉径的最小值

对于试验后的固体火箭发动机喷管,由于其喉部不同位置烧蚀程度不同,在深度方向上,不同截面下的喉径值将有所不同,为满足后续试验分析需求,需要测量得到喉径的最小值。

(2)能够进行数据采集与准确计算

由于发动机喷管喉径测量快捷、便利性的需求,需要能够采集图像,具有较高的自动化程度,并且尽可能降低测量误差,使得最终喉径测量误差优于0.05 mm。

(3)能够适应不同的实验工况

由于发动机试验条件的复杂性和兼顾测量系统的通用性,系统需要进行轻量化设计,并对测试场地有较低的要求。同时,对于环境光照有较好的鲁棒性。

1.2 系统设计方案

系统主要包含了测量支架、激光光源、投影平面、图像获取设备和计算机五个部分,如图1所示。其中,测量支架主要用于待测固体火箭发动机喷管和其他设备的固定,确保投影平面与图像获取设备之间的相对位置准确且不变;激光光源装在测量装置的底部,通过向上发射波长为650 nm的平行光源,从而将喷管的喉部形状投影至投影平面,对于激光光源,其平行光束的直径需要大于所测发动机的喉径;投影平面采用厚度为0.15 mm的硫酸纸,该材料一方面具有良好的透光性,能够形成清晰的可被图像获取设备捕获的图像,另一方面衍射较小,能够尽可能确保图像边缘的投影真实性。图像获取设备包含了工业相机和镜头,将投影平面的图像输入至计算机中进行处理。

图1 喷管喉径测量系统设计方案

通过上述的硬件系统和基于机器视觉的喉径测量算法,便可以得到发动机喷管喉径值。为了获取高精度的喉径测量结果,系统的硬件设计同样至关重要,硬件的设计需要尽可能减少系统误差。

测量支架,通过合理的设计和精密的机加工,使其确保了激光光源平面、喷管横截面以及投影平面三者之间的平行度优于0.1 mm,使得激光在投影平面的投影面积能够直接反映喷管的喉部最小面积。选用Baumer公司的VCXG-124 CMOS工业灰度相机,具有1200万的分辨率和3.45 μm×3.45 μm的像元尺寸,高分辨率确保了对投影平面成像的高细粒度,避免因分辨带来的精度损失。综合考虑目标的距离和视场的大小,本系统选用OPTO ENGINEERING公司的远心镜头,在满足系统测量需求的同时,使得成像畸变系数小于0.08%,进一步确保测量的准确性。本系统的实物图及该测量系统拍摄到的喷管喉部投影图片如图2所示。所使用计算机CPU为Intel i5-9400F,GPU为NVIDIA GeForce GTX 1080,操作平台为Ubuntu 18.04。

图2 喷管喉径测量系统实物图及其拍摄的喷管投影图示例

2 基于图像的喷管喉径测量方法

2.1 测量方案简述

得到拍摄的喷管投影图后,首先需要分割提取喷管喉部在图像中所占据的像素单元,统计喉部区域所占据的像素数目;再依据图像中的像素面积与真实面积之间的比例,将其转换为喉部真实横截面积,进而可计算出喷管的喉径。

下面具体介绍基于深度学习的喉部区域分割方法以及基于分割结果的喷管喉径计算。

2.2 基于深度学习的喉部区域分割

不同于其他图像分割任务,喉部区域分割任务主要有以下两个难点:

(1)喉部区域分割任务要求边界分割的高细粒度。不同于常规的图像语义分割任务,喉部的轮廓并不是平滑的,带有较多的“抖动”。而对喷管喉径的精确测量,要求模型能够对轮廓进行更具细粒度的语义分割,能够分割出不平滑的轮廓线。因此,要求模型能够对图像边界具有更好的信息提取能力,能够进行高细粒度的语义分割。

(2)喷管喉部数据的缺乏。不同于常见的图像分割任务,受限于任务的特殊性,喷管喉部数据是难以大量直接获取的。因此,对于模型,需要在有限的数据下,避免过拟合,能够在展现出良好性能同时,具有泛化性和鲁棒性。

在基于深度学习的喉部区域分割中,采用基于深度学习的喉部区域分割方法,同时结合喉部区域分割任务特点进行模型选取与改进。同时,在模型训练阶段,给予喉部区域边缘更高的关注度,以便训练过程更好地聚焦于边缘区域的分割。此外,针对喷管喉部数据缺乏的问题,从数据角度进行了数据增强,使得在小样本量下训练出泛化性更好的网络。

2.2.1 网络模型

近年来,在各类分割任务中,基于模型的分割方法取得了相比传统检测方法更好的性能。目前,语义分割领域使用较为广泛的方法包括FCN[23]、U-Net[24]、MaskRCNN[25]以及DeepLab[16-19]系列等。其中,DeepLab系列中,引入了空洞卷积与空洞空间金字塔池化(ASPP),相比其他模型,在减少参数量的同时,提升卷积核感受野,能实现更好的分割效果。在该系列中最新提出的DeepLab v3+模型中,还引入了深度可分离卷积代替常规卷积,使得模型更为轻量化,有利于喉部分割模型的工程化部署。此外,DeepLab v3+引入了的编码器-解码器结构,使得网络中保留较多的浅层信息,特征图更好地表征对象边界情况,更有利于对喷管喉部区域边缘的精细化分割。因此,选择DeepLab v3+模型,作为喷管喉部区域分割任务的基础模型。

DeepLab v3+网络结构主要包括编码器和解码器两部分。编码器中,输入图像经过主干网络进行特征提取,输出作为ASPP的输入,并行接入5个不同模块后,得到的张量拼接后输出。解码器从编码器中获取经过主干网络提取的低层特征张量,以及经过ASPP模块进一步提取的深度特征张量,其将该两种张量特征进行拼接,最终经过上采样输出。

尽管相比DeepLab v3+模型在一般的语义分割任务中取得了较好的效果,但在喷管喉部图像区域分割任务中,仍无法达到较高精度的要求,尤其是喷管喉部区域边缘处的分割结果。因此,在喷管喉部区域分割任务中,采用基于DeepLab v3+的改进模型,如图3所示。相比DeepLab v3+原始结构,主要对模型进行了两部分改进,改进部分如图3中黄色框所标注。

图3 喉部区域分割模型结构

首先,为减少参数量,使其更适应于喷管喉部分割任务小样本下的模型训练,同时减小计算量,便利模型在实际中的部署,将原DeepLab v3+中的主干网络Xception,改为MobileNet v2[20]主干网络。MobileNet v2同样采用了深度可分离卷积,以减少参数量和计算量。同时,MobileNet v2引入倒置残差结构与线性瓶颈结构,将原残差结构中的卷积降维、标准卷积提取特征、卷积升维,倒置为卷积升维、深度卷积提取特征、卷积降维,更好地保留了高维特征信息,并用线性激活函数替换了ReLU激活函数,减少了模型从低维特征到高维特征提取过程中的信息损失量,对于喷管喉部边界的细粒度分割能实现更好的效果。

同时,为更好地提升喉部边缘区域的分割效果,由于在卷积、池化等过程中损失了部分原始图像细节,应提升模型对低维特征的关注度。因此,改进的DeepLab v3+在ASPP模块中引入多尺度注意力模块[21],优化ASPP模块对图像不同层级特征的表征能力。在ASPP中,不同扩张倍数的空洞卷积感受野不同。因此,主干网络输出的特征张量经过不同的空洞卷积层生成不同尺度的特征张量,其包含的特征信息特点也不同。在此,引入多尺度注意力模块,对不同层级的张量特征赋予不同权重。

2.2.2 损失函数

基于机器视觉的分割方法的最终效果,与训练过程紧密相关。其中,损失函数对最终的训练效果起到了很大作用。为了提升模型的最终效果,改进了训练中的损失函数。

在喉部区域分割任务中,喷管喉部区域特征单一,容易识别,分类错误的几率较小;喷管喉部外部区域像素特征也较为相近,尤其是无外部光源干扰的情况下,分割错误的几率也较小;而喷管喉部边缘地区,喷管喉部内外部像素特征的差异性较大,对分割结果起到重要作用。因此,提升喷管喉部边缘地区在损失函数中的权重,使得网络训练过程中,更关注喷管喉部边缘地区的分割结果。

常用的二元交叉熵损失函数定义为

(1-yi)·log(1-p(yi))]

(1)

式中y代表像素标签,其值为0或1;p(yi)为该标签的概率。

改进后的损失函数定义为

(1-yi)·log(1-p(yi))]

(2)

式中wi为权重系数,其值由式(3)决定:

(3)

式中C为图像中边缘区域像素组成的集合;λ为加权因子,其值大于1。

训练过程中生成图片中边缘区的方式如下:首先,利用Moore-Neighbor算法[21-22],对标注后的喷管喉部区域边缘进行提取;遍历提取的边缘像素点,与边缘像素点在像素坐标系下的距离不超过设定阈值的像素点,加入边缘区域像素集合中。喷管喉部图片中边缘区域像素的示例如图4所示。图4中,红色标记出的区域为边缘区域像素集合C。

图4 喉部边缘区域像素集合示意图

2.2.3 数据增强

基于机器视觉的方法对于数据的依赖性一般较高,而DeepLab v3+模型的参数量相对较多,需要一定量的图片数据以及对应真值来进行模型的训练。而发动机喷管喉部图片数量较少,且精细化的真值标注过程较为复杂,因此,采用数据增强的方式,对少量已标注的发动机喷管喉部数据做数据增强处理,以获取较大量的数据,避免过拟合,提升模型鲁棒性。

采用的数据增强方式包括旋转、平移、放缩、噪声叠加、亮度调整、对比度调整。对于旋转、平移、放缩,对一张喷管喉部图片施加随机的旋转量、平移量、放缩比例,得到新的图片。由于本方法中,喷管喉部与试验台各部分相对位置固定,照射的喷管喉部投影位置不会有较大变动,因此在增强中应设定较小的随机平移量上限。对于噪声叠加,对一张喷管喉部图片施加随机参数的椒盐噪声或高斯噪声,得到新的图片。对于亮度、对比度调整,对一张喷管喉部图片随机设定调整相应参数,实现增强图片的生成。单张喷管喉部图片进行数据增强处理后得到的结果如图5所示。

2.3 喷管喉径计算

2.3.1 后处理

对语义分割得到的二值化结果,还需对其进行后处理,以提升分割效果。

已知喷管喉部区域集中分布于单个连通的区域,后处理步骤主要将少部分可能错误分割的位于喉部内侧、以及喉部外侧的离散像素进行筛除,其具体实现方式步骤包括:

(1)提取分割后图像中的连通区,即被分类为喉部区域的连通区;

(2)统计各连通区总像素面积;

(3)仅保留面积最大的连通区,将其他连通区像素语义赋值为非喉部区域语义;

(4)对唯一保留的连通区内部语义为非喉部区域的像素,赋值为喉部区域。

通过上述步骤,可消除少部分错误分类的离散像素点对最终结果的影响。

2.3.2 面积计算

为获取喷管喉部真实物理直径,还需进一步将像平面中的像素单元大小,转化为真实物理空间中的长度尺寸。对喉部区域分割结果图,首先统计其中为喉部区域的像素个数,设像素总个数为N,定义比例因子s,其含义为图像中每像素边长所代表的实际长度,单位为毫米/像素。由此,可求得喉部区域面积S:

S=N×s2

(4)

则依据圆的面积公式,可求得喷管喉部等效直径D:

(5)

2.3.3 比例因子标定

对比例因子,采用棋盘格标定方式,对像平面像素面积到真实物理世界面积的转换关系进行标定[22]。标定过程中,首先如图6所示,将棋盘格平放置于投影面处,拍摄若干张图片。

图6 标定使用的棋盘格及角点检测结果

对采集到的图片,通过角点检测[22],检测图像中棋盘格角点在像素平面中的位置,进而推出棋盘格中,各正方形小格在像素平面中的边长,并求得像素平面方格边长平均值limg。已知棋盘格中每小格真实边长lworld,则投影面上物体实际物理长度与像素平面物理长度之间的比例因子s为

s=lworld/limg=5/380≈0.01317993(mm/px)

(6)

3 实验结果与分析

3.1 喉部区域分割

实验中,共使用5个发动机喷管喉部进行测试,用于实验的发动机喷管喉部如图7所示。每个喷管喉部采集40张图片。对单个喷管喉部,每次图片采集后,需将喷管喉部从固定台上取下,再重新放置于固定台,以保证数据的变化性。同时,为衡量系统鲁棒性,增强数据丰富度,对同一个喷管图片,采集时对环境光源施加干扰,干扰因素包括环境光强度:强光、中光、弱光,以及环境光照射方向:上方、侧方。实验使用的数据集示例图片如图8所示。

图7 发动机喷管喉部真实图

图8 发动机喷管喉部投影图数据集示例

随机选取其中3个喷管喉部数据作为训练集,其余2个喷管喉部数据为测试集。对于喷管喉部图像分割任务,为了提升真值的精度,通过人工方式进行逐像素的像素级标注,类似于计算机视觉中实例分割任务的标注方法,不同于常规语义分割的连线段的区域标注方法,可确保达到1个像素的真值精度。根据标定结果,一个像素格代表的面积是0.000 17 mm2,对本系统的语义分割任务是可以满足精度要求的。对训练集3个喷管喉部共120张图片,采用数据增强方式,对其进行扩充,得到共1200张图片,作为最终的训练集数据。实验在配有NVIDIA GeForce GTX 1080 GPU(8 GB显存)的平台上进行训练,训练过程的部分参数设置见表1。

表1 模型训练参数

对喉部区域分割精度的评估,采用语义分割中最常用评估指标,平均交并比(mIoU)进行评估,mIoU的定义如下:

(7)

式中k代表类别数;pij代表真实类别为i、被预测为j的数量。

mIoU能体现语义分割中真阳性与假阳性、真阴性、假阴性的指标情况,考虑不同类别分割结果的精度,综合反映模型的性能。

将提出的改进后的DeepLab v3+方法,与原始Deeplab v3+方法、其他常用语义分割模型,以及传统图像处理方法进行性能对比。其中,传统图像处理方法,采用图像自适应二值化提取亮度差异较大区域,通过开运算操作去除二值化图像中的噪声点,提取图中最大连通域作为喉部区域提取结果。在8个喷管喉部图像数据上的平均结果如表2所示。

从表2可以看出,在带有GPU的检测平台上,使用改进后的DeepLab v3+与传统分割方法相比,喷管喉部区域分割的耗时更短,且改进后的DeepLab v3+得到的分割结果精度明显高于传统方法,能够实现更好的喷管喉部区域提取效果。除此以外,相对其他语义分割模型,以及原始DeepLab v3+方法,改进后的DeepLab v3+方法,精度更高,耗时更低,更适应于喷管喉部区域提取任务。同时,在图9中给出了两组基于改进后的DeepLab v3+与基于传统方法的喷管喉部区域提取的结果图,图9中红线为提取的喉部区域结果。可以看出,传统方法提取的喷管喉部边缘处较为粗糙,且对于外部光照干扰的适应性较差;而模型对喷管喉部区域边缘的提取效果更好,对外部环境光照鲁棒性强,利于取得更高精度的提取结果。

(a)Traditional method (b)Improved deepLab v3+

表2 基于DeepLab v3+的喷管喉部区域分割方法与其他模型及传统图像处理方法效果对比

3.2 系统方法验证

为验证整个系统方法的准确性,设置平行光源和标定方法的验证环节,使用喷管喉部标准件,对比例因子进行验证,步骤如下:(1)选取有直径真值的、未经使用磨损的喷管喉部件数个,采用文中喷管喉径测量系统,对其进行投影图拍摄;(2)对拍摄所得结果图,人工标注其中喷管喉部区域;(3)通过图中像素面积,以及比例因子,对喷管喉部区域真实直径进行计算。在实际测试中,经比例因子计算的测量值,与标准件直径真值,相差不超过0.020 mm,证实了整个系统方法的准确性。

3.3 喉径测量

本节中,对测试集数据上最终得到的喷管喉部等效直径测量结果进行评估,统计同一喷管喉部多次测量的直径结果,观察多次测量结果的精度以及重复性,其中单个喷管喉部上,有光照干扰与无环境光干扰情况下,测量最终结果如图10所示。可以看出,采用基于机器视觉的固体火箭发动机喷管喉径测量方法,等效直径测量精度较高,满足0.05 mm测量精度的要求。同时,不同外部环境光照射条件下,喷管喉径测量结果相对无环境光干扰时精度略有下降,但仍满足误差要求,对外部环境光变化的鲁棒性较好。同时,为了验证改进的DeepLab v3+中改进的多尺度注意力模块,以及损失函数对喉径测量精度的提升作用,进行消融实验,以验证各模块对最终喉径测量精度的影响,结果如表3所示。可以看出,损失函数的改进,可以细化边缘分割结果,对最终结果有较大的改善。多尺度注意力的加入,使得网络对不同深度特征赋予不同权重,进一步提升了喷管喉部直径的测量精度。

表3 基于改进的DeepLab v3+的喉径测量消融实验结果

(a)Without external light interference (b)External light interference

4 结论

本文提出了一种基于机器视觉的固体火箭发动机喷管喉径测量方法,利用工业级高分辨率单目相机获得面激光投影图像,并通过一种新的基于DeepLab v3+的图像分割网络模型提取喉部,进而完成喷管喉径测量。通过在真实喷管上进行实验表明,该方法相比于传统方法,在精度方面,取得了优于0.05 mm的良好性能,且具有较低的计算复杂度和较高的环境鲁棒性,能够应用在具有光照变化干扰的真实工作场景,具有较好的应用价值。