基于并联自适应残差网络与CBAM的ECT图像重建

马 敏, 吴 环

(中国民航大学 电子信息与自动化学院，天津 300300)

1 引 言

电容层析成像(electrical capacitance tomography, ECT)技术是一种无损多相流可视化测量技术[1]。ECT可以根据所测量的电容值数据反演出管道中介质物体的介电常数横截面分布,进而通过图像重构算法得到介质在截面中的可视化分布图像[2]。它具有高时间分辨率、易于维护、无辐射、非侵入性测量和测量范围广等优点[3]。近十年来,该测量方式在能源、航空等诸多应用领域中得到普遍认可[4]。

电容层析成像中图像重建算法的成像质量是制约该技术成功应用的重要因素之一[5]。减小重建图像与真实图像之间的误差,一直是学者们研究的重要问题[6]。传统的图像重建有非迭代法和迭代法,前者成像速度快,但图像质量差,如线性反投影[7](linear backprojection,LBP)。与非迭代算法相比,Landweber迭代算法[8]在成像精度上有了明显提高,但由于没有利用成像目标的先验知识和固有的半收敛特性,重建结果难以满足实际需要[9]。

近些年,深度学习在许多涉及非线性函数映射的领域中给出了合适的解[10]。Wang等提出一种用于ECT图像重建的最小二乘支持向量机和菌落趋化算法[11]。马敏等利用深度信念网络的深层次非线性网络结构来实现电容值与重建图像灰度值之间的非线性关系,并实现了高精度的重建效果[12]。张立峰等研究了基于一维卷积神经网络的电容层析成像图像重建算法,在图像质量、泛化能力以及实时性方面均取得了不错的效果[13]。但是以上学者所提出的算法仍存在重建图像边缘丢失和图像伪影明显的问题。

本文设计了一种并联自适应残差网络与卷积注意力机制(parallel adaptive residual network with convolutional attention mechanism,PARCN)的网络模型,捕捉电容特征的长距离依赖,缓解了梯度消失,并通过提取不同深度的特征信息来提高特征的丰富程度。在并联网络的双通道结构中分别引入自适应残差网络,提高输出特征信息的完备性,优化网络性能。加入压缩激励网络(squeeze and excitation network,SENet),给不同特征通道分配相应的权重,过滤冗余信息,并加强有效特征。将卷积注意力(convolutional attention mechanism, CBAM)模块与并联多残差网络结合,输入的特征张量通过CBAM模块进行自适应特征提取优化。最后将CBAM通道和带有SENet的并联多残差网络提取融合得到更加完整的输出特征。

2 ECT基本原理

2.1 ECT系统组成

ECT系统主要由电容式传感器、信号采集单元以及计算机重建单元3部分组成[14]。ECT系统中,通过给有源电极施加电压,被测物场内会产生电场。每两个电极之间的电容被测量并通过数据采集系统传输到处理单元[15]。计算机通过图像重构算法利用测量的电容值计算介电常数分布[16]。ECT系统如图1所示。

图1 电容层析成像系统原理Fig.1 Principle of electrical capacitance tomography system

2.2 ECT成像原理

电容层析成像技术可以分为正问题和逆问题两大类。正问题是通过计算已知尺寸的电容传感器各极板间的电容值,得到灵敏度场的分布。正问题是一个适定的问题,可通过有限元法和有限差分技术等数值方法求解[17]。逆问题是在已知灵敏度场分布和传感器电容值的情况下,通过特定方法计算介电常数分布,重建管道内的相位分布。逆问题是一个不适定问题,需要采用特殊方法来保证反演解的数值稳定性[18]。ECT图像重建是基于电容数据和被测物体介电常数分布之间的物理关系,如式(1)所示。

(1)

式中:C是实际测量的两极板间的电容值;V是两极板间的电势差;ε(x,y)表示成像区域的介电常数分布;φ(x,y)是电位分布;Γ表示电极表面。ECT图像重建模型简化为:

sg=c

(2)

式中:s为一个q×r维的矩阵;g代表r×1维归一化介电常数分布矩阵;c为q×1维归一化电容值矩阵。

3 PARCN算法原理

卷积神经网络可以直接拟合ECT电容值和介电常数之间复杂的非线性映射,避免灵敏场的线性化处理。而单一卷积神经网络在提取特征时,由于卷积过程会损失特征信息致使无法获取完整的原始输入信息[18]。ECT的独立电容测量值数量有限,采用复杂或较深的网络结构时,电容特征丢失严重。因此,提出了一种并联自适应残差网络与卷积注意力机制算法。PARCN的网络结构如图2所示,其中Input是将原始的多组66×1的一维电容向量值转换成11×6的二维电容矩阵数据。

图2 PARCN算法网络结构图Fig.2 Network structure diagram of the PARCN algorithm

并联残差神经网络可以同时提取不同的特征信息,利于提取更加完备的特征并加快特征提取速度,并加入由残差模型衍生的自适应残差模块来补偿反向推断时所需要的特征。在并联模块中最后引入全局残差,将浅层电容特征和并联残差卷积模块捕获的特征进行聚合,再利用SENet关注卷积核通道上的重要特征向量,调整各通道的重要占比。此外引入卷积注意力机制对浅层电容特征在空间和通道上的进行学习。最后将CBAM模块提取的特征与并联自适应残差网络通道提取特征相融合,实现对重建图像边缘信息的补偿。

3.1 并联自适应残差网络

在并联残差网络中,每个通道的输出特征是通过对前几层特征进行残差连接所捕获的。将每一层的特征信息多次使用,弥补在网络深度增加时随卷积操作所损失的特征,既保证了捕获的电容特征信息更加丰富,又加强了通道中不同层之间的信息交互。

如图3所示,Input为一个3×3卷积核所提取的电容浅层特征F-1,并联残差网络是通过两个不同的子网络结构分别对浅层特征进行提取,最后将两个子网络提取的信息进行特征融合。两个子网络的区别在于卷积核的数量和尺寸,不同的网络结构提取特征,可以获得更全面的特征信息。相同卷积核子网络使用4层3×3小尺寸卷积核级联,使网络拥有更少的参数量和更小的计算量。在不同卷积核子网络中将3×3和5×5卷积核混合级联,既拥有较大的感受野也不增加过多的参数量。卷积核个数,卷积核尺寸和步长的参数设置如图3所示。

图3 并联自适应残差网络结构Fig.3 Parallel adaptive residual network structure

在并联网络的两个通道中分别引入相应的自适应残差模块,使得输出特征的丰富程度得到进一步加强。在自适应残差模块Ⅰ中采用的是一个3×3卷积核,与后面输出的维度保持一致。在自适应残差模块Ⅱ中采用的是1×1卷积核和3×3卷积核级联结构,其中,1×1卷积核是用于整合信息和对卷积核通道数进行降维,以便与特征提取子网络进行连接操作。残差网络中每一层中权值共享,减少计算的参数量,自适应残差通过在反向传播中更新权值,获得所需要的特征。并联残差网络在经过自适应调整后可以捕获更加完备有效的电容信息。引入全局直接残差,对并联网络输出的特征信息进行补充,得到深度特征映射FDP

FDP=F-1+FGP

(3)

式中:F-1表示浅层特征映射;FGP是由并联自适应残差网络提取的电容特征映射。

3.2 SENet:高效通道注意力

在并联自适应残差网络作用下,网络可以学习到更加丰富和宽泛的电容特征,但输入电容值中的冗余特征同样也会被捕捉,这极大阻碍了网络本身对于信息的获取,因此,引入高效通道注意力机制,可以显式地表达特征通道间的相关性,让网络学习到各个通道的权重系数,让神经网络重点关注某些特征通道。SENet包含压缩(squeeze)和激励(excitation)两个操作。

压缩操作通过全局平均池化将每个通道上对应的空间信息(H×W)压缩到对应上的通道中变为一个数值,对输入特征U实现全局信息低维嵌入,此时一个像素表示一个通道,相当于拥有了全局感受野。计算过程如下:

(4)

式中:uC表示第C个卷积核的输出;H和W是特征张量的高度和宽度;ZC是第C个通道的权重特征。

激励操作为每个特征通道生成各自的权重。采用两个沙漏型结构的全连接层,可以使模型复杂度降低并使泛化能力提升,第一个全连接层将通道数C按比例压缩,降低计算量,后一个全连接再升维恢复到C个通道。Z经过两个全连接之后分别得到参数W1和W2,各通道的权重通过Sigmoid的选通机制获取:

S=Fex(Z,W)=σ(W2δ(W1Z))

(5)

式中:W1和W2是参数矩阵;σ是Sigmoid激活函数;δ是激活函数ReLU;S是得到的权重值。将激励的输出权重通过运算逐通道加入到全局池化所提取的特征上,完成对特征图的重校正。计算过程如下:

(6)

3.3 CBAM:卷积注意力机制

经过SENet优化后,网络捕获有效特征的能力有所增强。但是所提取的高层次特征信息有限,影响最后的成像精度。为了解决这一问题,增加了与主网络并行的CBAM模块来辅助分析原始特征的权重,通过关注通道上和空间上的特征,同时采用多种池化方式,提取更完备的高层次特征信息,减少原始特征信息的忽略。CBAM通过串行结构将通道注意力模块和空间注意力模块相互结合[19]。

图4(a)所示,首先使用通道注意力对浅层特征进行校正,通道注意力模块会对浅层特征F-1同时进行全局平均池化和全局最大池化操作,在经过两种不同的特征嵌入运算之后,分别得到不同的空间语义描述算子。全局平均池化整合了全局空间信息,全局最大池化去除无效信息的干扰,都是为了弥补空间信息在嵌入时的缺失。根据每个特征通道的重要性进行过滤,分配不同的权重,其值代表特征图上每处通道的特征显著程度。将得到的特征向量通过共享感知机后进行叠加,最后经过Sigmoid函数激活,从而得到通道注意力特征MC(F),而后与F-1进行逐元素相乘后得到F′。图4(a)的计算公式如下:

图4 卷积注意力模块Fig.4 Convolutional block attention module

MC(F)=σ(W1(W0(FAvg))+W1(W0(FMax)))

(7)

式中:σ表示Sigmoid函数;W1和W0是共享感知机的权重;FAvg和FMax是经过全局最大池化和全局平均池化后的特征。

如图4(b)所示,空间注意力模块对通道注意力优化后输出的特征F′在通道轴上同时进行全局最大池化和全局平均池化,得到两种不同的通道特征表达,将二者进行拼接后,步长为1的7×7卷积操作在实现降维的同时,可以增大感受野,经Sigmoid函数激活后,得到电容值的空间注意力特征MS(F′);接着与通道优化特征F′逐元素相乘,得到经CBAM优化后的电容特征FS。

3.4 损失函数

损失函数通过表现预测值与实际值的差异来指导模型的收敛方向。采用二值交叉熵损失函数,既能够衡量预测概率分布与真实概率分布之间的差距,又可以较好地搭配Sigmoid函数,其数学表达式如式(8):

(8)

4 实验与分析

4.1 仿真实验与分析

针对两相流中的气固两相流的图像重建问题,采用COMSOL仿真软件建立12电极ECT管道模型,用MATLAB获取网络模型的输入样本即5类典型流型电容向量。传感器管道内壁和外壁的半径,分别为46 mm和50 mm,传感器外部有半径为 55 mm 的屏蔽层,屏蔽外部电场干扰。检测电极到管道内壁间的填充材料为有机玻璃,管道内填充材料为塑料和空气,相对介电常数分别为4.2、1.0。对仿真模型的管道、壁面和屏蔽层进行剖分,剖分有效单元数目为3 228个网格。

在构建PARCN通道的过程中,为解决梯度消失以及模型收敛速度不稳定问题选用ReLU激活函数,采用Adam优化器以消除梯度伸缩变化对参数更新带来的影响。学习率设置为0.001,采用小批量的方法每次训练输入8组数据,卷积操作均采用Conv2D。

实验的运行平台是Intel Core i5-7300H CPU @2.5 GHz, GPU为GeForce GTX 1050 Ti, Windows 10 64位操作系统,内存容量为8 GB,基于keras深度学习框架搭建网络模型。选取测试集中的5种流型分别用LBP、Landweber、1DCNN、PARCN等4种算法进行图像重建。模型及仿真结果见图5。

图5 图像重建结果Fig.5 Image reconstruction results

选取的5类两相流流型进行图像重建研究,包括单泡流、三泡流、四泡流、环流、方流。为使流型样本具有随机性和代表性,泡状流流型a、流型b及流型c中,泡的中心位置及大小为随机设置;流型d改变环的厚度和中心位置获得不同的样本;流型e作为流型a的相似流型,测试算法对于相似流型的重建效果,样本中含有不同边长和位置的流型数据。对每种流型随机生成1 840组样本,获得5种流型共计9 200组样本。每种流型选取1 700组模型数据作为训练集,1 00组作为测试集,40组作为预测集,训练集和测试集不重合。

由图5可以看出, LBP算法在5种流型的重建图像中都出现了图像失真现象并伴有严重的伪影,难以分辨真实分布,Landweber算法在泡状流中成像表现好于LBP算法,但随着流型复杂,对流型的辨识度降低,检测多目标流型b和流型c时,仍然有严重的伪影和粘连现象,无法区分相似流型a和流型e。基于卷积神经网络的1DCNN算法比传统算法有更好的成像效果,伪影和粘连现象明显改善,但是对于流型b、c的重建图像中出现较严重的伪影,重建流型d时出现大小失真,对于流型e重建时均现边缘畸变,无法反映真实的流型。而PARCN算法则很好地克服了1DCNN的不足,图像边缘信息保真度高,无明显伪影和粘连现象,对于成像难度较高的环状流型d,也可与重建出高精度的分布图像,可以准确复现被测物体的位置和大小。

4.2 评价指标

为了定量地对重建图像质量进行评估,选用相关系数和图像相对误差作为评价指标。相关系数公式如式(9)所示,图像相对误差公式如式(10)。

(9)

(10)

表1是图5中重建图像的相关系数,表2是重建图像与原图的相对误差。

表1 图像相关系数Tab.1 Image correlation coefficients

表2 图像相对误差Tab.2 Image relative error

分析表1和表2中数据可知:LBP算法成像精度普遍较低,对于5种流型的重建图像相关系数都较低,对于多目标流型c的重建图像相关系数只有0.375 3;Landweber算法的图像相对误差低于LBP算法,相关系数也高于LBP算法,但是重建流型e的相关系数仅有0.417 9;1DCNN算法图像误差和相关系数相比于传统算法都有较大提升,流型a和e的重建图像相关系数分别达到0.814 9和0.857 2。PARCN算法图像评价指标最优,相对误差接近于0,相关系数较1DCNN算法,对流型a和e分别提高了15.31%和11.87%,对流型b提高了25.27%,对于重建质量普遍较低的流型c提高了40.67%,对重建难度较大的流型d提高了24.84%。

为了验证对并联自适应残差网络(parallel adaptive residual network,PARN)的各项改进方法在提高图像重建质量上的效果,设计了消融实验,结果对比如图6和表3所示。

表3 消融实验评价指标Tab.3 Evaluation index of ablation experiment

图6 消融实验结果Fig.6 Ablation experimental results

从图6中可以看出,PARN模型加入SENet模块之后,伪影和失真现象得到了明显改善,加入并联的CBAM模块之后,伪影得到进一步改善的同时,图像边缘也更加光滑。从表3中的数据可以发现,加入SENet模块之后,图像相关系数得到了明显提高,加入CBAM模块之后,图像相关系数进一步提高,相对误差也进进一步减小。

4.3 静态实验

实验采用天津大学研制的基于FPGA数字式数据系统的12电极ECT系统。如图7所示。

图7 ECT测量系统Fig.7 ECT measurement system

在空气场中放入亚克力棒模拟气固两相流进行实验,使用空气和亚克力颗粒来标定空场和满场,传感器内径大小46 mm,设定4种流型分布模型,图8为静态实验重建结果。

图8 静态实验重建图像Fig.8 Reconstruction image of static experiment

图8中,LBP算法成像效果差,对于4种模型的重建图像中均存在严重的电极伪影,在重建多个目标分布时,伪影和粘连现象严重,对于方形流的边缘重建效果差;Landweber算法较LBP算法的成像质量有了明显改善,但两者都无法准确反映被测物体的大小和位置情况;1DCNN算法成像质量较好,伪影和粘连现象都得到了较大改善,但四泡流的重建图像仍有严重伪影,三泡流和方形流的重建图像存在边缘存在明显的失真现象;PARCN算法能更准确得反映被测物得位置和大小,被测物边缘光滑且不失真。

5 结 论

为解决ECT图像重建质量不高的问题,构建并联自适应残差模型,并利用SENet模块对捕获的电容细节特征进行校准重分配,引入卷积注意力机制,提取浅层细节电容特征,获得更多的介质分布特征。解决由远距离特征依赖引起的电容信息丢失而导致的重建图像精度差的问题。图像重建结果表明,PARCN算法相较于LBP算法、Landweber算法、1DCNN算法,其图像重建的质量明显提高,成像无粘连、伪影少,流型边缘光滑且不失真,能较好地区分多种流型,在ECT系统中具有良好的应用前景。