金属遮挡条件下光子层析快速重构方法研究

杨一杉,梁华为,姚 瑶,陈 帅

(1中国科学院合肥物质科学研究院智能机械研究所,安徽 合肥 230031;2中北大学仪器与电子学院,山西 太原 030000;3中国科学院合肥物质科学研究院核能安全技术研究所,安徽 合肥 230031)

0 引言

基于光子透射的计算机层析成像是一种无损检测技术,广泛应用于医学检测、工业对象诊断、材料结构分析等方面[1−3]。该方法实质上是以检测目标为中心,通过旋转采集目标在不同视角下的投射数据还原出检测目标的原先状态[4]。基于这种目标,首先提出以Fourier和Radon变换为基础的全局解析重构方法,其后续得到了深入发展。最为常见的解析方法包括FDK与FBP解析算法[5,6]。近年来发展的另一种解析重构思路基于随机模型的最大似然估计[7]。不同于确定性的解析方法,随机性方法所考虑的一个重要前提是,假设中子通过物体后在探测平面测量的信号统计变化可以通过泊松分布来描述。其中,最为常用的是Expectation Maximisation(EM)算法。

然而,在实践中完备的中子层析投影数据难以全部获取,其中所面临的一类重要问题是,光子射线无法穿透具有大量金属介质的物体,因此难以在投影中有效呈现金属介质覆盖的物体结构,进而导致这部分结构难以被正确重构[8]。这种情况下,重构后的图像将呈现出伪影,使得物体内部结构难以被准确辨识。迭代类算法是解决伪影问题的一种有效手段,它在解决不完全数据重建问题方面有着不可替代的优势[9]。常见的迭代类算法包括代数重建算法(ART)以及低噪声敏感性的SIRT算法[10],迭代类重构方法的主要问题在于需要耗费更长的计算时间以至于降低了重构效率。

综上所述,如何在确保效率的前提下利用光子层析准确地重构出金属介质覆盖的物体内部结构,是有待进一步解决的问题。随着人工智能技术的不断发展,深度学习方法表现出了良好的优化求解能力,且计算效率远高于经典的解析方法与代数迭代方法,被认为是未来层析重构研究领域极具发展潜力的方法。为此,本文在深度学习的方法框架内,从光子层析的视觉特征出发,通过针对层析投影开展基于无监督学习的像素预测,构建基于金属遮挡物周边信息的编码器,以生成受到金属介质遮挡的物体结构。

1 带缺陷的光子层析生成机制

为了对带缺陷的层析重构图像进行快速再生成,必须首先明确在金属介质干扰下光子层析的信息缺失是如何产生的。一般而言,光子层析的原理过程如图1所示。光子照射物体后,由于物体内部对光子的衰减作用不同,从透射后的投影中将获取不同幅值的透射信号。这一过程一般遵循Lambert-Beer定律[11]

图1 光子层析基本原理图Fig.1 Basic schematic diagram for photon tomography

式中:I0为光子射线的发射强度;I为光子射线透射待测物体后的强度;x为待测物体在光子射线传播方向上的厚度;µ为宏观尺度下待测物体对光子射线的平均衰减系数,主要用来评价待测物体对光子射线吸收强度的大小。显然,当待测物体内存在衰减作用较大的金属介质时,考虑待测物体对光子衰减作用的连续变化,则(1)式可改写为

其中,由于µ(x)在[x1,x2]极大,因此I→0,这将使得光子射线的投影难以被探测到。

另一方面,光子层析投影实质可看成对待测物体衰减系数分布的Radon变换[12],其表达式为

式中:s=−xsinφ+ycosφ,r=xcosφ+ysinφ。那么,当开展光子层析投影时,待测物体平面在各角度的投影可通过正弦图表征,且待测物体平面中的某点即可通过Radon变换成为正弦图上的一条正弦曲线。待测物体内部存在衰减系数极高的金属介质时,正弦图中就会出现黑色正弦阴影条带。图2所展示的是一个以Shepp-Logan为例的典型例子,其中虚线框标记了模拟的金属介质位置,显然,在相应的正弦图中出现了明显的黑色条带。因此,当前的主要问题转变为如何通过有缺陷的正弦图生成具有良好质量的层析重构图像。

图2 有金属遮挡条件下的投影成像Fig.2 Projection with metal occlusion

2 基于全局信息的像素预测

2.1 像素预测方法架构

像素预测方法的总体架构包括三个部分:特征编码器、特征解码器以及编码与解码的连接环节。

首先,特征编码器接收到目标正弦图后,将产生目标正弦图的潜在特征。尽管该特征存在一定程度的信息丢失,但由于正弦图中大部分区域是完整的,因此该特征依然可以在相当程度上反映正弦图的整体信息。这里的编码器参考了AlexNet架构[13],提取了前5个卷积层以及相连接的池化层用于实现正弦图的特征编码(图3),并利用随机的初始化权值训练网络。

图3 由5个卷积层及相关池化层组成的特征编码网络Fig.3 Thefeaturecoding network composed by 5 convolution layers and pooling layers

然后,编码与解码的连接环节承担着二者之间的数据交互。理想条件下,采用完整的全连接方式可能极大地提高网络整体的计算效果,但是这将为训练过程带来极大的负担。因此,本研究采用了分组全连接方式。若输入层有m个尺寸为n×n的特征,则该层也将输出m个尺寸为n×n的特征。然而,与一般的全连接不同的是,本研究中所采用的分组全连接层没有连通不同的特征映射参数。

最后,解码器的作用是利用编码器提供的特征生成图像像素。如上所述,采用了分组的全连接实现编码与解码直接的信息连接。在全连接后采用了与编码相对应的5个上卷积层,其中每层都有一个ReLU激活函数,用以获取具有更高分辨率的图像信息。

2.2 学习过程与损失函数

在网络的训练学习过程中,损失函数的构造极为重要。考虑到对抗性损失函数在图像构造过程中独特的优势,即可以使得针对缺陷的构造更为真实、能够匹配图像的整体特征,本研究的训练主要基于对抗生成网络(GAN)实现,其中包括了两类网络:生成网络G以及对抗网络D。事实上,G网络是一个从噪声分布Z到数据分布χ的映射:G:Z→χ,它主要用于自动生成拟真的图像以填补图像中缺失的信息;D网络本质上是一个判别器,它将G网络生成的缺失图像作为输入,判断生成的缺失图像是否是真实图像。这样,GAN的学习过程便成为网络G与D的博弈过程,直到均衡状态。

然而,G网络重新生成的缺失图像与原始正弦图之间可能存在不连续性,这使得D网络非常容易识别出G网络的生成结果,进而导致GAN的学习效果不理想。为此,需要对GAN的过程进行改进,即在训练过程中只对G网络中的参数进行调节,而保持D网络不变。相应地,用于更新G网络的对抗性损失函数LG构造为

式中:F(·)表示生成网络中的编码器函数,D(·)表示GAN中的判别器函数,E表示期望,表示一个二进制掩码,缺失的像素在中的对应位置被标记为0,否则为1。显然,在该GAN网路中,编码器定义为生成网络表征了存在缺失的像素及位置。

3 实验验证

为了对所提出的光子层析重构方法开展验证,本研究基于Kalendralis等[14]所公开的光子层析数据开展了仿真实验,其公开数据集包括了三个不同的层析对象,如图4所示。同时,依据第2节的方法,构建了包含如表1所示参数的GAN网络(其中G网络为如图4所示的编码器)。

表1 用于像素预测的对抗网络及训练参数Table 1 GAN parameters for pixel prediction

图4 网络训练及验证的部分层析数据。(a)不同截面COPD体模的CT影像;(b)不同截面Catphan 700体模的CT影像;(c)不同截面CIRS多模态腹部体模的CT影像Fig.4 Tomographic data for network training and validation.(a)CT images of COPD phantoms with different slides;(b)CT images of Catphan 700 phantoms with different slides;(c)CT images of CIRS multimodal abdominal phantoms with different slides

在训练及验证过程中,本研究通过模拟重构的方式,在所有层析图像中的感兴趣区域内生成一个金属介质(金属介质的位置如图6中第一列红色方框所示),通过该介质所在区域的光子射线被认为完全吸收。显然,在包含模拟的金属介质后,该层的正弦图中出现了黑色条带(如图5中第二列所示,作为对比,无金属介质影响时的正弦图如图5第一列所示)。基于本研究所提出的像素预测方法,重新修复的正弦图及重构图像如图5第三列与第四列所示。本研究所构建的GAN网络训练结果如图7所示,显然整个网络的训练梯度逐渐收敛,且验证数据与训练数据的指标变化逐步趋近,在大约23个训练周期(Epoch)后,训练指标逐步收敛至稳定状态。作为对比,图6的第二列展示了对存在缺失的正弦图直接采用Radon反变换方法得到的重构图像。显然,与图5中的重建图像形成鲜明对比的是,沿金属介质的透射方向产生了大量的重构伪影,且相关细节部分显示极为模糊。比如,图6(a)物体中央的圆形结构,(b)中物体内的灰色不规则结构以及(c)中物体表面的螺纹装图案,均无法正确显示。通过图5的结果可以发现,本研究所提出的像素预测方法可以很好地修复填补层析正弦图中由于金属介质吸收产生的黑色条带,重构后的层析图像可以显示出清晰的细节部分,与原始图像相比无较大差别。

图5 基于像素预测方法重构的图像。每一行从左至右依次为不同的体模在无金属介质影响时的正弦图,包含模拟金属介质的正弦图,利用基于像素预测方法去除模拟金属介质的正弦图和使用去除模拟金属介质的正弦图的重构结果。(a)体模为COPD;(b)体模为CIRS;(c)体模为Catphon 700Fig.5 Fig.5 Reconstructed images based on the pixel prediction method.From left to right,each row is the sinogram of different phantoms without the influence of metal implant,the sinogram influenced by simulated metal implant,the use of pixel-based prediction method to remove the sinogram of the simulated metal implant and reconstruction results of the sinograms after removed simulated metal implant.(a)The phantom is COPD;(b)The phantom is CIRS;(c)The phantom is Catphan 700

图6 采用直接Radon反变换方法获得的层析图像,每一行从左至右依次为对不同的体模添加金属插入物的结果和采用直接Radon反变换方法重构CT图像。(a)体模为CIRS;(b)体模为COPD;(c)体模为Catphan 700Fig.6 Tomographic image based on Radon inverse transform method.From left to right,each row shows the results of adding metal implants to different phantoms and reconstructing CT images using the direct Radon inverse transform method. (a)The phantom is CIRS;(b)The phantom is COPD;(c)The phantom is Catphan 700

图7 像素预测网络的训练过程Fig.7 The training process of pixel prediction network

更进一步,本研究通过结构相似性(SSIM)评估采用像素预测方法前后得到的重构图像与原始层析图像间的相似程度,如图8所示,其中,橙色表示未使用像素预测方法,绿色表示使用了像素预测方法。可见,利用像素预测的方法对正弦图进行修补后,重构出的层析图像与原始图像的相似度较高,远高于未使用图像预测方法修补的正弦图重构出来的图像。这表明像素预测方法对于存在信息缺失的层析正弦图像的修补取得了良好的效果。

图8 重构图像与原始图像间的相似度Fig.8 Similarity between the reconstructed image and the original image

4 结论

针对光子层析过程中金属介质对光子射线吸收效应较大的问题,为提高成像品质,本研究提出了一种全新的层析重构方法。从光子层析的视觉特征出发,通过对层析投影开展像素预测,构建了基于金属遮挡物周边信息的编码器,以生成受遮挡区域的结构。同时,将基于编码器的像素预测过程集成到GAN网络中,利用生成对抗的方式开展网络训练。仿真实验表明,基于像素预测的重构方法可以对金属结构覆盖区域内光子无法透射得到的层析信息进行再次合成,很好地消除由于正弦图像像素缺失造成的重构伪影问题,并且合成结果能够正确反映真实物体的细节部分。