APP下载

基于联邦特征学习的多机型低剂量CT重建算法

2024-03-18陈世宣边兆英马建华

南方医科大学学报 2024年2期
关键词:伪影投影客户端

陈世宣,曾 栋,边兆英,马建华

南方医科大学生物医学工程学院//广州市医用放射成像与检测技术重点实验室,广东 广州510515

X射线计算机断层成像(CT)在临床上的应用日渐广泛,为疾病的早期诊断和治疗提供重要手段[1]。然而,因CT高辐射剂量危害,在CT扫描过程中患者易面临潜在的致癌风险[2]。通过执行低剂量扫描协议可以降低CT扫描过程中的辐射剂量,其中低剂量扫描协议包括降低通过X射线球管的电流、使用稀疏的投影视角扫描以及采用不完全采样角扫描。然而,执行低剂量的扫描协议,会在重建图像中引入额外的伪影,从而导致严重的图像质量退化,如low-mAs协议下较大的噪声伪影[3],稀疏的投影视角扫描协议下的条纹伪影[4]和不完全采样角扫描协议下的结构信息丢失[5],进而影响诊断效率。因此,如何在尽可能降低CT辐射剂量的同时保证图像诊断质量,是一个研究热点。

近年来,随着计算能力的提高和深度学习技术迅猛发展,基于深度学习技术的智能重建算法亦被广泛研究。得益于深度学习强劲的处理复杂模型和参数学习能力,在适当的网络拓扑结构下,智能重建算法可以弥补传统迭代重建算法的许多不足,有望实现图像质量和辐射剂量之间的平衡。基于深度学习技术的智能重建算法进一步可分为:基于数据驱动的智能重建算法和基于数据-模型耦合驱动的智能重建算法。具体地,基于数据驱动的智能重建算法[6-11]主要采用大量数据训练智能重建网络,比如Zhu等[6]提出基于数据流形的CT图像智能重建算法(简称AUTOMAP),使用多个完全连接层模拟从探测数据域到图像域的流形映射,实现端到端CT图像重建;He等[7]提出的基于Radon反演框架的CT图像智能重建算法(简称iRadonMAP),使用深度学习网络模块化Radon 反演过程,实现低剂量CT 优质重建;Kang等[8]提出的基于小波变换框架的CT图像智能重建算法,基于定向小波变换提取伪影的分量,并利用波段内和波段间的相关性有效去除低剂量CT图像噪声;Wang等[9]提出的基于迭代框架的CT图像智能重建算法,通过估计并迭代消除噪声中的高频细节,并通过常规网络处理低频细节以大幅度提升CT图像质量;基于数据-模型耦合驱动的智能重建算法通常将迭代重建算法优化框架与深度学习网络框架结合起来[12-15],比如He等[12]提出的基于交替方向乘子法(ADMM)优化算法框架的CT图像智能重建算法,可自适应学习模型参数并重建优质图像;Adker等[13]提出的基于Bayesian优化算法框架的CT图像智能重建算法,通过使用新损失函数训练带微型判别器的WGAN以大幅度抑制图像噪声伪影。Li等[14]提出采用高斯混合模型缓解不同CT扫描协议对深度重建造成的扰动。

这些基于深度学习的方法取得了优异的性能,代表了CT重建算法的发展趋势。然而,深度学习重建网络模型需要基于特定的CT数据构建,如在特定的机型成像几何及扫描协议下扫描获取的CT数据。而不同CT机型获取的数据异质性显著,原因在于:不同CT机型核心关键硬件(如球管,探测器,准直器等)性能差异;不同扫描协议下获取的数据噪声分布差异;不同解剖结构表征差异。这些局限性因素导致网络模型的泛化能力较差,在这种情况下,将模型迁移至新机型成像几何与扫描协议的数据下时,需要额外训练,这增加了时间和算力成本。针对该不足,Xia等[16]提出一种成像几何参数依赖的智能重建算法,增强了深度学习网络模型对多种成像几何CT数据重建的重建性能。然而,需要指出的是,大量的CT数据通常属于多个机构,这些数据的收集过程通常涉及隐私保护问题,从而导致数据无法自由获取,特别是双域重建算法,针对机型成像几何特异性,难以同时适用不同机型的图像重建。受到这些问题的限制,仅在单个端点的局部数据上训练出鲁棒有效的模型难度较大。

联邦学习(FL)是一种多端点协作训练框架,旨在保护跨端点的数据隐私,并允许模型从多源数据中学习信息,从而进一步提高深度学习模型的性能[17,18]。联邦学习框架可以解决医学成像中涉及的隐私保护问题[19]。但是基于联邦学习框架构建的多端点协作CT重建算法,仍然是一个有待填补的空缺。因此,受本研究团队先前工作的启发,本文提出了一种基于联邦特征学习的多机型低剂量CT重建算法(FedCT),该重建算法的特征在于:(1)是一种端到端的智能重建算法,在每个局部客户端中,基于数据-解析模型耦合驱动的Radon反演智能重建模型将投影数据重建为图像数据[7];(2)投影域特异性学习,在每一轮联邦训练中,FedCT只对图像域的网络模型参数进行聚合,而保留投影域的网络模型参数作为局部特异性部分;(3)构建特征泛化网络,每个局部客户端根据局部数据特征生成条件特征向量,并在局部的训练的过程中作为输入以优化网络模型,提升全局网络模型的泛化性。

1 资料和方法

1.1 数据-解析模型耦合驱动的Radon反变换智能重建模型[7]

在平行束CT重建中,对于任意二维物体f(u,v)的Radon变换可表示为[20]:

其中,pθ(s)表示物体在图像空间中点(u,v)处的衰减值投影,s为探测器单元的位置,φ是投影角度,δ(·)是狄拉克函数。将该范式离散化可表示为:

在这里p∈RN·M表示离散化的投影数据,N表示探测器单元数,M表示投影角数,μ∈RJ表示待重建目标,J为待重建的像素个数,A∈RN·M×J为投影矩阵。那么离散化的Radon反变换重建可以写为:

其中(AT A)-1对应于滤波反投影重建算法的滤波过程,AT则是反投影矩阵。此外,为了增强CT重建图像的质量,通常会进一步地对重建图像进行后处理[20]。

以上重建过程可以通过数据-解析模型耦合驱动的Radon 反变换近似(iRadonMAP)。通常情况下,iRadonMAP中首先设置有一个投影域的神经网络,用于对待重建的投影数据进行滤波:

其中(i,j)表示空间点的坐标,φm表示第m个投影向量对应的旋转角度,INT表示最近邻插值。将式(5)以反投影算子R-1简化表示,那么包含图像后处理的iRadonMAP重建可以表示为:

图1 本文提出的FedCT总体框架示意图Fig.1 Schematic framework of the proposed FedCT.

其中,μ*是正常剂量CT图像。在诸如有限角度和稀疏角度的扫描协议下,配对的正常剂量投影数据亦是可获取的,因此,可以进一步的引入投影域损失以约束投影域的网络参数,此时优化目标可以改写为:

其中,p*是正常剂量扫描协议下的投影数据。

1.2 联邦学习

联邦学习框架下的协作训练通常由数个客户端和一个中心服务器完成。在经典的联邦学习算法FedAvg[18]中,每个客户端中的局部网络模型在执行一定次数的迭代优化后,将网络模型参数上传到中心服务器进行聚合:

其中t∈T为训练轮次,tθ为第t轮的训练时的网络模型参数,K为参与联邦学习的客户端数,nk为局部客户端的数据量,n=为总数据量。在接收并聚合来自各个局部客户端的网络模型参数后,中心服务器会将聚合后的网络模型参数分发给所有的局部客户端作为新一轮训练的网络模型参数,因此,在FedAvg算法中,优化目标可以写为:

其中Dk为局部数据分布,Lk为局部损失函数。

1.3 基于联邦特征学习的多机型低剂量CT重建算法

1.3.1 特征泛化网络 多个客户端的数据由于机型成像几何、扫描协议的不同,彼此间具有强异质性。为了缓解联邦学习过程中,因为这种异质性导致的网络模型邻域漂移[21,22]问题,本文为iRadonMAP额外构建了一个特征泛化网络,通过编码局部机型成像几何和扫描协议在图像域的扰动,对齐不同客户端的数据特征分布,以提升网络模型的全局泛化能力。具体的,每个客户端根据局部CT机型成像几何和扫描协议生成一个条件特征向量ρ,其定义如下:

其中g表示CT成像几何参数[16],G表示CT扫描协议,A为解剖部位指示参数,关于g、G、A的详细设置见表2。如图2所示,在FedCT框架下,iRadonMAP中设置有一个特征泛化网络[23],这个特征泛化网络在训练的过程中,将客户端生成的特征参数向量ρ作为输入,并将其编码为高维向量:

图2 FedCT框架下,客户端构建的局部网络模型结构示意图,中心服务器仅聚合绿色框内的模型参数Fig.2 Schematic architecture of the local model constructed for the client in the FedCT framework,with the central server aggregating only the model parameters in the green box.

其中θC表示特征泛化网络的参数,υ1,υ2为维数与网络通道数相等的高维向量,之后,高维向量被馈入iRadonMAP的图像域网络,并以线性的方式对网络的高维特征图进行调制[24],以对齐局部特征分布:

其中f是网络中间层的特征图,是经特征泛化网络调制后的特征图。

1.3.2 投影域特异性学习 在CT成像过程中,不同机型成像几何下扫描的投影数据具有较大的异质性,其最直接的体现是,当投影角度和探测器单元数发生变化时,投影数据的大小尺寸也会发生变化,此外,表2中其他参数和扫描协议的变化所引起的扰动难以在投影数据中直接观察到。考虑到这些因素,采用通用的投影域网络对所有客户端的投影数据进行近似滤波是不合适的。因此,本文提出了投影域特异性学习策略。如图1所示,在协作学习过程中,每个局部客户端的投影域网络被设置为特异性保留部分(红色部分),图像域网络连同1.3.1 节所述的特征泛化网络被设置为共享部分(绿色部分),在每轮学习训练中,局部客户端在执行设定数量的局部迭代优化后,仅将图像域网络和特征泛化网络的参数上传至中心服务器进行聚合,而中心服务器则不会访问局部客户端投影域网络的任何参数,在这种策略下,参数聚合可以写为:

因为CT重建网络模型的训练是项耗时耗费计算资源的工作,每轮训练中在对将所有的局部客户端的数据输入网络模型执行迭代优化是非常困难的,本文将nk优化为在每轮训练中局部执行的迭代优化次数,则为总迭代次数。结合1.31节所提出的特征泛化网络,投影域特异性学习策略下的FedCT框架的总优化目标可以写为:

其中λk为投影损失控制参数,在有配对投影数据时为1,否则为0。基于特征泛化网络和投影特异性学习策略,我们在表1中给出了FedCT框架下构建重建模型的完整流程。

表1 FedCT框架下重建模型构建流程Tab.3 Workflow of the reconstruction model under FedCT framework

1.4 实验数据

1.4.1 数据集构建 为验证所提出FedCT方法在多端点协作学习的重建性能,本文基于来自5家医疗机构的不同机型不同扫描协议的CT数据进行实验。其中数据集#1来自地方附属医院#1的30例病人的脑灌注数据,采集设备为GE Discovery CT 750 HD,管电流设置为100 mAs,管电压设置为80 kVp,层厚为5 mm,共19 694层数据;数据集#2来自地方附属医院#2的616次胸部扫描数据,采集设备为Philips MX 16-slice Brilliance CT,管电流设置为220 mAs,管电压设置为120 kVp,层厚为5 mm,共30 226层数据;数据集#3来自地方附属医院#3的29 例病人的胸腹部扫描数据,采集设备为GE LightSpeed16,管电流设置为280 mAs,管电压设置为140 kVp,层厚为5 mm,共23 237层数据;数据集#4来自地方附属医院#4的39例病人的腹部扫描数据,采集设备为SIEMENS Emotion 16,管电流设置为240 mAs,管电压设置为110 kVp,层厚为5 mm,共18 398层数据;数据集#5来自当地医学影像中心对人体密度模型的3次胸部扫描数据,采集设备为GE Discovery CT 750 HD,管电流设置为400 mAs,管电压设置为120 kVp,层厚为0.625、1.25、2.5 mm,共8778层数据。所有病人均签订了临床研究知情协议。

1.4.2 数据仿真 本文基于Astra工具包[25]仿真获取不同机型成像几何及扫描协议下的投影数据,并通过在模拟的投影数据中加入泊松噪声模拟量子噪声[26]进行模拟不同光子量下的低管电流协议下的低剂量数据、通过对投影数据进行等距采样模拟稀疏角度协议下的低剂量数据以及通过降低仿真扫描角模拟有限角度协议下的低剂量数据。为了验证FedCT不同情形下的泛化能力,本文设置两种实验条件,在每种实验条件下设置3个客户端:(1)对数据集#1、2、3进行低管电流协议下的仿真,并设置了不同的光子量以模拟多种剂量情形,该实验条件旨在验证FedCT在不同机型成像几何情况下的泛化能力;(2)对数据集#4、3、5分别进行低管电流协议、稀疏角度协议以及有限角度协议的模拟,实验条件(2)是在实验条件(1)的基础上,进一步地验证FedCT在不同机型及不同扫描协议下的泛化能力。表2详细给出了每组数据集的仿真参数。

表2 各个局部数据集的实验仿真参数Tab.3 Experimental simulation parameters for each localized dataset

1.5 网络结构

FedCT的局部网络模型基于iRadonMAP构建,并对其进行了适应性改动。

1.5.1 投影域网络 如图2红色框内所示,投影域网络的前端由两个包含归一化层和激活函数层的卷积块构成,卷积核大小为1×3,这两个卷积块沿角度方向从输入的投影数据中提取高维特征,之后是两个由通道注意卷积残差块[27]构成的滤波单元,卷积核大小同样为1×3,这两个残差块近似了传统重建中的滤波操作,最后两个卷积块则将滤波后高维度的特征图合并回单通道的投影数据以馈入反投影层,执行反投影操作。

1.5.2 图像域网络 如图2绿色框下方所示,图像域网络前端的是两个与投影域网络类似的卷积块,卷积核大小为3×3,从经反投影层转换后的图像域数据提取空间域特征,之后是4个由空间注意力卷积残差块构成的图像增强单元[28],卷积核大小为3×3,这4个增强单元在空间域进一步恢复并细化丢失的空间结构信息,每个单元输出的高维特征图均被馈入特征泛化网络,经调制后再输入下一个增强单元。网络的最后是两个卷积块将特征图合并为最终的重建图像。

1.5.3 特征泛化网络 如图2灰色框内所示,特征泛化网络由8个共享参数的全连接层将条件特征向量映射至与图像增强单元输出的特征图相同通道,并在每个图像增强单元之后,根据公式13调制特征图,增强网络模型在多源数据下的泛化性。

1.6 实验设置

在本项工作中,实验条件(1)下,所有客户端的λk均设置为0,即各个局部客户端都没有配对的投影数据,局部迭代次数均设置为100,学习轮次设置为100,初始学习率设置为1×10-3,每10个轮次学习率递减1/2。实验条件(2)下,在数据集#4、3、5对应的客户端中,λk设置为0、1、1,并且基于数据2仿真的投影数据(即稀疏角度数据)在输入重建网络模型前会执行双线性插值操作,以升采样至正常投影数据尺寸。局部迭代次数均设置为10,学习轮次设置为1000,学习率固定为2×10-5。所有的网络模型是基于pytorch框架[29]构建,均由Adam优化器优化,批处理参数设置为1,使用4块拥有48G内存的NVIDIARTXA6000图像处理单元(GPU)训练。

1.7 评估指标

为了定量评价所提出算法的性能,本文使用峰值信噪比(PSNR),结构相似性指数(SSIM)和均方根误差(RMSE)对重建图像进行定量分析。其中PSNR 常用于测量最大信号和背景噪声强度的比值,PSNR 值越大,表示重建的图像失真越小,图像中噪声去除效果越明显。SSIM基于亮度,对比度,结构对噪声图像和真值图像进行相似性度量,SSIM越接近于1,表示重建图像与真值相似度更高。RMSE则是衡量重建图像与真值的偏差程度,RMSE越小,重建图像的偏差越小。

1.8 对比方法

为了验证所提出的FedCT 的性能,本文将传统的滤波反投影方法(FBP),在局部单源数据集下训练的基线iRadonMAP,以及3 种经典的联邦学习算法:FedAvg[18],通过在局部模型增加近端项缓解域偏移的FedProx[30],和在局部进行批归一化保持局部特异的FedBN[31]。所有联邦学习算法的局部客户端采用与FedCT相同的网络结构,所有的实验设置均保持一致。

2 结果

2.1 实验条件(1):多机型几何重建结果分析

图3给出了实验条件(1)下,FedCT和比较方法在3个客户端数据测试集下的重建结果,并在每个结果的右下角给出了感兴趣区域的局部放大图像(具体位置由真值图像的红框处标出),以及在右上角给出了重建结果与真值图像计算的图像评估指标。客户端#1-3的重建结果显示窗分别为:[-100,150],[-200,200],[-200,200],其对应的感兴趣区域的放大图像的显示窗分别为:[-30,110],[-150,150],[-150,150]。如图3第2列FBP的重建结果所示,由于剂量的降低,FBP的重建结果相比起真值图像,出现了不同程度的噪声伪影,这些伪影覆盖了部分结构细节,严重影响了整体观感。在各对比方法中,作为基线模型的iRadonMAP是基于局部客户端数据构建的,因此,在对应的测试集上具有很好地拟合能力,如图3 第3 列的重建结果所示,局部构建的iRadonMAP能够去除大部分的噪声,恢复一定的结构细节,并且获得了较好的评估指标。图3第4至第6列展示了作为比较的3种联邦学习方法的重建结果,可以观察到,在FedAvg和FedBN重建结果中红色箭头所指示的地方,出现了额外的重建伪影,并且FedAvg的重建结果出现了明显的CT值偏移现象,如图3最后1列所示,FedCT在不同成像几何数据下均有很好的拟合能力,其重建结果中未出现其他联邦学习方法的重建结果中所出现的额外伪影或CT值偏移等性能退化现象,能够很好地去除掉因低剂量产生的噪声伪影,并准确地复原出丢失的结构细节信息。

图3 FedCT及各比较方法在实验条件(1)下的结果Fig.3 Reconstruction results by FedCT and each comparison method under experimental condition (1).Rows 1,2,and 3 show the reconstruction results of each method on Client#1,#2,and#3,respectively.The bottom right shows the region of interest(ROI)marked by the red square on the reference image.The top left displays the evaluation metrics of the reconstruction results.

在表3中给出了在实验条件(1)下各方法在测试集上的图像评估指标,可以看到,FedCT在所有对比联邦学习方法中,获得了最高的PSNR(43.8646、36.0195、38.6092,高于次优的联邦学习方法+2.8048、+2.7301、+2.7263)、最高的SSIM指标(0.9814、0.9268、0.9653,高于次优的联邦学习方法+0.0009、+0.0165、+0.0131)以及最低的RMSE指标(1.6815、4.2177,3.4218,低于次优的对比联邦学习方法-0.6687、-1.5956、-0.9962)。在局部数据集上,FedCT取得的定量指标能够逼近并部分优于基于局部数据构建的局部模型所获得的指标(FedCT相对局部模型的PSNR指标:-1.1189、+0.3758、+1.9631,SSIM 指标:-0.0044、+0.0030、+0.0011,RMSE 指标:+0.2232、-0.1736、-0.6944)。

表3 实验条件(1)中不同方法在各个客户端测试集的PSNR,SSIM和RMSE定量评估结果Tab.3 Quantitative metrics results for PSNR,SSIM and RMSE in experimental condition(1)for each Client

图4给出了各方法在图3真值图像处由红色线标注突变区域的剖线图。剖线图结果显示,FedCT相较于对比联邦学习方法,提供了更精确的重建结果,并与基于局部数据构建的iRadonMAP拟合程度相当。

图4 各方法在图3真值图像处由红色线标注突变区域的剖线图Fig.4 Profiles of each method at the Truth image of Fig.3 with mutated regions labeled by the red lines.(A),(B),and(C)are the results for Clients#1,#2,#3,respectively.

2.2 实验条件(2):多协议重建结果分析

图5给出了实验条件(2)下,FedCT和比较方法在3个客户端测试集下的重建结果,并在每个结果的右下角给出了感兴趣区域的局部放大图像(具体位置由真值图像的红框处标出),以及在右上角给出了重建结果与真值图像计算的评估指标。客户端#1-3的结果的重建显示窗分别为:[-200,200],[-200,200],[-1000,500],其对应的感兴趣区域的放大图像的显示窗分别为:[-150,150],[-150,150],[-1000,500]。图5的第1行客户端#1对应的是超低剂量扫描协议下的重建结果,与实验条件(1)下的情形类似,对于因低光子量引起的噪声伪影,传统FBP算法的重建结果中有非常严重的噪声,丢失了大量结构细节,基于低剂量数据训练iRadonMAP可以去除大部分的噪声,提升重建图像质量,三种对比联邦学习方法虽然能去除一定的噪声,但是也在重建结果中引入了额外的重建伪影和CT值偏移,从而导致观感不佳。FedCT则能去除大部分的噪声伪影,并没有出现其他联邦学习方法因数据异质性引起的重建质量退化现象。图5第2行客户端#2对应的是稀疏角度扫描协议下的重建结果。因为采样不足,传统FBP算法的重建结果中出现了较多的放射状条形伪影。基于稀疏角度协议数据训练的iRadonMAP能够去除一定的条形伪影,但其重建结果在边缘处仍然残留有一些伪影。3种对比联邦学习方法的重建结果中有明显的条形伪影残留,并且如红色箭头处所示,FedAvg及FedBN的重建结果中引入了严重的环形伪影,导致图像质量大幅下降,FedCT的重建结果中没有出现任何额外重建伪影,并且去除了绝大部分的条形伪影,拥有良好的视觉观感。图5第3行客户端#3对应的是有限角度扫描协议下的重建结果。在不完全的采样角下,FBP算法的重建结果出现严重的结构缺失和形状畸变。基于有限角度协议数据构建的iRadonMAP具有良好的结构恢复能力,并复原出部分缺失的信息。3种对比联邦学习则没有很好的结构恢复能力,其重建结果仍然存在结构缺失和形状畸变。FedCT则能恢复完整的缺失结构,并复原出一定的丢失信息。本文在参考图像中选取了一个30×30像素的感兴趣区域,并绘制了其法向量图[12]以进一步地展示FedCT的结构恢复能力。综合以上结果可以看出,在实验条件(2)中,FedCT展现出了良好的泛化性和局部特异性,能够很好地提升在不同扫描协议的低剂量数据下的重建性能(图6)。

图5 FedCT及各比较方法在实验条件(2)下的结果Fig.5 Reconstruction results by FedCT and each comparison method under experimental condition (2).Rows 1,2,and 3 show the reconstruction results of each method on Client#1,#2,and#3,respectively.The bottom right shows the region of interest(ROI)marked by the red square on the reference image,and the top left displays the evaluation metrics of the reconstruction results.

图6 FedCT及各比较方法在实验条件(2)的客户端#3下(即有限角度协议)的重建结果Fig.6 Reconstruction results of FedCT and each of the comparison methods under Cient #3 (limited-angle protocol) of experimental condition(2).A 30×30 pixel region is selected in the reconstruction results and the corresponding normal vector flow(NVF)is plotted below the reconstruction results(the closer the NVF is to the reference,the better is the reconstruction performance).

2.3 消融实验

所有消融实验的训练和测试都是在实验条件(1)下完成的,与表3共用一个测试集。图7给出了FedCT及对照网络模型在实验条件(1)测试集上PSNR和RMSE的箱线图,其对应的下四分位数(Q1)、上四分位数(Q3)以及四分位距(IQR)于表4给出。可以看到,FedAvg-Proj在测试集上的评估指标要劣于另外两种对照版本的FedAvg,有着更低的信噪比和更高的重建误差,在客户端#2和客户端#3中则更为明显,FedAvg-Img在测试集上的PSNR指标的Q1平均提升1.18,RMSE指标的Q3 平均降低1.36。FedCT 则相较各对照版本的FedAvg,在测试集上的PSNR 指标的Q1 进一步提升3.56,RMSE指标的Q3进一步降低1.80。

表4 图7箱线图对应的下四分位数(Q1)、上四分位数(Q3)以及四分位距(IQR)Tab.3 Lower quartile(Q1),upper quartile(Q3),and interquartile range(IQR)corresponding to the boxchart in Fig.7

图7 FedCT及对照版本的FedAvg在实验条件(1)测试集上PSNR和RMSE指标的箱线图Fig.7 Boxchart of PSNR and RMSE for FedCT and the comparative versions of FedAvg on the experimental condition (1).A higher PSNR along with lower RMSE indicates better reconstruction performance.

3 讨论

CT智能重建网络模型通常是基于单站点的特定机型成像几何及扫描协议的CT数据构建的,这难以训练出鲁棒有效的且具有强泛化性的模型。同时,获取多个站点间的大量数据涉及的数据传输困难及隐私泄露问题是当今医学影像领域智能化的共同挑战。联邦学习作为一种仅共享模型参数的协作学习框架,为该问题提供了很好的解决思路。然而由于多个站点间不同的CT机型成像几何及扫描协议引起的数据异质性,会导致CT重建模型在全局数据上的表现不佳,降低协作学习的泛化性。针对该项问题,为了提供一种适用于联邦学习的CT智能重建框架,本文提出一种基于联邦特征学习的跨机型及扫描协议的低剂量CT 智能重建框架FedCT,该框架以数据-解析模型耦合驱动的Radon反变换智能重建模型作为局部模型,采用了投影域特异性学习策略,在局部投影域保留成像几何特异性,并使用条件特征向量标记局部数据并馈入网络进行编码以在图像域提升模型的泛化性。

本文从多机型成像几何和多扫描协议两个方面设计实验验证方法的有效性。多机型几何重建实验结果中,对比联邦学习方法出现了模型性能退化的现象,其主要原因是投影域网络对不同成像几何下的投影数据的泛化性差,造成较大的重建误差导致的,故一般联邦学习算法中直接将所有的网络模型参数上传的聚合方式,对于双域CT重建网络模型是不适用的。消融实验中,对照版本的严重性能退化也表明,在双域CT重建模型中,共享投影域参数,会增大模型的重建误差。在多协议重建实验结果中,对比联邦方法在不同的低剂量扫描协议数据下,不能很好地去除伪影以及恢复丢失的结构,原因在于稀疏角度协议及有限角度协议下采集的投影数据相比起其他协议采集的投影数据,具有更稀疏的衰减值信息,因此投影域具有更强的数据异质性,将投影域网络参数进行聚合,会放大网络重建误差,从而导致灾难性的重建质量退化。FedCT在跨站点的CT协作学习任务中具有非常好的泛化性和鲁棒性,其在机型多成像几何及扫描协议的条件下,在各个局部客户端均获得了良好的视觉及定量评估结果,并且FedCT能够通过对条件特征向量编码以对齐多个站点的CT数据间的图像域特征,其在全局数据基础上构建的重建模型在部分站点上的性能要优于基于局部数据构建的重建模型。综上所述,FedCT为协作构建CT智能重建模型提供了有效解决方案,能够在保护数据隐私的基础上,增强模型泛化性,进一步地提升模型在全局数据上的重建性能。未来的工作将基于FedCT框架,引入更多模态的医学影像数据,以期开发一种更通用的医学影像智能模型协作学习框架。

猜你喜欢

伪影投影客户端
解变分不等式的一种二次投影算法
基于最大相关熵的簇稀疏仿射投影算法
找投影
找投影
核磁共振临床应用中常见伪影分析及应对措施
基于MR衰减校正出现的PET/MR常见伪影类型
县级台在突发事件报道中如何应用手机客户端
孵化垂直频道:新闻客户端新策略
基于Vanconnect的智能家居瘦客户端的设计与实现
减少头部运动伪影及磁敏感伪影的propller技术应用价值评价