基于循环生成对抗网络的鼻咽癌CBCT图像修正

全科润，程品晶，陈榕钦，柏朋刚，陈济鸿，黄妙云，陈彦宇，洪加标

1.南华大学核科学技术学院，湖南衡阳421001；2.福建省肿瘤医院放疗科，福建福州350014；3.福建医科大学附属协和医院放疗科，福建福州350001

前言

放射治疗是鼻咽癌的主要治疗方式，治疗过程往往持续数周。随着治疗分次的增加，患者肿瘤及周围组织的解剖结构和剂量分布将发生变化，若继续采取原放疗计划方案进行照射，可能造成靶区剂量分布改变，并带来严重的放疗并发症，影响放疗精确性［1-2］。自适应放疗（Adaptive Radiation Therapy,ART）通过在某次治疗过程中获取新的引导影像分析分次放疗与原放疗计划之间的差异，指导并调整后续分次放疗计划，是未来放射治疗发展的趋势［3］。锥形束CT（Cone-beam Computed Tomography,CBCT）能采集患者治疗期间内的解剖信息，广泛应用于图像引导的放射治疗。但由于伪影及重建技术的限制，对于具有相同电子密度的材料，CBCT图像和CT图像的CT值（Hounsfield Unit,HU）有较大偏差，因此未经HU值修正的CBCT图像不能直接用于剂量计算，这限制了其在ART中的应用潜力［4］。CBCT图像HU值的传统校准方法主要有基于模体的电子密度曲线刻度方法［5］、基于特定患者的方法［6］及基于体素形变配准的方法［7］等。近年来，深度神经网络在图像处理领域取得巨大突破，尤其是生成对抗网络（Generative Adversarial Network,GAN），现已广泛用于图像风格迁移［8］。在医学图像处理领域中，GAN广泛用于从MRI图像迁移生成伪CT（Synthesized CT,sCT）图像，这说明GAN可能是医学图像转换的潜在工具［9-10］。本研究拟使用循环生成对抗网络（Cycle-consistent Generative Adversarial Network,CycleGAN）深度学习算法［11］对鼻咽癌CBCT图像进行迁移，生成sCT图像，对比sCT图像与计划CT（Planning CT,pCT）图像的HU值及平滑性，从而探讨该算法应用于鼻咽癌CBCT图像HU值修正的应用价值。

1 材料与方法

1.1 数据获取及预处理

所有CT图像及CBCT图像来自2019年10月～2020年2月在福建省肿瘤医院接受放射治疗的39例鼻咽癌患者。CT图像采集于PHILIPS Brilliance Big Bore，球管电压设置为120 kV，X射线管电流为225 mA，切片尺寸为512×512；CBCT图像采集于Elekta XVI，球管电压为120 kV，X射线管电流为25 mA，图像体素分辨率为（1×1×1）mm3，切片尺寸为410×410。CBCT图像均在患者首次治疗前获得。通过开源软件Elatix，选择刚性配准算法对CT图像和CBCT图像进行配准，以CBCT图像为基准，将CT图像重采样到CBCT图像体素及尺寸大小，将所得的重采样pCT图像作为本研究图像评价的金标准。为避免头枕、治疗床等非解剖结构对训练产生影响，基于阈值分割及形态学处理方法创建外轮廓的二进制掩膜，将掩膜外的区域体素值设置为-1 000 HU。将待训练图像的HU范围裁剪至［-1 000,2 000］。由于计算机GPU显存的限制，本研究采用的是二维CycleGAN模型。在输入模型之前，pCT与CBCT均从图像中心裁剪至256×256尺寸大小且CT值均归一化到［-1,1］之间。选择30例患者为训练集，每位患者取70张切片，共包含2 100张pCT图像和CBCT图像；其余9例为测试集，共有630张pCT图像和CBCT图像。

1.2 CycleGAN算法模型

传统的GAN依赖于生成器与鉴别器的互相博弈学习产生较好的输出结果。本研究采用的CycleGAN模型相比较于传统GAN增加了逆向循环GAN，双重约束模型以提高输出图像的准确性。

如图1所示，该模型由两个生成器与两个判别器组成。在前向循环中，CBCT通过生成器GpCT生成类pCT域的sCT图像，再通过GCBCT重构回类CBCT域的循环CBCT（Cycle Cone-Beam Computed Tomography,CCBCT）图像。同理，逆向循环中，pCT通过GCBCT生成伪CBCT（Synthesized Cone-Beam Computed Tomography,SCBCT）图像，并通过GpCT重构生成循环CT（Cycle Computed Tomography,CCT）图像。判别器DpCT和DCBCT用于判别输入图像是否为真实域图像，确保图像的迁移。训练过程中，生成器的目标是尽可能生成对方领域的图像以欺骗各自相对应的判别器。判别器的目标是提高鉴别能力，减少分辨误差。随着生成器与鉴别器不断对抗优化，最终达到动态平衡。CycleGAN损失函数分为对抗损失和循环一致性损失，计算公式如下：

式（1）、式（2）为对抗损失函数。其中，EpCT[(1-DpCT(pCT))2]是pCT输入判别器DpCT之后所得实际判别值与理想值之间均方误差的期望值，ECBCT[(DpCT(GpCT(CBCT)))2]是CBCT输入生成器GpCT得到sCT之后再输入判别器DpCT所得的实际判别值与理想值之间均方误差的期望值。ECBCT[(1-DCBCT(CBCT))2]、EpCT[DCBCT(GCBCT(pCT))2]同理。

式（3）、式（4）为循环一致性损失函数。ECBCT[||CBCT-GCBCT(GpCT(CBCT))||1]是CBCT输入GpCT得到sCT之后再输入生成器GCBCT所得CCBCT与输入CBCT之间平均绝对误差的期望值。EpCT[||pCT-GpCT(GCBCT(pCT))||1]同理。

在整个训练期间，通过总目标函数Lcyclegan并行优化生成器与判别器。

式（5）中λ为循环一致性损失与对抗性损失的权重比，用来调节最终生成数据之间的相关性。

图1 CycleGAN模型Fig.1 Illustration of cycle-consistent generative adversarial network(CycleGAN)

1.3 网络结构及参数设计

生成器G由编码层、转换层和解码层组成。输入图像经过编码层以减少特征图大小，再经过9层ResNet［12］残差模块转换为目标域的特征向量，最后经过解码层得到合成图像，实现端到端迁移。判别器D为一个二分类网络，输出在［0,1］之间。所有网络均在Tensorflow框架下实现，λ设置为10，采用Adam算法进行优化［13］，取一阶矩衰减系数β1=0.5，二阶矩衰减系数β2=0.5，batchsize=2，epoch=100，初始学习率为0.000 2，在20个epoch后学习率线性衰减。

1.4 HU值评估

使用平均绝对误差（Mean Absolute Error,MAE）和平均误差（Mean Error,ME）比较测试集sCT、CBCT与pCT之间的差异。计算公式如下：

其中，f(i,j)为掩膜内pCT图像(i,j)处的像素值；t(i,j)为待比对图像(i,j)处的像素值；nxny为像素总数。

2 结果

2.1 MAE和ME评估

9例测试集的CBCT图像与pCT图像以及sCT图像与pCT图像之间的MAE与ME见图2。在体内区域（CT值分布在-1 000-2 000 HU），sCT图像与pCT图像的MAE为（99.00±15.37）HU，ME为（-24.00±12.64）HU。对软组织区域而言（CT值分布在-100～150 HU），sCT图像与pCT图像的MAE为（48.00±7.45）HU，ME为（-7.00±8.96）HU。

图2 测试集CBCT图像与sCT图像之间的MAE和ME比较Fig.2 Comparison of MAE and ME between CBCT images and sCT images for test datasets

2.2 HU值分布曲线

在测试集中随机选择一位患者，比较sCT图像的HU值分布情况（图3）。在Line a的HU分布曲线中，区域1处sCT图像的MAE为50.6 HU，区域2处为275.3 HU；在Line b的HU分布曲线中，区域1处sCT图像的MAE为9.1 HU，区域2处为132.6 HU。

3 讨论

CBCT技术已广泛应用于图像引导的放射治疗，在整个治疗过程中能准确反映摆位误差及器官解剖结构发生变化的信息，但重建技术及噪声伪影使其与CT图像的HU值存在较大偏差，因此当CBCT图像用于剂量计算时需要对HU值进行修正。

Zhang等［14］通过线性拟合方法得到鼻咽癌扇形束CT图像与CBCT图像的HU值近似函数，并根据放射治疗计划系统中扇形束CT电子密度曲线及该拟合函数，转换后获得修正后的CBCT电子密度曲线，并进行基于CBCT图像的剂量计算。结果表明经修正后的CBCT图像与扇形束CT图像的MAE差异为111.9 HU，在2%/2 mm标准下，Gamma验证通过率分别为97.60%±0.83%和97.74%±2.08%。Barateaua等［15］提出基于GAN的深度学习算法来修正CBCT图像，合成CT图像在整个体表轮廓内的MAE为82 HU，软组织的MAE为69 HU，在2%/2 mm标准下，Gamma验证通过率为98.1%±1.2%，优于HU电子密度刻度方法（91.0%±5.3%）。

本研究探索利用CycleGAN算法对鼻咽癌CBCT图像进行迁移，生成与pCT图像HU值相似的sCT图像，以实现CBCT图像的修正。通过对9例测试集生成的sCT图像HU值进行评估，结果显示通过本方法迁移合成的sCT图像与pCT图像偏差较小。相比于上述CBCT图像修正的相关工作，本方法所迁移的sCT图像的MAE相比线性拟合方法更低（99 HUvs119 HU）［14］，虽在整个体表轮廓内的MAE略高于Barateaua等［15］方法（99 HUvs89 HU），但在软组织区域的修正效果更好（48 HUvs69 HU）。图3区域2可见本文算法迁移误差主要集中在峰值附近区域，这可能是由于训练数据较少，生成器在上采样过程中丢失局部特征等原因造成。由于MAE是逐个像素进行比较，该区域在整个图像所占份额少，绝大部分为软组织区域，因此该区域误差对实际剂量计算的影响较小。除此之外，本算法迁移生成图像在平坦区域处的平滑度与pCT图像相当（如图3Line b中区域1），与Li等［16］基于U-net模型合成CT图像的结果一致。本课题组以往研究结果表明，当CT值差异为68 HU时，靶区剂量学差异为1.5%，脊髓差异为2%左右［17］，因此使用本研究算法迁移生成的sCT图像可应用于剂量计算。

图3 CBCT、pCT及sCT图像的HU值分布比较Fig.3 Comparison of HU profile among CBCT,pCT and sCT images

虽然基于本研究的算法可以较好地修正CBCT图像HU值，但该算法采用的是二维模型，忽略了图像层间信息，如果采用三维模型预期能取得更好的效果［18-19］。其次，由于预处理配准时采用的是刚性配准算法，重采样CT图像与CBCT图像之间存在一定的不确定性偏差，改进配准算法提高配准精度能使sCT更加精确［20］。在未来的研究中本课题组将会优化配准方法及算法模型，并进行基于迁移sCT的剂量学研究，进一步对该算法进行验证。

综上所述，基于CycleGAN模型的深度学习算法能有效修正CBCT图像HU值，迁移生成的sCT图像的HU值及平滑度与CT图像相似，可应用于剂量计算，为CBCT在精确放疗中的应用提供帮助。