基于分段B样条形变配准方法的头颈部伪CT生成研究

陈丽霞，亓孟科，宋婷，卢广文

南方医科大学生物医学工程学院，广东广州 510515

前言

目前，癌症是严重威胁人类健康和生命的疾病，放射治疗是癌症治疗的三大手段之一［1］。鉴于核磁共振成像（MRI）具有优异的软组织对比度，CT 图像中骨头非常清晰明辨，而且包含的电子密度信息可用于放疗剂量计算，传统放疗中肿瘤患者常常需要分别采集MRI 和CT 图像，使用两种图像融合进行靶区和危及器官的勾画，这样不仅会造成医院资源的紧张和效率的降低，还增加了治疗成本，加重患者的经济负担，甚至对患者身体造成辐射伤害［2］。因此，放疗领域提出了仅MRI 放疗方法，就是在放疗的整个流程中，只采集MRI 图像作为靶区勾画和剂量计算的唯一来源图像，通过MRI 图像生成得到合成CT图像，也称为伪CT（sCT），来替代CT 进行勾画和剂量计算［3-5］。该方法不仅能够获得质量较好的软组织对比效果，而且在成像的过程中不产生辐射，有效简化就医过程中的治疗流程，因此，基于MRI 图像的sCT合成方法成为一种新兴的医学图像分析方法。

目前，随着深度学习方法的发展，在很多领域突破了传统机器学习的瓶颈，特别是在医疗影像领域展现了其强大的优势，因为医疗行业的特殊性，所以对医学影像精度要求较高［6］。不同的配准方法对sCT 生成精度存在影响。现在的配准方法一般分为刚性配准和非刚性配准（形变配准），刚性配准主要是针对旋转平移的配准，形变配准主要是针对图像有扭曲之类的配准［7-8］。Han［3］研究发现，采用刚性配准方法进行大脑区域MRI 与CT 图像配准，实现了大脑区域sCT 合成。朱冠菲［4］采用形变配准方法进行大脑区域MRI图像与CT图像配准，基于MRI脑部图像较好地合成了sCT。

由于当前的大部分研究都针对大脑图像或者胸腹部图像，采用刚性配准即可较好地配准MRI及CT图像。但是头颈部图像在颈部常出现变形等，整体的刚性配准无法完美匹配MRI和CT图像，既往研究证明分段的刚性配准在sCT生成中有较高的精度［9］。亓孟科等［10］采用分段的刚性配准方法对头颈部sCT生成进行研究，结果表明分段的刚性配准方法可较好地生成sCT。B样条形变配准是目前应用较广的非刚性变换方法，具有局部控制性好和计算速度快的优点。因此基于分段B样条形变配准方法是否和分段的刚性配准方法一样可以改善头颈部图像的配准精度，从而改善sCT的生成精度，值得深入研究［11-12］。

1 资料与方法

本研究主要探讨分段B 样条形变配准方法在头颈部sCT 生成中的应用，以及对sCT 生成精度的影响，主要分为图像收集、图像预处理（包括图像配准）、模型训练、模型测试和图像质量评价等过程，具体流程如图1所示。

图1 本研究的主要流程图Figure 1 Main flowchart of the study

1.1 图像资料

收集已经进行调强放射治疗的鼻咽癌患者45例，每例计划均包括头颈部T1加权MRI图像和CT 图像。所有患者图像扫描范围均包括胸腔上部至眉骨上界之间区域，每例计划的MRI 图像和CT 图像均要求在同一天内采集，均采用发泡胶和头颈肩网罩进行体位固定。CT 图像分辨率大小为0.98 mm×0.98 mm×3.00 mm，采集矩阵大小512×512。MRI 图像分辨率大小为0.69 mm×0.69 mm×3.00 mm，采集矩阵大小720×720。由于在MRI 图像采集的时候佩戴的耳机造成了耳朵的变形，配准的时候无法将MRI 和CT图像的耳朵对齐，因此去除掉耳朵轮廓，以及背景图像（包括治疗床、面罩等）对配准方法的影响。

1.2 配准方法

使用3D Slicer 4.10.2软件对图像进行配准，配准时固定CT 图像，移动MRI图像［13］。使用Slicer RT 模块的B样条进行B样条配准，使用多模态图像刚性配准（6DOF）进行刚性配准。分段配准是指将MRI 图像的脖子下巴部分作为分界线，分为上段和下段（图2），为防止图像拼接边缘较差，拼接的图像重叠3张，再将分段后的图像进行拼接。最终得到分段B 样条形变配准、整体B 样条形变配准、分段刚性配准和整体刚性配准4种配准方法的配准图像。

图2 MRI图像的分段分界线Figure 2 Segmented boundary of MRI images

1.3 模型建立

1.3.1 图像预处理在45 例患者计划中，随机选取其中的30 例作为训练集，15 例为测试集。对选取的30例训练集进行水平翻转、垂直翻转和180°旋转3种数据增强方式，增强数据。为保证模型的收敛，需要对训练集、测试集的45例计划的MRI和CT图像值分别归一化到［-1,1］。本文研究考虑到电脑GPU 显存以及数据量大导致计算缓慢等问题，图像配准后统一把MRI和CT图像矩阵大小裁剪为256×256。本研究的所有数据均在GPU NVIDIA GTX 1080Ti（显存11 GB，3 584个CUDA核心）上进行。

1.3.2 sCT 生成条件生成对抗网络（cGAN）是GAN模型的一种，广泛应用于图像生成任务，该网络利用了对抗训练思想，包括生成模型（G）和判别模型（D）两部分［14］。本研究采用Isola 等［15］提出的pix2pix 网络，和cGAN 不同的是pix2pix 生成器的输入没有噪声信息，只有条件信息。在训练过程中，D会接收真数据（图像x）和G产生的假数据（图像y），它的任务是判断图片是属于真数据还是假数据。对于最后输出的结果，可以同时对双方的参数进行调优。如果D判断正确，那就需要调整G的参数从而使得生成的假数据更为逼真；如果D判断错误，则需调节D的参数，避免下次类似判断出错。训练会一直持续到两者进入到一个均衡和谐的状态。生成模型的目的是尽量去学习真实的数据分布，判别模型的目的是尽量判别输出数据的真伪，利用生成模型和判别模型之间的对抗训练，使得生成模型输出较为准确的图像。pix2pix模型生成器和判别器工作原理如图3所示。

图3 pix2pix模型生成器和判别器工作原理图Figure 3 Working principle diagrams of pix2pix model generator and discriminator

本研究采用的损失函数为cGAN＋λL1，经过试验测试λ设置为150，batch 大小设置为8，迭代次数设置为50［16］。损失函数G*的计算公式如下：

其中，G表示生成模型，D表示判别模型；x、y、z分别表示输入图像、生成图像和随机噪声；LcGAN(G,D)是指原cGAN 损失函数，LL1(G)是指L1距离，用来约束生成图像和真实图像之间的差异。

1.4 评价指标

使用Dice 相似性系数（DSC）对配准后的MRI 和CT 图像进行相似性评价，该值为0～1，数值越大表示图像的相似度越高，精度越高。DSC公式如下所示：

其中，A表示配准后的MRI图像，B表示CT图像。

使用平均绝对误差（MAE）、结构相似性系数（SSIM）和峰值信噪比（PSNR）评价预测的sCT 和真实CT的图像质量，MAE表示预测值和观测值之间绝对误差的平均值，值越小表示偏差越小；SSIM用来衡量两幅图像的相似度，值越大表示相似度越高；PSNR 是一种评价图像的客观标准，值越大代表失真越少［17］。它们的公式如下：

其中，式（5）中的CTi表示第i个真实CT 值，sCTi表示第i个预测sCT值，N表示图像的个数。式（6）中，C1=(k1,Q)2，k1=0.01；C2=(k2,Q)2，k2=0.03，Q为两种图像灰度值的最大值。μx、μy表示两种图像的均值，δx、δy表示两种图像的标准差，δxy表示两种图像的协方差。式（7）中，MSE为均方误差。

2 结果

2.1 配准后的MRI与真实CT图像的DSC值比较

通过3D Slicer 4.10.2软件得到与CT 图像配准的45例计划的MRI图像（图4），选取软组织作为阈值范围进行图像配准的优劣预判，得到4 种配准方法的DSC 值：整体刚性配准方法为0.911±0.032，分段刚性配准方法为0.919±0.030，整体B 样条形变配准方法为0.916±0.029，分段B样条形变配准方法为0.922±0.031。从数据可以得出，分段B 样条形变配准方法的DSC值最优。

图4 B样条形变配准后的MRI图像Figure 4 MRI images after B-spline deformable registration

2.2 真实CT 与生成sCT 图像的MAE、SSIM 和PSNR值比较

通过模型生成15例测试集的sCT图像，对比sCT与真实CT的图像质量，如图5所示。4种配准方法生成的sCT 图像质量均较好，骨头轮廓基本一致，边缘较清晰，软组织、空气等和真实CT 较吻合，鼻腔部位空气与骨头的分界处以及软组织与骨头的分界处有细微的误差。分段B 样条形变配准方法较其他方法的图像骨头、软组织和脂肪等分界处保留了较多图像细节信息，误差较小。

图5 真实CT图像和4种配准方法生成的sCT图像横截面、矢状面和冠状面对比Figure 5 Comparison of the transversal,sagittal and coronary sections of real CT images and sCT images generated by 4 kinds of registration methods

图像质量评价指标MAE、SSIM 和PSNR 比较的数据如表1所示，根据表1数据可得出，分段配准方法比整体配准方法好，B样条形变配准方法比刚性配准方法好。分段B 样条形变配准方法的MAE 值为（74.783±9.869）HU，SSIM 值为0.839±0.032，PSNR值为（28.859±0.957）dB，分段B样条形变配准方法的MAE 值均小于其他配准方法，SSIM 和PSNR 值均大于其他配准方法，说明分段B样条形变配准方法较其他方法生成的sCT在保证预测偏差较小的同时，保留了较多的图像细节信息。

表1 真实CT与生成sCT图像的MAE、SSIM 和PSNR值比较（±s）Table 1 Comparison of MAE,SSIM and PSNR between real CT images and generated sCT images(Mean±SD)

表1 真实CT与生成sCT图像的MAE、SSIM 和PSNR值比较（±s）Table 1 Comparison of MAE,SSIM and PSNR between real CT images and generated sCT images(Mean±SD)

配准方法整体刚性配准方法分段刚性配准方法整体B样条形变配准方法分段B样条形变配准方法MAE/HU 80.045±10.836 76.368±9.455 78.202±9.824 74.783±9.869 SSIM 0.824±0.028 0.838±0.029 0.825±0.032 0.839±0.032 PSNR/dB 28.408±1.041 28.701±0.910 28.549±1.085 28.859±0.957

2.3 真实CT与生成sCT图像不同组织的MAE值比较

使用阈值法把真实CT和生成sCT划分为不同的组织（骨头、软组织、空气和脂肪）进行MAE 值比较，如图6和表2所示。通过表2可知，空气和骨头组织上的偏差明显高于Body 区域整体偏差，软组织和脂肪区域偏差低于Body区域，说明本课题的模型在CT值梯度变化大的组织上偏差较大，在梯度变化平坦的组织上偏差较小。分段B 样条形变配准方法在骨头、软组织和脂肪区域的MAE值较好，但是在空气区域的MAE值较刚性配准方法稍差。

表2 真实CT与生成sCT图像不同组织的MAE值比较（HU,±s）Table 2 Comparison of MAE of different tissues between real CT images and generated sCT images (HU,Mean±SD)

表2 真实CT与生成sCT图像不同组织的MAE值比较（HU,±s）Table 2 Comparison of MAE of different tissues between real CT images and generated sCT images (HU,Mean±SD)

配准方法整体刚性配准方法分段刚性配准方法整体B样条形变配准方法分段B样条形变配准方法骨头275.363±38.914 252.956±36.044 259.456±40.154 250.278±37.297软组织34.676±7.527 33.329±6.278 33.841±6.235 32.244±5.802空气193.245±63.603 190.1684±63.443 233.032±71.996 212.081±68.792脂肪34.367±7.572 32.753±7.785 33.078±7.834 28.116±6.342

图6 不同组织的阈值分割图Figure 6 Threshold segmentations of different tissues

3 讨论

随着深度学习技术的发展，医疗领域为了满足患者的需求，也不断地推出满足时代发展的医疗技术，如机器人手术、3D 打印人体组织、sCT 合成等［18］。在进行深度学习之前，一般需要对图像进行一些预处理操作，图像配准影响sCT 的生成精度，因此选择合适的配准方法对sCT生成精度是关键环节之一［19］。3D Slicer 是一个开源的数据可视化和图像分析软件包，是一种可以方便观察医学图像数据三维场景的工具软件，里面包含了比较齐全的配准方法，包括刚性配准、B 样条配准、Demos配准等，是图像常用的配准软件。谢家存等［20］基于3D Slicer 软件的CT 图像配准在子宫颈癌放疗中的应用研究发现，CT 图像与锥形束CT图像刚性配准和B样条形变配准均可提高子宫颈癌放疗精度，但B 样条形变配准优势更显著。Han［3］研究发现，采用刚性配准方法进行大脑区域MRI与CT图像配准，实现了大脑区域sCT合成，得出的MAE 值为（84.4±17.3）HU。Dinkla 等［21］研究基于3D patch 的U-net 模型，使用非刚性配准方法来实现了基于T2加权MRI 图像的头颈部sCT 合成，得出的MAE值为（75±9）HU。Palmér等［22］对头颈部放射治疗患者的MRI图像进行sCT生成，MAE值为（67±14）HU。Liu等［23］利用循环生成对抗网络对肝脏进行sCT生成，结果sCT 的MAE 和PSNR 分别为（72.87±18.16）HU和（22.65±3.63）dB。

总结当前的研究发现，针对胸腹部及头部区域图像，往往采用刚性配准进行MRI和CT图像匹配，该区域图像形变较小，采用刚性配准即可较好地配准MRI和CT图像。但是头颈部图像在颈部常出现变形等，刚性配准无法完美匹配MRI和CT图像，参考亓孟科等［10］采用的分段刚性配准方法，本研究对头颈部MRI和CT图像采用先分段，再分别使用B 样条形变配准方法进行配准，然后把配准后分段的图像进行拼接，并验证基于分段B样条形变配准方法是否和分段的刚性配准方法一样可以改善头颈部图像的配准精度，从而改善sCT的生成精度［24］。通过3D Slicer 4.10.2 软件得到与CT图像配准的45例计划的MRI图像，选取软组织作为阈值范围进行图像配准的优劣预判，得到4 种配准方法的DSC 值，从数据可以得出，分段B 样条形变配准方法的DSC 值最优。通过模型生成15 例测试集的sCT图像，对比sCT与真实CT的图像质量，结果发现，分段配准方法比整体配准方法好，B 样条形变配准方法比刚性配准方法好。分段B 样条形变配准方法的MAE值是（74.783±9.869）HU，SSIM值是0.839±0.032，PSNR值是（28.859±0.957）dB，均比其他配准方法好。分段B 样条形变配准方法较其他方法的图像骨头、软组织和脂肪等分界处保留了较多图像细节信息，误差较小。使用阈值法把CT和sCT 划分成不同的组织（骨头、软组织、空气和脂肪）进行MAE值比较发现，空气和骨头组织上的偏差明显高于Body区域整体偏差，软组织和脂肪区域偏差低于Body区域，说明本课题的模型在CT值梯度变化大的组织上偏差较大，在梯度变化平坦的组织上偏差较小。

综上所述，基于分段B样条形变配准方法在头颈部sCT生成精度优于整体和刚性配准方法，该方法可以改善头颈部图像的配准精度，从而改善sCT的生成精度。