结合伪MRI信息的腹部CT危及器官自动勾画

孟祥银，吴香奕，彭昭，徐榭，2，裴曦，2

1.中国科学技术大学核科学技术学院，安徽合肥 230026；2.安徽慧软科技有限公司，安徽合肥 230088

前言

随着放疗技术的发展，调强放疗已成为现代放疗的主流技术。为了更好地保护危及器官，减少正常组织并发症的发生，在制定治疗计划过程中需要准确、快速地勾画出危及器官。传统的手工勾画会占用医生临床工作的大量时间，而且不同医生勾画结果存在差异。目前，已有基于多图谱的方法、基于模型的方法和基于深度学习的方法来实现自动勾画［1-3］。研究表明使用深度学习方法要优于多图谱和模型的方法［4-5］。Liu 等［6］采用的方法虽在勾画膀胱、股骨头等危及器官上有较好的结果，但直肠等软组织的勾画效果有待进一步提高。MRI 对于软组织有较高的对比度［7］，但是另行采集的MRI会在勾画和计划时引入配准误差［8-9］，且直肠属易形变器官，很难保证与CT 中的形状一致，有时甚至无法为CT 勾画提供帮助。相比之下，CT直接转化而来的sMRI图像不仅有优越的软组织信息，还有与CT 中相对应的器官轮廓。因此，本文拟提出一种结合sMRI 信息的CT自动勾画模型，从而改进直肠等软组织在CT 上的勾画效果。

1 材料与方法

1.1 网络架构

CT图像上危及器官的自动勾画需要由两个独立的深度神经网络分步完成。一个是sMRI 生成网络—CycleGAN，其作用是将CT 图像转换为清晰度较高的sMRI 图像，由于转换前后器官轮廓一致，CT的勾画信息可以直接用于sMRI。另一个是自动勾画网络—Residual U-Net，其作用是完成基于sMRI的危及器官自动勾画。

1.1.1 用于sMRI生成的网络模型结构CycleGAN模型［10］最早用于不同风格之间的图像转换，其特点是不需要配对数据。Wolterink 等［11］首先将该模型应用到CT 与MRI 间的相互转换，图1展示了CycleGAN模型的具体结构。真实CT 首先经过sMRI 生成器，得到sMRI，之后再经过伪CT 生成器得到重建CT，CycleGAN 中尤其重要的循环一致性损失便是基于真实CT 与重建CT 之间的差异，这样的操作使得非配对数据间的互相转换成为可能。真实MRI 也需要经历类似的流程。与此同时，CT 和MRI 判别器将会判断由两个生成器得到的图像是否真实，从而规范生成器的输出。但大多数研究者只是使用Cycle-GAN 模型来生成伪CT，sMRI 在这个过程中只是中间结果，其图像存在较多模糊的情况，质量较差，并不能够用于自动勾画。本工作首先将原始Cycle-GAN 进行改进，主要包含添加去噪判别器、改进生成器架构以及损失函数。

图1 原始CycleGAN模型的结构Figure 1 Pipeline of original CycleGAN model

（1）添加去噪判别器：由于原始CycleGAN 模型产生的sMRI 图像较模糊，本工作提出一个去噪判别器以使得MRI 生成器的输出更加清晰，该判别器的架构如图2所示，其中卷积层的卷积核大小为3×3，BN 代表批正则化。首先将训练数据中的真实MRI分别通过锐化和高斯模糊，得到更加清晰且更富细节的MRI 以及模糊的MRI，其次将这两种MRI 输入去噪判别器，使其能够辨别不同清晰程度的MRI 图像。最后该判别器将评判训练过程中生成的sMRI的清晰程度，以此来提高生成sMRI的图像质量。

图2 去噪判别器的架构Figure 2 Architecture of denoising discriminator

（2）改进的生成器结构：原始CycleGAN 网络生成器采用2 个跨步卷积层、9 个残差模块和2 个反卷积层。这样的好处是可以减少网络参数，使得模型小型化，更易于实现，但是其中的两层反卷积操作会导致生成的图像中存在棋盘格伪影［12］。受Dong等［13］的启发，为解决这个问题，使用先上采样再卷积的生成器结构。由于网络的输入为256×256的图像，受限于GPU 内存，本工作只能先将图像上采样一次，之后经过两次步长为2的卷积，最后再使用一次反卷积。尽管如此，在最后得到的sMRI 图像中，棋盘格伪影得以消除。

（3）改进的目标函数：原始CycleGAN 网络的GAN 损失函数采用的是MSE 损失，这种损失函数会导致生成的图像更加趋向于平均的结果，在图像上看起来与水波纹十分相像。故将MSE 损失改变为L1损失函数，而且将原始循环一致性损失中的MAE 损失改变为MPD（lp-norm,P=1.5）损失和GD（Gradient Difference）损失［14］，故循环一致性损失函数如下：

（4）训练策略及实验配置：使用Pytorch框架完成网络的搭建，模型采用Kai ming 方式初始化［15］，Adam［16］方法进行优化，训练迭代次数设为200。在前100 代训练中，学习率固定为0.000 2，在后100 代训练中，学习率从0.000 2 线性降低至0。Batch 大小设为1。为防止过拟合，使用了随机裁剪输入图像至256×256、正负5°内随机旋转等数据增强操作。

1.1.2 自动勾画网络采用2D Residual U-Net，该网络是在原始U-Net模型的基础上添加残差模块得到，能够让网络变深的同时充分利用网络在每一步提取到的特征信息，最后得到更好的图像分割结果［17］。具体网络模型结构如图3所示，整个网络包含3 个部分：编码、连接和解码。编码部分包含3个残差模块。与普通的U-Net使用池化层进行下采样不同的是，每一个残差模块中，都有两个3×3 的卷积层，其中第一个卷积层的步长为2，以完成下采样，第二个卷积层步长为1，以提取更多信息。解码部分同样包含3 个残差模块。在每一个模块之前，特征图都需要先进行上采样，之后还要与来自编码部分的同尺度特征图进行拼接。

图3 2D Residual U-Net架构（红色虚线为恒等映射）Figure 3 Architecture of 2D Residual U-Net(The red dashed line indicates identity mapping)

自动勾画网络使用Keras 框架完成网络的搭建，同样采用Kai ming 方式初始化，Adam 方法进行优化。训练时使用早停法以确定最优迭代次数。学习率固定为0.000 1，Batch 大小设为2。数据增强方面，将输入图像随机剪裁至256×256 大小。模型训练过程中以戴斯相似性系数（DSC）作为损失函数。为了得到更可靠稳定的结果，本工作采用了五折交叉验证的方法减少训练得到的随机差异。

1.2 数据的收集和预处理

sMRI 生成网络CycleGAN 的输入数据包含非配对CT 与MRI，自动勾画网络Residual U-Net 的输入数据为sMRI 和对应的器官轮廓。基于以上差异，将分别进行两个深度神经网络的数据收集与预处理。

1.2.1 用于sMRI生成的数据收集来自中国科学技术大学附属第一医院西区影像科的52 例盆腔MRI 和非配对的52 例盆腔CT 作为训练集，22 例盆腔配对MRI 和CT 图像作为测试集。MRI 图像的体素大小从（6.00×0.625×0.625）mm3到（6.00×0.820×0.820）mm3不等，CT图像的体素大小从（5.00×0.854×0.854）mm3到（5.00×0.869×0.869）mm3不等。MRI图像是在GE公司的3T MRI 扫描仪（Signa HDxt, GE Healthcare Technologies,Milwaukee,Wisconsin,USA）上使用双绕线圈获得的T1加权MRI 图像。扫描参数如下：重复时间500～520 ms，回波时间6.9～8.0 ms，翻转90°。CT 图像在GE 公司CT 扫描仪（Discovery 750）上以120 kV管电压，600～19 420 ms 曝光时间和176～420 mA 的X射线管电流进行采集。为保护病人隐私，所有数据均进行脱密处理。

对于CT 图像的预处理首先使用Otsu 方法［18］提取CT 图像中的身体区域，排除金属支架和空气。在处理过程中，图像整体尺寸不变，感兴趣区域内像素值也不变。然后将所有图像重新采样为（5.000×1.000×1.000）mm3。最后对CT 图像进行灰度区间的统一。对于腹部CT，-600 HU以下基本为空气，1 500 HU以下基本包含所有的体素像素，故将所有CT 图像的CT值统一为-600～1 500 HU。

对于MRI图像的预处理同样先使用Otsu 方法提取MRI 图像中的身体区域，接下来将所有图像重采样至（5.000×1.000×1.000）mm3。由于MRI 图像在采集时会存在偏差场等因素，故使用N4ITK 算法进行偏差场校正［19-20］。最后依然是灰度区间的统一，所有的MRI图像强度均被设置在（0,2 500）强度之间。

分别处理CT 和MRI 图像后，考虑到重采样后图像尺寸会产生变化，若背景区域占总图像的比例过大，则势必会降低神经网络的学习效率，所以本工作统计了所有重采样后的CT 和MRI 图像中身体所占的空间大小，选取了其中的最大值324×424，并将所有图像均裁剪至该尺寸，以尽可能提高身体部位信息的比例。这样做既可以减小网络训练所需内存，又可以提高训练效率。值得一提的是，用于训练的CT和MRI图像并未做任何配准。

1.2.2 用于自动勾画网络的数据收集来自中国科学技术大学附属第一医院西区放疗科的28例前列腺癌患者以及28 例宫颈癌患者Dicom 文件作为训练集，7例前列腺癌患者以及7 例宫颈癌患者Dicom 文件作为测试集。这些文件包含患者在放疗前扫描的CT文件和医生勾画完成的RT Structure 文件，以医生勾画的危及器官轮廓作为模型训练的标签和评估自动勾画性能的标准。CT 图像的体素大小为（2.500×1.270×1.270）mm3，所有数据均进行了脱密处理。通过向改进的CycleGAN 模型输入CT 图像，便可以得到对应的sMRI数据。

对CT 预处理首先使用Otsu 方法提取身体区域，去除金属床板和空气，之后重采样体素至（2.500×1.000×1.000）mm3。为保证身体部位所占比例，最终裁剪其尺寸至512×512。对sMRI 的预处理只有使用Otsu 方法提取sMRI 图像中的身体区域，以排除背景值的影响。

1.3 评价标准

评估网络自动勾画准确性时，通常将医生手工勾画的危及器官轮廓设为“金标准”，使用DSC 进行定量计算，该值为0～1，数值越大表示自动勾画与医生手工勾画越相似，说明预测精度越高。DSC 计算公式如下所示：

其中，A为医生手工勾画的区域，B为自动勾画的区域。

1.4 统计学方法

采用统计学软件进行数据分析处理，符合正态性分布的计量资料用均数±标准差表示，采用配对样本的非参数检验—Wilcoxon 符号秩检验，P＜0.05 为差异有统计学意义。

2 结果

2.1 基于CT生成的sMRI

改进后的CycleGAN 模型生成的sMRI 与原始CycleGAN模型生成的sMRI之间的对比如图4所示。图4a为测试集中的一张CT 图像，红框内的器官从上到下依次是膀胱、前列腺、直肠。图4b是与之对应的未配准MRI，其前列腺与膀胱的边界十分模糊，且直肠的形状与CT 上直肠形状也有不同。显而易见，这样的MRI 无法对CT 的勾画起到辅助作用，而且还会为后续的计划引入配准误差。图4c 是原始CycleGAN 模型生成的sMRI，几乎无法看到红框内的3 个器官，十分模糊。图4d 是经过改进后的CycleGAN 模型生成的sMRI，3 个器官的边界清晰显示。这说明本工作所提出的sMRI 生成方法能够清晰地将CT 中的器官和组织信息映射到sMRI 上，能为后续的器官勾画提供有效信息。

图4 同一测试患者CT、MRI及相应的由原CycleGAN和改进CycleGAN产生的sMRIFigure 4 CT and MRI of the same patient and their corresponding sMRI generated by original CycleGAN and improved CycleGAN

2.2 自动勾画

为显示结合sMRI 信息自动勾画模型的优越性，单独使用35 例宫颈癌与35 例前列腺癌患者的CT 图像（不生成sMRI）和医生勾画信息，训练Residual U-Net 并评估，将预测得到的结果与所提出模型预测的结果进行对比，两者的DSC与统计学差异如表1所示。从表1可以看出，在膀胱和直肠的勾画效果上，基于sMRI 勾画的方法较单纯使用CT 勾画的方法均有改进，其中直肠的勾画效果在具有显著性差异的同时，获得了最大的提升。这是由于直肠在sMRI 上的边界更清晰，与周围的软组织对比度更高。测试集中1 例患者在不同模态图像上进行自动勾画所得到的直肠标签对比示意图如图5所示。

表1 基于CT和sMRI图像训练得到的两种模型的DSC值比较Table 1 Comparison of DSC of two models trained by CT and sMRI images

图5a～图5c分别为该患者的CT及医生给出的直肠勾画标签、CT 自动勾画模型所预测的直肠勾画结果以及sMRI 自动勾画模型所预测的直肠勾画结果。通过对比可以看出，CT 自动勾画模型错将直肠周围的软组织也当做直肠，从而产生了哑铃型的勾画，而sMRI 自动勾画模型则将两者区分开来，从而获得了更高的勾画精度。

图5 1例患者由不同模型得到的直肠勾画结果对比图Figure 5 Comparison of rectal segmentation results obtained by different models in a patient

关于左右股骨头，从DSC 来看，左右股骨头的单纯CT 勾画效果要更好，与sMRI 比较，差异有统计学意义（P＜0.05）；观察图4也可以看出，由于股骨头密度高于软组织，使其在CT 上的轮廓更易区分，而sMRI 中的股骨头与周围组织像素值差别较小，一定程度上导致了勾画精度的降低。

3 结论

由于CT 自动勾画在直肠等易形变软组织的效果有待提升，本工作提出一种结合sMRI 的自动勾画模型。实验表明，结合sMRI 信息的自动勾画模型在软组织方面，特别是直肠，相较于单纯CT 的自动勾画有较大提升，而且在股骨头和膀胱区域，该模型的勾画效果与单纯CT 相近。目前，本工作对腹部一些危及器官进行实验，可以得知直肠勾画效果的提升约为4%。后续工作中，可以对其他易变形的、在MRI上可辨识度优于CT 的器官进行实验，比如头颈部的腮腺、视神经、视交叉等。在网络架构方面，可以进一步改进CycleGAN 网络，使得生成的sMRI 具有更丰富的特征，从而优化自动勾画效果。同时，若排除GPU 内存等硬件因素，也可以考虑将图像转换网络与自动勾画网络一同训练，以节省时间和资源。

综上所述，本工作提出一种结合sMRI信息的CT自动勾画模型，通过借助多模态信息，提高了直肠的CT勾画精度。