基于深度学习融合模型的算法在宫颈癌术后患者直肠自动分割中的应用研究

谷珊珊，吴青南，刘国才，王运来，戴相昆，葛瑞刚，杨 微，王秀楠，郭 雯，周 瑾，鞠忠建*

（1.解放军总医院第一医学中心放射治疗科，北京100089；2.武汉大学物理科学与技术学院，武汉430072；3.湖南大学电气与信息工程学院，长沙410082；4.北京世纪坛医院放射治疗科，北京100038）

0 引言

宫颈癌是常见高发的恶性肿瘤，其发病率和死亡率均占女性肿瘤的第三位[1]。放疗是宫颈癌的主要治疗方法之一。直肠因毗邻照射靶区，且对放射线非常敏感，极易造成放射性直肠炎、直肠穿孔等严重副反应，是宫颈癌放疗中非常重要的危及器官。因此直肠的准确分割非常重要，直接影响放疗计划的设计、优化与评估。

目前，国际上对直肠自动分割的研究主要集中在男性盆腔领域，使用CT 图像分割男性直肠的方法有2D U-Net[2]、基于特定区域分层的群集模型[3]、基于回归的可变形模型和多任务随机森林[4]、形变配准方法[5]、随机森林结合可变模型方法[6]、小波算法[7]、基于多模版分割[8]、基于几何模型的贝叶斯网络[9]、基于2D U-Net 网络的3D U-Net 算法[10]等，且报道的戴斯相似系数（Dice similarity coefficient，DSC）范围为0.57～0.98（DSC 值越接近1，说明分割效果越理想）。但是，国外鲜有关于女性直肠分割的报道。国内对宫颈癌危及器官自动分割的文献报道主要基于图谱库[11]。孙宇晨等[12]、陈开强等[13]、柏朋刚等[14]报道的DSC 平均值变化范围为0.495～0.73，距临床要求仍有较大距离[15]。宫颈癌术后直肠分割难以取得理想结果，主要是因为女性盆腔的解剖结构非常复杂，尤其宫颈癌患者行切除子宫手术后，直肠的位置和充盈形态会发生巨大变化（如图1 所示）。由于患者解剖结构的个体差异、肠道充盈状态、疾病状态和治疗进展等因素的影响，直肠在三维CT 影像上呈现巨大的样本间差异；此外，在CT 图像上直肠边界不清晰，直肠分割主要依靠医生的经验，不同医生分割的直肠轮廓甚至同一医生在不同时期分割的直肠轮廓都可能有所差异，造成训练数据离散性非常大，导致基于先验知识的学习难以实现。

为提高模型泛化能力、实现在三维CT 图像上准确自动分割宫颈癌术后直肠，本研究提出一种基于多模型融合的深度学习算法，融合密集卷积网络（densely connected convolutional networks，DenseNets）[16]与V 型网络（V-network）[17]2 个网络模型，生成同时具备密集连接和残差结构的Dense V-networks 网络模型，以降低训练样本要求、提高深度学习能力，并通过6 种评价参数和医生视角的比较，对分割结果进行评价，以期实现快速、精准地勾画直肠轮廓。

图1 未行子宫切除术与行子宫切除术后宫颈癌患者直肠位置对比

1 资料与方法

1.1 一般资料

选取解放军总医院第一医学中心放射治疗科2016 年5 月至2018 年11 月收治的100 例分期为Ⅰa2～Ⅱb 的宫颈癌术后患者入组，患者均行广泛/次广泛全子宫切除术加盆腔淋巴结清扫，年龄范围为25～81 岁，中位年龄52 岁。入组患者均需进行放疗，本研究对患者的CT 图像、医生勾画的危及器官轮廓进行研究，不用于临床患者的治疗，不涉及商业用途。患者行CT 扫描前嘱其憋尿，采用热塑体膜固定体位。扫描过程中不使用肠道造影剂。采用西门子SOMATOM Definition AS 大孔径CT 扫描机进行扫描，扫描范围为膈下至股骨中段，扫描参数为管电压120 kV、管电流400 mA、层厚5 mm。图像传至医生工作站，由2 名主治及以上医师完成直肠等危及器官的分割，再经1 名主任医师修改和审核通过。入组图像资料采用匿名化处理，以编号命名，不显示患者姓名及其序列号。随机选择80 例作为训练集，用于训练网络模型；剩余20 例作为测试集，用于评估深度学习融合模型算法的自动分割性能。

1.2 卷积神经网络结构

本研究将DenseNets 与V-network 2 个网络模型融合，形成Dense V-networks 网络结构，如图2 所示。Dense V-networks 网络结构能提高网络感知能力，增强特征值提取能力，增加深度的同时强化传递，避免发生过拟合的现象，从而实现基于有限的样本量进行训练，提高分割精度。

1.2.1 DenseNets 网络模型

DenseNets 是一种具有密集连接的卷积神经网络，如图2 所示。在该网络中的任意两层之间都有直接的连接，网络每一层的输入都是前面所有层输出的并集，而该层所学习的特征图也会被直接传给后面所有层作为输入，从而实现特征的重复利用。将二维DenseNet 原始网络中的二维卷积修改为三维卷积，二维池化修改为三维池化。三维卷积包含增长效率k分别为5、10、10 的3 个dense block 结构，以及由卷积、池化操作构成的TTL（temporal transition layer）层。Dense block 中间的TTL 层包含多个拥有时间域深度的、不同大小的卷积核，可以对短、中、长3个不同时间长度的序列信息进行建模，提取图像特征。网络的每一层只学习非常少的特征图，这样就可以降低数据冗余性，缓解梯度消失现象，同时加强特征传播，解决训练中出现的欠拟合现象，大大减少了参数量。可用以下公式直观表述这种输出关系：

其中，Xi表示第i（i≥1）次输出，Hi表示非线性转化函数，[X0，X1，…，Xi-1]表示将之前的图像特征以通道的维度进行合并。DenseNets 网络模型每一层都包含之前所有层的输出信息，因此只需要很少的特征图，参数量较其他模型大大减少，可以减轻因参数量过大导致的梯度消失问题，从而延伸网络深度，得到更优的计算结果。

图2 Dense V-networks 网络结构

1.2.2 V-network 网络模型

V-network 网络模型在三维卷积的基础上引入残差网络，同时把缩小端的底层特征送入放大端的相应位置帮助重建高质量图像，并加速模型收敛，其结构如图2 所示。该模型能快速识别立体图像数据，通过捷径连接方式直接把输入传到输出作为初始结果，下一层网络学习目标变为目标值和初始结果的差值，解决了因网络深度增加导致的退化问题，大幅度提升了网络性能。

该网络可分为左侧和右侧两部分。左侧由多个计算层组成压缩路径。利用卷积计算从图像数据中提取特征，每个计算层包括1～3 个卷积层。计算层卷积内核大小为5×5×5，数据沿压缩路径处理时，施加步幅为2、内核为2×2×2 的卷积来降低体素分辨力，可以使特征图大小减半。此外，每个计算层中特征通道的数量加倍，以保持特征映射的数量。网络的右侧部分获取特征。作用是解压缩信号到初始值，并且扩大低分辨力特征图的空间支持，收集和组合更多信息用以输出双通道体积分割。双特征图由最后一个卷积层计算，内核为1×1×1，产生和输入同样大小的体素。每个计算层的后半部分采用反卷积运算增加输入信号大小。

网络的两侧在卷积过程中均引入残差函数计算。网络左侧部分早期阶段提取的特征传输到右侧，图2 中通过虚线连接表示。通过这种方式，可以收集特征图在压缩路径中丢失的细粒度细节，提高最终器官分割的质量，改善模型收敛时间。

1.2.3 输出

数据首先在DenseNets 和V-network 网络模型上进行训练，分别得到大小为256×256×64 的图像数据集，将数据输入到融合层，经过内核为3×3×3 的卷积层计算，添加修正线性单元（rectified linear unit，ReLU）作为激活函数，最终得到输出结果。

综上所述，Dense V-networks 网络模型具有密集连接和残差结构，参数量少、能重复利用图像特征，从而减少了冗余计算，加快了收敛速度，有效地解决了训练三维数据时随深度增加出现的梯度弥散消失或爆炸现象，这样就可以通过单纯地增加网络深度来提高网络性能。

1.3 模型训练

对所选CT 图像数据进行标注，选用80 例作为训练集，20 例作为测试集。训练集采用十折交叉验证，即随机选取80 例中的72 例作为训练集，剩余8例作为验证集查看效果。首先对训练图像集进行预处理，步骤如下：（1）修剪图像，根据分割区域，CT 图像保留至64 层，选取CT 图像中心部分进行裁剪，大小为320×320；（2）进行数据增强，将图像旋转变形，在坐标系内的x、y、z方向进行±10°以内的随机角度旋转；（3）统一图像的灰度值范围为[0，1]。经过预处理，图像的大小变为256×256×64。预处理图像增加了训练图像的数据容量，增强了模型的泛化能力，提高了模型的计算准确性。

三维数据训练过程如下：（1）输入预处理后的训练集数据，数据包含CT 图像和勾画轮廓，随机选定训练起始区域，设定参与训练区域内包含的危及器官数目，限制无关CT 层面参与训练；（2）对V-network和DenseNets 网络分别进行训练，以缩短计算时间；（3）当Dice 损失函数值稳定时，两模型即达到训练最优值，冻结V-network 和DenseNets 网络，然后微调融合模型，达到最佳融合效果。流程如图3 所示。

图3 模型训练流程图

本研究的算法平台是基于TensorFlow 框架，数据处理服务器运用双NVIDIA GTX 1080 显卡进行拟合训练、计算评估和错误分析。设置初始学习效率为0.000 5，学习速率衰减因子为0.5，衰减步长为1 000，为方便调整程序代码，迭代次数设为10 000进行优化计算。

1.4 评价参数

选用DSC、豪斯多夫距离（Hausdorff distance，HD）、敏感性指数（sensitivity index，SI）、包容性指数（inclusiveness index，IncI）、平均距离差（mean distance to agreement，MDA）、质心偏差（deviation of centroid，DC）6 项评价参数来评估算法自动分割结果。

（1）DSC 是目前应用最广泛的分割评价参数，用于评价自动分割轮廓与参考标准的相似程度。DSC值范围为0～1，结果越接近于1，表明两样本的相似性越高，其计算公式如下：

其中，A 表示自动分割轮廓的体积，B 表示医生手动分割轮廓的体积。

（2）HD 用于衡量轮廓点集之间的距离，HD 值越接近于0，两样本轮廓间的距离越小。定义空间中两点集A={a1，a2，…}，B={b1，b2，…}，计算公式如下：

其中，h函数表示点集A 和B 中任意点的距离最大值：

（3）SI 表示两样本间体积的交集占医生手动分割体积的比例。SI 值范围为0～1，SI 值越大，自动分割准确性越好，其计算公式如下：

（4）IncI 表示两样本间体积的交集占自动分割体积的比例。IncI 值范围为0～1，IncI 值越大，自动分割准确性越好，其计算公式如下：

（5）MDA 为2 个轮廓点集之间的最小距离的平均值。MDA 值越小，表明2 个集合的轮廓重合性越好，其计算公式如下：

其中，D（A，B）表示2 个轮廓之间点集的距离最小值。

（6）DC 为2 个集合质心之间的距离，用来评价自动分割轮廓与金标准之间的总体偏差。质心偏差结果越大，表示2 个集合偏差越大。以X、Y、Z表示空间内的三维坐标，则

2 结果

2.1 模型评价

为提高训练效率，对V-network、DenseNets 分别训练时，仅用DSC 参数简单评价训练效果，当两者分别达到最优，满足融合条件后，再对其分别冻结。2 种模型分别训练的结果及融合后训练的结果见表1，可以看出融合后的DSC 值有明显提高。

表1 模型训练的DSC 值

2.2 Dense V-networks 分割精度定量评估

多模型融合算法自动分割精度量化评价结果（DSC、HD、SI、IncI、MDA、DC 等6 项参数）见表2。

表2 自动分割精度量化结果

2.3 医生视角分割对比

医生视角分割对比如图4 所示，其中（a）为原始CT 图像，（b）、（c）、（d）分别为同层面（横断面、冠状面、矢状面）上医生手动分割、算法自动分割及两者对比，可以看出2 种分割方法的轮廓重合度好、轮廓相似度高。

图4 相同CT 层面上手动分割与自动分割对比

由于研究人员使用的数据库和对比的金标准不同，很难比较不同分割方法的优劣，但是DSC 作为使用最广泛的比较参数，可以总结以往的实验结果来评估当前直肠分割的研究状态。仅从DSC 值来看，本研究优于既往研究。

3 讨论

近年来，研究人员开始探索使用深度学习算法进行器官分割，并取得很大进展[18]。但是女性盆腔解剖结构较为复杂，正常女性直肠、子宫、膀胱相邻，形成“三明治”结构。宫颈癌患者子宫切除后，直肠和膀胱的位置发生移动，形态因失去制约而发生变化，因此直肠的自动分割更加困难。需要基于女性直肠的几何特征和影像学表现，考虑应用背景和实际要求，如分割的准确性、计算复杂性和交互能力等，开发更优秀的算法。

目前，国际上对于直肠的自动分割取得一定进展，但仍面临以下不足：（1）研究集中于MRI 图像领域[19]，但基于MRI 图像的分割难以满足放疗要求[20-21]。（2）基于CT 的自动分割研究集中于男性盆腔[2-10]，虽然结果较好，但女性患者由于术后解剖结构改变，已有算法不能满足女性直肠分割。（3）国内报道的自动分割方法均基于模板库，精确度较低[12-14]。

目前，基于CT 图像的女性盆腔器官自动分割仍面临巨大困难。近几年，深度学习算法的发展在器官分割中取得优异成果，但是要将其应用于医学影像领域，尤其是宫颈癌术后直肠的自动分割，仍面临巨大挑战，归纳为以下几点原因：（1）临床可搜集的样本非常少；（2）CT 图像上的直肠边界不清晰，标注困难，样本间存在较大差异；（3）器官充盈程度导致形态变化大；（4）术后导致直肠位置偏移，放大了偏差。因此需要探索更适用的算法来解决女性直肠分割的难题。

提高神经网络性能可以从2 个方面实现：一是加深网络深度，解决网络加深时梯度消失问题[22]；二是加宽网络，增加网络的非线性，提高特征多样性[23]。据此，本研究提出的Dense V-networks 网络模型算法通过密集连接结构降低通道数目、加强特征传递、减少需要参与训练的参数数量，显著降低了训练复杂度；其次，使用Dice 损失层，可以改善因器官的大小形态、纹理灰度和相对位置等造成的不平衡问题，减少训练时出现的梯度消失现象；最后，通过残差的引用和特征的有效传递，缓解因训练样本有限而出现的过拟合现象，使得可以通过加深网络深度来提高网络的性能。

此外，本研究优化了网络对特征值的传递和利用，提高了基于小样本学习的可靠性。在保证网络中层与层之间最大程度信息传输的前提下，将所有层连接起来，网络更窄；算法中参数的减少有效抑制了过拟合，同时减少了计算量，网络更加容易训练。本研究结果表明，在80 例训练样本基础上，可以获得很好的直肠自动分割的结果。

综上所述，基于女性直肠分割任务的应用背景以及对分割精度、训练复杂度和交互能力等的实际要求，Dense V-networks 网络模型算法通过建立不同层之间的连接关系，充分学习图像特征；使用残差网络，以解决因网络深度增加导致的退化问题，缓解了梯度消失现象，从而大幅提升了网络性能。在学习样本数量较少时，Dense V-networks 网络模型算法自动分割宫颈癌患者的直肠高效精确。本研究的不足之处在于：使用的训练样本量限于临床收治量，样本数量少，无法得出大样本训练的结果；仅探讨了女性宫颈癌术后的直肠自动分割，未涉及其他器官。下一步的工作将适当增加样本、进一步优化网络参数，以期取得更佳的分割效果，并将其应用于其他器官如男性前列腺术后的盆腔器官分割。