基于并行空洞卷积的2.5D胸腔CT气道自动分割

蔡 静，陈秋叶，韦瑞华，蔡光雄，刘海华

（中南民族大学生物医学工程学院，湖北 武汉 430074）

随着空气污染越来越严重，一些常见的呼吸系统疾病如哮喘、慢性支气管炎、慢性阻塞性肺疾病和肺癌等给人们带来严重的损害[1]。基于医学影像的手术导航在提高医生手术准确率和高效性方面具有突出的优势，特别是在肺穿刺手术导航中，精准的分割气道树能有效降低手术的风险。同时，在肺癌放疗计设计中，对气道精确分割有助于提高精准治疗的效果。相对于其他实体器官或者肿瘤组织的分割任务，气道呈树形结构具有多分枝和分叉点的尖锐形状，受呼吸运动和成像噪声等的影响，末端易出现断裂，并且在细支气管分割时因外壁较薄较模糊导致易过分割渗入相邻的肺实质中，人工分割气道树是极其耗时繁琐的[2]，这些结构上的特点使得对气道分割仍然是一项具有重要临床意义且极具挑战的研究课题。当前的气道分割方法存在计算量大，自动分割精度有待提高的问题。为此，本文提出融合三个断面的解剖信息，基于并行空洞卷积的浅层U-Net网络的方法，将三个断面的2D网络预测的结果三维堆叠后，学习对应体素加权系数，实现2.5D融合来自动分割气道树，现总结如下。

1 资料与方法

1.1 资料获取 本实验数据集包含60例公开CT图，其中40例来自LIDC_IDRI，20例来自EXACT09，从中随机选取11000张气道CT图像用于本实验的研究。其气道金标准由Qin Y等[3]使用ITK-SNAP勾出基本气道树标签，经训练有素的专家手动验证和完善并公开。该实验研究在中南民族大学医学信息分析与肿瘤诊疗实验室完成，硬件环境为NVIDIASMI 396.26，软件环境为anaconda 4.5.4，keras 2.1.6，网络训练使用Adam优化器，学习率为10-3，训练设置100次迭代。

1.2 方法 为了去除图像噪声等对细支气管的分割干扰，采用了高斯平滑滤波的预处理。首先将横断面、矢状面、冠状面的2D胸腔CT图片，通过浅层U-Net网络结构[4]的卷积神经网络，改进之处在于将原始5层下采样改为3层，只包含2层池化层的网络，并在最低端加入4种不同空洞率的并行空洞卷积，然后经过两层上采样，类似U-Net结构，将对应高维特征连接起来，最后经过一个sigmoid函数得到预测概率图。将测试集得到的预测概率图三维重建，经过旋转等变换使像素位置匹配后，通过一个简单卷积层学习三个断面预测概率的加权系数，得到最终的分割气道树。

1.2.1 气道分割方法 为了尽可能保留外周区域的细支气管，将4层池化的U-Net网络改成只含2个池化层，池化过程中的网络感受野扩大以获取更深的全局信息，在池化处理之前加入随机丢弃率为0.5的Dropout操作[5]，每次上采样后的特征分辨率增大2倍，通过跳跃连接将全局的高层特征和低层特征融合，有助于提高类别判断的准确性[6]。网络结构见图1。并行空洞卷积包含空洞率分别为2、4、8、16的空洞卷积，见图2，用于捕捉多尺度的特征信息，随着空洞率的增加，特征感受野相应增大，弥补了之前深层卷积导致的信息丢失。在每个分支空洞卷积后，添加一个3×3的卷积操作，在不损失特征分辨率的情况下增加了非线性因素，使网络能够表达更复杂的特征。输入层大小是512×512×1，输出是经过sigmoid激活函数的512×512×1的概率图。

图1 改进U-Net网络

图2 并行空洞卷积模块

将测试集通过改进U-Net的气道分割网络预测模型得到的横断面预测概率图、矢状面预测概率图、冠状面预测概率图三维重建，通过旋转变换使三个体的体素位置一一对应，通过一层包含非线性函数ReLu的卷积层，卷积核大小为11，核数为16，将三个断面得到的特征图经过concatenate操作后通过一个包含sigmoid激活函数的全连接Dense层，学习每一个体素位置上，三个断面预测概率的加权系数，通过f(x)的计算结果判定该点属于气道或是背景，见图3。f(x)的函数表达式为：

式（1）中x1，x2，x3，分别表示同一体素的横断面预测概率、矢状面预测概率、冠状面预测概率；w1，w2，w3分别表示对同一体素，该模型学习到的横断面预测概率加权系数、矢状面预测概率加权系数、冠状面预测概率加权系数。如果f（x）≥0.5，则该体素判为气道体素，否则为背景，这样得到最终融合了三维信息的2.5D气道树分割图。

图3 融合三维信息的分割加权模型

1.2.2 算法应用效果的评价方法 为了便于与其他方法性能进行比较，采用分割相似度（DSC）、准确率（TPR）、假阳性率（FPR）三种不同的计算方式作为评价标准来评估气道分割算法精度[3]。其定义分别如下：

式（2）中，X表示气道金标准的标签区域，Y表示分割网络输出的预测结果区域，式（3）、（4）中，TP、TN、FP、FN分别表示真正样本（true positive）、假正样本（false positive）、真反样本（true negative）和假反样本（false negative）。DSC值常用于评价分割网络，表示分割气道结果与金标准的相似度；TPR值表示分割正确的气道点占整幅图像总像素点的比例，亦即召回率；FPR反映将背景点误判为气道点占背景像素点的比例，亦即误检率。范围在0～1，DSC值和TPR值越高表示分割结果越好，FPR值越低则表示分割结果越好。

此外，实验中使用Dice Loss[7]作为损失函数对模型训练过程中的误差统计，Dice Loss可以很好的缓解数据不平衡的问题，这对于输入只包含少量气道像素的512×512×1的切片来说，目标像素占比很小，正负样本很不平衡，可以有效的提高神经网络学习效果，提升分割精度。Dice Loss主要用于度量两个概率分布之间的差异。定义如下：

式（5）中，y表示气道金标准的标签，表示模型预测结果等于金标准的概率，预测输出越接近真实的金标准，值越小。使用作为训练损失函数的训练过程见图4。

图4 网络训练过程可视化

2 结果

在横断面、矢状面、冠状面方向2D切面上，本次提出的并行空洞卷积的3层U-Net（Dilated_UNet_lever3）与经典的5层U-Net（U-Net_lever5）和3层U-Net（U-Net_lever3）分割网络比较，其在DSC、TPR、FPR等方面呈现出一定的优势，见表1～表3。而融合了三维信息的2.5D分割结果与未融合的三个断面2DDilated_U-Net_lever3分割结果也表现出优势，见表4。三个断面的分割效果见图5。另外，本文权重学习的融合2.5D的分割方式与等权重融合的方式进行比较，其中DSC、FPR方面表现出一定的优势；且2.5D融合方式的分割效果图与真实标签更为接近，见图6、表5。

表1 在横断面上不同的2D网络分割结果

将本研究提出的气道分割方法与Qin Y等[3，10]、Jin D等[8]、Juarez GU等[9]的气道分割方法进行比较，结果显示本方法在DSC、TPR、FPR上均具有一定优势，见表6。由于其他方法中未统计网络参数和计算量，无法直接比较，故将经典的2D U-Net（输入尺寸为512×512）和3D U-Net（输入尺寸为32×32×32）网络参数与本次2.5D网络参数进行比较，结果显示本次计算量最少，见表7。

表2 在矢状面上不同的2D网络分割结果

表3 在冠状面上不同的2D网络分割结果

表4 不同断面的2D网络分割结果

图5 三个切面图像在2D Dilated_U-Net_lever3分割网络得到的预测气道树

图6 等权重融合与2.5D融合分割结果及真实标签图

表5 不同2.5D融合方式的分割结果比较

表6 与其他气道分割方法较

表7 不同网络参数计算量比较

3 讨论

近年来，基于卷积神经网络的方法被广泛用于气道分割任务中。Charbonnie JP等[11]提出基于卷积神经网络的方法对二维气道图像小块进行泄露剔除的算法，并对气道树进行骨架化提取。Jin D等[8]用3DFCN学习中等和小的支气管，对输出的概率图与原像素进行模糊连接得到分割的气道树，再进行骨架细化操作移除泄露。Juarez GU等[9]用3D U-Net分割气道块，将输出概率图乘以特定函数进行处理。Meng Q等[12]利用3D U-Net分割气道，融合梯度向量流和管状检测进行跟踪延伸。虽然这些方法都可以用于图像分割，但存在3D网络模型计算量较大的问题。而Wei J等[6]将512×512像素大小的二维冠状面CT切片作为改进U-Net的输入，三维重建后得到分割气道树，但该方法没有考虑气道树三维的重要信息，分割精度有待提高。针对这些问题，本文通过引入不同空洞率的并行空洞卷积和Dice Loss损失函数，搭建一种创新的2.5D气道自动分割的卷积神经网络模型算法，输入胸腔CT图像进行网络训练和优化，并对分割网络模型进行测试和评估。

本次研究显示，本文的改进U-Net网络在2D横断面、矢状面的DSC值均高于传统的UNet_lever5和U-Net_lever3，但TPR略低，FPR相差不大；冠状面不及U-Net_lever5却优于UNet_lever3。但融合三维信息的2.5D分割结果的DSC值（0.935）分别比2D横断面、矢状面、冠状面的结果高，TPR也相应较高，且FPR仅略微降低。由此可知，融合三维信息能有效提高气道树分割精度。同时，将该融合方法与等权重融合方法进行对比发现，DSC升高，但TPR降低，FPR相差无几。另外，将本气道分割方法在统一数据集上与Qin Y等[3，10]、Jin D等[8]、Juarez GU等[9]的结果进行比较，发现本方法在DSC、TPR、FPR三个指标上均略优于其它方法，但末端细支气管存在断裂。由于他们的数据集并没有分出具体的训练集、验证集和测试集，因此本结果比不够严谨，但已经可以证明融合2.5气道分割方法能够提高分割精度。同时，在网络计算量方面，本文的2.5D网络参数计算量少于2D和3DU-Net网络，有效减少了临床应用数据量大的困扰。

本研究的不足：本次改进的U-Net网络在冠状面的分割效果还有待提高，同时2.5D融合方式还不够成熟，对于每例CT需要计算一次权重，这将会在未来工作中进行深入研究，寻找三个断面像素信息的关系。

综上所述，基于改进U-Net的2.5D气道自动分割方法能有效提高气道自动分割精度，降低网络参数计算量，相对于3D气道分割减少了内存消耗和资源浪费。