基于空洞卷积密集连接网络的左心室MR图像分割方法

徐胜舟，程时宇

(1 中南民族大学 计算机科学学院,武汉430074; 2 湖北省制造企业智能管理工程技术研究中心,武汉430074)

心脏病是造成现代人们死亡的主要疾病之一[1].核磁共振(Magnetic Resonance,MR)图像能为医生提供重要的辅助诊断信息，具有重要的临床意义[2].由于患者MR图像数量庞大，人工阅片费时费力，且过于依赖医生的经验知识，在判断上会偏于主观.对此，很多学者对心脏MR图像自动分割进行了广泛研究，这些算法大致可以分为两大类：传统分割算法和基于深度学习的分割算法.

左心室图像传统分割算法主要有动态规划法[3,4]和活动轮廓模型[5]，但是单独运用这两种方法很难达到令人满意的效果.HU提出了一种采用非极大值抑制和限制区域范围的动态规划分割算法[6]，其不足之处在于个别图像中，心肌内部出现的极大值点对心外膜提取有较大的干扰.LU等人采用Otsu阈值方法对左心室内膜图像进行提取,在此基础上,采用径向区域生长法得到左心室外膜轮廓[7].徐胜舟等人提出了一种改进动态规划算法[8]，充分利用心外膜边界特性构造代价函数，再利用混沌粒子群优化算法对代价函数的权重系数进行优化，从而获得更加准确的心外膜边界.

近些年来，深度学习取得了突飞猛进的发展[9,10]，很多学者也将深度学习用于左心室图像分割上.AVENDI等人提出一种基于深度学习算法的左心室图像自动分割方法[11]，他们选择卷积网络进行定位和提取感兴趣区域(Region of Interest,ROI)，用分层预训练来防止网络的过拟合现象，使用堆叠AE稀疏自编码神经网络进行训练，具有较强的鲁棒性和准确性.齐林等人提出一种将全卷积网络(Fully Convolutional Networks,FCN)迁移学习(到左心室内膜图像分割中)方法[12]，该方法不需要对参数进行额外的调整，但对于心室顶端切片的左心室内膜边缘的图像分割仍不理想.NGO等人提出一种结合深度学习和水平集自动分割心脏图像的方法[13]，使用深度置信网络(DBN)和优化过的距离正则化水平集方法输出左心室感兴趣区域，然后使用另一个DBN来输出心内膜和心外膜的边界图像，具有较高的检测率和准确性.

在用深度学习的方法分割左心室MR图像时，梯度消失是经常容易出现的问题[14].CVPR2017中提出的一种密集连接网络DenseNet[15,16]，脱离了以加深网络层数(如ResNet)和加宽网络结构(如Inception)来提升网络性能的定式思维，从特征的角度考虑，通过特征重用和旁路(Bypass)设置，既大幅度减少了网络的参数量，又在一定程度上缓解了梯度消失问题的发生.该网络加强了特征的传递并更有效地利用了特征，在一定程度上减少了参数数量.但是DenseNet特征的数量会随着网络层数的增加而成倍增长，训练时内存消耗严重并且浪费时间.针对这个问题，本文通过空洞卷积的方法[17]扩大神经元的感受野以缓解内存过度消耗的问题.在此基础上提出一种基于空洞卷积密集连接网络的左心室MR图像分割方法，并在MICCAI(Medical Image Computing and Computer-Assisted Intervention)2009数据集上对模型进行训练和测试.

1 图像分割算法

图1是本文算法的流程图，首先对训练集进行ROI区域提取和数据增强，然后调整网络参数，进行模型训练直至收敛，保存此时的网络模型；之后对测试集进行ROI区域提取，然后用训练好的网络模型进行测试，最终得出结果.

图1 算法流程图

1.1 提取感兴趣区域

图2是从MICCAI2009心室分割数据集中随机挑选的一幅原图(图2(a))及选取的ROI(图2(b)),ROI中近似圆形的高亮度区域为血池.在深度学习中，输入图片尺寸的大小可以直接影响到网络的训练速度，同时多余的部分也会对训练产生一定的干扰.对原图像进行ROI提取操作可以在很大程度上避免这一问题.

(a)数据集原图 (b)标注感兴趣区域后的图像

ROI的提取过程就是定位血池的过程.如图3所示，左心室类似一个倒置的梨，心脏MR图像有多层，上面大，属于心底部分，下面小，属于心尖部分.靠近心尖层的图像血池区域较小，血池与周围组织的灰度差别不如心底层明显，不借鉴先验知识血池不容易被检测出来.本文采用从中间到两端的方法定位血池.

图3 左心室示意图

图4是ROI提取的流程图.首先取中间层图像的中心作为参照点，使用Otsu阈值分割法，得到多个连通区域，以距离参照点最近的连通域的质心为中心点，在原图中提取110×110像素大小的图像，这就完成了中间层的感兴趣区域提取；然后以中间层血池的中心作为参考，依次往心底层、心尖层方向进行提取.非中间层ROI的提取方法与中间层类似，只是此时的参照点不再是图片中心，而是上一层得到的血池中心；每层得到的血池中心作为下一层血池中心的参考，最终完成所有层的感兴趣区域提取.提取后的图像为包含左心室区域的110×110像素大小的图片.此方法在训练集和验证集中提取ROI的准确率为99.2%.

图4 提取ROI流程图

1.2 数据增强

医学图像普遍面临着数据集过小的问题，数据增强可以解决此类因数据集过小而导致的过拟合现象，并可以提升模型的准确率.在本文中对训练集图像进行顺时针90°旋转、180°旋转、270°旋转、水平翻转、垂直翻转，经过此番数据增强后训练集图像数量增至原来的6倍.

1.3 算法模型

本文提出的空洞卷积密集连接网络模型由8个Dense Layer组成，如图5所示，彩色实心长方形表示Dense Layer，灰色三角形表示batch normalization、ReLu激活函数和3×3的空洞卷积.图6表示空洞卷积和普通卷积的区别，可以看到Dilated rate为2的3×3空洞卷积感受野更大.空洞卷积网络的输入层为110×110像素大小的感兴趣区域单通道图像，网络的输出层为包含左心室内外膜的掩膜，可以提取出相应的左心室内外膜轮廓.第一个Dense Layer在连接下一层时首先进行batch normalization批量标准化，然后通过ReLu激活函数，再进行一次间隔数为1的空洞卷积，卷积核大小为3×3.第二个Dense Layer因为包含第一层的特征信息，所以在图中用蓝色空心长方形和绿色实心长方形表示第一层和第二层相连一起的信息.第二层在连接下一层的时候，同样先进行一次batch normalization，然后通过ReLu激活函数，再进行一次间隔数为2的空洞卷积，卷积核大小为3×3.后面的网络如图依此类推，空洞卷积间隔在经过每个Dense Layer后都增大至两倍.在这个网络中，任意两个层直接连接，对于每一层，使用前面所有层的特征作为输入，并且将其自身的特征作为所有后续层的输入，极大地缓解了梯度消失的问题，并加强了特征传播.

图5 网络结构

(a)普通3×3卷积 (b)Dilated rate为2的3×3空洞卷积

1.4 评估方法

为了衡量自动分割的轮廓和金标准的接近程度，用平均垂直距离(Average Perpendicular Distance,APD)把轮廓分为好的和差的.

如图7所示，A1、A2、A3为自动分割轮廓点，M1、M2、M3为金标准轮廓点，直线L1来自于A1、A2、A3三点的拟合，直线L2垂直于L1并且经过点A2，直线L3来自于M1、M2、M3三点的拟合.过点A2做直线L3的垂线得到垂足D，线段A2D的长度为自动分割轮廓点A2到金标准的垂直距离.计算自动分割轮廓上所有点到金标准轮廓垂直距离的平均值，即平均垂直距离.如果一个自动分割的轮廓和相应的金标准轮廓之间的平均垂直距离小于5 mm，该自动分割的轮廓就定义为好的轮廓；反之，则称为差的轮廓.

图7 垂直距离示意图

设自动分割轮廓包围面积为Aa，金标准轮廓包围面积为Am，Dice系数的计算方法如下：

Dice系数的值介于0到1之间，Dice值越接近1，证明分割结果越接近金标准.按照定义，在计算Dice系数时，差的轮廓被排除在外，只有好的轮廓才参与计算.

2 实验及结果分析

2.1 数据集

所用到的数据集是由MICCAI2009提供的心脏核磁共振图像.图像数据都是从Sunnybrook健康科学中心的临床数据库中随机选取的，来源于1.5TGE工作站，所有图像在屏气10-15 s内获得，整个心动周期分为20个心脏时相的时间分辨率.从房室环到心尖共采集6-12层短轴图像,层厚为8-10 mm，视野320 mm×320 mm，矩阵为256×256，金标准轮廓信息文件为.txt格式的文本.对于每个病例，医生只勾画了该病例心脏舒张期和收缩期的图像，对于舒张期图像，医生勾画左心室内外膜的轮廓，对于收缩期，医生只勾画了心内膜轮廓，而没有对心外膜轮廓进行提取.

整个数据集共有45个病例，平均分为3组.每一组15个病例中包含了4种类型的心脏图像，即4个缺血性心衰竭(Heart Failure with Ischemia，记为HF-I)、4个非缺血性心衰竭(Heart Failure without Ischemia，记为HF-NI)、4个心肌肥大(Hypertrophy，记为HYP)、3个正常(Normal，记为N).

本实验将第1组和第3组数据的总和，通过数据增强后用8∶2的比例划分为训练集和验证集，将第2组数据作为测试集.

2.2 实验结果

本文用到的网络模型在TensorFlow1.12上实现，并搭载对应的CUDA9.0以及CUDNN7.0.训练过程中对学习率、优化器和网络层数等超参进行调试，最终将learning rate调整为0.0004，使用Adam优化器，DenseNet层数设置为8层.在MICCAI2009测试集中的15个病例上取得如表1所示的结果：内(外)膜的好的检测率、Dice系数和APD值分别为97.60%(98.66%)、0.91(0.96)和1.71(1.42).

表1 实验结果

表2是本文方法、NGO的方法[13]、LU的方法[7]和HU的方法[6]的对比.本文方法在内、外膜好的检测率和Dice系数上明显高于另外3种算法；并且内、外膜的APD值明显低于另外3种算法.因此，本文算法分割出的轮廓更接近于金标准.

表2 左心室MR图像分割结果对比(4种方法)

图8是本文方法和HU的方法分割结果对比.根据数据集中4种类型的心脏，每个类型选出一位病人心脏在某一时刻的MR图像.图中绿色的线表示自动分割出的心脏内膜和心脏外膜的轮廓，红色的线表示医生圈出的心脏内膜和心脏外膜轮廓，即心脏内膜和外膜的金标准.从对比图中可以看出本文方法的结果明显更接近金标准轮廓.

图8 左心室MR图像分割对比(HU和本文方法)

图9是含有左心室流出道的MR图像(本文方法和HU的方法)分割结果的对比图.从原图中可以看出含有左心室流出道的MR图像在血池区域存在一个明显的缺口，这种情况会增大分割难度.图9显示本文方法在含流出道的MR图像上明显取得了更好的分割结果.

图9 含有左心室流出道的MR图像分割对比(HU和本文方法)

图10是本文方法中其他病例MR图像分割的效果图,可以看出本文分割算法对于各种类型的左心室MR图像有着良好的分割性能.

图10 其他病例左心室MR图像分割结果

为验证空洞卷积的效果，图11分别给出了在训练集和验证集上使用空洞卷积的DenseNet和普通卷积的DenseNet训练过程的loss曲线对比.在图中蓝色曲线代表普通卷积，黄色曲线代表空洞卷积，可以看到使用空洞卷积的DenseNet的收敛速度和最终收敛结果都比使用普通卷积的DenseNet好.

(a)训练集loss曲线对比 (b)验证集loss曲线对比

3 结论

本文提出了一种基于空洞卷积密集连接网络的左心室MR图像分割方法.首先对MICCAI2009数据集中选取的MR图像提取出110×110像素大小的感兴趣区域，进行仿射变换并扩大，然后对模型进行训练，最后在训练好的网络上用测试集进行分割测试，结果表明：本文基于空洞卷积密集连接网络的方法明显优于传统的方法和当前其他深度学习方法.

本文的网络模型每一层都会使用前面所有层的特征作为输入，极大地缓解了梯度消失问题；并且引入空洞卷积的方法，缓解了内存过度消耗的问题，因为扩大了感受野，所以减少了网络模型会将图片分割出多个错误区域的问题.但由于少量心尖层的MR图像中左心室过小，网络可能无法准确地定位到左心室区域.在网络训练时运用上一层的分割结果作为参考是个值得进一步研究的问题.