基于全卷积神经网络迁移学习的乳腺肿块图像分割

徐胜舟,程时宇

(中南民族大学 计算机科学学院, 武汉 430074)

乳腺癌是全球女性最常见的恶性肿瘤[1], 也是我国增长幅度最大的恶性肿瘤之一, 堪称“女性杀手”[2]. 目前, 早期检查早期发现仍是提高乳腺癌患者生存率最有效的途径. 乳腺X线摄影检查是当前最常用的乳腺癌早期诊断方法. 全世界每天都有大量的乳腺X线摄片生成. 乳腺X线摄片中肿块的分割是对乳腺癌进一步定量分析的关键. 然而, 由于乳腺X线摄片是对三维的乳腺组织进行二维成像, 图像中肿块周围可能存在具有类似于肿块灰度分布的其他正常的致密组织, 对肿块图像分割造成干扰. 另外, 众多病例中乳腺肿块大小和形态各不相同, 形状各异, 对比度不清晰, 这些都给肿块图像分割造成了困难.

学者们对乳腺肿块图像分割进行了广泛研究, 并提出了许多分割算法. 这些算法大致可以分为两大类：传统分割算法和基于深度学习的分割算法. 其中, 传统算法又可以分为基于区域的算法、基于边界的算法以及混合分割算法. 基于区域的肿块图像分割算法寻找适合一定条件的区域作为肿块区域, 主要有区域增长算法[3,4]、分水岭算法[5,6]以及形态学滤波方法[7]; 基于边界的分割算法则是搜索一条代表肿块轮廓的最佳路径, 主要有基于活动轮廓模型[8,9]和动态规划[10,11]的算法; 由于单一的一种算法很难取得理想的肿块轮廓, 因此许多学者将多种分割算法结合起来应用于肿块图像分割[10,12,13]. 然而, 所有这些传统的图像分割算法都依赖于肿块图像的某些特征, 如灰度、梯度或者形状信息等.

近年来, 深度学习在目标检测、图像识别等应用领域获得了很大进展, 成为当前的研究热点之一. 一些学者也将深度学习运用于乳腺肿块图像的分割上. Dhungel等人结合多种基于深度学习的势函数、高斯混合模型以及肿块形状的先验信息进行肿块图像分割[14], 他们还利用深度卷积和深度信任网络作为势函数以构建肿块的预测模型[15], 其不足之处在于分阶段的训练过程中容易产生过拟合现象. 全卷积神经网络(Fully Convolutional Networks, FCNs)能够结合深层全局语义信息和浅层局部细节信息, 深层信息经过多次下采样后能够提供分割目标与其环境之间的关系特征. 浅层信息能够为分割提供更加精细的局部特征, 如梯度等. 考虑到乳腺肿块的形状和外观先验信息在肿块图像分割过程中有重要作用, Zhu等人在DDSM-BCRP[16]和INbreast[17]数据库中分别估计了一个先验形状参数并将其作为FCN网络最后一层的偏置参数. 但是值得注意的是, 不论DDSM-BCRP还是INbreast数据库中, 每一个肿块的形状都各不相同, 通用的先验形状信息并不适用于具体的肿块个体. U-Net作为全卷积神经网络的一种改进型深度网络, 它除了继承FCN的编码解码结构之外, 更重要的是下采样与上采样之间的同层分辨率级联, 即两边的特征图的合并, 这个操作改善了采样信息不全的情况, 使得U-Net的效果大大增强. 因此, U-Net一经提出, 便在医学图像分割问题上表现出相对其他网络的明显优势. 本文的全卷积神经网络具有与U-Net类似的U型结构并根据乳腺肿块图像分割任务的特点加以改进.

由于训练一个复杂的神经网络是非常费时费力的过程, 往往需要大量的标记过的训练数据, 以及繁长的训练时间才能训练出一个好的模型. 如果两个任务存在一定的相关性, 如已经训练好的医学图像分割模型, 现在需要完成对乳腺肿块图像的分割, 则无需从头开始训练新模型, 可以将原模型中的一些权值和中间层迁移到新模型中, 这样就大大降低了人力和物力.

为进一步提高乳腺肿块图像分割的精度, 本文提出一种基于全卷积神经网络迁移学习的乳腺肿块图像分割方法.

1 肿块图像分割算法

1.1 算法原理

从本质上来讲, 利用全卷积神经网络对乳腺图像中的肿块进行分割是一个图像分类的过程, 其实就是对输入的图像进行一系列的卷积和池化操作, 得到一幅与输入图像大小相同的特征图. 该特征图的每个坐标位置的像素具有两个通道, 分别代表了该位置上的像素属于肿块的概率以及属于背景的概率, 以此判断每个像素属于肿块或是背景区域.

通常深度学习需要在大量标注图像上进行训练以达到理想的分割效果. 但是由于标注好的乳腺X线摄片数量非常有限, 目前, 国内尚无专门用于乳腺肿块图像分割的公用数据库. 为全面评估肿块图像分割算法的性能, 本文采用美国南弗罗里达大学的The Digital Databse for Screening Mammography (DDSM)[16]. 我们从该数据库中整理挑选出483幅包含肿块的乳腺X线摄片. 由于其数量仍相对有限, 因此需要使用迁移学习微调已经训练好的模型参数, 将其用于乳腺X线摄片中肿块图像的分割, 这样可以在降低训练代价的同时取得理想的分割结果.

1.2 算法模型

本文首先利用在子采样后的乳腺X线摄片上进行肿块检测的结果, 以检测到的肿块区域的重心为中心, 提取大小为128×128像素的矩形感兴趣区域(Region of Interest, ROI)作为全卷积网络的输入图像, 经过如图1所示的深度学习网络后, 得到具有相同大小的代表肿块图像分割结果的二值图像.

图1 肿块图像分割网络结构图Fig.1 The network structure diagram of mass image segmentation

图1所示的乳腺肿块图像分割网络模型由左侧向下的收缩路径和右侧向上的扩展路径构成, 形成一个U形的网络结构. 长方条左下角的数字代表了这层特征的大小, 长方条上方的数字代表了这一层的特征(feature map)的数量, 黑色向右的箭头代表了卷积、归一化和(修正线性单元)激活, 灰色向右箭头代表了信息复制, 黑色向下箭头代表2×2的下采样操作, 黑色向上箭头则代表了2×2的上采样操作, 网络右半部分的白色长方条和灰色长方条的拼接是在第三维度上进行的. 网络的输入层为128×128大小的感兴趣区域单通道图像, 网络的输出层(最后一层)的2个feature map具有相同的像素大小, 它们分别代表了图像各像素属于肿块或背景的概率的大小, 如果属于肿块的概率大于属于背景的概率, 则认为该像素属于肿块；反之则属于背景. 从图1可以看出, 网络的收缩路径和扩展路径都由三步构成, 在收缩路径中, 每一步特征图的数量会翻倍而每幅特征图的行列数则减半；相反地, 在扩展路径中, 每一步的特征图数量会减半而每幅特征图的行列数则翻倍, 最后得到的输出图像与输入图像尺寸一致. 收缩路径和扩展路径中的每一步均由两次卷积、归一化和修正线性单元激活组成, 其中卷积采用的卷积核大小为3×3像素, 步长和填充为1. 扩展路径中每次卷积之前, 现有的特征图与收缩路径中对应特征图在第三维度上合并形成新的特征图(新特征图的数量是原特征图的2倍).

1.3 数据增强

与其他深度学习方法类似, 数据增强可以有效降低由于数据量不足而导致的过拟合现象, 还能够有效提高模型的训练效果, 尤其是对于像乳腺X线摄片训练样本缺乏的情况. 本文中所采取的数据增强策略包括对原图像进行水平翻转、垂直翻转、旋转90度、旋转180度和旋转270度(如图2所示). 通过这些增强操作后的训练样本数是原样本数的6倍.

对分割结果的评估则采取了两类评估指标, 一类是从分割区域与医生圈画的金标准区域之间的重叠关系进行度量, 主要包括Dice相似系数DSC(Dice Similarity Coefficient)、区域重叠率AOM(Area Overlap Measure)、区域欠分割率AUM(Area Under-segmentation Measure)、区域过分割率AVM(Area Over-segmentation measure); 另一类则是从分割区域的轮廓与金标准区域的轮廓之间的距离关系进行度量, 主要包括Hausdorff距离(HD). 假设Aseg代表分割模型得到的肿块区域, 而Ags则代表对应的金标准区域, 即放射科医师手工圈画的肿块区域, 则DSC、AOM、AUM和AVM的定义分别如下：

(1)

(2)

(3)

(4)

它们的值均介于0到1之间, 其中DSC和AOM的值越大, 说明分割结果越接近金标准, 而AUM和AVM的值越小, 说明分割结果相对于金标准区域之间的差异越小. 其中DSC强调目标的整体识别准确率, 它被用作全卷积神经网络模型的损失函数.

图2 数据增强Fig.2 Data augmentation

HD度量则是反映分割模型得到的肿块边界和放射科医师手工圈画的边界的对应像素点之间的距离情况. 假设分割算法得到的边界由m个像素构成, 可表示为P={p1,p2,…，pm}; 放射科医师手工圈画的边界由n个像素构成, 可表示为Q={q1,q2,…，qn};d(pi,Q)表示边界P上任意一点pi到边界Q上所有像素点的距离的最小值, 则HD可以定义如下：

HD(P,Q)=

(5)

2 实验结果及分析

本文的全卷积网络模型是在Caffe上实现并采用随机梯度下降优化器进行训练的. 在训练过程中, 动量值、学习率、权重衰减和最大迭代次数等超参的值采用迁移学习的方法在U-Net网络的参数值基础上做微调, 分别设置为0.9, 0.001, 0.00005和14000. 为了避免过拟合, 网络中的两个连续卷积层之间使用0.2的淘汰率. 为全面评估肿块图像分割算法的性能, 本文在483幅来自DDSM数据集的乳腺肿块ROI上进行肿块图像分割对比实验. 其中400幅图像用作训练样本来训练全卷积网络模型, 剩余的83幅图像则作为测试图像. 对比算法包括Xu等人的标记控制分水岭算法[5]以及Song等人的模板匹配和动态规划算法[10]. 所有算法都在相同的测试样本上进行测试.

图3展示了标记控制分水岭算法、模板匹配和动态规划算法以及本文分割算法在四幅肿块图像上的分割结果. 其中深色线条代表放射科医师圈画的肿块轮廓, 即金标准区域, 而浅色线条则是分割算法得到的分割结果. 从图中可以明显看出, 本文算法的分割结果更接近金标准.

为了定量分析肿块图像分割结果, 表1给出了本文算法、标记控制分水岭算法以及模板匹配和动态规划算法的各个度量值的平均值, 从表中可以看出, 本文算法的DSC、AOM值均高于另外两种算法, 而AUM、AVM和HD值则相对较低. 因此, 本文算法的分割精度要优于另外两种分割算法.

图3 肿块图像分割结果Fig.3 Mass image segmentation results

DSCAOMAUMAVMHD0.8220.7180.1650.10711.0400.8450.7400.1480.1339.1460.8940.8110.0870.1127.257

图4给出了本文算法、标记控制分水岭算法以及模板匹配和动态规划算法在度量值DSC上的箱形图, 从图中可以看出, 本文算法的上四分位数、中位数、下四分位数和下边缘均要高于另外两种算法. 因此, 本文算法的分割结果的整体分布要优于另外两种算法.

图4 DSC值箱形图比较Fig.4 DSC values comparison by box plot

类似地, 对于度量值AOM, 图5给出了本文算法、标记控制分水岭算法以及模板匹配和动态规划算法的散点图, 从图中可以看出, 在AOM值低于0.4的较差的分割结果上, 3种算法的表现基本相同, 但是在较好的分割结果上(如AOM值高于0.6), 本文算法分割率要明显高于另外两种算法.

图5 AOM值散点图比较Fig.5 AOM values comparison by scatter plot

图4和图5是各种算法在基于区域的度量方法上的表现, 图6给出了本文算法、标记控制分水岭算法以及模板匹配和动态规划算法在基于边界的度量方法HD上的表现. 从图中可以看出, 本文算法的上边缘、上四分位数、中位数、下四分位数和下边缘均要低于另外两种算法, 即本文算法得到的肿块轮廓整体上更接近医生圈画的金标准区域.

图6 HD值箱形图比较Fig.6 HD values comparison by box plot

3 结语

为了提高乳腺肿块图像分割的精度, 本文设计了一种基于全卷积网络迁移学习的乳腺肿块图像分割模型. 首先构造一种由收缩路径和扩展路径组成的全卷积神经网络, 然后利用迁移学习网络模型载入参数, 并对DDSM数据库中的483幅图像中的400幅图像进行数据增强后作为训练样本集对分割模型进行训练, 最后在训练好的模型上对剩余的83幅图像进行分割测试. 实验结果表明, 本文设计的基于全卷积神经网络迁移学习方法的分割效果明显优于传统分割算法.