基于全卷积网络的X线图像成像部位自动分割

郭磊，王玉军，贺宏伟，王昌元，刘露，杨秀云

山东第一医科大学（山东省医学科学院）现代教育技术中心，泰安市，271016

0 引言

医学图像分割是医学图像处理的关键步骤，是临床诊断、图像引导的外科手术和放射治疗等的重要技术前提。影像组学研究一般将医学图像分割看作影像组学方法实现的基本步骤，是进行高通量图像特征提取、数据分析及临床决策的基础[1]。文献[2]将图像分割技术用于肺挫伤部位相关指标的CT定量分析。文献[3]提出改进型区域生长方法，进行心脏CT图像分割以实现心脏三维建模。文献[4]将图像分割问题分成两个关联任务：目标识别和目标轮廓，目标识别即确定目标在图像中的位置，目标轮廓即绘制目标在图像中的空间范围和组成；并将图像分割方法概括为基于阈值、基于区域、基于形状、基于邻接空间信息和基于机器学习等五类方法。其中前四类方法被看作传统分割方法。传统分割方法依据人工指定的图像特征进行图像分割，但人工指定的方式往往无法保证所选取图像特征的多维度和代表性。例如文献[5]通过多次尝试确定用于婴幼儿脑图像分割的图像特征最佳组合。特征数目及组合的限定使得图像特征选取依赖于具体应用场景，且不能保证图像特征的多维度和代表性。

卷积神经网络是机器学习的重要方面，在图像处理方面有着好于传统方法的显著优势。卷积神经网络中卷积核的使用，使得卷积神经网络能够提取较多维度和有代表性的图像特征，使得图像识别和图像分割准确率获得较大提升。但池化层的使用会导致处理过程中图像细节丢失[6]。结合卷积神经网络当前研究和医学图像自身特点，设计一种全卷积网络。该网络使用多种尺寸卷积核提取图像中不同区域的图像特征，取消池化层以保留处理过程中图像细节，最终实现成像部位的精细自动分割。

1 全卷积网络

1.1 卷积神经网络概述

卷积神经网络结构上一般包括输入层、卷积层、池化层、全连接层和输出层等[7]。输入层将数字图像作为输入数据；卷积层将上层输出作为输入数据，执行卷积操作并按照神经元激活函数输出特征图；池化层按照采样策略，对上层输入进行采样输出；全连接层将上层的全部特征图组成特征向量；输出层依据全连接层特征向量输出判定结果。卷积神经网络对输入数据进行前向传播预测，执行反向传播算法进行网络训练[8]。训练过程中网络参数沿判定结果误差减小方向调整。卷积核权值调整过程就是图像特征提取过程。

AlexNet[9]，VGG[10]和GoogLeNet[11]通过增加网络层或子网络提升图像识别性能。AlexNet包含5个卷积层和3个全连接层，能够提取较多维度且有代表性的图像特征。对于更大规模数据集的图像处理任务，则需要卷积神经网络具备更多层级和卷积核。文献[12]提出采用卷积操作将全连接层变换成卷积层，实现图像特征原始位置在卷积神经网络中保留，从而得到端到端图像分割的方法。结合条件随机场算法[13]、上采样方法[14]等，全卷积神经网络在自然图像分割性能进一步优化。

1.2 全卷积网络实现

由于医学图像中图像特征数目远低于自然图像，全卷积网络中设置的卷积核数目少于用于自然图像处理的卷积神经网络。图1是用于X线图像成像部位自动分割的全卷积网络，包括输入层1层、输出层1层，卷积层7层，每层右上侧标注特征图尺寸，中间标注卷积核尺寸，下侧标注卷积核数目。输入层和卷积层的卷积核移动步长为1。

图1 全卷积网络结构Fig.1 The structure of fully convolutional neural networks

2 基于全卷积网络的成像部位自动分割

成像部位自动分割是依据图像特征，将成像部位从医学图像中识别和分割出来的过程。基于全卷积网络进行成像部位自动分割，需准备数据集进行全卷积网络训练，待分割准确率经测试达到较高水平结束训练。对于训练好的全卷积网络，通过程序调用进行自动分割。

2.1 数据集准备

数据集应包括各类成像部位的X线图像，成像部分类别明细见文献[15]。整个数据集分成训练集和测试集。训练集用于网络参数调整训练，测试集用于验证图像分割性能。为保证训练效果进行数据集扩展，对图像做镜像处理或剪切处理。镜像处理将图像沿纵轴做旋转180o处理。剪切处理在图像上切取一张或多张小图，多张小图构成一个训练批次。通过镜像和剪切处理，实现依靠较少原始图像扩展数据集。

2.2 全卷积网络训练及测试

对于图1所示全卷积网络，首先确定全卷积网络采用的神经元激活函数，初始化网络连接权值和神经元偏置，设置网络学习率相关参数，选择具体训练及测试策略，如训练批次和测试批次的迭代方式、Dropout技术等。全卷积网络执行反向传播算法更新网络连接权值和神经元偏置。随着训练批次和测试批次的迭代，图像分割准确率不断上升。迭代过程如算法1所示。

算法1 全卷积网络训练及测试

初始条件：全卷积网络结构参数和策略参数

输入数据：训练集Settrain和测试集Settest

① 随机初始化网络全部连接权值和神经元偏置；

② 将训练集Settrain分成Maxtrain个训练批次Batchtrain( i )，1≤ i ≤ Maxtrain；

③ 将测试集Settest组成一个测试批次Batchtest；

④ for ( i = 1; i ≤ Maxtrain; i ++ ) do{

for all 训练样本sample_train∈训练批次Batchtrain(i ) do{计算sample_train的前向输出；

for all 网络层layer ∈ 全卷积网络 反向逐层 do{

for all 卷积核kernel ∈ 网络层layer所有下联卷积核 do{计算卷积核kernel的反向传递误差；

计算卷积核kernel的连接权值和偏置的偏导数；

更新卷积核kernel的连接权值和偏置； } } }

if ( i mod 测试间隔test_interval) do{

for all 测试样本sample_test ∈ 测试批次Batchtestdo

计算sample_test 的前向输出误差；

计算测试批次Batchtest平均误差和准确率； } }

输出数据：全部连接权值和神经元偏置。

2.3 自动分割实现

程序接收尺寸为256×256×3的X线图像输入，通过调用训练好的全卷积网络模型自动分割图像，输出成像部位分割结果。

3 实验分析

实验数据来源于泰山医学院放射影像数据集。选取放疗定位产生的各成像部位X线图像作为输入图像，通过临床医生手工标记获得图像分割金标准，依据金标准制作标记图像，如图2所示。将输入图像及其标记图像组成样本分配至训练集和测试集，设置训练样本2 000个，测试样本100个。通过以下策略扩充训练集：① 对全部训练样本沿图像纵轴做180o反转；② 取训练样本中特征清晰的区域生成小图作为新的训练样本。经过数据集扩展，形成10 000个样本的训练集和100个样本的测试集。

图2 X线图像及分割标准Fig.2 An X-ray image and its segmentation criteria

实验平台为执行深度学习框架Caffe的虚拟机服务器，实现图1全卷积网络结构。网络参数方面，选取修正线性单元（Rectified Linear Unit，ReLU）作为神经元激活函数，L6和L7层采用Dropout技术并设置比率为0.5，设置初始学习率为0.01，采取随训练过程逐步降低学习率策略。将20个训练样本编入1个训练批次，将整个训练集分成500个训练批次。将100个测试样本组成1个测试批次。随着训练和测试迭代，分割准确率逐渐上升，具体情况如表1。

表1 图像分割准确率变化Tab.1 Variations of the segmentation accuracy

选取图像分析指标Dice相似系数（Dice Similarity Coefficient, DSC）和Jaccard相似系数（Jaccard Similarity Coefficient, JSC），与相关研究[16-17]分割结果进行定量对比。DSC和JSC具体定义如下所示：

其中A表示成像部位分割结果，B表示金标准中标记区域，| Reg |表示区域Reg内像素总数。相比传统分割方法[16-17]，全卷积网络设置多尺寸卷积核提取图像特征以保证图像特征的多维度和代表性，取消池化层以避免图像特征下采样丢失，最终实现成像部位精细分割。图像分割准确率[16-17]对比如表2所示。

表2 图像分割准确率对比Tab.2 Comparisons of the segmentation accuracy

4 总结展望

本文设计了一种全卷积网络，基于全卷积网络实现了X线图像中成像部位自动分割。全卷积网络设置多种尺寸卷积核提取图像特征，保证了图像特征的多维度和代表性；取消池化层，避免了图像信息下采样丢失。图像分割结果具有更高准确率。进一步研究将依据分割结果进行图像配准方法优化研究，改进和优化卷积神经网络结构以提高卷积神经网络医学图像处理能力。