基于多尺度U型网络的图像分割方法

刘 鹏，雷 涛*，耿信哲，苏 健

(1.陕西科技大学 人工智能学院，陕西 西安 710021；2.陕西省人工智能联合重点实验室，陕西 西安 710021)

0 引言

眼底图像主要包括视盘、黄斑和血管等部分，眼底血管分割结果能为高血压、糖尿病等疾病提供重要的诊断依据[1]，这使得它成为医学图像分析领域的热点研究内容[2]。眼底血管形态复杂，以往主要由医生对其进行手工标注分割，人工成本非常高，且受主观因素影响较大，还无法进行批量处理[3]。因此，运用人工智能技术来实现眼底血管分割具有重要的意义。

Fraz等[4]利用决策树和形态学变换的方法完成了血管分割。王娜等[5]将Gabor特征融入到全卷积网络中，分割精度有所提高，但血管存在断裂现象。Ronneberger等[6]以全卷积网络为基础，设计出U-Net模型，分为编码部分与解码部分，编码解码结构是完全对称的，利用通道拼接将语义信息重新定位获得了较好的结果。Wang等研究者[7]先用卷积网络提取血管特征，再用随机森林算法对眼底血管做分割。薛文渲等[8]在U-Net上加入注意力模型和残差结构，改善分割结果。吴晨玥等[9]结合密集连接与残差网络，对U-Net做出改进。这些算法都研究了眼底血管分割任务，但由于细小血管特征不突出、血管与背景特征差异不明显等因素，目前算法还存在着微小血管丢失、断裂等问题。

本文针对眼底图像血管分割存在的问题，提出了多尺度U型网络。该网络主要有两方面改进:一方面是引入金字塔池化模块，对U-Net编码器端提取的特征进行多尺度的融合，对不同尺度的血管特征信息充分利用;另一方面，将卷积操作后的激活函数用Leaky ReLU替换，使负值特征能够向后传递，利用负值特征改善细小血管的分割精度。本文网络利用不同感受野的细小血管特征和负值特征，将浅层信息与深层信息有效融合，提高网络对细小血管的分割能力。

1 U-Net模型、金字塔池化模型与Leaky ReLU函数模型

1.1 U-Net模型

经典卷积网络结构在多次卷积池化后，得出的特征图损失了空间位置信息，使目标定位精度受到影响[10-11]。研究人员用全卷积网络的思想，对网络进行了改进，设计了U型网络。U-Net是全卷积网络的变形结构，由编码器和解码器2块构成，分别对应为收缩路径与扩张路径，收缩路径有4个池化层，扩张路径有4个上采样层[12]。U-Net模型如图1所示，编码器部分由2个3×3的卷积核加上激活函数、下采样层组合而成。2个3×3卷积核用来提取特征，激活函数用ReLU对特征进行非线性映射，下采样层将特征图缩小为原来的一半。解码器部分由反卷积操作、通道维的拼接操作和2次3×3卷积操作组成。反卷积操作将特征通道减半，尺寸扩大为2倍，然后将对应下采样的特征图拼接到通道维度上，再用2个3×3卷积提取特征。最后，用1×1卷积得到1个2层的特征图，对应分割结果。高层特征包含语义信息，可以对像素分类，低层特征主要是边缘细节、空间位置信息，使得目标定位准确[13]。U-Net网络将图像的低层特征与高层特征结合互补，使得分割精度得到提高。

图1 U-Net模型Fig.1 U-Net model

1.2 金字塔池化模型

金字塔池化能够把局部特征变换到不同尺度空间再进行特征融合，池化后能产生与输入相同大小的特征图[14]，如图2所示。利用4种划分方式对特征图做池化，对应得到1×1，2×2，3×3，6×6四种尺度的特征图。用1×1卷积改变通道维数，使它们的维数调整为输入的1/4,再经上采样使特征图与输入特征图尺寸一致，最后将它们在通道维上前后拼接，完成金字塔池化。该池化模型对不同感受野下的特征做了有效聚合，图2中的4种颜色特征分别代表着不同尺度下的语义信息，使网络能够提取到不同尺度的特征，对提升算法预测精度非常有用。不同感受野下的特征获得了多层次的全局语义信息，增强了网络对于全局信息的捕获能力，能有效改善眼底血管分割结果。

图2 金字塔池化模块Fig.2 Pyramid pooling module

1.3 Leaky ReLU激活函数

Leaky ReLU也被称为带泄露的ReLU函数，该激活函数改善了ReLU函数在训练时比较脆弱的缺点。当输入x<0时，该函数给所有负值赋予一个非零斜率a，由此在神经元未激活时也可以有一个非零的梯度对参数做更新，避免一直不被激活。Leaky ReLU定义如公式所示，函数图像如图3所示。

图3 Leaky ReLU函数Fig.3 Leaky ReLU function

式中，a是一个很小的常数，通常取值为0.01。

2 多尺度特征U型网络

2.1 网络框架设计

U-Net网络在医学数据集上表现出色，大幅减少了过拟合现象，但是对眼底微细血管的分割效果不好，细节丢失严重。由于U-Net获取多尺度特征是通过特征维度拼接实现的，因此其尺度有一定的局限性，本文将金字塔池化与U-Net跳跃连接结合起来，实现多种尺度特征的提取与融合。运用金字塔池化，将卷积得到的特征图经过4种尺度的池化操作得到4种尺度的特征图，用1×1卷积将通道维度变为原始通道数的1/4，再上采样到原特征图的大小，在通道维上进行拼接，将得到的特征图与解码端的特征图做跳跃拼接，实现多尺度的特征融合，在多个尺度上提取血管特征，提高对微细血管的分割能力。同时，为了利用负值特征的信息增加微细血管的分割效果，在卷积操作中使用Leaky ReLU函数进行激活操作，改变原来激活函数在负值特征上的缺失。本文设计的多尺度U型网络框架如图4所示。

图4 多尺度特征U型网络框架Fig.4 U-shaped network framework with multi-scale features

2.2 网络结构分析

U-Net网络通过4次通道维拼接将特征融入到解码器端，这一方式对图像语义信息的定位起到了作用，但仍有局限性。在眼底血管分割任务中，简单的下采样过程会产生某些特征丢失，这样的丢失对微细血管的分割影响更大。改进的网络对特征图做金字塔池化后再进行跳跃连接，每个金字塔池化都是4个尺度特征的融合，对不同尺度的特征都能够充分利用，对细节信息的丢失做了有效的补充。同时，Leaky ReLU函数在进行激活操作时，对负值特征的利用能够推动分割精度的提高。

3 实验结果与分析

3.1 数据集

DRIVE数据集来源于糖尿病筛查项目，该项目针对糖尿病患者的视网膜图像进行采集与研究[15]。针对此数据集，学者们可以对比不同算法的分割效果，方便不同国家的研究人员在一个标准下讨论交流[16]。数据集部分图像原图和标签如图5和图6所示。

图5 数据集部分图像Fig.5 Sample images of the dataset

图6 数据集部分标签Fig.6 Sample labels of the dataset

该项目选择了400名糖尿病患者，以他们的视网膜眼底图为原图，先随机迭出40幅作为DRIVE数据集的图像，包括33幅正常的视网膜图像与7幅糖尿病引发早期视网膜病变的图像[17]。每幅图像为8位的三通道图像，统一为jpg格式。数据集中已做好划分，用20幅来训练，其余20幅用来测试。每一幅图都有一张对应的由医生完成的人工分割结果，作为网络的训练标签。该数据集隐去了病人的相关信息，对病人进行隐私保护[18]。

3.2 实验设置与数据增强

实验硬件为Intel(R) Core i7-8700 3.20 GHz处理器、RTX2080Ti显卡，在64位Windows10系统CUDA8.0平台上进行。算法在PyTorch框架上完成,用Python3.7来实现。本实验网络的初始学习率为1×10-4，并在每经过6次循环后，学习率衰减0.2，反向传播用随机梯度下降的方式更新权重。

DRIVE数据集的数据量较小，不适合直接利用网络进行训练，需要对它做数据增强。本文通过对图像进行0.9～1.1倍的缩放、顺时针20°旋转、逆时针20°旋转、5～15个像素的平移、翻转(水平、垂直方向)等方式进行数据增强，经过数据增强后数据量达到原来的70倍。

3.3 评价指标

血管像素与背景像素的4种情况如表1所示。

表1 血管像素与背景像素的4种情况Tab.1 Four cases of vessel pixel and background pixel

算法对眼底图像做分割,即给各像素赋上血管与非血管2类标签。为了定量比较分割结果，本文采用精确度、特异性和敏感性3个指标客观评价算法的性能。精确度是指正确分类为血管与非血管的像素占图像总像素的比例；特异性是指正确分为非血管占实际非血管像素的比例；敏感性是指正确分为血管占实际血管像素的比例。各指标的计算公式如表2所示。

表2 评价指标Tab.2 Evaluation index

3.4 结果分析

视网膜血管分割结果如图7所示。通过在DRIVE数据集上的对比实验可以看出，采用U-Net网络，分割结果图上可见很多毛细血管的分割断裂区域，还存在较多没有分割出来的区域，说明U-Net能够对眼底图像中的大部分血管完成分割，但毛细血管位置的分割效果不理想。采用多尺度U型网络后，在未改变激活函数，依然用ReLU函数时，分割指标有所提高，但分割结果存在少分的现象，断裂情况也比较严重。采用多尺度U型网络加Leaky ReLU函数时，利用不同尺度的池化操作得到了不同尺度的特征图，并在通道维做了特征融合，对不同尺度的特征做了较为充分的利用，同时由于使用了Leaky ReLU函数进行激活，利用了负值特征，使得实验指标提升较多。分割结果更加接近医生手动分割的标签图，毛细血管分割精度提升较多，断裂区域有了明显的改善，误分区域有效减少，显示出本文算法对眼底血管分割任务的意义。各评价指标的对比如图8所示。

(a) 原图

(b) 标签

(c) U-Net分割结果

(d) 多尺度U型网络+ReLU分割结果

(e) 多尺度U型网络+Leaky ReLU分割结果

图8 视网膜血管分割指标对比Fig.8 Comparison of retinal vessels segmentation indexes

4 结束语

眼底血管分割对疾病的早期诊断有重要的临床价值，使用分割算法完成这一过程能有效地减少医生的工作时间，提高诊断效率。本文针对眼底图像血管丰富、U-Net网络不能很好地实现对细小血管分割的问题，提出了一种多尺度U型网络。该网络运用金字塔池化将不同尺度的特征聚合在一起，运用Leaky ReLU函数将负值特征向后传递，在对特征利用更充分的基础上，使得网络对细小血管的分割有了明显的改善。在后续的工作中，计划用多尺度U型网络对带病灶的眼底图像展开研究。