基于注意力U-Net网络的彩色眼底图像视网膜血管分割

郑丽萍 张天舒 曹珂崯

摘  要：彩色眼底图像的视网膜血管分析可以帮助医生诊断许多眼科和全身性疾病，具有十分重要的临床意义。为进一步提高视网膜血管的分割效果，文章提出一个基于注意力U-Net网络的视网膜血管分割方法，该方法使用U-Net结合通道注意力机制以提高分割准确率，在公开数据集DRIVE的灵敏度、特异性和准确率分别为0.772 6，0.984 7和0.966 0，优于现有的许多方法。

关键词：注意力；U-Net；血管分割

中图分类号：TP391.4  文献标识码：A  文章编号：2096-4706（2023）06-0065-04

Segmentation of Retinal Vascular in Color Fundus Images Based on Attention U-Net Network

ZHENG Liping， ZHANG Tianshu， CAO Keyin

（Jiangsu Vocational College of Electronics and Information， Huaian  223001， China）

Abstract： Retinal vascular analysis of color fundus images can help doctors diagnose many ophthalmic and systemic diseases， which is of great clinical significance. To further improve the segmentation effect of retinal vascular， this paper proposes a retinal vascular segmentation method based on attention U-Net network， which uses U-Net and channel attention mechanism to improve segmentation accuracy， The sensitivity， specificity and accuracy of DRIVE in the open dataset are 0.772 6， 0.984 7 and 0.966 0 respectively， which are superior to many existing methods.

Keywords： attention; U-Net; vascular segmentation

0  引  言

眼睛是人類接受外部信息的重要器官之一，而随着年龄的增长各种眼科疾病的发病率会显著上升。眼底的视网膜血管是人类全身血管系统中唯一可以无创观察到的部分，视网膜血管的变化不仅可以观察到各种眼科致盲疾病，还可以诊断身体各种全身性疾病，例如糖尿病[1]。彩色眼底图像的视网膜血管分割可以帮助医生细致的观察到视网膜的宽度和分叉形态的变化，这有助于对各种眼科和全身性疾病的前期诊断[2]，避免疾病进一步恶化。因此，使用图像处理技术对彩色眼底图像进行视网膜血管分割具有重要的临床意义和研究价值。图1（a）为正常彩色眼底图，图1（b）为早期糖尿病彩色眼底病变图，图1（c）为手动正常彩色眼底血管分割图像。

近年来，许多国内外学者进行了大量彩色眼底图像视网膜血管分割的研究，其中根据是否需要先验的标签信息可以分为有监督的分割方法和无监督的分割方法两类。无监督的视网膜血管分割方法不需要提供额外的标签信息，Zhang等人[3]协同使用匹配滤波对视网膜血管进行分割，该方法协同使用局部和全局特征，在当时取得了不错的效果。Fraz等人[4]使用4个不同方向的高斯滤波得到中心线，然后使用顶帽变换增加血管信息，最后，选出候选区域并以血管中心线上的点初始点，在候选区域使用区域生长法不停填充血管。无监督的方法虽然在前期可以减少制作标签的工作量，但其分割效果受到的选取人工特征的影响较大，并且泛化能力较弱。

有监督的方法需要在前期训练提供相应的标签信息，现在主流的有监督的分割方法主要是基于深度学习的算法，Almo等人[5]利用U-Net[6]、残差网络和递归卷积神经网络创建RU-Net和R2U-Net，在视网膜血管分割任务上表现出优秀的性能。Soomro等人[7]设计了一个全卷积神经网络进行精细视网膜血管分割，该方法包括预处理和后处理的过程，预处理用来处理照明不均匀，而后处理步骤用于去除背景噪声像素。孟娴静等人[8]改进了SegNet[9]进行眼底图像的视网膜血管分割，他们根据数据特征设计了不同的编码块和解码块，并在解码的最后阶段结合不同尺度的特征以提高网络的性能。进一步的研究使用深度学习中卷积神经网络结合注意力机制进行视网膜血管分割，表现也十分出色，陈林等人[10]构建了一个基于残差模块与CBAM注意力机制模块的混合编-解码网络，在DRIVE、STARE和CHASE_DB1数据集上都取得了不错的效果，邓小波等人[11]设计了一个双通路卷积神经网络DPCA-Net分割视网膜血管，其中网络的主路径和次路径都融合了通道注意力机制来自适应预测潜在的关键特征，它在DRIVE数据集上取得了95.58%的准确率。

综上，本文构建一个基于注意力U-Net网络[6]用于实现彩色眼底图像的视网膜血管分割，进一步提高了视网膜血管分割的准确性。我们通过实验验证本文提出方法的有效性，在DRIVE数据集[12]上Se为0.772 6，Sp为0.984 7，Acc为0.966 0，优于现有的许多方法。

1  相关方法

本文采用一个基于注意力U-Net网络用来完成彩色眼底图像的视网膜血管分割，整体网络主要包骨干网络U-Net和通道注意力机制两个部分。

1.1  U-Net

U-Net[6]是由Ronneberger等人创建的像素级分类网络，它常被用在生物医学图像处理当中，本文采用U-Net作为彩色眼底图像的视网膜分割任务的骨干网络。U-Net的网络结构[6]如图2所示，从图中可以看出U-Net分为左边的编码阶段和右边的解码阶段两个阶段，编码阶段是由交替的卷积层（conv3×3，ReLu）和下采样层（max pooling 2×2）组成，编码阶段用来提取图像的高级语义信息，解码阶段则是由卷积层（conv3×3，ReLu）和上采样层（up-conv 2×2）交替组成，编码阶段把编码阶段提取到的特征图还原到原图大小，编码阶段和解码阶段对应的层存在跳层连接（copy and crop），它可以结合浅层信息和深层信息，降低编码阶段的下采样所带来的信息损失。

1.2  通道注意力机制模块

在彩色眼底图像的视网膜分割任务当中，每一个通道的图像都包含不同比重的视网膜血管信息，因此本文在骨干网络的基础上建立通道注意力机制模块，它用来自适应的给不同的通道赋予不同的权重，即包含视网膜血管信息多的通道分配的权重就大，以此让U-Net的注意力聚焦到图像中“那些”是视网膜血管的部分，增加最终网络的分割效果。

本文创建的通道注意力机制模块如图3所示，特征图进入通道注意力机制模块时首先经过一个最大池化与平均池化的concat操作，随后进入一个两层的感知机，在感知机中第一层神经元数为原通道数/16，第二层神经元数为原通道数，最后通过一个sigmoid函数并乘以原特征图得到通道注意力，经过本文的通道注意力机制后原特征图的通道数和大小都没有改变，这使得本文的通道注意力机制可以方便地嵌入到各种骨干网络当中。

最终本文所使用的网络是U-Net结合通道注意力机制模块，我们在U-Net的编码每个下采样层之前和解码阶段的和每个上采样层之后放入了通道注意力机制模块，以改善模型的分割效果。

2  数据集

2.1  数据集介绍

本文采用视网膜血管公开数据集DRIVE[12]作为本文实验用数据集，DRIVE数据集是2004年Niemeijer团队为了筛选荷兰糖尿病患者的视网膜病变工作而建立的彩色眼底图像数据集[13]，该数据集包括40张彩色视网膜图像，其中7张图像是早期糖尿病视网膜病变的，另外33张是正常人的彩色眼底图像，每张图的分辨率为565×584。DRIVE数据集本身就区分了训练集和测试集，训练集和测试集分别为20张不同的彩色眼底图像，且每张图像都配有专家手动分割的血管标签图像。

2.2  数据预处理方法

彩色眼底圖像由专业团队专门采集而来，但由于受到相机的性能、光照和病人眼底病例结构的不同等影响，这将导致每张图的质量大不相同，并且由于DRIVE的训练集只有20张图像，对于深度学习训练来说数据相对较少，以上原因都会进一步会影响到网络的最终效果，因此在网络训练之前需要对所有训练用的图像进行预处理和数据增强操作。

2.2.1  分割通道

DRIVE数据集所采集的图像是R、G、B三通道的图像，然而这三个通道中含有一些无用信息。图4中（b）（c）和（d）分别为分割原图的R、G、B三通道的图像，可以从图中观察到G通道可以更清楚地看到眼底的各种细节，例如血管和渗出物。R通道图像和B通道图像则存在大量的噪声，有些眼底的细节特征消失。因此，最终本文选用G通道图像作为最终训练的图像。

2.2.2  数据增强

DRIVE的训练集只有20张图像，而深度学习需要大量数据进行训练才能有良好的效果，因此我们在原训练集的基础上进行了旋转和翻转的数据增强操作以增加训练集的数据量，数据增强的结果如图5所示，最终我们把训练集变成了原本的6倍一共120张图像。

3  实验与结果

3.1  实验环境

本实验基于PyTorch深度学习框架对网络进行训练和测试，实验环境为Windows 10、Cpu Intel Core i3-10100F、DDR4 3200 MHz和NVIDIA GPU 1080TI。

3.2  评价指标

为了验证我们所提出方法的有效性，本文采用灵敏度（Sensitivity， Se），特异性（Specificity， Sp）和准确率（Accuracy， Acc）作为网络的评价指标来评价算法的性能，其中Se代表分割正确的血管点占总正确血管点的比例，Sp代表分割正确的背景点占总正确背景点的比例，Acc代表分割正确的像素点占整个图像像素点的比例，三个指标的计算公式为：

（1）

（2）

（3）

三个公式中参数含义如下：

（1）真阳性（TP）：血管点被正确分为血管点。

（2）假阴性（FN）：血管点被错误的分为非血管点。

（3）假阳性（FP）：非血管点被错误的分为血管点。

（4）真阴性（TN）：非血管点被正确的分类为非血管点。

3.3  实验结果与分析

本文首先对DRIVE的测试集进行测试，测试结果如图6所示，其中第一列为原图像，第二列为专家手工标注的图像，第三列是网络预测的结果，从图像中可以看出本文提出的方法可以有效分割出图像中的视网膜血管，为相关疾病的诊断提供参考。

为了进一步验证本文提出方法的有效性，本文与目前先进的算法在DRIVE数据集上的结果进行对比，如表1所示。从实验结果可以看出，本文提出的方法的Acc与Sp是这些方法中最高的，分别为0.966 0和0.984 7，Se为0.772 6仅低于ALom[14]所提出的方法，这说明本文提出的方法可以有效地分割出彩色眼底图像的视网膜血管。

4  结  论

本文构建了一个注意力机U-Net网络用于分割彩色眼底图像的视网膜血管。首先对DRIVE数据集进行预处理，本文采用分割通道的方式取出彩色眼底图像G通道图像作为网络的输入图像，随后对训练集进行数据增强的操作以增加数据量，随后构建通道注意力机制结合U-Net网络进一步提高视网膜分割效果，实验结果表明，本文提出的方法优于目前的许多方法。

参考文献：

[1] 朱承璋，邹北骥，向遥，等.彩色眼底图像视网膜血管分割方法研究进展 [J].计算机辅助设计与图形学学报，2015，27（11）：2046-2057.

[2] BAKER M L，HAND P J，WANG J J，et al. Retinal Signs and Stroke：Revisiting the Link Between the Eye and Brain [J].Stroke，2008，39：1371-1379.

[3] ZHANG Y P，HSU W，LEE M L. Detection of Retinal Blood Vessels Based on Nonlinear Projections [J].Journal of Signal Processing Systems，2009，55：103-112.

[4] FRAZ M M，BARMAN S A，REMAGNINO P，et al. An approach to localize the retinal blood vessels using bit planes and centerline detection [J].Computer Methods Programs in Biomedicine，2012，108（2）：600-616.

[5] ALOM M Z，YAKOPCIC C，HASAN M，et al. Recurrent residual U-Net for medical image segmentation [J/OL].Journal of Medical Imaging，2019，6（1）[2022-10-18].https：//www.zhangqiaokeyan.com/academic-journal-foreign-pmc_journal-medical-imaging_thesis/040006256846.html.

[6] RONNEBERGER O，FISCHER P，BROX T. U-Net：Convolutional Networks for Biomedical Image Segmentation [J/OL].arXiv：1505.04597 [cs.CV].[2022-10-19].https：//arxiv.org/abs/1505.04597.

[7] SOOMRO T A，AFIFI A J，GAO J B，et al. Boosting Sensitivity of a Retinal Vessel Segmentation Algorithm with Convolutional Neural Network [C]//2017 International Conference on Digital Image Computing：Techniques and Applications （DICTA）.Sydney：IEEE，2017：1-8.

[8] 孟娴静，李菁，吕晓琪，等.基于改进SegNet的眼底图像血管分割 [J].计算机工程与设计，2020，41（11）：3148-3153.

[9] BADRINARAYANAN V，KENDALL A，CIPOLLA R. SegNet：A Deep Convolutional Encoder-Decoder Architecture for Image Segmentation [J].IEEE Transactions on Pattern Analysis and Machine Intelligence，2017，39（12）：2481-2495.

[10] 陈林，陈亚军，沈锐.基于残差卷积注意力网络的视网膜血管分割算法 [J].内江师范学院学报，2021，36（2）：49-55.

[11] 邓小波，刘奇，陈曦，等.基于通道注意力双路径架构网络分割视网膜血管 [J].中国医学影像技术，2021，37（10）：1543-1547.

[12] STAAL J，ABR?MOFF M D，NIEMEIJER M，et al. Ridge-based vessel segmentation in color images of the retina [J].IEEE Transactions on Medical Imaging，2004，23（4）：501-509.

[13] NIEMEIJER M，STAAL J，GINNEKEN B V，et al. Comparative study of retinal vessel segmentation methods on a new publicly available database [EB/OL].[2022-10-18].https：//www.spiedigitallibrary.org/conference-proceedings-of-spie/5370/1/Comparative-study-of-retinal-vessel-segmentation-methods-on-a-new/10.1117/12.535349.short.

[14] ALOM M Z，HASAN M，YAKOPCIC C，et al. Recurrent Residual Convolutional Neural Network based on U-Net （R2U-Net） for Medical Image Segmentation [J/OL].arXiv：1802.06955 [cs.CV].[2022-10-18].https：//arxiv.org/abs/1802.06955v2.

[15] LISKOWSKI P，KRAWIEC K. Segmenting Retinal Blood Vessels With Deep Neural Networks [J].IEEE Transactions on Medical Imaging，2016，35（11）：2369-2380.

[16] LI Q L，FENG B W，XIE L P，et al. A Cross-Modality Learning Approach for Vessel Segmentation in Retinal Images [J].IEEE Transactions on Medical Imaging，2016，35（1）：109-118.

[17] YAN Z Q，YANG X，CHENG K T. Joint Segment-Level and Pixel-Wise Losses for Deep Learning Based Retinal Vessel Segmentation [J].IEEE Transactions on Biomedical Engineering，2018，65（9）：1912-1923.

作者簡介：郑丽萍（1980—），女，汉族，河南开封人，讲师，工程师，硕士，研究方向：计算机视觉等；张天舒（1995—），男，汉族，河南商丘人，助教，硕士，研究方向：计算机视觉；曹珂崯（1994—），男，汉族，山东菏泽人，助教，硕士，研究方向：数据分析。

收稿日期：2022-11-15

基金项目：淮安市创新服务能力建设计划-重点实验室建设项目（HAP201904）