基于RAU-net的视网膜血管图像分割

张丽娟，梅 畅，李超然，章 润

基于RAU-net的视网膜血管图像分割

张丽娟1，梅 畅1，李超然2，章 润1

（1. 长春工业大学 计算机科学与工程学院，吉林 长春 130012；2. 长春理工大学 光电信息学院信息工程学院，吉林 长春 130114）

在眼科疾病的诊断中，对视网膜血管进行分割是非常有效的一种方法。在方法使用中，经常会遇到由于视网膜血管背景对比度低及血管末梢细节复杂导致的血管分割难度较大的问题，通过在设计网络的过程中在基础U-net网络中引入残差学习，注意力机制等模块，并将两者巧妙地结合在一起，提出一种新型的基于U-net的RAU-net视网膜血管图像分割算法。首先，在网络的编码器阶段加入残差模块，解决了模型网络加深导致梯度爆炸以及梯度消失的问题。其次，在网络的解码器阶段引入注意力门（attention gate, AU）模块，用来抑制不必要的特征，从而使模型产生更高的精度。通过在DRIVE数据集上进行验证，该算法的准确率、灵敏度、特异性和1-score分别达到了0.7832，0.9815，0.9568和0.8192。分割效果相对于普通监督学习算法较为良好。

图像分割；视网膜血管；全卷积网络；残差模块；注意力机制

0 引言

人眼的视网膜结构的表征和分析可以帮助准确诊断各种眼部疾病[1]以及各种其他疾病，例如青光眼，糖尿病性视网膜病变（diabetic retinopathy, DR）[2]，年龄相关性黄斑变性（age-related macular degeneration, AMD）等。为此，对视网膜血管树结构的分析和准确检测可以被认为是大规模人群预防疾病的首要任务。然而，由于视网膜图像的噪声影响，图像对比度过低，微小血管之间的变化不均匀，对视网膜图像的分割成为了许多专家研究的问题。

传统的人工手动分割需要专业眼科医生进行手动标注，但由于视网膜血管分布十分密集，故重复性低，效率也较低。此外在手动分割中，可从眼底图像中提取的信息量也受到限制。在目前阶段，无监督和有监督的视网膜图像分割方法在很大程度上也依靠专家人工手动标记的标准特征来表征血管和背景之间的差异。但是，难点在于如何使算法适应血管尺度，形状和几何变换，实现对血管特征的智能识别，从而能够对目标的轮廓和结构进行准确有效的分割，用来达到辅助临床的需求诊断。

目前国内外近些年来的视网膜血管图像分割算法，主要分为无监督分割和有监督分割两大类。无监督学习方法通常使用过滤器或其他基于模型的技术来提取血管。Chaudhuri等人[3]使用复杂的Gabor滤波器用来增强血管的外观并抑制背景噪声。然后，基于灰度共生矩阵，使用熵阈值检测血管增强图像中的血管像素。Vlachos等人[4]提出了一种新型的多尺度线性跟踪算法，通过多尺度线性矩阵的地图量化，得出血管网络，然后使用血管的方向属性和形态重建来消除噪声线路。Zana等人[5]提出了一种有高斯型轮廓改进的线性模式，并且使用了跨曲率评估和线性滤波进行分割。

相对于无监督分割来说，有监督分割相对简单。通过专家分割的黄金标准用来对比检测算法的可行性。虽然有监督分割效率更高，但是由于黄金标准来自专家的手动分割，所以主观且成本昂贵。近些年来，深度学习的语义分割效果出色，许多学者将深度学习与神经网络应用到视网膜血管图像分割上。Wu[6]等人将残差学习与紧密连接的网络（DenseNet）相结合。其次，为了提取更多的细血管，在编码器-解码器网络中采用了扩张的卷积来扩展接收场，而不增加参数。但过度使用了密集块结构导致高内存使用率和大计算复杂度。DHIMAS[7]在将眼底图像发送到源自U-Net的卷积神经网络体系结构之前首先应用新的方向敏感型血管增强方法。Fu[8]等人将血管分割问题转换为边界监测问题，并采用完全连接的条件随机场（conditional random fields, CRF）来组合判别血管概率图和像素之间的远程交互作用。但是该算法无法根据血管的形状信息进行有效转换，并且条件随机字段无法捕获与血管曲率相关的复杂形状特性，从而导致微血管分割不完整。Jiang[9]等人提出了一种名为D-Net的基于深度卷积神经网络（deep convolutional neural network, DCNN）结构。在编码阶段，我们通过降低下采样因子来减少特征信息的丢失，从而降低了细小血管细分的难度。使用组合的扩展卷积来有效扩大网络的接收范围，并减轻标准扩展卷积中存在的“网格问题”。这两年，卷积网络的各种改进在视网膜血管图像处理中获得了更加出色的效果。Alom[10]等人提出了一种基于U-net的递归残差卷积神经网络（R2U-net），利用了U-Net，残差网络和RCNN的功能，提供了更好的性能。而Zhuang[11]等人对R2U-net进行改进，使用了改进过的残差模块，提出了LadderNet，构造了多对编码器-解码器分支，并且在每个级别的每对相邻解码器和解码器分支之间加入了跳跃连接。

1 算法介绍

1.1 RAU-net框架

针对视网膜血管背景对比度低及血管末梢细节复杂导致的血管分割难度较大的问题，本文提出了一种基于普通U-net网络改进的RAU-net算法。该算法在编码阶段引入残差单元与U-net网络结合来提高网络训练的性能，减少梯度下降的问题，而且残差模块的跳频连接可以保证信息的不降级，从而设计更深的网络结构。在解码阶段的跳跃连接部分引入注意力机制，可以有效地将编码器阶段产生的噪声所导致的误差抑制，来提高对视网膜图像分割的精确率。经过改进的RAU-net模型如图1所示。

本文所提算法一共有3个阶段构成，分别是编码器阶段，桥接阶段和解码器阶段，对普通的编码-解码网络结构进行了改进。网络在编码阶段将原始的卷积模块改进成残差模块，形成了新的残差单元。编码器阶段共设计了3个残差单元，故相对应在解码阶段也设计了3个残差单元。输入经过预处理后的视网膜数据后，编码部分经过3个残差单元，每一个残差模块由两个3×3的卷积核和一个身份映射组成。网络通过带有一个残差模块的桥梁连接编码部分和解码部分。在解码阶段，通过上采样向上通过残差单元进行反卷积，但在上采样的过程中会产生信息丢失和部分噪声，为了解决上采样过程中产生的噪声和信息丢失，在跳跃连接的部分加入注意力机制（attention gate, AG）来进行噪声处理和降低损失。最后通过Softmax对视网膜图像的血管和背景进行一个二分类，从而达到使其分割的效果，最后输出图像分割结果。

图1 RAU-net视网膜血管图像分割算法模型

1.2 残差单元

近些年来，对神经网络深度的研究成为了优化网络性能的关键。但是随着网络深度的加深，梯度消失和梯度爆炸问题开始出现，甚至出现了网络退化。本文借助了Resnet[14]中的深度残差模型来延缓网络传播过程中的梯度消失。残差模块的构成如图2所示。假设某个神经网络的输出为，预期输出为()，如果我们将输入直接作为初始结果传递给输出，则我们的目标需要学习的公式如下：

()＝()－(1)

因此原始映射将被表示为：

()＝()＋(2)

当模型中的层数加深时，这个简单的结构可以很好地解决退化问题。残差模块与传统的深度神经网络一样，由批量归一化（BatchNorm, BN），ReLU激活函数和卷积层进行有效组合。为找到最佳效果，Zhang等人[12]通过3种不同的实验找出了最佳组合，提出了如图2的网络结构。

图2 残差模块的构成

1.3 注意力机制

在解码器的跳跃连接部分，我们引入了注意力机制[14]，用来消除不相关的噪声，和解决上采样阶段产生的信息丢失。从而提高视网膜血管精度，注意力机制的结构如图3所示。

注意力机制的输入是两个不同的信息和。模块的构成主要包括通过3个1×1×1的卷积实现的线性变换g，W，，线性变换g和W两者相加，得出注意力系数Î[0,1]，的计算过程如下：

2.1两组治疗效果对比 对照组患者的总有效率为78.1%,观察组患者的总有效率为93.7%,观察组明显高于对照组,差异有统计学意义(P<0.05),具体见表1。

＝2(T1(WTx＋gTg＋g)＋) (3)

通过注意力门的训练，从而抑制噪声和其他无关的特征信息。

1.4 损失函数

在网络训练过程中，我们采用二进制交叉熵作为损失函数。最后一层的网络输出为oÎ(0,1)，yÎ(0,1)为分割结果。损失函数设计如下：

2 实验结果及分析

2.1 实验环境与数据集

本文的实验环境是以Tensorflow为基础的Keras开源框架，硬件配置是Intel Core i5-7300HQ 和NVIDIA 1050Ti GPU，实验操作系统为Windows 10。

实验所用的数据集是公共数据集DRIVE[15]。数据集由Nieneijer团队于2004年组成。包括20个训练图像和20个测试图像，图像像素为565×584。

两组图像都来自两个专家的手动黄金分割，第一组作为分割的黄金标准，第二组作为对比。

2.2 图像预处理

由于采集到的视网膜图像中血管与背景之间的对比度较低，无法捕捉细小血管中的精确特征，导致算法的效果不好。故我们对数据集的图像进行预处理[16]，以便更好地对图像进行后续的处理。具体步骤如下：

①提取彩色眼底图像中血管和背景之间具有高对比度的绿色通道，并通过双边过滤将其去噪。

②对经过滤波和去噪的绿色通道图像采用自适应直方图均衡化（CLAHE）算法[17]。改善了血管和背景之间的对比度，同时抑制了噪音。然后，通过滤镜滤波进行全局锐化，以抑制由CLAHE增强的图像（如伪影和黄斑）的噪声影响，从而突出显示血管信息。

③局部自适应伽玛校正[18]用于根据血管和背景的不同像素特征进行伽玛匹配，以校正不同区域的视网膜图像，从而抑制不均匀的光因子和中心线的反射。

图3 注意力机制结构图

2.3 图像扩充

由于卷积网络训练的模型参数拟合一般需要大量的数据。但由于本文使用数据库本身较小，不适合对图像进行直接的训练。所以我们采用随机切片的方式对数据进行扩增。对整个图像内随机选择其中心获得每个尺寸为48×48的贴片，对数据库中20个图像每一个随机提取9500个贴片，获取共190000个贴片。尽管贴片重叠，即不同的贴片可以包含原始图像的相同部分，但是不执行下一步的数据增强。然后对数据进行分布，前90%的数据集用于训练（171000个切片），而最后10%用于验证（19000个切片）。图4是进行贴片扩充后的视网膜图像切片。

图4 图像扩充后的图像块

Fig.4 Image block after image expansion

2.4 参数设置

训练网络中的权重与偏差参数使用正态分布随机进行初始化；并使用Adam[19]算法基于二进制交叉熵进行优化，训练迭代50个epoch。将模型训练的batch size设定为64，学习率设置为0.001。

2.5 评价指标

为了更加系统明确地比较算法之间的分割效果，我们使用4个指标以及ROC（receiver operating characteristic curve）曲线作为评判标准，包括敏感性（Sen），特异性（Spe），准确性（Acc）和1-score。4个指标的具体计算公式如下：

对于数据集中的血管像素点而言，TP、FP分别是分割结果与标准一致和不一致的数量。对于非血管像素点，TN、FN分别是与标准一致和不一致的数量。

ROC曲线的横坐标是FP，纵坐标为TP，以此在一个直角坐标系中绘制出一条曲线。主要是对模型进行一个定性的分析。如果要对模型进行一个量化的分析，那么便要引入AUC（aarea under curve）面积。AUC面积主要是ROC曲线下的面积，AUC的值越大，说明该模型的性能越好。

2.6 结果分析

本文在DRIVE数据集上进行实验，实验结果如图5所示。

图5 DRIVE数据集上的分割结果

图5(a)是DRIVE数据集的原始输入图像，图5(b)是手动分割的作为对比的图像，图5(c)是经过本文算法预测的结果。从图5可以看出，本文算法的分割结果较为良好，与专家手动分割结果基本一致。

表1是基础的U-net算法和近几年来对U-net进行有效改进的几个网络结构在DRIVE数据集上的评测指标结果。可以看出，该算法在敏感性（Sen），特异性（Spe），准确性（Acc）和1-score上都优于其他几个算法。图6是该算法在DRIVE数据集上的AUC曲线，从表1中也可以看出，AUC的值也优于上述算法。因此可以说明我们的网络模型在视网膜血管分割上有较为优秀的表现，具有创新和使用价值。

表1 基于U-Net的常见算法和本文算法在DRIVE数据集上的视网膜血管分割性能对比

图6 DRIVE数据集上的ROC曲线

3 结论

本文提出一种基于RAU-net的视网膜血管图像分割算法，首先，在网络的编码器阶段加入残差模块，解决了模型网络加深导致梯度爆炸以及梯度消失的问题。其次，在网络的解码器阶段引入注意力门（AG）模块，用来抑制不必要的特征，并将两者充分结合，从而使模型产生更高的精度。实验结果表明，该算法在敏感性，特异性和准确性和1-score方面达到了0.7832，0.9815，0.9568和0.8192，分割效果更好。下一步将会在网络结构上更加优化，提高网络模型的泛化能力。

[1] Abràmoff M D, Folk J C, Han D P, et al. Automated analysis of retinal images for detection of referable diabetic retinopathy[J]., 2013, 131(3): 351-357.

[2] ZENG X, CHEN H, LUO Y, et al. Automated diabetic retinopathy detection based on binocular siamese-like convolutional neural network[J]., 2019, 7: 30744-30753(doi: 10.1109/ ACCESS.2019.2903171).

[3] Chaudhuri S, Chatterjee S, Katz N, et al. Detection of blood vessels in retinal images using two-dimensional matched filters[J]., 1989, 8(3): 263-269.

[4] Vlachos M, Dermatas E. Multi-scale retinal vessel segmentation using line tracking[J]., 2010, 34(3): 213-227.

[5] Zana F, Klein J C. Segmentation of vessel-like patterns using mathematical morphology and curvature evaluation[J]., 2001, 10(7): 1010-1019.

[6] WU C, YI B, ZHANG Y, et al. Retinal vessel image segmentation based on improved convolutional neural network[J]., 2018, 38(11): 1111004-1-1111004-7.

[7] Dharmawan D A, LI D, Ng B P, et al. A new hybrid algorithm for retinal vessels segmentation on fundus images[J]., 2019, 7: 41885-41896 (doi: 10.1109/ACCESS.2019.2906344).

[8] FU H, XU Y, WONG D, et al. Retinal vessel segmentation via deep learning network and fully-connected conditional random fields[C]// 13(ISBI 2016), 2016: 698-701.

[9] JIANG Y, TAN N, PENG T , et al. Retinal vessels segmentation based on dilated multi-scale convolutional neural network[J]., 2019, 7: 76342-76352.

[10] Alom M Z, Yakopcic C, Taha T M, et al. Nuclei segmentation with recurrent residual convolutional neural networks based U-Net (R2U-Net)[C]//(NAECON 2018), 2018: 228-233(doi: 10.1109/ NAECON. 2018. 8556686).

[11] ZHUANG J. Multi-path networks based on U-Net for medical image segmentation[J]., 2018, arXiv: 1810.07810.

[12] HE K, ZHANG X, REN S, et al. Deep residual learning for image recognition[C]//, 2016: 770-778.

[13] Oktay O, Schlemper J, Folgoc L L, et al. Attention U-net: Learning where to look for the pancreas[J]., 2018, arXiv:1804.03999.

[14] Gkantsidis C, Mihail M, Saberi A. Random walks in peer-to-peer networks: algorithms and evaluation[J]., 2006, 63(3): 241-263.

[15] Staal J, Abramoff M D, Niemeijer M, et al. Ridge-based vessel segmentation in color images of the retina[J]., 2004, 23(4): 501-509.

[16] Satapathy S C, Raja N S M, et al. Multi-level image thresholding using Otsu and chaotic bat algorithm[J]., 2018, 29(12): 1285-1307.

[17] PAN X, ZHANG Q, ZHANG H, et al. A fundus retinal vessels segmentation scheme based on the improved deep learning U-Net model[J]., 2019, 7(99): 122634-122643.

[18] 雷军明, 王成钢, 刘雪燕. 基于改进U-Net的视网膜血管图像分割[J]. 信息技术与信息化, 2019(10): 168-169.

LEI J M, WANG C G, LIU X Y. Retinal vessel image segmentation based on improved U-Net[J]., 2019(10): 168-169.

[19] Kingma D, Ba J. Adam: A method for stochastic optimization[J]., 2014, arXiv:1412.6980.

Retinal Vessel Image Segmentation Based on RAU-net

ZHANG Lijuan1，MEI Chang1，LI Chaoran2，ZHANG Run1

(1.,,130012,;2.,,,130114,)

In the diagnosis of ophthalmic diseases, segmentation of retinal blood vessels is a quite effective method. However, using this method, difficulties in blood vessel segmentation are often encountered due to the low contrast of the retinal blood vessel background and complex details of the blood vessel end. Thus, residual learning is introduced by adding a basic U-net network to the process of network design. Through the introduction of residual learning and attention mechanism modules into the basic U-net network in the process of network design, a new type of U-net-based RAU-net retinal blood vessel image segmentation algorithm is proposed. First, the residual module is added to the encoder stage of the network to address gradient explosion and disappearance caused by the deepening of the model network. Second, the attention gate module is introduced in the decoder stage of the network to suppress unnecessary features to ensure high accuracy of the model. Through verification of DRIVE, the accuracy, sensitivity, specificity, and1-score of the algorithm reached 0.7832, 0.9815, 0.9568, and 0.8192, respectively. Thus, the segmentation effect was better than that of ordinary supervised learning algorithms

image segmentation, retinal vessels, fully convolutional network, residual module, attention mechanism

TP394.1；TH691.9

A

1001-8891(2021)12-1222-06

2020-10-08；

2020-10-14.

张丽娟（1978-），女，吉林梅河口人，博士，教授，主要从事计算机视觉及光学图像处理等方面研究。E-mail: zhanglijuan@ccut.edu.cn。

吉林省教育厅“十三五”科学研究规划项目（JJKH20210747KJ）；吉林省生态环境厅科研项目（吉环科字第2021-07）。