基于改进U-Net的视网膜血管分割方法研究

郭 峰，黄文博，燕 杨

(长春师范大学计算机科学与技术学院，吉林 长春 130032)

0 引言

眼底视网膜血管是人体唯一可以用肉眼直接观察到的血管，借助先进医学设备可以采集较为清晰且分辨率较高的彩色视网膜图像。眼底图像具有分布不均匀、血管结构高度复杂等问题，医生在依据眼底图像给病人诊治时，仅凭肉眼无法对患者的病症程度做出精确诊断。因此研究一种高效、精准的视网膜血管图像自动检测分割算法愈发重要，对辅助诊断各种眼科疾病具有重要意义与价值。

目前国内外研究人员提出了很多视网膜血管分割方面的解决方案，按照研究方法的不同，可大致划分为无监督学习与有监督学习两大类。无监督学习无需借助公共数据库提供的标签数据，与有监督学习算法相比，其优势在于可以挖掘图像数据中的特征信息及概率分布。早期CHAUDHURI等[1]提出基于匹配滤波器的方法，结合高斯滤波器对图像滤波，综合血管宽度、方向及曲线等因素对视网膜血管进行分析，但是该方法容易受到病变区域像素影响，从而降低血管分割的准确性。YAN等[2]基于厚血管和薄血管之间不平衡以及特性方面的差异，提出了一种网络模型。该模型分三阶段运行，首先分割厚血管，然后分割薄血管，最后将两次的分割结果结合，从而有效地提取薄血管的特征信息，提升了模型整体的分割精度。FAN等[3]采用分层抠图的方法实现血管与背景之间的划分，先用区域特征的方法将图像划分为血管与非血管，接着使用分层图像抠图模型对视网膜血管进一步区分，不仅整体方法的计算时间较少，而且分割的准确率也优于多数无监督学习的分割方法。

在血管分割方面，一般监督学习方法比无监督学习方法有着更好的分割效果，监督学习方法将眼科专家标记好的血管数据样本作为训练集，根据训练后得到的数据对血管与非血管像素进行分类判断。如RICCI等[4]

采用支持向量机(Support Vector Machines，SVM)的方法并结合直线检测器对输入样本图像的像素进行分类，该方法的优点是算法实现较为简单，并且具有较好的鲁棒性，对比相对较少的样本信息就可以提取血管的图像特征。朱承璋等[5]在随机森林模型的基础上融入了多特征融合算法，从输入图片提取出包含二三维特征向量的灰度共生矩阵，构建特征矩阵对像素点进行分类处理，提高了血管分割的连续性和准确性。包含K近邻[6]、AdaBoost在内的多种分类器已经成功应用在视网膜血管分割领域。

随着图像分割技术的快速发展，深度学习逐渐在图像处理领域展现了自身优势，卷积神经网络(Convolutional Neural Networks，CNN)[7]开始应用于医学图像的研究。2015年，LONG等[8]在CNN模型的基础上提出全卷积神经网络(Fully Connected Neural Network，FCN)，由此进入语义分割图像的阶段。FCN与其他模型的不同之处在于它可以处理任何尺寸大小的图像，通过反卷积对卷积层的特征图信息进行采样预测，提升了算法的鲁棒性和精确性。模型的缺点是FCN把像素看作独立的个体而忽略了空间关系，上采样过程中采样结果不够平滑精细，对于图像中细节部分处理达不到精细水准。RONNEBERGER等[9]提出包含编码与解码结构的U-Net网络，网络模型的整体框架是由四次下采样结合四次上采样[10]串联起来形成的U型结构。编码器部分收集好的微小血管信息通过跳跃连接传输到解码器部分，这样在回传的信息中既包括解码器的语义信息，也包括从同层编码器提取的特征信息，因此获得了更加全面的信息，得到了质量更好且更加精准的图像分割性能。

1 网络模型

1.1 网络结构与方法

U-Net作为当下热门的医学图像的研究方法之一，有着独特的编码-解码结构，通过四次下采样与四次上采样，加上激活函数的辅助作用完成对图像的分割。虽然U-Net模型取得了较好的性能，但在视网膜血管分割方面仍存在不足之处。例如，在进行卷积操作时，由于卷积核的感受野范围较小不能充分地提取血管特征，从而使微小血管识别不敏感，降低了整体的分割精度；在进行采样操作时会产生梯度消失的问题，网络模型的深度越大对模型的整体性能影响越大。

为解决上述问题，在U-Net模型的基础上引入可变形卷积模块[11](Deformable Convolutional Networks，DCN)和循环残差卷积模块[12](Recurrent Residual Convolutional Neural Network，RRCNN)对视网膜图像特征进行优化，增强对血管特征信息的提取，模型的结构如图1所示。视网膜血管分割中最难处理的就是微小血管，本文提出将卷积层替换成可变形卷积模块来解决卷积操作时感受野不足的问题，增强卷积核对微小血管的分割敏感度。引入循环残差卷积模块，其残差网络可以有效地解决梯度[13]消失问题，处理噪声问题增强模型对血管特征信息的提取，结合U-Net自身的编解码结构，达到较好的血管分割效果。

图1 模型结构

1.2 可变形卷积模块

与传统卷积相比，可变形卷积实质是在采样过程中在图像位置上增加了一个偏移量，卷积核的采样位置是可变的，卷积核在执行过程中扩展到更大范围。改变采样位置的方法是需要先计算及预测图像中哪些位置需要进行采样，然后特征图在经过卷积操作后生成特征矩阵，其作用是控制卷积核上的采样点如何移动及变化，可变形卷积模块如图2所示。通过卷积操作后带偏移值的坐标值来确定像素点，通过双线性差值[14]计算得到新的特征图直接作为卷积层的输出并作为下一卷积层的新输入。

图2 可变形卷积模块

下面给出双线性差值的计算公式。

已知A11,A21,A12,A22,P的坐标及其像素值，计算x方向的单线性插值：

(1)

(2)

计算y方向的单线性插值：

(3)

综合x方向与y方向的双线性插值的结果：

(4)

在可变形卷积中通过双线性插值计算偏移量并设定好采样位置，其中偏移量是根据卷积层产生的特征图演变而来，由此可知，可变形卷积能够适应任意尺度、形状、方向的特征图像。

1.3 循环残差卷积模块

循环残差卷积模块中的残差网络有效解决了梯度消失问题，需要进行多次相同的卷积操作，从一定程度上提升分割的性能，循环卷积基本单元结构如图3所示。

图3 循环卷积基本单元结构

(5)

计算在标准的激活函数中经过循环残差卷积层处理后的特征输出：

(6)

其中，F(x1,w1)表示来自输出第n层循环卷积单元，F(x1,w1)的输出分别用于模型的下采样层与上采样层。计算循环卷积模块中的输出xn+1：

xn+1=x1+F(x1,w1)，

(7)

其中，x1表示循环卷积模块的输入样本，xn+1样本直接作为下一循环卷积模块上采样层的输入。

2 实验结果与分析

2.1 数据集及数据扩充

本文实验选用公开数据集DRIVE，图像来自荷兰的糖尿病视网膜病变筛查项目。数据集分为训练集和测试集两部分，各有20张不同的彩色眼底图像，均为经验丰富的眼科专家医生手动分割的血管图像。由于DRIVE数据集的图像较少，为了增加训练时的数据样本数量，并且防止出现过拟合现象，对原始数据集图像进行分块处理，划分为48×48像素的子块，接着从处理后的图像子块中随机抽取作为训练块，并使用部分训练样本作为验证数据。

2.2 图像预处理

深度神经网络已经可以有效处理原始的视网膜图像数据，但为了突出更多的微小血管特征，提高血管分割的准确性，选择对眼底图像进行预处理操作。通过对比，选取血管对比度最高的绿色单通道灰色图像，接着对灰色图像进行归一化与自适应直方图均衡化处理，增强血管特征的对比度，最后对图像引入伽马校正来减少噪声，并且提高图像的整体细节特征。每一步预处理后的图像如图4所示，通过对比可以看出，预处理后的图像血管特征与对比度更加突出，将对分割性能的提升有较大作用。

图4 预处理结果

2.3 评价标准

为了全面客观地对比分析本文算法的性能，采用准确性(Accuracy，ACC)、敏感性(Sensitivity，SE)、特异性(Specificity，SP)与ROC曲线下的面积(AUC)等重要指标作为衡量标准。

(8)

(9)

(10)

AUC=P(PTP>PFP).

(11)

其中，TP(真阳性)表示正确分类为血管的像素数量；FP(假阳性)表示错误分类为血管的像素数量；FN(假阴性)表示错误分类为非血管的像素数量；TN(真阴性)表示正确预测为非血管的像素数量；AUC值是预测正样本排在负样本前的分类概率，其值域区间为[0，1]，数值越接近1，算法的分割性能越好。

2.4 实验结果对比分析

本文算法的分割结果如图5所示。对比本文实验结果图与专家手动分割的标准图，两者的血管特征信息基本一致，可以分割出血管末端的微小血管分支，可以看出运用本文算法得到较好的视网膜血管分割效果。

(a)原始图像

(b)预处理图

(c)专家手动分割标准图

(d)实验结果图图5 实验结果对比图

在U-Net模型引入可变形卷积和循环残差卷积模块后，模型性能得到明显提升，为了系统地评估算法性能，将本文实验结果与目前主流的较为先进的算法[15-17]进行对比，结果如表1所示。本文方法结果均高于原始的U-Net方法结果，并且敏感性达到79.63%，准确性达到95.59%，AUC值达到了97.89%，均高于其他文献的方法(表1)。其中特异性数值略低于Residual U-Net模型，可能是在多次卷积后图形特征细节发生轻微变化，图像产生少量的噪声造成模型的特异性值降低。综合对比可知，本文方法的分割效果较好，证明改进模型后，模型性能得到了提升，改进了视网膜血管分割的效果。

表1 在DRIVE数据集上本文方法和其他方法的对比

3 结语

针对视网膜图像中微小血管难以精确分割的问题，本文以U-Net为基础模型提出一种基于可变形卷积和循环残差卷积模块的视网膜血管分割算法。将传统的卷积层替换成可变形卷积层，可以提高卷积核的感受野范围，更好地捕捉血管特征信息。在网络上采样过程中加入循环残差卷积模块，有助于训练深层网络架构。循环残差卷积层更好地提升了对血管特征的提取效果，有效地解决梯度消失的问题，有利于更完整地提取微小血管的特征信息，减少噪声的干扰，从而提升模型的分割效果。通过DRIVE数据集上大量实验数据的对比，充分证明了本文算法在视网膜血管分割方面体现出较大的优势。