基于监督的全卷积神经网络视网膜血管分割

王娜 傅迎华 蒋念平

摘要：视网膜血管分割算法是自动视网膜疾病筛查系统主要部分。视网膜血管检测在医学诊断上应用日益广泛，对糖尿病、青光眼等病状有较精确的诊断。提出一种新的全卷积神经网络视网膜血管分割的监督方法，该方法在视网膜图像和相应的血管标签图之间进行端对端预测，采用跳跃结构融合图像深层和浅层的特征信息，得到精确的分割结果。以准确性（Acc）为标准判断，在DRIVE数据集上表现出比现有其它技术更好的性能。

关键词：视网膜血管；Gabor；全卷积神经网络；监督学习；跳跃结构

DOIDOI：10.11907/rjdk.173236

中图分类号：TP301

文献标识码：A 文章编号：1672-7800（2018）008-0045-04

英文摘要Abstract：Retinal blood vessel detection is more and more widely applied on medical diagnosis，such as diagnosis of diabetes mellitus and glaucoma and it has more accurate results.In this paper，we use the algorithmbased on gabor filter and fully convolution neural network to segment the retinal vessels of fundus images.Through the gabor filter，the retinal blood vessel images were treated with vascular enhancement，and then the fully convolution neural network was used to supervise and study the images and the real retinal vessel segmentation images.Finally，the jump structure was used to fuse the image depth information shallow information，and output results.Based on accuracy （Acc），better performance in the DRIVE dataset over other existing techniques is demonstrated.

英文關键词Key Words：retinal image；Gabor； fully convolutional neural networks； supervised learning； jump structure

0 引言

随着近年来图像识别和人工智能的迅速发展，计算机辅助诊断得到大量应用，常用于图像处理和分析，检测病变并分析病变性质，为诊断医师提供参考。计算机辅助诊断加快了医师对病情判断的效率，为诊断凭证提供了充足数据，进一步降低了误诊概率。

在医学视网膜诊断方面，通过大量现有医学数据可观察到视网膜血管的形态特征，如宽度、长度、血管走向角度，这些属性对筛查、诊断和评估许多疾病，例如高血压、青光眼、糖尿病性视网膜病变（DR）和黄斑变性（AMD）等有重要影响，因此血管分割是分析视网膜眼底图像的必要步骤。虽然可以通过人工进行视网膜血管图像分割，但由于视网膜血管在图像中分布复杂、深浅不一，使手动分割工作量巨大，分割过程极其耗时，且需要充足的经验和技巧。自动、精确地分割视网膜血管医学图像，从而进行计算机辅助诊断可以很大程度上节省人力，得到更精确的诊断结果。因此，近几年来，自动视网膜血管分割成为一个极其重要的研究课题，其基本原则是计算机可以较好地实现图像增强和图像过滤，通过设定的处理过程，得以将可疑病变从正常解剖背景中分离、显示出来。

近年来用于视网膜血管分割的算法有很多，大致可以分为监督算法和无监督算法。

基于无监督的视网膜血管分割通过确定血管在图像中的特征属性，将图像中具有这种特征属性的部分视为血管，不具有此特性的部分视为非血管。而在监督方法中，将与分断参考图像对应的手动分割血管图像作为训练集学习血管提取规则，分类标准由给定的手动分割血管的真实图像确定。由于监督方法是基于提前分类好的数据进行分类，其性能通常优于无监督方法。

而在监督学习算法中，神经网络模拟人脑的训练学习系统，基于统计概率而不是推理进行分类，使得神经网络在检测与识别上比一般监督方法更加精确。神经网络通过模拟人脑神经元结构，使用数学权重确定特定输入的概率，通过抑制的数据训练调整加权系统，并通过反馈进行调整和再训练。文献[2]中卷积神经网络CNN可以通过多层卷积网络结构自动学习图像特征，还可以学习多层信息；因浅层卷积层的感知域较小，可以学习图像的局部特征，而深层的卷积层具有较大的感知域，可以学习到一些比较抽象的特征，更有助于对图像精准分割。

基于卷积神经网络CNN的分割方法指为了对一个像素分类，使用该像素周围的一个图像块作为CNN的输入，用于训练和预测。该方法有一些缺点：①存储开销很大。例如对每个像素使用的图像块大小为15×15，则所需存储空间为原来图像的225倍；②计算效率低下。相邻的像素块基本上是重复的，针对每个像素块逐个计算卷积，造成很大程度的重复计算；③像素块大小限制了感知区域大小。通常像素块比整幅图像小很多，只能提取一些局部特征，从而导致分类性能受到限制。而文献[1]提出了全卷积神经网络，该网络试图从抽象的特征中恢复每个像素所属的类别，即从图像级别的分类进一步延伸到像素级别的分类。FCN将传统CNN中的全连接层转化成一个个卷积层，所有的层都是卷积层，故称为全卷积网络。

实验采用FCN神经网络对视网膜图像进行血管分割。以分割的真实边缘作为监督信息，训练一个端到端的网络，让网络作像素预测，直接预测分类图。传统的卷积神经网络最终预测结果是一张分类图，它取消了全连接层，不再把二维矩阵（图片）压缩成一维的标量。

计算机辅助诊断的过程分为图像处理过程（预处理）、图像征象提取（特征提取）、数据处理过程。在预处理部分一般对图像进行配准、形态处理等。预处理部分对视网膜图像进行血管增强有利于之后的血管分割，所以实验在进行血管分割之前先增强视网膜图像，再进行血管分割。

1 模型

在进行神经网络训练测试前 ，对眼底图像做Gabor滤波，目的是提取图像的特征分量，使血管特征愈加明显。有利于神经网络的学习和分割。本实验分为两步，第一步是进行图像预处理，对图像進行配准、像素处理以及Gabor滤波增强；第二步是将视网膜眼底图像分为训练集和测试集。将训练集图像作为输入，以真实的视网膜分割边缘图像作为监督图像。如图1所示，前向采用卷积、池化、激励、dropout、上采样等算法，最终用Softmax对分割图像进行最后分类，得到一个二维分类图，分为血管与非血管，再与真实的视网膜血管分割图像进行比较，继而反馈回神经网络，调整学习参数，反向用随机梯度下降法。

2 Gabor与全卷积神经网络算法实现

2.1 Gabor滤波

由于血管与背景的对比度低，使血管分割难度增大，因此，血管增强是血管分割中常用的预处理方法。

在图像处理中，Gabor函数是一个用于边缘提取的线性滤波器。Gabor滤波器的频率和方向表达与人类视觉系统类似。研究发现Gabor滤波器十分适合纹理表达和分离。为了把Gabor变换用于图像领域， 构造二维Gabor滤波器。二维Gabor滤波器在频域和空间域都具有最优的局部特性，能够很好地描述空间频率、空间位置、方向选择性等局部信息，同时对光照不敏感。Gabor滤波器脉冲响应，可以定义为一个正弦波（对于二维Gabor滤波器是正弦平面波）乘以高斯函数。由于乘法卷积性质，Gabor滤波器的脉冲响应的傅立叶变换是其调和函数的傅立叶变换和高斯函数傅立叶变换的卷积。该滤波器由实部和虚部组成，二者相互正交。一组不同频率不同方向的Gabor函数数组对于图像特征提取非常有用。

在进行Gabor处理时，单独通过RGB彩色图像的可视化组件，可以看出绿色通道能较好地显示视网膜血管，而红色和蓝色通道显示对比度低且噪点多。因此，选择绿色通道小波处理，以及组成特征向量本身，即每个像素的绿色通道强度作为它的一个特性。

式（1）中，A是一个对角矩阵，定义了滤波器的各向异性，代表了一个各向异性的高斯窗口，当=1时，为二维高斯窗口，在任意方向伸长。k=[k1，k2]为不同方向的调制频率，a为尺度因子。

在实际应用时，可以根据检测对象的方向趋势，选择合适的方向参数进行滤波。如在本实验中，在检测视网膜血管时，根据血管走向的偏转角度进行滤波，可以使特征点定位更加准确。本实验选取ε=1、k=[0，3]，方向选择18个不同方向，得到血管增强图，如图2所示。

图1与图2分别为两组不同眼底图像的Gabor滤波结果。在Gabor滤波后的眼底图像中，图像中血管部分得到增强，更加突出。不同尺度值得到的增强图像效果不同。当尺度值较小时，增强后的视网膜血管被细致地描绘出来，且可以忽略图像中的病灶部分，不会受到图像中病变生成的病灶影响，但噪点干扰较多；当尺度值较大时，增强后的视网膜血管较为纯净和突出，图像噪点较少，但也将带病灶的部分增强，会给之后的神经网络分割带来一些干扰。

2.2 全卷积神经网络

本实验第二步是将经过Gabor滤波增强的图像输入到全卷积神经网络进行训练和测试。卷积神经网络分类使用的网络一般在最后的连接层会将原来的二维矩阵压缩成一维，从而丢失了空间信息，最后训练输出一个标量作为分类标签，而图像语义分割输出的是一个分割图。然后拿真实边缘作为监督信息，训练一个端到端的网络。

本实验构造的全卷积神经网络框架包括卷积层、池化层、激励层、Dropout。卷积层通过不同卷积核获取图片的特征信息。通过卷积层获得图像特征虽然可以直接使用这些特征训练分类器，但是这样做将面临巨大数据量的挑战，而且容易产生过拟合现象。为进一步降低网络训练参数及模型过拟合程度，在卷积层之后进行池化处理。池化方式通常有最大池化、均值池化、重叠池化。本次实验选用最大池化。在激励函数上，本实验采用Relu函数，Relu是线性的，而且梯度不会饱和，得到的SGD的收敛速度会比Sigmoid和Tanh快很多，而且sigmoid和tanh需要计算指数等，计算复杂度高，Relu只需要一个阈值就可以激活。最后采用dropout进一步防止模型过拟合。Dropout指在训练的时候随机丢弃一些激活的神经元，这样可以让模型鲁棒性更高，因为它不会依赖于某些局部特征。Dropout可以消除减弱了的神经元节点之间的联合适应性，增强泛化能力。

由图3看出，从阶段一到阶段五是在不断地提取特征、池化及激励计算。阶段六是将阶段五输出最大池化后的图像pool5进行卷积特征提取，再进行dropout，弱化一部分神经，最后将卷积后的图像进行上采样处理。上采样方法有多种，本实验采用卷逆积方法。Max_pool5上采样后的图像可以得到分割结果，但是在不断的卷积采样过程中会丢失掉很多信息，最终得到的上采样图像结果通常很粗糙。所以不直接采用上采样后的Max_pool5进行最后的softmax分类。本实验采用跳跃结构构造最终的分类图。跳跃结构如图4所示。

图中FCN-2s最后在输出特征图上进行步伐为2的上采样。 FCN-4s先在pool4层添加一个卷积核大小为1*1的卷积层，产生一个额外输出。而FCN_2s图代表pool5层的所有信息，对FCN_2s和pool4层的输出进行融合，最后在融合后的结果上进行步伐为2的上采样。

圖中FCN-8s先在pool3层进行如上步骤，添加卷积层产生额外输出，然后把FCN_4s和pool3层额外的输出进行融合，再进行步伐为8的上采样，这样可回到原图像尺寸大小，在这个特征图上进行像素分类。再对这个预测进行分类。这种方法既可以保留深层特征信息，也不会遗漏浅层特征信息。最后把FCN-8s进行Softmax分类，分为血管和非血管两类，产生最终的视网膜血管分割图像。

3 实验结果

本实验对采集到视网膜血管图像进行滤波与分割，部分结果如图6所示。图中第一行是眼底图像的原图，第二行是经过Gabor滤波和全卷积神经网络分割的结果，第三行是匹配滤波算法进行视网膜血管分割的结果。

可以看出，第二行血管大致方向和分支被分割出来，但部分光照较亮的地方对血管检测产生了较大干扰。较为明显的血管被较好地自动分割，但是细微的血管分割出来有断点，不够连续。由于本次实验的样本量较小，训练的神经网络次数不够，造成网络参数不够精确，致使分割结果没有达到完全的精确，后期通过增大样本采集数量进行学习和训练，同时预处理时进行光照处理排出光照干扰，将会得到更精确的分割结果。而匹配滤波虽然将血管细致地描绘出来，但匹配滤波对光照的抗干扰能力差，光照对比鲜明的地方被误认为是血管进行了分割，最终结果噪声很大。

为了更精确地评估现有的算法，计算出4个数据TP、TN、FP、FN来判断算法分割结果的精确度。TP表示预测为血管而实际也为血管的图像像素总和，TN为预测为非血管实际也为非血管的图像像素总和，FP为预测为血管实际为非血管的图像像素总和，FN为预测为非血管真实为血管的图像像素总和。

式（2）为Acc计算公式，Acc由预测正确的正样本加上预测正确的副样本除以图像总像素，可以得到图像中预测正确的像素比率。Acc参数是一个可以评估预测算法的参数。实验用的20张图像的结果将匹配滤波得到的灰度图结果，并进行局部阈值以及图像去躁，使结果变成一个二值图像，然后与真实分割的图像进行对比计算TP、TN、FP、FN的值，再计算出Acc值，最后取20张Acc的均值作为匹配滤波的分割准确率。同时将20张全卷积神经网络与相对应的手动分割图像进行对比计算，也取20张图像的Acc值作为全卷积神经网络的分割准确率。

从表1可以看出全卷积神经网络的分割准确率在训练数据量较小的情况下，分割准确率高于匹配滤波。

4 结语

在实验中，Gabor滤波能有效地对眼底图像的视网膜血管进行增强。全卷积神经网络对图像进行像素级分类，从而解决了语义级别图像分割问题。全卷积神经网络接受任意尺寸的图像输入，从而可以对每个像素都能产生预测，同时保留了原始输入图像中的空间信息，最后在上采样的特征图上进行逐像素分类，同时跳跃结构使分割结果更为准确。本次实验可以较好地分割出眼底图像中的血管部分，但受到光照和训练集数据量的影响，得到的结果仍然不够精细。进行8倍上采样效果虽然比2倍的效果有明显改善，但是上采样的结果仍然比较模糊、平滑，对血管分割中的细节不敏感。

参考文献：

[1] LONG J，SHELHAMER E，DARRELL T.Fully convolutional networks for semantic segmentation[C]，IEEE Conference on Computer Vision and Pattern Recognition，2015：3431-3440.

[2] LI Q，XIE L，ZHANBG Q，et al.A supervised method using convolutional neural networks for retinal vessel delineation[C].International Congress on Image and Signal Processing，2016：418-422.

[3] SAINATH T N，SAN MARTIN M C P.Convolution Neural Networks[P].US，US20160283841.A1，2016-09-29.

[4] LEE T S.Image representation using 2D Gabor wavelet[J].IEEE Transactions on Pattern Analysis & Machine Intelligence，2002，18（10）：959-971.

[5] LYONS M，AKAMATSU S，KAMACHI M，et al.Coding Facial Expressions with Gabor Wavelets[C].IEEE International Conference on Automatic Face and Gesture Recognition，1998：1-200.

[6] DAUGMAN J G.Complete discrete 2-D Gabor transforms by neural networks for image analysis and compression[J].IEEE Transactions on Acoustics Speech & Signal Processing，1988，36（7）：1169-1179.

[7] SOARES J V，LEANDRO J J，CESAR R M，et al.Retinal vessel segmentation using the 2-D Gabor wavelet and supervised classification[J].IEEE Trans Med Imaging，2006，25（9）：1214-1222.

[8] MCQUELLIN C P，JELINEK H F，and JOSS G.Characterisation of fluorescein angiograms of retinal fundus using mathematical morphology：a pilot study[C].Adelaide：the 5th International Conference on Ophthalmic Photography，2002.

[9] SIMONYAN K，ZISSERMAN A.Very deep convolutional networks for large-scale image recognition [DB/OL].Computing Research Repository，2014（4）：1409-1556.

[10] JIA Y，SHELHAMER E，DONAHUE J，et al.Caffe：convolutional architecture for fast feature embedding[C].ACM International Conference on Multimedia，2014：675-678.

[11] CHAUDHURI S，CHATTERJEE S，KATZ N，et al.Detection of blood vessels in retinal images using two-dimensional matched filters[J].Medical Imaging IEEE Transactions，1989，8（3）：263.

[12] SALEM S，SALEM N，NANDI A.Segmentation of retinal bloodvessels using a novel clustering algorithm （RACAL） with apartial supervision strategy[J].Medical and Biological Engineering and Computing，2007，45：261-273.

[13] AKITA K，KUGA H.A computer method of understanding ocular fundus images[J].Pattern Recognition，1982，15：431-443.

（責任编辑：江 艳）