基于改进的U型网络的视网膜图像血管分割

2023-09-04贾蒙丽李振伟杨晓利许梦莹

计算机仿真 2023年7期

贾蒙丽,李振伟,杨晓利,许梦莹

(河南科技大学医学技术与工程学院,河南洛阳 471000)

1 引言

眼底的血管网是人体唯一能直接观察到微循环的部位。视网膜血管结构包含多种重要信息,其形态的改变与某些病理特征密切相关,对视网膜疾病的检测和治疗有重大意义。因此,眼底血管分割对于某些疾病的诊断和治疗非常重要。传统的手工分割是一项漫长而艰巨的任务,它需要大量的实践、技能和训练[1]。因此,从眼底图像中实现视网膜血管的自动分割成为医学成像领域研究的热点。

近年来,国内外学者提出了许多分割眼底图像的算法。自动分割分为两类:无监督学习和有监督学习。无监督方法如匹配滤波器[2]、基于模型[3]等,这些方法分割精度低。有监督方法如Orlando 等人[4]提出一种特殊模型来分割血管,在DRIVE 和 CHASE＿DB1 数据集上实验的灵敏度分别为:0.7897 和0.7277。Alom等人[5]使用U-Net实现医学图像的分割过程,包括视网膜血管的分割,结果表明该方法在分割方面是优越的。Suryani等人[6]利用自组织图人工神经网络的主要方法对血管进行分割。提出的分割方法分为三个阶段,即预处理,分割和性能分析。Upadhyay等人[7]提出了一种基于规则的视网膜血管分割算法。结合局部方向小波变换和全局曲线变换,以新颖的方式实现了血管的增强和分割。徐光柱等人[8]提出了一种无监督与有监督相结合分割新方法。耿磊等人[9]提出一种将分离卷积与通道加权结合的血管分割方法。李大湘等人[10]通过在U-Net网络中引入Inception、空洞卷积与注意力机制等模块对血管进行分割。但所提出的算法仍无法准确分割出细小血管,且存在噪声。

针对现有算法在细小血管及低对比度血管的分割能力不足的问题,本文在原有的U型网络基础上进行改进优化,旨在进一步改善微小血管的分割准确率。首先,通过一系列的图像预处理方法对原始眼底图像进行增强和降伪处理;其次,使用残差网络和U型网络相结合的方式增强图像特征提取能力,解决过拟合问题,从而更好地分割出微小血管;最后,使用ELU激活函数代替网络中原有的ReLU激活函数,进一步提高网络的泛化能力。该方法可以实现难以识别的视网膜血管边缘和对比度较低的小血管分割。

2 材料和方法

2.1 DRIVE数据集介绍

DRIVE[11]总共有40幅眼底图像,分辨率为565×584,其中训练集和测试集分别有20幅,每幅图像都有金标准,有专门掩没,是衡量视网膜血管分割方法性能常用的数据库。

2.2 方法

2.2.1 数据预处理

由于采集到的视网膜图像中的光照不均匀,微血管与背景之间的对比度较低等因素,为了得到更好的数据,需对图像进一步处理。具体步骤如下:

1)灰度转换。如图1所示,相比较其它两通道,绿色通道的图像对比度最高,背景与血管的差距最大,噪声也最小,因此,输入数据选择此通道数据。

图1 眼底图像及不同通道的图像

2)CLAHE。提高对比度同时抑制噪声,因此可以更容易的关注到血管的结构和特征。

3)伽马变换。在不影响亮度较强部分的眼底图像质量的同时增强亮度较暗的血管部分。整个预处理的结果如图2所示,可以看出处理后的图像较原始图像,其血管与背景的对比度有明显的增强。

图2 眼底图像及预处理。

2.2.2 数据扩增

深度学习需要大量的数据来拟合模型参数,针对只有20张眼底图像的DRIVE数据集,采用随机切片的方式来对数据进行扩增,为防止数据扩增时丢失细节信息,本文通过减少上采样层和下采样层的次数避免特征的细节丢失,以进一步降低训练过程中的过拟合现象。根据原始眼底图像的大小,将从数据库提取的图像大小设置为48×48,每个尺寸为48×48的贴片是通过整个图像内随机选择其中心获得的,从训练集中提取出的图像块总数190000。图3为局部切片示例。(a)中所有样本块包含数据库中所有图像,以扩充数据量。(b)为对应的金标准图像。

图3 局部切片示例

2.3 改进的U-Net网络架构

为了更好的分割出细小血管,引入了ResNet网络,以解决卷积运算越多,网络越深,网络性能下降的问题。使用激活函数ELU解决原始激活函数输入值为负时所产生的神经元失活问题,使网络性能得到进一步提升。

2.3.1 U-Net模型

U形网络[12]对于小数据集的图像具有很好的分割性能。由收缩路径和扩展路径构成,通过4次上采样和4次下采样对图像进行分割。但是网络通过收敛层后,无法复原图像的详细结构信息,可能会引起微血管的分割和破坏现象。

2.3.2 ResNet模型

为增加网络深度且不影响网络训练,在U-Net 基础上引入残差网络,残差网络(ResNet)利用残差单元模块解决了随网络层次加深带来的优化问题。残差单元模块通过将前向神经网络短路连接实现,结构如图4所示。

图4 残差单元模块

残差结构计算公式如式(1)(2)所示

yl=h(xl)+F(xl,wl)

(1)

xl+1=f(yl)

(2)

式中:xl和xl+1分别表示第l个残差单元的输入和输出,F是残差函数,f是Relu激活函数,h(xl)=xl是恒等映射。从浅层到深层的学习特征可以由(1)(2)求得,如(3)所示

(3)

利用链式规则,可以得出反向过程的梯度,如式(4)所示

(4)

2.3.3 选取激活函数

U型网络中使用的是常见的ReLU激活函数,其定义如式5所示

f(x)=max(0,x)

(5)

如图5所示,ReLU是线性函数计算速度快,输入值为正时无梯度饱和问题,但为负时神经元不被激活,会导致神经元失活。

图5 ReLU与ELU函数

ELU函数是改进型,其定义如式(6)所示:

(6)

如图5所示,相比较ReLU,ELU输入为负时有输出,可以消除神经元失活问题。ELU函数也可以加速训练并且可以提高分类的准确率,使用ELU激活函数替换ReLU函数。

2.3.4 血管分割的网络模型

考虑到现有的卷积神经学习网络的缺点,例如高存储成本和低计算效率,本文提出了U型网络和ResNet组合的新网络结构(命名为RU-Net),如图6所示。结合两种模型的优点,提高了网络性能的训练,在训练时间减少的同时使得网络特性都得到利用,从而更好地解决了眼底图像的伪影干扰,能保持更多的血管特性信息,获得更多小血管,在训练集较少时不发生过拟合现象,测试集分割精度提高,具有较强的鲁棒性。

图6 改进的网络结构RU-Net

为了解决数据量较少引起的过拟合问题,本文将原始的U型网络结构改为3个上采样层和3个下采样层,且保留收缩路径和扩张路径之间的跳跃链接。

网络的左半部分为下采样部分,根据ResNet所构建,其核心为4组conv 与 MaxPooling,第一组采用了卷积核数为32的2个3×3卷积运算,第二组、第三组和第四组采用3个3×3卷积运算,分别是64、128和256卷积核。

网络的右半部分上采样部分,与下采样相对应,除了通过上一层采样获得的深度抽象特征外,每个conv输入集还输出浅层的局部特征。同时深度特征和浅层特征是通过Concat方法融合,以确保空间信息维度不变。使用ELU函数优化网络,最后通过softmax对血管与背景进行分类,输出血管分割结果。

3 实验与结果分析

3.1 训练与测试

本文的仿真平台为PyCharm,使用tensorflow端口和keras开发库,在DRIVE图像库上进行实验。为了在训练过程中尽可能地获得更多样本,本文通过随机提取图像块的方式增加样本,将提取出的190000样本送入网络中进行训练,训练集和验证集的比例为9:1。最后使用测试集测试网络模型的精度。

3.2 评价指标

准确度Acc、特异性Sp和灵敏度Sn是衡量视网膜眼底图像血管分割的性能好坏的三个重要指标,ROC曲线性能是衡量算法优越性的另一个重要指标。视网膜眼底图像血管分割后将划分的结果和医学专家手动的金标准结合来判断是否有效,结果如表1所示,可以分为四种情况[13]:第一种是分类正确的血管点,称之为真阳性TP;第二种是分类错误的血管点,称之为假阳性FP;第三种是分类正确的背景点,称之为真阴性TN;第四种则是分类错误的背景点,称之为假阴性FN。

表1 方法血管分割结果与金标准比较情况

利用上述数据可以得到三个衡量算法性能的指标,分别为准确度Acc、特异性Sp和灵敏度Sn,公式如下

(7)

(8)

(9)

在需要进行二分类问题的性能衡量时,一般都使用ROC曲线。ROC曲线绘制是用灵敏度作为纵向坐标,用特异度作为横向坐标来描绘出一个曲线。当划分的结果越趋向于精准,ROC曲线就会越趋近于左上方。衡量血管划分方法的另一个方法则用ROC曲线下部分的面积来表示,称之为AUC,其数值越接近于1时,血管的划分结果性能越好。