基于多角度分析统计的眼底图像微动脉瘤自动检测

马莹,张旭刚†,姚军平

(1.武汉科技大学 冶金装备及其控制教育部重点实验室, 湖北 武汉 430081;2.武汉科技大学 机械传动与制造工程湖北省重点实验室, 湖北 武汉 430081;3.武汉科技大学附属天佑医院, 湖北 武汉 430064)

在过去的几年中,糖尿病患者的数量越来越多。据不完全统计,目前我国患糖尿病的人数超过了1.1亿,约占我国成年人总数的十分之一,应该尽快采取一些措施来降低糖尿病的患病率及并发率,否则会给人类健康和社会经济带来严重的不良影响[1]。糖尿病视网膜病变 (Diabetic Retinopathy,DR) 是世界上最具破坏性和最常见的眼部疾病之一,它是造成工作年龄(20岁至60岁)人群失明的主要原因[2]。

微动脉瘤、出血、渗出物和新生血管是DR患者视网膜病变的表现。值得注意的是,由于糖尿病视网膜病变的初始临床表现并不明显,所以患者总是会忽视这些症状,然而到了晚期,糖尿病患者往往会失明[3]。现阶段人工诊断的结果和临床医生的诊疗经验息息相关,但是由于医生缺乏专业知识等因素,误诊和漏诊也很常见[4]。所以,利用机器学习、图像处理等技术,自动、准确地分析和处理彩色图像,实现迅速可靠的计算机支持诊断和治疗,仍然是非常必要和紧迫的课题。眼底成像的许多重要工作需要计算机科学的整合,如视网膜血管分割[5]、小动脉和小静脉分割[6]、病灶分类[7]、眼底图像渗出物的检测[8]等。

直到最近,主要有几种检测MA的方法,这些方法可以分为三类:传统数学分析、机器学习和深度学习。Baudoin等人[9]报道了在传统方法中基于数学形态学的MA识别的首次研究。Spencer等人[10]使用带有线性结构成分的形态学顶帽变换对视网膜图像的绿色成分进行了转换。

然而,传统的算法不仅不能正确地检测出大量的MA候选点,而且对背景干扰非常敏感。机器学习方法主要有支持向量机(Support vector machine,SVM)[11],Welikala等人[12]使用支持向量机识别血管和识别PDR实例;K近邻算法(K-nearest neighbors,KNN)[13],Abramoff和Suttorp Schulten[14]使用KNN检测基于网络的DR筛查的红色病变;随机森林算法(Random forest,RF)[15],曹文哲等[16]利用随机森林算法来预测糖尿病视网膜病变风险;神经网络算法(Neural networks,NNs)[17],Chudzik等人[18]使用卷积神经网络(CNN)来预测微动脉瘤。但是,以上描述的机器学习算法存在一定的局限性,比如,支持向量机必须要进行特征预提取,KNN算法有可能导致计算效率和泛化的问题。近年来,数据驱动的深度学习已被常规应用于眼底图像诊断眼部疾病。为了检测MAs, Eftekhari等[19]提出了一种基于两阶段神经网络的MA识别解决方案来解决类不平衡问题。现有的深度学习算法由于标记的MA图片数量少、MA占比小,无法正确学习MA特征,容易出现过拟合的倾向。

尽管已有许多DR检测技术发表,但微动脉瘤检测仍然是一项具有挑战性的任务。本文采用了一种新的基于多角度分析统计的方法进行特征提取,分别对绿色通道图像和灰度图像进行预处理和特征提取,每种预处理方式作为一个角度提取一组特征。然后,通过多层感知分类器(Multi-layer Perceptron Classifier,MLP)对候选MA进行分类,最后对所有分类统计结果求均值,完成MA检测。以下是本文其余部分的组织方式:第1节是对本文所用的材料与方法进行阐述;第2节是结果与分析;第3节是结论。

1 材料与方法

1.1 材料

在e-ophtha-MA数据集上验证本文所提出方法检测MA的有效性,e-ophtha-MA是由眼科医生创建的148张MA注释照片的集合,其中74张眼底图片作为训练集,其余74张眼底图片作为测试集。

微动脉瘤有四个指标:真阳性(TP)和假阳性(FP)分别为识别正确和识别错误的正样本;真阴性(TN)和假阴性(FN)分别为识别正确和识别错误的负样本。假设测试集中真实微动脉瘤的总数为N,测试集中图像的数量为M,则以下两个指标可计算为式(1)、式(2):

(1)

(2)

其中,灵敏度Sensitivity为真阳性微动脉瘤数量与真微动脉瘤总数之比,FPI是每张图像假阳性的缩写,显示每张图像微动脉瘤的平均假阳性数量。在这种情况下,灵敏度是指准确识别的MAs与真实MAs的比值。在每张图片中发现的非MAs的数量用FPI表示。通过制订不一样的阈值,可以得到不同组的灵敏度和FPI,因此,我们可以创建出一个以灵敏度为纵坐标,以FPI为横坐标的FROC曲线图。最后的分数被确定为这7个FPI的平均灵敏度值,本文选取了7个FPI点(1/8,1/4,1/2,1,2,4,8)对应的灵敏度值,统称为下面的FROC曲线分数。最后,绘制FROC曲线,计算e-ophtha数据集中所提出方法的AUC,以评价分类结果。

1.2 方法流程

本文采取的方法主要可以分为以下四个步骤:图像预处理、候选区域提取、特征提取和分类,和以往方法不同的是,我们提出了一种新的特征提取方法,传统的方法是进行一种预处理,然后对预处理后的图像进行特征提取,本文是对原始绿色通道图像和灰度图像分别进行预处理,每一种预处理方式都作为一个角度提取一组特征,然后进行分类,并训练多个分类器,对分类结果求均值。具体流程如图1所示。

图1 本文方法流程图

1.3 图像预处理

由于成像角度、拍摄环境照度、患者相对眼动等因素的影响,眼底图像质量往往参差不齐[20]。为了提高检测算法的性能,需要对彩色眼底图像进行预处理,调整光照不平衡,增加微动脉瘤与背景的对比度,减小噪声的影响。本文提出了一种基于多角度分析统计的特征提取方法,分别对绿色通道图像和灰度图像进行预处理,每一种预处理方法作为一个角度提取特征,采用以下两种方式对图像进行预处理:直方图均衡化、照明均衡化。

在进行预处理之前,我们经常提取一个包含完整信息的圆形感兴趣区域(ROI)以简化处理过程。本文采用基于4邻域的三次插值方法,在保持长宽比不变的情况下,将ROI的直径调整为900像素,为了缩小感兴趣区域,采用直径为6的圆形滤波器核进行腐蚀操作。

大多数眼底彩色图像微动脉瘤与背景的对比度较低,因此需要在微动脉瘤检测前对图像进行增强,本文采用直方图均衡化的方法来提高图像的对比度,主要是通过扩大图像的灰度分布范围来实现,其变换公式如式(3):

(3)

其中,N是图像中像素的总数,nj是像素强度为rj的像素的数量,L为图像灰度的数量,T(rk)也被称为rk的累积分布函数(CDF)。

眼底图像常常出现照明不均衡的现象。为了解决这一问题,本文采用Hoover等人的[21]照明均衡化方法。该方法可以用公式(4)表示,背景图片Ig是对原始绿色通道图像I使用大小为3×3的中值滤波生成的,然后从I中减去Ig来修正阴影变化,最后,加上I的平均强度μ来保持灰度范围恒定。

Ii=I-Ig+μ

(4)

1.4 候选区域提取

候选提取是整个检测过程的关键步骤。这一步的主要目的是限制非MAs的数量。另一方面,在此阶段丢失的任何真正的MAs在之后都无法恢复。本文根据MA的特点,采用局部最小区域提取和横断面扫描的方法提取MA。

MAs是预处理后视网膜图像中局部强度最小的结构,通常表现为高斯曲线。也就是说,每个MA区域至少包含一个最小区域。在候选点半径为3的圆内的其他像素的强度被逐一处理和比较,如果相邻像素的强度很高,那么候选像素本身就是一个LMR。如果相邻像素的强度较低,则当前像素可能不是最小值。

1.5 特征提取和分类

MA检测的关键是特征提取。MA检测的精度与提取的特征质量成正比。我们采用多角度分析统计的方法提取特征,即每进行一次预处理就提取一组特征,首先是原始绿色通道图像:(1)从原始绿色通道图像中提取1.5.1和1.5.2特征;(2)对原始绿通道图像进行直方图均衡化处理,提取1.5.1和1.5.2特征; (3)对直方图均衡化后的图像进行照明均衡化,提取1.5.1和1.5.2特征。其次是灰度图像:(1)从灰度图像中提取1.5.1和1.5.2特征;(2)对灰度图像进行直方图均衡化处理,提取1.5.1和1.5.2特征; (3)对直方图均衡化后的图像进行照明均衡化,提取1.5.1和1.5.2特征。

通过候选区域的提取,减少了非MA点的数量,但仍存在大量的假阳性,为了减少这些点的数量,需要进一步分类。本文采用多层感知分类器(MLP)进行分类,这是一种神经网络模型,除了输入层和输出层外,它还可以在中心有一到多个隐藏层。将每种预处理方式提取的特征放入分类器中,训练多个分类器,对所有的分类结果求均值。

1.5.1 基于形状的特征

(1)长轴长(a): 候选区域的相距最远的两个像素间的距离;

(2)短轴长(b): 候选区域的相距最近的两个像素间的距离;

(3)长宽比(r): 长轴与短轴的长度之比r=a/b;

(4)周长(L): 候选区域边缘像素的数量;

(5)面积(A): 候选区域像素的总数量A=∑j∈Ω1,Ω表示候选区域内像素集合;

(6)圆度(c): 候选区域的圆度c=L2/4πA;

1.5.2基于灰度的特征

(1)MA候选区域内像素灰度的平均值Mc=∑k∈Ωgk/N,Ω表示候选区域内像素集合,gk表示候选区域内像素灰度,N表示候选区域内像素数量;

(2)候选区域中心8邻域中大于中心点的像素集合A的强度均值与小于中心点的像素集合B的强度均值之间的差值(边缘平均对比度),C=∑k∈Agk/NA-∑k∈Bgk/NB,NA为属于A的像素数量,NB为属于B的像素数量;

(4)边缘像素对比度的标准差

(5)距离中心最远距离加3为半径的圆内不属于候选区域像素的平均强度Mb=∑k∈bgk/Nb,b表示距离中心最远距离加3为半径的圆内不属于候选区域像素集合,Nb表示其数量;

(6)距离中心最远距离加3为半径的圆内不属于候选区域像素强度的标准差

(7)候选区域的平均强度与上述不属于候选区域像素平均强度之间的差异Md=Mc-Mb;

(8)灰度值,NInorm=(1/σ)(Inorm-x),其中,Inorm是灰度值,σ和x是Inorm像素灰度值的标准方差和均值。

2 结果与分析

为了评价MA候选提取方法的有效性,我们采取灵敏度这一计算指标,在e-ophtha-MA数据集上进行验证,并与其他MA候选提取方法进行比较。如表1所示,在e-ophtha-MA数据集上,本文提供的MA候选提取方法的灵敏度为0.91,与其他方法[22]相比,本文提出的MA候选提取方法提取了大部分MA。同时,即使灵敏度很高,我们提出的MA候选提取方法的FPI为298。结果表明,该方法去除了大量的非MA,在MA候选提取阶段具有较低的FPI值。

表1 在e-ophtha-MA数据集上MA候选提取性能

我们采用自由响应工作特性曲线(FROC)来评估MA 检测方法的性能。表2列出了FPI为1/8、1/4、1/2、1、2、4、8时的具体灵敏度值,以及其他几种方法的结果。表2显示,该方法在e-ophtha-MA数据集上的最终FROC曲线得分为0.510,高于其他先进方法。在一定的FPI值下,灵敏度最高,特别是当FPIs<1时,该方法对FPIs的灵敏度为0.331,0.373,0.443,0.493,远高于其他方法。表2测试时间是测试每张图所用的时间,可以看出,该方法统合了多种预处理方式,在仅增加一些计算复杂度的前提下,使最终识别结果得到了较好的提升。使用e-ophtha数据库构建的FROC曲线如图2所示。

表2 在e-ophtha数据库上不同方法在预定FPIs上的灵敏度

同时,表2列出了不进行多角度分析统计方法提取特征的结果,表中“本文方法(绿色)”表示对绿色通道图像进行预处理的特征提取结果,不包括灰度图像。表中“本文方法(灰度)”表示对灰度图像进行预处理的特征提取结果。根据表2,Fscore在e-ophtha数据库中不进行灰度图像预处理的结果为0.483,不对绿色通道图像进行预处理的结果为0.492,对灰度图像和绿色通道图像进行多角度分析统计提取特征的结果为0.510。

由此,多角度分析统计提取特征的结果明显优于非多角度分析统计的结果。

图2 在e-ophtha-MA上的FROC曲线

采用ROC曲线和AUC指数评价该方法的分类效果。ROC曲线是以灵敏度为纵轴、特异性为横轴绘制的散点线图,一般为(0,0)到(1,1)之间的凹曲线。AUC (Area Under Curve)是ROC曲线与横轴所围成的面积大小,其值一般在0.5～1之间,越接近1,则说明分类器效果越好。本文方法在e-ophtha-MA数据集上的ROC曲线如图3所示,表3显示了本文方法与其他方法在e-ophtha-MA数据集上的AUC对比。本文所提方法在去除复杂背景点后的AUC达到0.9805,这远远大于文献[22]和[24]的结果。

图3 本文算法在e-ophtha-MA数据集上的ROC曲线

表3 本文方法与其他方法的AUC结果比较

图4为对眼底图像在e-ophtha-MA数据库检测识别的部分结果,其中左图为右图局部放大。从左图中可以比较清晰地看出圆环标注区域,其中较小半径的圆表示原图中微动脉瘤点标注,较大半径的圆代表本文所提方法的识别结果。由此可以看出,本文所提出的方法能够准确识别出MAs,与真实微脉瘤点的位置有很高的重合度,特别是一些特殊的点,如血管附近的点和边缘点。虽然本文所提出的方法没有去除血管、视盘等混乱的结构,也没有人工选择负样本,仍然能够检测出血管附近或者明亮区域的MAs,但是在一些背景污染严重、对比度较弱的区域,仍然有一些遗漏的MAs。

图4 最终识别结果

3 结 论

本文提出了一种基于多角度分析统计的微动脉瘤自动检测算法,该算法包括眼底图像预处理、微动脉瘤候选区域提取、特征提取和分类四个步骤。在开放数据集e-ophtha-MA上对该方法进行了性能测试,灵敏度为0.91,FROC响应曲线最终得分为0.510,AUC为0.9805。结果表明,该方法能有效地提取更多的真微动脉瘤。

在特征提取阶段,提出了一种新的特征提取方法,即多角度分析统计的特征提取方法,分别从原始绿色通道图像和灰度图像中提取特征,每采用一种预处理方法提取一组特征,就放到分类器里一次,最后训练多个分类器,对每个分类器的结果取均值,结果表明该方法具有较高的性能。