彩色眼底图像糖网渗出物的自动检测

吕 卫，翟庆伟，褚晶辉，李 喆



彩色眼底图像糖网渗出物的自动检测

吕 卫，翟庆伟，褚晶辉，李 喆

( 天津大学电子信息工程学院，天津 300072 )

糖尿病视网膜病变(简称“糖网”)渗出物的自动检测对于糖网的早期诊断具有重要意义。针对以往利用数学形态学检测糖网渗出物方法中存在的图像增强效果不佳造成的渗出物细节易漏检以及干扰区域去除不完全造成的正常区域易误检的问题，提出了一种改进的基于数学形态学的糖网渗出物的自动检测方法，主要对眼底图像的预处理和视盘等干扰区域的检测进行了优化。首先预处理阶段在HSV颜色空间对图像进行亮度校正后引入了多尺度顶帽变换方法进行图像增强，接着采用了一种综合图像边缘信息和亮度信息的新方法定位视盘中心并利用Chan-Vese水平集模型分割出视盘，又依次提取出干扰渗出物检测的边界和光学器件的反射亮斑，最后用背景估计结合形态学重建的方法检测出渗出物的精确轮廓。经最新公开的e-ophtha EX数据库测试，得到病灶水平灵敏度91.7%，阳性预测值94.6%；图像水平灵敏度100%，特异性88.6%，准确率95.1%。

糖网渗出物；预处理；干扰区域；数学形态学

0 引 言

糖尿病视网膜病变(简称“糖网”，Diabetic Retinopathy，DR)是糖尿病最常见和最严重的眼部并发症之一，它的发病率极高，在我国糖尿病人群中，发病5年后DR患病率为25%，10年后增至60%，15年后可高达75%~80%[1]。DR的严重程度随着糖尿病病程的增长而增加，且具有很高的致盲性，因此早期若能及时发现并采用合理的治疗手段则可以有效控制病情的恶化，降低视力严重损伤的危险。然而必须指出，这种治疗的最佳时机很容易因各方面原因而被贻误，而且现阶段的DR检查基本依靠眼科医生的肉眼观察，因此若能借助计算机高效准确的识别出DR的病灶，则能更及时控制住病情，降低糖尿病患者的致盲率。

临床上将有无新生血管作为判断依据[2]，将DR分为非增殖性糖尿病视网膜病变(Nonproliferative Diabetic Retinopathy，NPDR)和增殖性糖尿病视网膜病变(Proliferative Diabetic Retinopathy，PDR)，其中NPDR又可分为红色病灶(视网膜内出血、微动脉瘤) 和白色病灶(硬性渗出、软性渗出)。目前关于对糖网白色病灶渗出物的检测主要分为四类方法：第一类是基于图像亮度等信息采用阈值分割或区域生长的方法。如Yazid等[3]提出了一种基于逆表面自适应阈值的渗出物分割算法，通过最小平方距离法调整逆图像的位置以获得最佳阈值，能根据不同的数据库自动计算得出分割阈值。Li等[4]提出了一种基于区域生长的渗出物检测方法，选取子图像中局部区域最小值作为种子点并把Canny边缘检测结果作为停止准则。第二类是基于聚类的方法。如Osarah等[5]采用Fuzzy C-Means聚类得到候选区域，再分类得到硬性渗出物。JayaKumari等[6]首先运用文本聚类算法得到亮目标区域，然后用一种递归神经网络ECNN检测不同的渗出物。第三类主要采用机器学习的方法。如García等[7]提出一种包含三种神经网络分类器的渗出物检测算法。Zhang等[8]对候选区域提取语义特征等5类特征形成一个28维的特征向量，然后采用随机森林分类得到精确的渗出物结果。第四类是基于数学形态学的方法。如Walter等[9]利用形态学滤波和分水岭变换移除视盘，然后采用基于灰度方差和形态学重建的方法识别出渗出物。Sopharak等[10]首先在HSI颜色空间对I通道增强后利用形态学操作分割出视盘，再结合标准差滤波和形态学重建的方法检测出渗出物。Amel等[11]则采用CIELab颜色空间对L通道增强，然后用阈值处理结合形态学重建移除视盘，最后综合用K-means聚类、Kirsch边缘检测和形态学重建的方法提取出渗出物。

基于对上述四类方法相关文献的对比和分析，采用阈值分割的方法对阈值的选取依赖性较大，同样区域生长法也很大程度上依赖于种子点和停止准则。基于聚类的方法得到的结果易受聚类初始中心的影响，且迭代次数提高后运行时间也会显著增加。采用机器学习的检测方法则对分类器的设计和特征的选取要求较高。而基于数学形态学的无监督方法以形态结构元素为基础对图像进行处理和分析，与其它方法相比具有高效快速、易于硬件实现等优点。对采用形态学方法的文献[9]～[11]进行对比发现，上述文献在预处理阶段都是采用了对比度受限自适应直方图均衡化(Contrast Limited Adaptive Histogram Equalization，CLAHE)的方法进行图像增强，且在干扰区域的检测上只是利用图像亮度信息移除了视盘，对其它亮度较高的区域未做处理。基于此，本文提出了一种改进的基于数学形态学的糖网渗出物自动检测方法，主要对眼底图像的预处理和视盘等干扰区域的检测进行了优化。首先预处理阶段在HSV颜色空间对图像进行亮度校正后引入了多尺度顶帽变换方法进行图像增强，接着采用了一种综合图像边缘信息和亮度信息的新方法定位视盘中心并利用Chan-Vese水平集模型分割出视盘，又依次提取出干扰渗出物检测的边界和光学器件的反射亮斑，最后用背景估计法得到渗出物候选区域并用形态学重建的方法检测出渗出物的精确轮廓。

1 改进的基于数学形态学的糖网渗出物的自动检测

糖网渗出物包括硬性渗出和软性渗出，渗出物无规则的分布于眼底，多呈簇状堆积，外观表现为大小不等、形状不规则的黄白色斑点状，见图1。本文提出的渗出物自动检测方法流程如图2所示，第一步首先对眼底图像进行预处理，包括感兴趣区域(Region of Interest，ROI)获取、亮度校正和对比度的增强，其中引入了多尺度顶帽变换的方法进行图像增强；第二步检测易和渗出物混淆的视盘、边界和光学器件反射的亮斑等干扰区域，其中视盘的定位则是采用了一种综合图像边缘信息和亮度信息的新方法；第三步进行糖网渗出物的提取，包括背景估计、干扰区域的移除以及对病灶候选区域的形态学重建。

图1 彩色眼底图像及糖网渗出物细节

图2 方法流程

1.1 眼底图像预处理

首先获取眼底图像的感兴趣区域(ROI)，这样在后续处理中能有效避免ROI区域外像素的影响，降低计算的复杂度。选取原彩色图像最能反映光照情况的红色通道分量灰度图来进行处理，公式如(1)所示，

亮度不均主要表现为图像的明暗分布不一致，而HSV颜色空间中分量直接反映图像的亮度情况，因此对亮度值进行校正，校正公式：

亮度校正后的眼底图像依然存在渗出物和其它结构对比不明显的问题，尤其是在图3(c)中可看出某些微小渗出物的边缘特性比较微弱。此处引入Bai等[13]提出的多尺度顶帽变换的方法进行对比度增强，取亮度校正后图像对比度最高的绿色通道灰度图(图3(d))，增强公式：

图3 图像预处理

1.2 干扰区域的检测

1.2.1视盘的定位与分割

视盘(Optic Disc，OD)在彩色眼底图像中呈现近似圆盘状的亮黄色或白色区域，与周围区域存在很高的对比度。由于视盘在颜色和亮度特征上与渗出物病灶极其相似，因此视盘的准确定位和分割是渗出物检测流程中非常关键的一步。本文提出了一种综合眼底图像的边缘信息和亮度信息的新方法来分别定位视盘的水平坐标和垂直坐标，并利用CV水平集模型提取出视盘轮廓。其中视盘定位算法高效准确，不需要提取血管，在e-ophtha EX[17-18]数据库82张眼底图像中成功定位81张，准确率达到98.8%。

Sobel算子是基于一阶导数的边缘检测算子，利用它的横向模板和纵向模板可分别得到图像的水平边缘和垂直边缘。Isotropic Sobel算子是Sobel算子另一种形式，和普通Sobel算子相比，它的位置加权系数更为准确，在检测两个方向的边缘时能保持梯度的幅度一致，效果更为清晰。由于视盘区域血管分布比较密集且血管主要沿垂直方向延伸，因此视盘区域相对其它区域垂直方向边缘强度要远大于水平方向边缘强度[14]。用Isotropic Sobel算子分别提取图3(e)的垂直边缘和水平边缘图像，然后根据血管的分布特性定义一个矩形窗，如图4(a)和图4(b)，令此矩形窗在两幅边缘图像上沿水平方向滑动，对每一个水平坐标，以此坐标为窗口中心，分别计算窗内像素灰度均值。定义两值相减的差值为该水平坐标的边缘差值，计算式：

在定位视盘垂直坐标时，综合考虑视盘处血管的密集度信息和视盘亮度信息。首先以定位出的视盘水平坐标为中心，取一倍视盘直径宽度，截取垂直边缘图像作为血管密集度子图像，在此图像上定义一个同宽度，高度也为一倍视盘直径的方形窗，对每一个垂直坐标，以此坐标为窗口中心，如图4(d)所示，令此窗口沿垂直方向滑动，统计窗内像素的灰度均值作为血管密集度特征；然后在图3(e)上截取同样大小图像作为视盘亮度子图像，并通过直方图均衡化来增强视盘区域，如图4(e)所示。对每一个垂直坐标，计算同样大小的方形窗内像素灰度方差值作为视盘亮度特征。定义两值的乘积为该垂直坐标的综合特征值，计算式：

图4 视盘坐标定位

定位出视盘中心坐标后，接着利用CV水平集模型进行视盘的分割。CV模型是Chan-Vese[15]提出的一种经典的基于区域的水平集活动轮廓模型，假设图像目标和背景两个同质区域的平均灰度值为常数，通过极小化能量泛函，使得闭合轮廓曲线趋近于目标边界。首先在图3(e)上以定位出的视盘坐标为中心截取宽度和高度都为三倍视盘直径的子图像，同样采用直方图均衡化方法来增强图像中的视盘区域，结果如图5(a)。然后用半径略大于主血管宽度的圆形结构元素对图像进行形态学开操作来擦除血管。接着用CV模型来获取视盘区域的轮廓，初始轮廓选择以定位出的视盘中心为圆心的半径较小的圆形，这里选择半径为10，如图5(b)。为了确定CV模型中的迭代次数，此处引入了面积重叠率这一视盘分割的评价指标，该评价指标由Lalonde等[16]提出，其计算式：

图5 视盘轮廓检测

表1 不同迭代次数下平均重叠率Save的实验结果

1.2.2边界和反射亮斑的检测

除去视盘以外，还有两种亮度较高的区域会影响到渗出物的检测，分别是眼底图像ROI的边界处(图6(a))和眼底相机内部光学器件反射造成的亮斑(图6(b))，其中光学器件的反射亮斑只存在于部分图像。

首先用7×7的模板对图6(a)的绿色通道进行中值滤波，同时用Canny算子提取出ROI的边界轮廓如图6(c)，以滤波后的图像(图6(d))作为掩膜，边界轮廓图像作为标记进行形态学重建得到图6(e)，对结果用Otsu法做全局阈值处理并采取膨胀操作可得到边界亮区域的二值图像，如图6(f)。

对于光学器件反射亮斑的提取，在图6(a)中并不存在，因此选取反射区域较多的图6(b)为例。由于此种区域白光成分较多，颜色饱和度低，取其HSV颜色空间中的饱和度通道如图6(g)，可发现反射亮斑在此通道中灰度值较低，特征明显，与ROI内背景像素的灰度值差距较大，因此用Otsu法进行阈值分割可提取出面积较大的反射亮斑，结果如图6(h)所示。对于少部分未被检测出的较弱的亮斑，由于面积较小与渗出物极易混淆，如果继续处理则极易把较小的渗出物错检成亮斑，进而降低渗出物检测的灵敏度，因此这里并未对这少部分较弱的亮斑做进一步的检测。

1.3 渗出物的检测

最后进行渗出物轮廓的精确检测，主要分为三步，具体步骤描述如下：

1) 采用背景估计方法获取渗出物候选区域。背景估计的目的在于将处理过的图像与原灰度图比较，提取眼底图像的前景结构。取原图像绿色通道灰度图像，背景估计的过程：

图6 边界和光学器件反射亮斑的检测

2) 对背景估计得到的结果移除视盘等干扰区域，处理公式：

图7 渗出物的检测

2 实验结果及分析

2.1 实验数据库和评价指标

e-ophtha EX数据库是2013年国际上公开的专门用于糖网渗出物研究的彩色眼底图像数据库，图像数据来源于法国国家科研署资助的远程DR筛查项目OPHDIAT[17]中建立的e-ophtha数据库，病变图像的标注结果则是在TeleOphta[18]项目中由ADCIS研发的标注软件结合眼科专家的修改意见共同标注完成。它包含82张眼底图像(包括四种不同的尺寸：1 440 pixels´960 pixels, 1 504 pixels´1 000 pixels, 2 048 pixels´1360 pixels, 2 544 pixels´1 696 pixels)，其中有47张病变图象和35张正常图像。和其它几种眼底图像数据库如DIARETDB1、Messidor和HEI-MED数据库相比，e-ophtha EX给出了更为精确的渗出物标注轮廓，可作为渗出物检测结果的评价标准[8]。

对于每张眼底图像，以数据库给出的病变标注结果为参考，本文方法检测出的相同或不同的区域分别称为真阳性()和假阴性()，同理以正常的区域为参考，检测出的相同或不同的区域分别称为真阴性()和假阳性()。基于此，分别有以下四个评价参数：

对糖网渗出物检测方法性能的评价标准主要有基于病灶水平和基于图像水平。其中，基于病灶水平的评价标准侧重于判断每一幅图像中检测出的区域是否为渗出物，选用区分度较高的灵敏度(E)和阳性预测值(V)这两个参数。而基于图像水平侧重于判断图像是否含有渗出物，选用灵敏度(E)、特异性(P)和准确率(C)这三个参数。

2.2 实验结果分析

本文实验是在Windows XP、编程环境为Matlab R2010b、CPU主频为2.10 GHz以及4 GB内存条件下进行的。图8为三幅具有代表性的眼底图像的渗出物检测结果(蓝色区域)与专家标注轮廓(绿色区域)的对比，由结果来看，无论是对渗出物较多且明显的眼底图像(图8第一行)、渗出物较少且不易分辨的眼底图像(图8第二行)，或是光学器件反射区域较多的眼底图像(图8第三行)，本文的方法都能检测出渗出物的区域。

图8 不同眼底图像检测结果

将本方法与其它方法的检测结果进行对比，如表2所示。其中文献[9]、[10]和[11]主要运用数学形态学的方法，文献[5]和[7]则分别用了聚类和机器学习的方法。可见在病灶水平，本文方法在保证灵敏度的前提下取得了最高的阳性预测值，这是由于在形态学膨胀重建检测渗出物精确轮廓这一步骤中使用多尺度顶帽增强后的图像作为掩膜图像来约束重建过程，从而使检测出的病灶包含了更多的渗出物细节；而本文方法的灵敏度略低于文献[9]和文献[11]，主要原因是某些眼底图像中视神经纤维区域面积较大且亮度较高，导致出现了少量的误检使得假阳性区域相对略有增加，但其灵敏度仍高于其它四种方法且大于英国糖尿病协会提出的灵敏度最低80%的病灶筛查标准。在图像水平上则取得了较高的灵敏度和准确率，其中47张病变图像全部检测出渗出物，35张正常图像中只有4张检测错误。综合来看，本文改进了基于数学形态学的糖网渗出物检测方法，并在图像预处理和视盘等干扰区域的检测中引入了新方法，取得了较好的结果。虽然存在对小部分视神经纤维区域的误检，但结果都在容忍度之内，而且在后续的研究中，本课题将更加深入地分析如何有效地去除这些区域，以进一步提升检测精度。

表2 本方法与其它糖网渗出物检测方法的比较

3 结 论

本文提出了一种改进的基于数学形态学的糖网渗出物的自动检测方法，主要对眼底图像的预处理和视盘等干扰区域的检测进行了优化。其中预处理阶段引入了多尺度顶帽变换方法进行图像增强并把结果应用到形态学重建检测渗出物这一步骤中，使得检测结果中包含更多的渗出物细节，其次本文详细分析并采用新方法移除了影响渗出物检测的视盘、边界和光学器件的反射亮斑等干扰区域，在候选区域中减少了更多的伪目标，尤其是提出的综合眼底图像的边缘信息和亮度信息的视盘定位方法高效准确，极大地提高了渗出物自动检测的效率。采用公开的e-ophtha EX眼底图像数据库进行实验验证，说明本方法具有较高的可行性和优越性。

[1] 任彦新，卫玉彩. 糖尿病视网膜病变发病机制和治疗的研究进展[J]. 临床荟萃，2006，21(17)：1285-1287.

REN Yanxin，WEI Yucai. Research progress in the pathogenesis and therapy of diabetic retinopathy [J].Clinical Focus，2006，21(17)：1285-1287.

[2] 陈喆，张士胜，朱惠敏. 糖尿病视网膜病变的国际临床分类分析[J]. 国际眼科杂志，2011，11(8)：1394-1401.

CHEN Zhe，ZHANG Shisheng，ZHU Huimin. Analysis of international clinical diabetic retinopathy disease severity scale [J]. International Eye Science，2011，11(8)：1394-1401.

[3] Yazid H，Arof H，Isa H M. Exudates segmentation using inverse surface adaptive thresholding [J]. Measurement(S0263-2241)，2012，45(6)：1599-1608.

[4] LI Huiqi，Chutatape O. Automated feature extraction in color retinal images by a model based approach [J]. IEEE Transactions on Biomedical Engineering(S0018-9294)，2004，51(2)：246-254.

[5] Osareh A，Mirmehdi M，Thomas B，. Automatic recognition of exudative maculopathy using fuzzy c-means clustering and neural networks [C]// Medical Image Understanding and Analysis，Birmingham，London，Jul 16-17，2001，3：49-52.

[6] JayaKumari C，Maruthi R. Detection of hard exudates in color fundus images of the human retina [J]. Procedia Engineering(S1877-7058)，2012，30：297-302.

[7] García M，Sánchez C I，López M I，. Neural network based detection of hard exudates in retinal images [J]. Computer Methods and Programs in Biomedicine(S0169-2607)，2009，93(1)：9-19.

[8] ZHANG Xiwei，Thibault G，Decencière E，. Exudate detection in color retinal images for mass screening of diabetic retinopathy [J]. Medical Image Analysis(S1361-8415)，2014，18(7)：1026-1043.

[9] Walter T，Klein J C，Massin P，. A contribution of image processing to the diagnosis of diabetic retinopathy-detection of exudates in color fundus images of the human retina [J]. IEEE Transactions on Medical Imaging(S0278-0062)，2002，21(10)：1236-1243.

[10] Sopharak A，Uyyanonvara B，Barman S，. Automatic detection of diabetic retinopathy exudates from non-dilated retinal images using mathematical morphology methods [J]. Computerized Medical Imaging and Graphics(S0895-6111)，2008，32(8)：720-727.

[11] Amel F，Mohammed M，Abdelhafid B. Improvement of the hard exudates detection method used for computer-aided diagnosis of diabetic retinopathy [J]. International Journal of Image Graphics and Signal Processing(S2074-9074)，2012，4(4)：19.

[12] BAI Xiangzhi，ZHOU Fugen，XUE Bindang. Image enhancement using multi scale image features extracted by top-hat transform [J]. Optics & Laser Technology(S0030-3992)，2012，44(2)：328-336.

[13]Mahfouz A E，Fahmy A S. Fast localization of the optic disc using projection of image features [J]. IEEE Transactions on Image Processing(S1057-7149)，2010，19(12)：3285-3289.

[14] 赵圆圆，张东波，刘茂. 采用局部搜索的快速视盘检测方法[J]. 光电工程，2014，41(3)：28-34.

ZHAO Yuanyuan，ZHANG Dongbo，LIU Mao.Fast Optic Disc Detection by Local Searching [J]. Opto-Electronic Engineering，2014，41(3)：28-34.

[15] Chan T F，Vese L A. Active contours without edges [J]. IEEE Transactions on Image Processing(S1057-7149)，2001，10(2)：266-277.

[16] Lalonde M，Beaulieu M，Gagnon L. Fast and robust optic disc detection using pyramidal decomposition and Hausdorff-based template matching [J]. IEEE Transactions on Medical Imaging(S0278-0062)，2001，20(11)：1193-1200.

[17] Massin P，Chabouis A，Erginay A，. OPHDIAT©: A telemedical network screening system for diabetic retinopathy in the Île-de-France [J]. Diabetes & metabolism(S0338-1684)，2008，34(3)：227-234.

[18] Decencière E，Cazuguel G，ZHANG Xiwei，. TeleOphta: Machine learning and image processing methods for teleophthalmology [J]. IRBM(S1959-0318)，2013，34(2)：196-203.

Automated Detection of Diabetic Retinopathy Exudates in Color Fundus Images

LÜ Wei，ZHAI Qingwei， CHU Jinghui，LI Zhe

( School of Electronic Information Engineering, Tianjin University, Tianjin 300072, China)

The automated detection of diabetic retinopathy exudates has great importance for early diagnosis of diabetic retinopathy. Aiming to reduce the residual error caused by ineffective image enhancement and the false detection caused by incomplete removal of interference regions existing in common morphology-based exudates detection methods, an automated method based on mathematical morphology is proposed, which mainly improves the preprocessing of fundus images and the detection of interference regions like optic disc. In the image preprocessing step, the proposed method corrects the brightness of the image in the HSV color space, and then adopts multi-scale top-hat transform to enhance the image. Afterwards, a novel method is used to localize the center of optic disc according to the edge and brightness characteristics of image, and then the optic disc region is segmented by Chan-Vese level set model. Furthermore, other interference regions including bright border and optical artifacts reflection are detected and removed. Finally, the exudates are precisely segmented by background estimation and morphological reconstruction. From the testing results on the new public dataset of e-ophtha EX, the proposed method achieves sensitivity of 91.7% , specificity of 94.6% on the exudate level and sensitivity of 100%, specificity of 88.6% and accuracy of 95.1% on the image level.

diabetic retinopathy exudates; image preprocessing; interference regions; mathematical morphology

1003-501X(2016)12-0183-10

TN911.73

A

10.3969/j.issn.1003-501X.2016.12.028

2016-06-06；

2016-10-09

国家自然科学基金资助项目(61271069)

吕卫(1976-)，男(汉族)，江苏常熟人。副教授，博士，主要研究工作是图像处理与模式识别。E-mail: luwei@tju.edu.cn。

褚晶辉(1969-)，女(汉族)，天津人。副教授，博士，主要研究工作是数字视频技术与模式识别。E-mail: cjh@tju.edu.cn。