糖尿病视网膜病变眼底图像分类方法

梁 平，熊 彪,2,3，冯娟娟，廖瑞端，汪天富,2,3，刘维湘,2,3

1)深圳大学医学部，广东深圳 518060；2)广东省医学信息检测与超声成像重点实验室，广东深圳 518060；3)医学超声关键技术国家地方联合工程实验室，广东深圳 518060；4)中山大学附属第一医院眼科，广东广州 510275

【电子与信息科学 / Electronic and Information Science】

糖尿病视网膜病变眼底图像分类方法

梁 平1，熊 彪1,2,3，冯娟娟4，廖瑞端4，汪天富1,2,3，刘维湘1,2,3

1)深圳大学医学部，广东深圳 518060；2)广东省医学信息检测与超声成像重点实验室，广东深圳 518060；3)医学超声关键技术国家地方联合工程实验室，广东深圳 518060；4)中山大学附属第一医院眼科，广东广州 510275

评述糖尿病视网膜病变(diabetic retinopathy，DR)眼底图像自动分类方法的研究进展．介绍基于局部病灶的分类方法和基于全局图像的分类方法．其中，基于局部病灶的分类方法主要是渗出物、出血点和微血管瘤病灶的检测，根据检测出的病灶类型、数量和位置等信息进行DR分类；基于全局图像的分类方法是对图像全局特征信息进行分类．分析了常用数据集、各类方法优缺点和分类性能，指出尽管DR眼底图像自动分类已经有大量研究，但实现一个通用的DR自动分类系统在数据数量与质量、分类方法和系统性能等方面还有一定挑战．

图像处理；眼底图像；糖尿病视网膜病变；计算机辅助诊断；自动检测；图像分类

糖尿病是一种以高血糖为特征的代谢性疾病，主要是胰岛素分泌缺陷或胰岛素作用障碍引起血管性能改变，导致心脏、脑部、肾脏和视网膜等出现疾病．糖尿病视网膜病变(diabetic retinopathy, DR)是糖尿病引发的视网膜并发症，因为患者长期的高血糖会改变血管内皮细胞功能，引起视网膜毛细血管内皮细胞色素上皮细胞间的联合被破坏，造成视网膜血管中血液渗漏和营养物质溢出，进而影响视觉[1]．世界卫生组织预测2030年全球糖尿病患者将达总人口数的4.4%，其中约1/2患者会出现DR并发症．目前，全球DR患者约9 300 万，其中增殖型DR患者约1 700万，已威胁视力的DR患者约为2 800万．糖尿病视网膜病变是继白内障、青光眼和老年性黄斑病变又一重要的致盲因素．据统计，随着年龄的增长，糖尿病患者的DR发病率越来越高，病程在十年以上的患者发病率为69%～90%，严重影响糖尿病患者的生活质量[2]．

正常眼底图像主要包含动脉血管、静脉血管、黄斑和视盘等结构，而DR眼底图像中常见的异常病变有微血管瘤、出血点、硬性渗出物、棉絮斑和新生血管等．微血管瘤在眼底图像上表现为红色圆形小斑点，反映了血管性能早期变化；出血点是由于血管中血液渗漏到视网膜上，在眼底图像上呈暗红色斑点或块状斑；硬性渗出物是因血管中脂质和蛋白质等营养物质渗漏到视网膜上，在眼底图像上呈亮白色斑块；新生血管是因血管阻塞引起缺血，视网膜对缺血的反应是代偿性形成细小紊乱的新生血管．正常眼底图像和DR眼底图像表征如图1．

图1 正常眼底图像和DR眼底图像Fig.1 (Color online) Normal fundus image and DR fundus images

在临床上，通常根据是否出现新生血管，将DR分为两大类：若出现新生血管，则为增殖型糖尿病视网膜病变；反之，则为非增殖型糖尿病视网膜病变．其中，非增殖型糖尿病视网膜病变又分为轻度、中度和重度．

在DR筛查中，现阶段DR诊断辅助检查方法包括单视野免散瞳数码眼底照相、荧光素眼底血管造影检查、频域光学相干断层扫描、彩色多普勒血流成像、多焦视网膜电图、背向散射积分成像和磁共振成像(magnetic resonance imaging, MRI)等．由于单视野免散瞳数码眼底照相检查简单、快速和图像易保存等优点，在临床上得到广泛应用[3]．

早期诊断DR可有效减少DR对患者视力的损害．由于DR病灶种类多样，形态不一，在大规模筛查中，若能对眼底图像进行自动分类，可节省临床医生的诊断时间．

目前，针对DR眼底图像进行分类的策略可以分为两种：一种是基于局部分析的策略，即通过对眼底图像中局部病灶的检测，检测出一种或多种病灶，再根据病灶类型和数量等对眼底图像分类或分级；另外一种是全局策略，就是对整个眼底图像进行整体特征分析，完成分类判别．

1 基于局部病灶的分类方法

常用的单视野免散瞳数码眼底照相是通过眼底镜透过眼球玻璃体采集视网膜图像，采集到的图像包含视网膜上的视盘、黄斑、中央凹和动静脉血管等．当出现DR病变时，在眼底图像上可能会呈现有一定光亮度的硬性渗出物、暗红色的出血点、点状红色的微血管瘤或新生血管等．基于局部病灶的分类方法是对眼底图像中不同类型的病灶进行分析，综合病灶的数量和类型进行分类．主要检测的病灶包括硬性渗出物、出血点和微血管瘤3大类．病灶检测方法可分为两种：一种是基于去除眼底图像正常结构的方法，先分割眼底图像中正常结构，再提取病灶区域，进而根据所得病灶区域对眼底图像进行分类；另一种是基于直接提取病灶的方法，对眼底图像提取病灶区域进行分类，不需要检测眼底图像背景结构信息．

1.1 硬性渗出物检测

硬性渗出物主要是血管渗透性增加，血管中的脂质和蛋白质渗漏出血管所致，会提高视网膜水肿风险，当硬性渗出物靠近黄斑区中央时会导致视力下降．硬性渗出物在眼底视网膜图像上表现为亮黄色区域块，结构不规则，边界清晰，数量不等，在视网膜图像视野中出现位置不确定．

1.1.1 基于去除眼底图像正常结构的方法

Sinthanayothin等[4]设计了在眼底图像中通过硬性渗出计数来判断是否出现DR的算法．先通过局部对比增强预处理，运用图像主成分分析和边缘检测训练分类器找出血管，通过邻域像素强度变化最大的区域找出视盘，得到背景信息后再利用递归区域生长检测硬性渗出物．在484张正常图像和283张的DR病变图像中，检测灵敏度和特异度分别为80.21%和70.66%．该方法使用区域生长方法检测病灶，能够将相同特征的联通区域分割出来，得到一个很好的边界信息．但对光照变化敏感，对视盘准确定位要求高，图像噪声对分类性能影响大，没有运用到眼底图像的先验知识．

Li等[5]提出一种自动提取眼底图像主要特征的方法．先使用主动形状模型边缘检测提取边界并使用主成分分析定位视盘位置，再通过多方向模板边缘检测定位血管位置，最后通过区域生长和边缘检测方法检测硬性渗出物区域．测试数据共35张眼底图像，其中28张含有硬性渗出物，对硬性渗出物检测的灵敏度为100%，特异度为71%．但当病灶尺寸过大时易影响视盘定位，导致检测错误．

Jaafar等[6]应用自上而下方法、图像分割、局部阈值结合边缘检测和区域生长，先对图像绿色分量进行中值和高斯滤波，再进行灰度均衡化提高硬性渗出物对比度信息，同时去除视盘的影响，使用3层神经网络对图像每个像素点进行判断分类，输入神经网络的数据是每一个小块区域的第1主成分分量和Canny边缘检测值，应用自上而下将图像均匀分块，结合边缘检测和区域生长得到第1次硬性渗出物粗分类结果，基于规则对图像进行第2次分类，使用的特征包括：长、宽、纵横比、面积、周长和似圆度等．同时，根据硬性渗出物和黄斑距离设置极坐标进行4级病变程度分级．实验图像大小为1 500×1 152像素，训练数据源自Diaretdb0数据集的130张图像，测试数据中有89张源自Diaretdb1数据集，17张图像源自Messidor数据集．与临床医生手动标出的金标准比较，基于像素统计得到硬性渗出物检测结果：灵敏度为93.2%，特异度为99.2%，正确率为99.4%；图像分类结果是灵敏度为98.4%，特异度为90.5%．该方法综合使用边缘检测和区域生长检测病灶，在测试数据上能够得到较高的灵敏度，但图像需要进行复杂的预处理，需要精确定位中央凹和视盘．

Haloi等[7]提出一种基于感兴趣区域和数学形态学的高斯尺度空间方法．先对图像进行各向异性扩散滤波预处理，再进行高斯尺度空间构建，对图像二值化处理，采用形态学开运算去除血管影响，提取22个特征进行支持向量机分类器训练，基于像素点对分类效果进行统计．根据渗出物相对视盘和中央凹的距离对病变程度分级，在Diaretdb1 v2数据集上实验，对硬性渗出物的检测结果能够达到灵敏度为96.54%和特异度为98.35%．该方法对图像亮度变化不敏感，能够识别不同尺寸大小的硬性渗出物区域．

Sanchez等[8]用一个较大的中值滤波器去掉背景，用两个不同的自适应阈值方法来选择候选区域，然后去掉候选区域中与自动分割出的血管相交的部分，计算出一组特征来训练分类器．该方法需要定位视盘，不需要血管定位，但不能检测一些模糊的渗出物．

Niemeijer等[9]提出DR自动识别系统，能够检测彩色眼底图像中的硬性渗出物、棉絮斑和视网膜玻璃膜疣．先对图像绿色分量应用多模板滤波，运用最近邻分类器得到概率图，再设置阈值进行聚类处理，同时结合视盘和血管信息得到候选区域，运用第2个最近邻分类器对亮色硬性渗出物进行检测．实验使用300张眼底图像，其中100张图像含有硬性渗出物，检测硬性渗出物的灵敏度和特异度分别是95.0%和86.0%．该方法需要医生标注数据，不能识别较小的病灶区域，容易将硬性渗出物与视网膜玻璃膜疣混淆．

Zhang等[10]使用形态学和自适应模板匹配方法来去除眼底图像背景的结构信息，又运用基于数学形态学的分割方法，综合强度、几何、纹理、病灶区域信息和空间关系5大类共27个特征，采用随机森林分类方法检测硬性渗出物．基于像素点检测，在Messidor数据集上进行实验得到受试者工作特征曲线(receiver operating characteristic curve， ROC)的下面积(area under curve, AUC)为0.93，在Diaretdb1数据集上测试结果AUC为0.95．该方法需要去除血管和视盘结构的干扰，而且参数设置的依赖于当前使用的数据集．

1.1.2 基于直接提取病灶的方法

Wang等[11]采用统计分类法，应用非线性指数关系调整图像亮度信息去除光照不均造成的影响，增加损伤区域的对比度信息，运用最小距离判别分类器在球形颜色空间中检测候选的硬性渗出像素点，以邻域的对比度信息剪除真正的硬性渗出像素点．使用局部窗检测硬性渗出物并进行正常与异常图像分类．实验数据共154张眼底图像，其中54张异常图像，100张正常图像．用54张异常眼底图像检测时，检测正确率达到100%；使用100张正常图像检测时，检测正确率可达70%．结果虽然初步实现了DR眼底图像分类技术，但是图像的规范化光照参数依赖于当前数据，扩展性能差．

Hunter等[12]基于对区分性最相关的特征分析，引入一种层次特征选择方法，根据颜色统计信息、主成分分析、直方图和主成分分析直方图等选择11个特征变量作为神经网络输入数据，设置7个隐藏层神经元，学习1个神经网络分类器对硬性渗出物进行分类．实验数据包括95张含有玻璃膜疣的图像，116张含有硬性渗出物的图像，训练集包括44张含有玻璃膜疣斑的图像和56张含有硬性渗出物的图像，测试集包括51张含有玻璃膜疣斑的图像和60张含有硬性渗出物的图像．测试数据对硬性渗出物检测正确率为91%，AUC为0.964．但该方法需要人工观察测试结果来选择合适特征．

Walter等[13]运用形态学重建眼底图像中无亮病变的部分．该方法是基于重建图像和原始图像之间的差异最终表示出亮病变位置．首先使用形态学方法抑制血管，然后用局部对比度的变化来初步定位亮病变候选区域，再去掉候选的亮病变区域，并用形态学重建对应的视网膜背景．通过对原始图像和重建图像不同部分做阈值分割就得到最终的病变区域．对硬性渗出物检测的平均灵敏度能达到92.8%，平均预测正确率可达92.4%．

Fleming等[14]提出用反转的形态学顶帽变换技术来检测硬性渗出物．采用中值滤波和高斯滤波对绿色分量进行去噪，利用不同方向和尺度的线性结构单元进行顶帽变换来突出图像的亮区域，对变换后的结果采用动态阈值提取候选渗出区域，并根据尺寸、颜色、面积、形状、色彩和对比度信息将区域分为渗出物、棉絮斑和背景，用支持向量机分类器进行分类．实验图像大小为2 160×1 440 像素，测试集包含13 219张图像，其中300张为硬性渗出物的图像，硬性渗出物检测灵敏度和特异度分别为95%和84.6%．该方法不需检测视盘和血管等预处理，但要检测多种病灶以便综合分析眼底图像．

Osareh等[15]提出一种精细的聚类方法，它用高斯平滑后的直方图和模糊C均值聚类来检测候选目标．首先根据直方图中极端的点用高斯平滑直方图分析初步聚类，然后用模糊C均值算法将剩余未分类的像素数分配到事先指定的类别中，再从聚类区域中提取多种颜色空间中的18个有效图像特征，并进行神经网络分类．使用67张眼底图像进行测试，其中27张图像含有渗出物，神经网络分类灵敏度和特异度分别为95.0%和88.9%．该方法不能检测尺寸太小的病灶．

Zhang等[16]在文献[15]的研究基础上，应用局部对比增强结合区域生长方法检测硬性渗出物区域．该方法先使用局部对比增强技术增强病灶信号，减小光照不均和其他噪声的影响，再在LUV颜色空间使用一个改进的模糊C均值分割出亮损伤区域，最后使用支持向量机分类器选出硬性渗出物区域．在30张眼底图像中，分类出亮区域和非亮区域的灵敏度为97%，特异度为96%．该提取特征方法太简单，提取到的特征所含信息量不足．

1.2 出血点检测

随着DR病变程度加重，视网膜上逐渐出现出血现象，出血越多表明血管损伤越严重，导致更多血管液体和营养物质渗漏．出血病变在视网膜眼底图像中呈暗红色块状区域，结构不规则，数量不等，边界清晰，在图像视野中出现位置也不确定．

1.2.1 基于去除眼底图像正常结构的方法

Bharali等[17]先对图像进行均衡化对比增强处理，使用形态学和均值与中值滤波处理，再运用阈值处理得到初步的血管图像，使用区域生长得到较为完整的血管图像，相减后得到出血点区域．实验在DIARETDB1数据集上得到的分类正确率为94.87%；在Messidor数据集上得到的分类正确率为98.56%．通过区域生长能更好地识别眼底图像中的出血病灶，但是迭代运算耗时较长，且算法易受图像光照不均和图像噪声等影响，导致分割错误或者没有分割到较小病灶区域．

Sinthanayothin等[18]预处理了DR图像中视盘、血管和中央凹等结构．视盘通过相邻区域最大变化处确定，血管通过神经网络分割，依据图像主成分分析和第一主成分的边缘信息来检测血管，根据视盘的位置，使用模板匹配的方法找出中央凹．同时，引入了一种Moat operator出血检测算法，它结合了特制的Moat算子和传统图像处理算法，如灰度归一化、阈值和区域生长等．实验所用图像大小为570×550像素，基于10×10像素网格识别，对14张眼底图像中出血点和微血管瘤检测实验中灵敏度为77.5%，特异度为88.7%．但该方法不能识别紧邻血管的出血点和新生血管，也不能识别中央凹处的渗出物等病灶．

Usher等[19]使用Moat operator方法，在图像对比增强预处理和血管分割完成后，结合递归区域生长、自适应阈值和Moat operator方法对出血病灶进行检测，提取病灶区域的大小、形状、色调和强度等信息，应用人工神经网络进行病灶检测，通过硬性渗出物、出血点和微血管瘤出现情况对图像进行正常和异常分类．实验数据共有1 273张眼底图像，图像大小为570×570像素，分类结果灵敏度和特异度最高能达到70.8%和78.9%．

Gardner等[20]应用神经网络来检测出血和微血管瘤病灶，提取原始图像的绿色通道，将图像分成20×20像素的小图像，并将小图像分成：正常无血管区域、正常血管、硬性渗出物和出血点．实验数据包括147张异常眼底图像，32张正常眼底图像，图像大小为700×700像素．应用神经网络训练，分类结果与临床医生分类结果进行对比，检测结果正确率为73.8%．该方法没有运用到眼底图像彩色信息，没有对图像视盘和中央凹进行定位．

Goldbaum等[21]用图像描述语句来表示眼底图像中的病灶和正常结构，再运用神经网络通过一组已知的典型图像来学习图像描述信息和诊断结果之间的关系．在训练集的基础上，训练好的网络能从自动眼底图像分析系统中得到图像描述信息，再用来检测带有DR的图像．该方法需要检测视盘和血管等结构，首先检测出亮色病灶和暗红色病灶，再根据病灶与黄斑的距离对图像进行分类．

1.2.2 基于直接提取病灶的方法

Ega等[22]设计了一个自动检测数字眼底图像的工具，使用区域生长方法提取异常病灶的边界信息．基于出血点进行分类，应用贝叶斯、马氏和最近邻分类器对134张眼底图像进行分类，发现马氏分类器分类效果最好．但是，由于图像噪声影响生长阈值，使得区域生长方法在高对比度区域会产生过早停止生长现像，同时，该特征提取方法对异常病灶描述不足．

Zhang等[23]提出一种自顶向下和自底向上的方法来检测出血点，能够对光照的变化保持鲁棒性，结合对比增强和区域生长算法来检测出血的候选区域，然后用模糊聚类法对候选区像素聚类，再用分层支持向量机器将候选区域像素分为正常、硬性渗出物和出血．通过对新加坡国家眼科中心(Singapore National Eye Center，SNEC)数据集中的30幅训练图像和15幅测试图像进行实验，出血点检测灵敏度为90.6%．使用自顶向下和自底向上方法可较好地检测出血病灶的边界等信息，但是没有运用到眼底图像的先验知识，也未结合更多的眼底结构信息来检测病灶．

1.3 微血管瘤检测

微血管瘤是DR的最早期症状，微血管瘤是微血管性能改变的病变．微血管瘤病变在视网膜眼底图像中呈暗红色小圆斑，数量不等，边界清晰，在视网膜图像视野中出现位置不确定．

1.3.1 基于去除眼底图像正常结构的方法

Jalli等[24]通过荧光造影剂分析微血管瘤是否出现，在荧光血管造影图像上得到了较好的结果，因为造影剂的注入使血管和微血管瘤区域与背景的对比度变大，但荧光造影法需注射荧光造影剂．

Bernardes等[25]提出通过彩色眼底图像检测微血管瘤的方法．该方法应用一种新的微血管瘤跟踪方法去计算微血管瘤，需要检测出血管和视盘等位置信息．Baudion等[26]提出的微血管瘤计数帮助判断图像是否为DR，该方法利用了微血管瘤数量与DR严重程度密切相关的特点．

Hipwell等[27]提出一种检测微动脉瘤的方法，先对图像进行对比度增强处理，再通过顶帽变换去除血管和其他正常结构．使用一个高斯模板滤波进行图像滤波，选择13个不同的参数，包括形状、强度、似圆度和周长等，进行有无微血管瘤和出血分类．实验共使用3 783张眼底图像，图像大小为1 024×1 024像素，检测微血管瘤灵敏度达81%，特异度达93%．利用形态学结构元素可有效滤除噪声，同时保留图像原有信息，且运算量小．但该方法没有运用到眼底图像的先验知识，且选择适用的结构元素比较困难．

Datta等[28]采用一种模糊对比增强预处理操作方法，先从彩色眼底图像中选择绿色分量图像，进行模糊直方图计算，并对直方图信息进行分块，再均衡化处理直方图得到新的图像．去除血管和视盘等干扰后，设置图像绿色分量阈值和病灶块大小阈值，对图像微血管瘤进行检测，根据微血管瘤个数判断DR病变等级．该方法在多组数据集中得到较好的效果，不需要进行特征提取和训练分类器过程，根据实验和先验知识选择合适参数进行微血管瘤检测．但是该方法易将小型出血点和噪声误检为微血管瘤，阈值参数的设置依赖于标准数据库，临床眼底图像推广性较弱．

1.3.2 基于直接提取病灶的方法

Haloi等[29]应用深度学习对微血管瘤进行识别，采用卷积神经网络结构框架，输入网络的数据是尺寸为129×129像素的眼底图像区域块，其中有微血管瘤图像和无微血管瘤图像分别为9×104张和15×105张，使用dropout(弃权)训练网络，maxout(最大输出函数)作为激活函数，不需要任何预处理和人工提取特征过程就能得到训练模型，再根据模型得到眼底图像概率图判定微血管瘤区域．在ROC(retinopathy online challenge)数据集和Diaretdb1数据集上取得目前最好的结果，在Messidor数据集上正常和异常检测实验的灵敏度和特异度分别为97%和95%，AUC为0.988．该方法使用微血管瘤样本图像训练深度神经网络对原图像微血管瘤进行检测，不需检测血管等背景信息，但易将其他类型的小病灶误识为微血管瘤．

Quellec等[30]对小波变换后的眼底图像使用模板匹配方法．基于遗传算法计算最优小波变换，通过对彩色眼底图像、绿色分量眼底图像和血管显像仪图像进行微血管瘤检测，灵敏度分别为89.2%、90.24%和93.74%，特异度分别为89.50%、89.75%和91.67%．该方法预处理阶段简单，不需要检测视盘和血管等结构，但是不能检测靠近血管的微血管瘤和聚集在一起的微血管瘤，同时易将较小的其他病灶误认为微血管瘤．

以上基于眼底图像局部病灶的DR分类方法，根据是否需要进行眼底图像正常结构分割将病灶的检测方法分为两种：一种是先分割出眼底图像的正常结构，去除背景的影响，再设计不同的病灶提取方法，这种方法可更好地去除背景信息和易于检测病灶，但检测结果依赖背景信息定位的精确性．另一种是不分割眼底图像正常结构，直接设计不同的病灶提取方法，此方法不需定位背景信息，但对病灶的特异性检测要求更高．最后，根据检测到的病灶类型、数量、大小和分布等进行分类．该方法临床解释性佳，但因各类病灶图像表征不一，需设计多种复杂的特征提取方法．同时，有些病灶检测困难，如棉絮斑和新生血管等．

2 基于全局图像的分类方法

基于全局图像的DR分类方法是针对全图的整体特征信息来设计不同的特征提取方法进行分类，并不需要针对单一的病灶特征信息进行特定的检测方法．

Rocha等[31]把视觉描述子词袋的概念引入到硬性渗出物的检测过程，首先通过特定的算法在训练集的每幅图像上检测出一定数量的兴趣点，并用向量描述其邻域，将每幅图像表示为它所包含兴趣点的集合．然后，分别用表示正常区域和渗出区域的向量建立有代表性的视觉字典，再将每幅图像的兴趣点映射到该字典中生成直方图来表示原始图像．最后，向支持向量机输入生成的直方图信号来进行训练和分类，判断测试图像是否含有硬性渗出物．该方法不用对图像做任何预处理和后处理，在RetiDB和Messidor数据集上该方法的灵敏度为90%，特异度为87%．该方法使用特征描述子对图像进行感兴趣点检测，用感兴趣点编码来组合特征进行分类，不用检测眼底图像正常结构，因此方法简单．但是对微血管瘤等小型病灶检测能力不足，同时加速稳健特征(speeded up robust features, SURF)和尺度不变特性转换(scale-invariant feature transform, SIFT)不能检测棉絮斑和新生血管等病变结构．

Pires等[32]在文献[31]的基础上应用描述子词袋方法对眼底图像的多种病灶进行识别．以DR1数据集作为训练集，在已标注病灶区域的图像上对感兴趣点进行SIFT和SURF描述子表示，聚类生成字典集，再对图像进行编码生成特征向量，运用支持向量机分类器进行正常和异常分类，最后根据所得模型对自己的数据集进行多种病灶分类．在DR1数据集中，模型识别硬性渗出物区域的特异度为90.0%，灵敏度为86.7%；在识别出血区域的特异度为90.0%，灵敏度为83.3%．在Pires数据集上检测硬性渗出物的特异度和灵敏度分别为88.9%和100%，检测出血的特异度和灵敏度分别为95%和67%．该方法可实现跨数据集检测多种类型的病灶，可以检测不同分辨率的图像病灶，但描述子不能对微血管瘤等其他病灶进行检测．

Antal等[33]综合眼底图像水平信息、损伤区域检测信息和解剖结构信息来对图像进行分类．其中，图像水平信息有血管分割、纹理和频率信息，损伤检测信息有微血管瘤和硬性渗出物检测，解剖结构信息有视盘和黄斑结构信息．综合这3类信息，选择其中18个特征，设计分类器进行图像分类．图像所用数据是Messidor数据集，在正常图像和轻度DR图像两类数据分类的正确率为90%，灵敏度和正确率分别为94%和90%；在正常数据和异常数据(包括轻度、中度和重度)两分类实验中正确率为90%，灵敏度和正确率分别为90%和91%．该方法综合了3种眼底图像信息，组合多种分类器，对DR病变程度分类有很好的效果．

Pratt等[34]运用卷积神经网络处理Kaggle竞赛公开眼底图像数据，先对图像进行颜色规范化处理以去除光照不均等影响，将图像大小设置为512×512像素．使用随机角度旋转和翻转等数据扩增技术来增加训练数据量．设计一个15层网络结构，使用随机梯度下降法训练网络．测试5 000张图像，包含5类病变程度图像，分类正确率为75%，分类灵敏度和特异度分别为30%和95%．该方法没有运用眼底图像基本结构信息．

基于全局图像的分类方法较基于局部病灶的分类方法有其独特优势，通过对全局图像提取特征，检测所有异常区域，实现关于眼底图像病灶的规则和特征的综合表示，不考虑各类病灶的结构特点，避免复杂的特征提取工作．但是该方法的可解释性较弱，无法确切说明检测出的病灶区域，而且单一的特征提取方法对多种病灶的描述性不足．

3 常用数据集

随着DR日益受到关注，对DR自动诊断系统的需求越来越大，针对自动DR分类的研究越来越多．因此，出现了很多种眼底图像数据．但由于各种数据的采集设备各不相同，数据量、光照条件等各有差异，为提高DR分析的精确性和比较多种方法的优劣性，以下介绍几种针对DR分类的公开标准数据集．

3.1 Messidor数据集

该数据集包含540幅正常图像和660幅异常图像，图像有3种分辨率：1 440×960、2 240×1 488 和 2 304×1 536像素，图像为TIF格式．根据微血管瘤、出血、硬性渗出物和新生血管等病灶来对每张图像标注从R0到R3的病变等级，R0表示无病变图像，R1和R2分别表示轻度和重度非增殖型视网膜病变，R3表示最严重的增殖型病变．其中，R0等级的图像有540张，占46%；R1等级的图像有153张，占12.75%；R2等级图像有247张，占20.58%；R3等级图像有260张，占21.67%．

3.2 ROC数据集

该数据集是2009 年爱荷华洲大学公开的一个用于DR筛查竞赛的眼底图库，包含100张DR病变和微血管瘤的眼底图像．其中，训练组50张，测试组50张，使用拓普康NW100或者佳能CR5-45NM相机在45°视场下采集的图像，分辨率有：768×576、1 058×1 061和1 389×1 383像素，图像为JPEG格式．

3.3 DIARETDB1数据集

该数据集包含89张眼底图像，分辨率为1 500×1 152像素，包含27张正常图像，7张DR轻度图像，28张DR中度图像，27张DR重度图像．

3.4 DR1数据集

该数据集包含687幅正常图像和327幅异常图像，其中245幅含有硬性渗出物，191幅含有微血管瘤或出血，两种异常病灶都有的图像有109幅．图像分辨率为640×480像素，均为彩色图像，有TIF和JPG两种图像格式．

3.5 Kaggle-DR数据集

该数据集是Kaggle在2015年的DR竞赛中的数据集，数据集中眼底图像有多种分辨率，每一个被试患者有左右眼两张图像，且两张图像相同分辨率．测试数据35 126张图像，训练数据53 576张图像．图像按病变程度分为5类，数据集已标注图像病变程度等级．

表1为笔者整理的近年来在公开眼底图像数据集上的DR分类方法．

结 语

本文对糖尿病视网膜病变眼底图像分类的研究现状进行了评述，将计算机辅助诊断应用到大规模糖尿病视网膜病变筛查中，提供一个眼底图像自动分析系统给眼科医生，可帮助提高诊断效率和诊断准确率．糖尿病视网膜病变的研究近年日益得到关注，且在DR分类方面有了很大进展．本文归纳了两种DR眼底图像分类方法：基于局部病灶和基于全局图像的分类方法．现阶段多数采用基于局部病灶的方法，具有很好的临床解释性，对各类病灶有足够的特征描述性；基于全局图像分类方法不考虑各类病灶的结构特点，避免复杂的特征提取工作．

表1 几种公开眼底图像数据集的DR分类方法比较

但是，由于受到DR眼底图像中视盘、黄斑和血管等组织结构的干扰，以及异常病灶结构各异等影响，给DR分类造成一定困难，实现一个通用DR自动分析系统仍有一定挑战．笔者认为，DR眼底图像自动分类系统目前尚存在3个问题：

1)数据数量和质量．现阶段DR分类方法精度最高的是运用机器学习的方法．该方法先对训练数据进行预处理，再提取特征进行分类器训练，最后对测试数据进行预测．为能够得到更好地体现训练数据的样本分布，需更多的高质量数据．然而，现阶段能获取到的公开眼底图像数量相对较少．同时，由于各类眼底图像的采集设备不尽相同，得到的图像光照变化和分辨率等不同．此外，获取的图像需要通过有经验的眼科医生进行标注，但这需要大量的人力物力．可以使用预训练方法，减少部分训练过程，间接增加训练数据．

2)分类方法．机器学习方法需要大量的有标注数据训练分类器来获得更高的精确度，对质量不高的眼底图像需要更加鲁棒的方法．眼底图像具有复杂病灶结构，可以利用深度学习自动提取特征的特点，使用数据扩增增加数据，以及训练深度网络来提高正确率，或利用无监督学习方法减轻对标注数据的依赖型．

3)系统性能．将DR自动分类系统用于临床以期对DR进行筛查，需要此分类系统具有稳定高效的性能．目前尚缺少广泛用于DR自动筛查的临床通用软件系统．应用深度神经网络等方法虽然可以提高分类性能，但训练深度神经网络所需内存和时间开销都很大，可用高效的计算机硬件设备进行加速运算以减少耗时，或采用云服务运算以降低对本地设备性能的要求．

/ References：

[1] Faust O，Acharya R，Ng E Y-K，et al．Algorithms for the automated detection of diabetic retinopathy using digital fundus images：a review[J]．Journal of Medical Systems，2012，36(1)：145-157．

[2] 陈福华．糖尿病视网膜病变的影响因素及护理对策[J]．基层医学论坛，2008，12(3)：96-98． Chen Fuhua. The influence factors and nursing strategy of diabetic retinopathy[J]. Public Medical Forum Magazine, 2008, 12(3): 96-98. (in Chinese)

[3] 苑 欣，哈 斯，张小杉，等．糖尿病视网膜病变辅助检查现状[J]．转化医学杂志，2014，3(6)：364-367． Yuan Xin, Ha Si, Zhang Xiaoshan, et al. The status of examination in diagnosis of diabetic retinopathy[J]. Translational Medicine Journal, 2014, 3(6): 364-367.(in Chinese)

[4] Sinthanayothin C，Kongbunkiat V，Phoojaruenchanachai S，et al. Automated screening system for diabetic retinopathy[C]// Proceedings of the 3rd International Symposium on Image and Signal Processing and Analysis.[S. l.]: IEEE，2003，2：915-920．

[5] Li Huiqi，Chutatape O．Fundus image features extraction[C]// Proceedings of the 22nd Annual International Conference of the IEEE Engineering in Medicine and Biology Society. Chicago, USA: IEEE, 2000, 4: 3071-3073.

[6] Jaafar H F，Nandi A K，Al-Nuaimy W．Automated detection and grading of hard exudates from retinal fundus images[C]// The 19th European Signal Processing Conference. Barcelona, Spain: IEEE, 2011: 66-70．

[7] Haloi M, Dandapat S, Sinha R. A Gaussian scale space approach for exudates detection，classification and severity prediction[J]. Computer Science, 2015, 56(1): 3-6.

[8] Sánchez C I，García M，Mayo A，et al．Retinal image analysis based on mixture models to detect hard exudates[J]．Medical Image Analysis，2009，13(4)：650-658．

[9] Niemeijer M, Van Ginneken B, Russell S R, et al. Automated detection and differentiation of drusen，exudates，and cotton-wool spots in digital color fundus photographs for diabetic retinopathy diagnosis[J]．Investigative Ophthalmology & Visual Science，2007，48(5)：2260-2267．

[10] Zhang Xiwei，Thibault G，Decencière E，et al．Exudate detection in color retinal images for mass screening of diabetic retinopathy[J]．Medical Image Analysis，2014，18(7)：1026-1043．

[11] Wang Huan, Hsu W, Goh K G, et al. An effective approach to detect lesions in color retinal images[C]// IEEE Conference on Computer Vision and Pattern Recognition. Hilton head island, USA: IEEE，2000: 181-186.

[12] Hunter A，Lowell J，Owens J，et al．Quantification of diabetic retinopathy using neural networks and sensitivity analysis[M]// Artificial Neural Networks in Medicine and Biology. London: Springer, 2000: 81-86．

[13] Walter T，Massin P，Erginay A, et al. Automatic detection of microaneurysms in color fundus images[J]．Medical Image Analysis, 2007, 11(6): 555-566.

[14] Fleming A D, Philip S, Goatman K A, et al. Automated detection of exudates for diabetic retinopathy screening[J]. Physics in Medicine and Biology, 2007, 52(24): 7385-7396.

[15] Osareh A，Mirmehdi M，Thomas B，et al．Comparative exudate classification using support vector machines and neural networks[C]// Medical Image Computing and Computer-Assisted Intervention. Berlin: Springer Berlin Heidelberg, 2002, 2489: 413-420．

[16] Zhang Xiaohui，Chutatape A．Detection and classification of bright lesions in color fundus images[C]// International Conference on Image Processing. Singapore: IEEE, 2004, 1: 139-142．

[17] Bharali P，Medhi J P，Nirmala S R．Detection of hemorrhages in diabetic retinopathy analysis using color fundus images[C]// IEEE 2nd International Conference on Recent Trends in Information Systems. Kolkata, India: IEEE, 2015: 237-242.

[18] Sinthanayothin C, Boyce J F, Williamson T H, et al. Automated detection of diabetic retinopathy on digital fundus images[J]. Diabetic Medicine, 2002, 19(2): 105-112.

[19] Usher D, Dumskyj M, Himaga M, et al. Automated detection of diabetic retinopathy in digital retinal images：a tool for diabetic retinopathy screening[J]. Diabetic Medicine, 2004, 21(1): 84-90.

[20] Gardner G G, Keating D, Williamson T H, et al. Automatic detection of diabetic retinopathy using an artificial neural network: a screening tool[J]. British Journal of Ophthalmology, 1996, 80(11): 940-944.

[21] Goldbaum M, Moezzi S, Taylor A, et al. Automated diagnosis and image understanding with object extraction, object classification，and inferencing in retinal images[C]// International Conference on Image Processing. Lausanne, Switzerland: IEEE, 1996, 3: 695-698．

[22] Ege B M，Hejlesen O K，Larsen O V，et al．Screening for diabetic retinopathy using computer based image analysis and statistical classification[J]．Computer Methods and Programs in Biomedicine, 2000, 62(3): 165-175.

[23] Zhang Xiaohui, Chutatape O. Top-down and bottom-up strategies in lesion detection of background diabetic retinopathy[C]// IEEE Computer Society Conference on Computer Vision and Pattern Recognition．Washington: IEEE, 2005, 2: 422-428.

[24] Jalli P Y I，Hellstedt T J，Immonen I J R．Early versus late staining of microaneurysms in fluorescein angiography[J]. Retina, 1997, 17(3): 211-215.

[25] Bernardes R, Nunes S, Pereira I, et al. Computer-assisted microaneurysm turnover in the early stages of diabetic retinopathy[J]. Ophthalmologica, 2009, 223(5): 284-291.

[26] Baudoin C, Maneschi F, Quentel G, et al. Quantitative evaluation of fluorescein angiograms：microaneurysm counts[J]. Diabetes, 1983, 32(S2): 8-13.

[27] Hipwell J H, Strachan F, Olson J A, et al. Automated detection of microaneurysms in digital red-free photographs: a diabetic retinopathy screening tool[J]. Diabetic Medicine, 2000, 17(8): 588-594.

[28] Datta N S, Dutta H S, Majumder K. Brightness-preserving fuzzy contrast enhancement scheme for the detection and classification of diabetic retinopathy disease[J]．Journal of Medical Imaging, 2016, 3(1): 014502.

[29] Haloi M. Improved microaneurysm detection using deep neural networks[EB/OL]. (2015-05-17)[2016-07-17]. https://arxiv.org/pdf11505.04424v1.pdf.

[30] Quellec G, Lamard M, Josselin P M, et al. Optimal wavelet transform for the detection of microaneurysms in retina photographs[J]. IEEE Transactions on Medical Imaging, 2008, 27(9): 1230-1241.

[31] Rocha A, Carvalho T, Jelinek H F, et al. Points of interest and visual dictionaries for automatic retinal lesion detection[J]. IEEE Transactions on Biomedical Engineering, 2012, 59(8): 2244-2253.

[32] Pires R, Carvalho T, Spurling G, et al. Automated multi-lesion detection for referable diabetic retinopathy in indigenous health care[J]. PLOS ONE, 2015, 10(6): e0127664.

[33] Antal B, Hajdu A. An ensemble-based system for automatic screening of diabetic retinopathy[J]. Knowledge-Based Systems, 2014, 60: 20-27.

[34] Pratt H, Coenen F, Broadbent D M, et al. Convolutional neural networks for diabetic retinopathy[J]. Procedia Computer Science, 2016, 90: 200-205.

[35] Solanki M S. Diabetic retinopathy detection using eye images[R]. Kanpur, Indian: Indian Institute of Technology Kanpur 2015.

[36] van Grinsven M J J P, van Ginneken B, Hoyng C B, et al. Fast convolutional neural network training using selective data sampling: application to hemorrhage detection in color fundus images[J]. IEEE Transactions on Medical Imaging, 2016, 35(5): 1273-1284.

【中文责编：英 子；英文责编：子 兰】

2016-08-04；Revised：2016-12-22；Accepted：2017-01-10

Associate professor Liu Weixiang．E-mail:wxliu@szu.edu.cn

Classification methods for diabetic retinopathy fromretinal images

Liang Ping1, Xiong Biao1,2,3, Feng Juanjuan4, Liao Ruiduan4, Wang Tianfu1,2,3, and Liu Weixiang1,2,3

1) Health Science Center, Shenzhen University, Shenzhen 518060, Guangdong Province, P.R.China2) Guangdong Key Laboratory for Biomedical Measurements and Ultrasound Imaging, Shenzhen 518060, Guangdong Province, P.R.China3) National-Regional Key Technology Engineering Laboratory for Medical Ultrasound, Shenzhen 518060, Guangdong Province, P.R.China4) Ophthalmology Department of First Affiliated Hospital of Sun Yat-sen University, Guangzhou 510275, Guangdong Province, P.R.China

This paper reviews the existing automatic classification methods of diabetic retinopathy (DR). There are two kinds of methods for DR fundus image classification. One is based on local lesions, and the other is based on global image information. The former mainly detects some specific lesions, such as exudation, hemorrhage and microaneurysm, and then performs image classification according to the type, location and number of these lesions. The latter classifies fundus images using global image features. Besides, this paper summarizes commonly used public datasets, advantages and disadvantages of some classification algorithms and their performances. Although many research works have been focused on developing algorithms for automatically classifying DR fundus images, there are still many challenges to develop a universal computer-aided diagnosis system for automatic DR classification. The challenges include acquiring lots of high-quality DR fundus images, designing robust algorithms and improving the total performance of the system.

image processing; fundus images; diabetic retinopathy (DR); computer-aided diagnosis; automatic detection; image classification

：Liang Ping, Xiong Biao, Feng Juanjuan, et al. Classification methods for diabetic retinopathy fromretinal images[J]. Journal of Shenzhen University Science and Engineering, 2017, 34(3): 290-299.(in Chinese)

深圳市基础研究资助项目(JCYJ20140828152830610，JCYJ20160422113119640)；深圳市科技计划资助项目(CXZZ20140418182638764)

梁 平(1960—)，女，深圳大学主任医师．研究方向：视觉损伤康复．E-mail：liangping@szu.edu.cn

TP 391.41

A

10.3724/SP.J.1249.2017.03290

Foundation：Shenzhen Fundamental Research Projects (JCYJ20140828152830610, JCYJ20160422113119640)；Shenzhen Science and Technology Research Founolation (CXZZ20140418182638764)

引 文：梁 平，熊 彪，冯娟娟，等．糖尿病视网膜病变眼底图像分类方法[J]. 深圳大学学报理工版，2017，34(3)：290-299.