基于相位一致性模型的眼底微动脉瘤检测方法
2014-08-11肖志涛张欣鹏陈莉明单春燕
肖志涛 刘 璐 耿 磊* 张 芳 吴 骏 张欣鹏 苏 龙 陈莉明 单春燕
1(天津工业大学电子与信息工程学院, 天津 300387)2(天津医科大学眼科医院, 天津 300384)3(天津医科大学代谢病医院 天津 300070)
基于相位一致性模型的眼底微动脉瘤检测方法
肖志涛1刘 璐1耿 磊1*张 芳1吴 骏1张欣鹏1苏 龙2陈莉明3单春燕3
1(天津工业大学电子与信息工程学院, 天津 300387)2(天津医科大学眼科医院, 天津 300384)3(天津医科大学代谢病医院 天津 300070)
眼底微动脉瘤是糖尿病视网膜病变最早期的症状,准确检测眼底图像中的微动脉瘤对糖尿病视网膜病变的筛查具有重要意义。提出一种基于相位一致性模型的微动脉瘤检测方法。首先采用相位一致性模型获取微动脉瘤候选者,然后通过构建灰度剖面图去除图像中血管片段等无关信息,从而筛选出真正的微动脉瘤。通过对ROC网站提供的50幅眼底图像进行实验,在图像水平上实现了灵敏度94%、特异性100%、准确率96%的检测效果。结果表明,该方法对图像的亮度、对比度不敏感,能够高效自动地检测出彩色眼底图像中的微动脉瘤。
微动脉瘤检测;相位一致性;灰度剖面图;眼底图像;糖尿病视网膜病变
引言
随着人们生活水平的提高,人口老龄化以及肥胖率的增加,糖尿病(diabetes mellitus)的发病率呈逐年上升趋势。糖尿病视网膜病变(diabetic retinopathy, DR)是糖尿病的严重并发症之一,也是引起视觉障碍和失明的主要原因之一。因此,开展对糖尿病视网膜病变的筛查,可以显著提高视网膜病变的检出率,预防其可能造成的不可逆的视觉损害,进而对糖尿病进行早期干预。微动脉瘤(microaneurysm, MA)是最早出现在视网膜中的一种糖尿病视网膜病变,是视网膜的细小血管发生肿胀而形成的小球,呈红色或暗红色,位于黄斑区附近,是糖尿病早期常见的可靠症状。如果能够准确地检测出MA,就能对糖尿病做到及早的诊断与治疗,抑制病情的发展。因此,该病灶的自动检测,对于建立基于眼底图像的DR自动筛查系统尤为关键。
由于眼底图像对比度低、光照不均匀,MA目标小,因此实现MA高效检测成为一个复杂且具有挑战性的课题。针对眼底MA的自动检测,国外许多学者对此提出了相关算法,而国内相关研究的报道较少。目前的研究方法主要分为三大类:数学形态学方法[1-4]、分类器方法[5-7]和滤波器方法[8-9]。Spencer等提出了一种基于双线性top-hat变换的数学形态学方法[1],该方法对荧光造影图片取得了较好的检测效果,但对彩色眼底图像处理效果不理想;Niemeijer等对免散瞳眼底图像中的每个像素进行分类,从而获取DR红色病灶候选区域,在此基础上利用K-近邻分类器获得真正的DR红色病灶[6];Bob等利用稀疏表征分类器,区分MA和非MA[7];Hatanaka等则采用双环滤波器及特征分析,初步实现了免散瞳眼底图像中MA的自动检测[9]。
虽然上述方法在一定条件下实现了MA的自动检测,但存在误检率高、漏检率高、运算复杂等问题。其根本原因是这些方法主要是利用梯度信息来描述图像,由于梯度信息会随着图像的对比度和亮度的改变而改变,对图像中的噪声非常敏感,故而这类方法对图像质量要求较高。由于眼底图像普遍存在非均匀照明和对比度较差的现象,还有MA本身尺寸差异以及因对比度弱而难以观察等因素,所以基于梯度的处理方法很难排除大量的非MA点,而进一步的基于区域特征信息的分类也往往会增加系统的复杂性。因此,对于具有复杂背景的眼底图像,基于梯度的处理方法难以达到理想的检测效果。而相位信息对亮度和对比度具有不变性,抗噪性能好,且符合人类视觉感知特性,对于图像的描述至关重要。为此,笔者提取图像的相位信息作为描述图像的特征,提出了一种基于相位一致性的眼底图像MA检测方法。该方法不需要对原始图像进行增强等处理,同时也不涉及分类识别,减少了算法的复杂度,节省了运行时间,与已有研究方法相比,本方法准确可靠。
1 相位一致性原理
相位一致性(phase congruency, PC)是一种图像特征[10],是将傅里叶分量相位最一致的点作为特征点,可用于检测阶跃型边缘和屋脊型边缘。目前,PC已经成功地应用于纹理分割、边缘检测、图像去噪等方面,并取得了很好的效果。它定位准确,包含了丰富的纹理、边缘和结构信息,对图像亮度、对比度的变化不敏感,符合人类视觉感知特性,具有很强的通用性,这些优良特性使其非常适用于特征变化较大的医学图像。
Morrone和Owens定义了相位一致性函数[11],有
(1)
2 基于PC的眼底图像MA检测
检测分为3个阶段,包括预处理、候选者提取和MA筛选,具体流程如图1所示。
图1 基于相位一致性模型的MA检测流程Fig.1 Flowchart of MAs detection in fundus image based on PC
2.1预处理
预处理阶段包括两个方面:一是图像尺寸规范化,二是提取RGB原始图像的绿色通道。
实验研究需要大量的图像,这些图像具有不同的分辨率。在实际使用时,为了保证图像质量,采用双线性插值对原始图像进行适当压缩,即实际处理图像的分辨率为768像素×579像素。分析RGB彩色眼底图像的3个通道可以发现,相比红色通道和蓝色通道,绿色通道的眼底结构清晰、目标突出,如图2所示。在绿色通道中,眼底MA是孤立的、近似圆形的暗斑点,如图3所示。因此,选择彩色眼底图像的绿色通道进行后续检测。
图2 原始图像和各通道图像。(a)原始图像;(b)红色通道;(c)绿色通道;(d)蓝色通道Fig.2 Original image and each channel image. (a)The original image;(b)The red channel;(c)The green channel;(d)The blue channel
图3 绿色通道中MA细节Fig.3 MA details in green channel
2.2微动脉瘤候选者提取
2.2.1基于相位一致性模型提取MA候选者
由于眼底图像是二维的,要将相位一致性应用到眼底图像MA的检测中,需要将相位一致性从一维扩展到二维。一般使用高斯函数作为扩展函数,得到的二维相位一致性模型[13]为
(2)
式中,o表示方向;n表示小波函数的尺度;⎣·」表示其中的值为正则取值不变,若为其他值则取0;ε为小的正常数,防止该式的分母为0;E为局部能量;T为所有尺度上滤波器对噪声的响应,表示为
(3)
式中,N是用到的小波尺度的数量,m是系列小波之间的尺度因子,k是用来从平均振幅估计噪声最大响应振幅的因子。PC(x,y)表示在点(x,y)的相位一致性(这里取o=8,n=3,m=1.4,ε=0.0001),图4(a)是PC处理后的眼底图像(由于PC处理后的图像灰度值较低,为了更明显地展示PC的检测结果,笔者进行了增强显示)。可以看出,大部分血管等结构已被屏蔽,图中较亮的点是局部能量较大的区域,其中包括微动脉瘤点。但是在使用PC计算之后,需要去除图像边框,因此进行了一次图像掩模操作来消除图像的边界部分,以避免对后续处理造成干扰,效果如图4(b)所示。
图4 PC检测效果。(a)PC检测结果;(b)去除边界的结果Fig.4 PC detection result. (a)PC detection result;(b)Result without boundary
2.2.2候选者提取
经相位一致性处理后,图像中灰度值较高的像素对应于眼底图像绿色通道中特征明显的目标。因此,经阈值化处理即可将MA候选者提取出来。经过多次实验,选取最大灰度值的1/10作为阈值进行分割,效果如图5(a)所示。在此基础上进行面积滤波:计算在某一连通域内像素点个数N,若N在设定的阈值T范围内,则作为MA候选者被保留下来,反之则作为噪声滤除。笔者根据MA在图像中的像素大小,经大量实验选取T的取值范围为[3,25]。通过面积滤波,去除了图像中非目标的小结构(噪声)和大结构(血管和其他病变的残留部分),从而得到MA候选者,如图5(b)所示。
将所得的MA候选者叠加到绿色通道图像上,如图6所示。可以发现,大部分的MA候选者位于血管上,这是因为血管残留部分,尤其是血管交叉的部分,与MA的亮度、形状近似,易造成误检。但由病理知识可知,MA一般不会出现在主血管上,基于此可以滤除伪目标,筛选出真正的MA。
图5 MA候选者提取结果。(a)阈值分割结果;(b) MA候选者Fig.5 Detection result of MA candidates. (a)Threshold segmentation result;(b)MA candidates
图6 叠加在原图上的MA候选者Fig.6 MA candidates superimposed over the original image
2.3基于灰度剖面图的MA筛选
根据候选者在原图像中的特点,采用剖面图的方法剔除非MA目标。对于MA候选者对应的像素点,在原图像上以该点(x,y)为中心,取其W×W(其中W=2L-1)的邻域(采用W=15,L=8),在每个邻域窗口中设置8个扫描方向(0°、22°、45°、66°、90°、111°、135°、156°)进行线扫描,每条扫描线上所有像素点的灰度值构成一个一维灰度剖面图曲线,用P表示(其中P[v]表示第v个像素的灰度值,v=1,2,… ,W),所有方向的扫描线形成一组灰度剖面图[14]。血管结构、背景和MA区域的灰度剖面图具有不同的特点,如图7所示。观察这8个方向的剖面图可以发现,MA在所有扫描方向上均表现为明显的高斯状波峰,而血管结构只有在扫描线与血管垂直时才具有峰值,其他非圆形结构也无此特征,据此即可滤除伪MA。
图7 血管、背景及MA区域剖面。(a)血管;(b)背景;(c)MAFig.7 Sample cross-section profiles of a vessel、a background region and a MA. (a) The vessel;(b)The background;(c)MA
在得到一系列灰度剖面图后,对每一条曲线进行峰值检测。首先确定波峰所在的位置为窗口中心,然后以窗口中心的像素点为准,向左右两个方向分别逐像素地求曲线的斜率,根据斜率确定ince、incs、dece、decs共4个点,如图8所示。
图8 峰值检测的4个特殊点 Fig.8 Four special points of peak detection
然后通过这4个点来计算波峰的5个特征,分别为
1) 峰宽:Wpeak(i)=dece(i)-incs(i)。
2) 峰顶宽:Wtop(i)=decs(i)-ince(i)。
3)坡道平均高度:Rheights(i)=[hinc(i)+hdec(i)]/2,其中,hinc(i)=P[ince(i)]-P[incs(i)]表示上坡道高度,hdec(i)=P[decs(i)]-P[dece(i)]为下坡道高度。
5)峰高:
(i=0,1,2,… ,7代表8个扫描方向)。
在得到所有曲线的5个特征值后,根据MA候选者的边缘、形状、对称性与对比度,利用下式计算候选目标得分,排除伪MA,有
(4)
式中,Mhpeak是hpeak的最小值,反映了MA与其他候选者在对比度上的差异;μRslopes表示Rslopes的期望,体现了MA在结构上的显著性;σwpeak是Wpeak的方差。类似地,σwtop、σRheights、σRslopes与σhpeak分别是Wtop、Rheights、Rslopes与hpeak的方差。
通过计算MA的Score得分,确定Score取值范围。当Score在[20,30]范围内时,可认为是真正的MA,否则就认为是伪目标并予以剔除,MA筛选结果如图9(b)所示。与图9(a)对比,可以发现通过该方法可滤除绝大部分伪目标。
图9 MA检测结果(红圈标注的为MA)。(a) MA候选者;(b) MA筛选结果Fig.9 Results of MAs detection. (a)MA candidates;(b)MA filtering result
2.4算法验证
为了检验本方法的性能,采用ROC(Retinopathy Online Challenge)网站[15]提供的眼底图像库进行实验。ROC网站提供了50幅训练图像和50幅测试图像,其中训练图像中的MA是经过专业医生的“金标准”定位的。本方法主要对训练图像进行检测,并与专家给出的“金标准”进行对比。本实验的硬件平台为CPU 3.20 GHz、内存4 GB的计算机。
在图像水平上,选用检测的灵敏度(sensitivity)、特异性(specificity)、准确率(accuracy)作为算法稳定性的评判标准[16],即
(5)
(6)
(7)
对于待检测眼底图像,若检测有MA,实际也存在MA,则记为真阳(TP);若检测到无MA,实际有MA,则记为假阴(FN);若检测无MA,实际也无MA,则记为真阴(TN);若检测有MA,实际无MA,则记为假阳(FP)。
3 实验结果
图10为所选3幅病变眼底图像的MA检测结果。所选3幅图像的质量各不相同,前两幅图像均存在光照不均、对比度较低等问题。实验结果表明,无论图像质量如何,在没有使用任何图像增强等手段处理的情况下,本方法均可准确地检测出MA,说明本方法对图像的亮度和对比度具有不敏感性。
另外,由于眼底背景复杂、MA对比度弱等因素的影响,在检测中也存在一些误检及漏检现象,如图11所示,图(b)中存在4个MA误检,3个MA漏检。
图10 基于相位一致性模型的眼底MA检测结果。(a)~(c)为图库标注结果(白圈为图库标注的MA位置);(d)~(f)为本方法相应的检测结果(方框内的白点为检测到的MA)Fig.10 Result of MAs in fundus image detection based on PC. (a)~(c)Results given by ROC (MAs are circled);(d)~(f) Detection results of the proposed method correspondingly (white dots in squares are detected MAs)
图11 MA检测结果。(a)图库标注结果(白圈为图库标注的MA位置);(b)本方法检测结果Fig.11 Result of MAs detection. (a) Results given by ROC (MAs are circled);(b) Detection results of the proposed method
对50幅眼底图像进行检测的结果:灵敏度为94%,特异性为100%,准确率为96%。实验结果表明,本方法能较好地检测彩色眼底图像的MA,对于区分正常眼底和病变眼底具有良好的效果。
为进一步说明方法的性能,在病变水平上将本算法与目前典型的3种方法进行了比较。通过对比相同误检率下灵敏度的高低,说明本方法的优越性。如表1所示,给出了不同方法在每幅图像误检个数为1时的灵敏度。实验结果表明,相比现有的检测方法,本方法在相同的误检率下灵敏度较高,检测性能优于典型的方法。同时,本方法对图像亮度和对比度不敏感,不需要对原始图像进行增强处理,鲁棒性较好。另外,本方法不涉及分类识别,减少了算法的复杂度,处理效率较高,平均每幅图像运行时间为3 s。
表1 不同方法在每幅图像误检个数为1时的灵敏度对比
4 讨论
本方法主要通过选取尺度个数n、面积滤波阈值T及Score这3个参数,完成MA检测。
PC计算中滤波器的尺度个数n是影响MA检测结果的一个重要参数。实验证明,选取n=3时,能够将图像中所有MA的特征提取出来。当n取值较大时,不仅会漏掉较小尺寸的MA,而且将保留部分血管等结构的残留物,对检测结果造成干扰;反之,当取值较小时,较大尺寸的MA将被滤除,并且不能有效地去除噪声。
在MA候选者提取阶段,面积滤波阈值T的取值范围为[3,25]。当上限增大时,血管等大尺寸结构将被误认为MA候选者;当上限减少时,大尺寸的MA将被滤除,造成漏检。当下限增大时,较小尺寸的MA将同噪声一起被滤除;当下限减小时,滤波范围变大,噪声、背景纹理等结构将被保留,从而给检测结果带来干扰。
在MA筛选阶段,Score评判范围[20,30]的选取是根据MA、背景纹理及血管的不同Score取值确定的。当取值范围的上限选取较大值时,大部分MA会和血管结构一同被滤除,从而造成MA的漏检;当下限取值较小时,血管片段等结构无法被滤除,从而造成大量误检。
针对所采用的数据库,经过大量实验证明,所取PC参数、面积滤波参数和Score参数为最佳数值,可实现MA的高效检测。
眼底MA检测是一个比较困难的任务,在目前文献报道中,关于ROC数据库中各类MA检测方法的准确率还很低,尤其是对比度较弱的MA检测。同时MA的检测易受血管、背景纹理等因素的影响,据观察有30%的漏检和90%的误检与血管结构的剔除有关。虽然本方法提出了一种PC与构建灰度剖面图相结合的方法,极大降低了因血管造成的误检率,但是由于实际视网膜眼底图像的复杂性,仍存在一些问题。
对于眼底图像中对比度较高的非MA结构,在检测过程中常被误判为MA。如图12所示,白点为误检,方框为原图的局部放大图,从原图中可以看出伪目标的对比度较高,同时结构特征与MA类似,极易造成误检。
图12 对比度较高的非MA误检Fig.12 The false detection of non-MA with high cantrast
MA的漏检主要存在两种情况:一是血管附近MA的漏检,由于其特征与血管类似,容易误判为血管,从而导致漏检;二是低对比度MA的漏检,由于其颜色、亮度与背景相似,从而造成漏检。图13为低对比度MA的局部放大,其中标注区域为MA,而人眼无法直接分辨,因此在对此类MA进行检测时常出现漏检。图11(b)中的漏检即为以上两种情况。
图13 低对比度MA的局部放大图Fig.13 The partial enlarged view of MA with low contrast
为了减少误检和漏检,需要更全面地提取MA的特征,如可考虑增加颜色特征,以提高MA检测的准确率。
5 结论
本研究提出了一种基于相位一致性模型的MA检测方法。首先,对彩色眼底图像提取绿色通道;其次,采用相位一致性的方法获取MA候选者;最后,通过构建灰度剖面图去除图像中血管等无关信息,从而获得真正的MA。该方法对图像亮度和对比度不敏感,不需要对原始图像进行增强处理。由于噪声影响,检测结果仍存在一些误检和漏检,如何在不影响正确提取较小微动脉瘤的前提下提高MA检测的正确率,是下一步需要解决的问题。
[1] Spencer T, Olson JA, McHardy KC,etal. An image-processing strategy for the segmentation and quantification of microaneurysms in fluorescein angiograms of the ocular fundus [J]. Computers and Biomedical Research, 1996,29(4): 284-302.
[2] Hipwell JH, Strachant F, Olson JA,etal. Automated detection of microaneurysms in digital red-free photographs: A diabetic retinopathy screening tool [J]. Diabetic Medicine, 2000,17(8): 588-594.
[3] Fleming AD, Philip S, Goatman KA,etal. Automated microaneurysm detection using local contrast normalization and local vessel detection [J]. IEEE Transactions on Medical Imaging, 2006,25(9):1223-1232.
[4] Walter T, Massin P, Erginay A,etal. Automatic detection of microaneurysms in color fundus images [J]. Medical Image Analysis, 2007,11(6): 555-566.
[5] Sinthanayothin C, Boyce JF, Williamson TH,etal. Automated detection of diabetic retinopathy on digital fundus images [J]. Diabetic Medicine, 2002,19(2):105-112.
[6] Niemeijer M, Ginneken B, Staal J,etal. Automatic detection of red lesions in digital color fundus photographs [J]. IEEE Transactions on Medical Imaging, 2005,24(5): 584-592.
[7] Zhang B, Karray F, Zhang L,etal. Microaneurysm(MA) detection via sparse representation classifier with MA and Non-MA dictionary learning [C] //International Conference on Pattern Recognition. Istanbul: IEEE, 2010: 277-280.
[8] Quellec G, Lamard M, Josselin PM,etal. Optimal wavelet transform for the detection of microaneurysms in retina photographs [J]. IEEE Transactions on Medical Imaging, 2008,27(9): 1230-1241.
[9] Hatanaka Y, Inoue T, Okumura S,etal. Automated microaneurysm detection method based on double-ring filter and feature analysis in retinal fundus images [C] //Proceedings of 25th International Symposium on Computer-Based Medical Systems. Rome: IEEE, 2012: 1-4.
[10] Xiao Zhitao, Hou Zhengxin. Phase based feature detector consistent with human visual system characteristics [J]. Pattern Recognition Letters, 2004,25(10): 1115-1121.
[11] Morrone MC, Owens RA. Feature detection from local energy [J]. Pattern Recognition Letters, 1987,6(5): 303-313.
[12] Venkatesh S, Owens RA. An energy feature detection scheme [C] // International Conference on Image Processing. Singapore: IEEE, 1989: 553-557.
[13] Kovesi P, Image features from phase congruency [J]. Journal of Computer Vision Research, 1999,1(3): 1-26.
[14] Lazar I, Hajdu A. Retinal microaneurysm detection through local rotating cross-section profile analysis [J]. IEEE Transactions on Medical Imaging, 2013,32(2): 400-407.
[15] Retinopathy Online Challenge [EB/OL]. http://roc.healthcare.uiowa. edu/, 2000-01-01/2013-08030.
[16] 高玮玮, 沈建新, 王玉亮. 免散瞳眼底图像中微动脉瘤的高效自动检测 [J]. 中国生物医学工程学报, 2012,31(6): 839-845.
MicroaneurysmsDetectioninFundusImageBasedonPhaseCongruency
XIAO Zhi-Tao1LIU Lu1GENG Lei1*ZHANG Fang1WU Jun1ZHANG Xin-Peng1SU Long2CHEN Li-Ming3SHAN Chun-Yan3
1(SchoolofElectronicsandInformationEngineering,TianjinPolytechnicUniversity,Tianjin, 300387,China)2(TianjinMedicalUniversityEyeHospital,Tianjin, 300384,China)3(TianjinMedicalUniversityMetabolicDiseaseHospital,Tianjin, 300070,China)
The presence of microaneurysms in the retina is the earliest clinical symptom of diabetic retinopathy(DR), thus their reliable detection is essential in the DR screening system. Based on phase congruency, this paper proposes a new microaneurysms detection method. The first step aimed at obtaining microaneurysms candidate regions achieved by using phase congruency. Then the irrelevant information, such as the vessel fragments, was removed by constructing directional cross-section profiles. Through testing on 50 fundus images provided by ROC website, the method achieved a sensitivity of 94%, specificity of 100%, and accuracy of 96% at the image level, respectively. This method can accurately get microaneurysms in color fundus images, and it is insensitive to image brightness and contrast.
microaneurysms detection; phase congruency; intensity profile; fundus image; diabetic retinopathy
10.3969/j.issn.0258-8021. 2014. 01.002
2013-09-10,录用日期:2013-12-30
国家自然科学基金(61102150);天津市科技支撑计划重点项目(13ZCZDGX02100)
R318;TP391.4
A
0258-8021(2014) 01-0008-08
*通信作者。E-mail: genglei@tjpu.edu.cn