医学图像纹理分析的方法及应用*
2013-01-27朱碧云
朱碧云 陈 卉*
纹理指人们所观察到的图像中像元(或子区域)的灰度变化规律。将图像中局部不规则而宏观有规律的特性称之为纹理[1]。在影像上纹理表现为根据色调或颜色变化而呈现出的细纹或细小的图案,其图案在某一确定的图像区域中以一定的规律重复出现。影像上的纹理可揭示出目标地物的细部结构或内部细小物体。图像的纹理特征分析即对图像像素灰度值局部特征、像素灰度值变化规律及其分布模式进行研究[2]。在医学图像中,纹理特征的定量或定性变化往往反映机体的病理改变。因此,国内外研究人员尝试利用各种纹理分析技术对多种医学成像图像进行分析,探索疾病诊断和治疗的新途径。
1 纹理分析方法
常用的纹理特征分析方法有统计分析、结构分析、模型分析和频谱分析4种方法[3-4]。
1.1 统计分析方法
统计分析纹理描述方法是常用的纹理分析方法,是纹理研究最多、最早的一类方法,其克服了直方图法不能反映空间位置信息的弱点。统计分析方法通过统计图像的空间频率、边界频率以及空间灰度依赖关系等分析纹理,纹理的细致和粗糙程度与空间频率有关,细致的纹理具有高空间频率,低空间频率与粗糙的纹理相关[5]。
灰度共生矩阵(gray level co-occurrence matrix,GLCM)是统计分析方法中最重要的方法。GLCM是建立在估计图像的二阶组合条件概率密度函数基础上的统计方法,主要描述纹理基元或局部模式随机和空间统计特征,以表示区域的一致性及区域间的相对性[6]。共生矩阵用两个位置的像素的联合概率密度来定义,不仅反映亮度的分布特性,也反映具有同样亮度或接近亮度的像素之间的位置分布特性,是有关图像亮度变化的二阶统计特征[7]。
根据GLCM计算出的纹理特征描述众多,Haralick等[8-9]曾提出14种,如果将众多特征描述量全部进行实验,运算量非常大,且特征之间存在一定的冗余性。龚家强等[10]提出了基于灰度共生混合结构和离散傅里叶变换的方法来实现纹理特征的提取,实验结果表明,改进后的算法极大地减少了特征提取的时间。
1.2 结构分析方法
结构纹理分析研究组成纹理的基元(texton)及其排列规则。基元是像素的灰度,也是具有特定性质的连通的像素集合。基元的排列规则常用树文法描述。纹理基元具有面积、周长、偏心度、方向、延伸度、欧拉数、矩、幅度及紧支性等主要特征。数学形态学理论是纹理图像结构分析法的主要工具[11]。
结构分析方法具有纹理构成容易理解、适合于描述规则和周期性的人工纹理等优点。但对不规则的自然纹理,由于基元本身提取困难及基元之间的排布规则复杂,因此其结构分析法受到很大的限制[12]。
1.3 模型分析方法
模型分析法是将纹理基元分布看成某种数学模型,运用统计、信号分析等理论中相应的方法对纹理模型进行分析,以获得纹理特征[13]。模型法主要有随机场方法和分形法。
1.3.1 随机场模型
随机场(random field,RF)包含位置和相空间2个要素。当给每一个位置中按照某种分布随机赋予相空间的一个值之后,其全体就叫做随机场。常见的随机场模型有马尔科夫、Gibbs模型等。
马尔可夫随机场是当一个随机变量序列按时间先后关系依次排开时,第N+1时刻的分布特性,与N时刻以前的随机变量的取值无关。例如,假定天气是马尔可夫随机场模型,其意思为假设今天的天气仅仅与昨天的天气存在概率上的关联,而与前天及前天以前的天气无关。其他如传染病等传播规律,均为马尔可夫的随机场模型[14]。
但基于Markov随机场模型仅通过局部特征很难得到全局的联合分布,于是提出了Sivakumar的GRF(Gibbs随机场)模型,该模型通过集团势能的概念,利用局部的计算获得全局的结果[15]。
1.3.2 分形模型
由于自然纹理具有不同尺度下的自相似性,因此分形模型也广泛应用于纹理分析。1975年,美国数学家Mandelbrot[16]首次提出分形及分形维数(fractal dimension,FD),并指出凡是Hausdorff Besicovitch维数严格大于其拓扑维数的集合均称为分形,一维空间的分数维>1.0<2.0,二维空间的分数维>2.0<3.0分数维作为分形的重要特征和度量,分形模型可以作为描述物体的一个稳定的特征量,将图像的空间信息和灰度信息简单而又有机地结合起来了,因而在图像处理与分析中备受人们的广泛关注。
分数维的定义很多,常见的有相似性维数、容量维数、Hausdorff维数、信息维数、Lyapunov维数、谱维数、计盒维数及填充维数等。其中计盒维数(boxcounting dimension,BCD)方法由于其相对简单的计算和目视估计获得了广泛应用。分形维数是描述纹理的一个很好的特征,但是单一分形维数不能提供足够信息以描述和识别纹理,完整的分析应是多分形特征或分形特征与其他纹理特征的结合。Florindo等[17]对傅里叶变换后的功率谱图像的分形维数进行计算,实验对象为Brodatz纹理图像库,其结果显示与传统的分形维数相比,傅里叶分形维数的分类准确率最高。
1.4 频谱分析方法
频谱法主要借助于频率特性来分析纹理特征。频谱法是建立在多尺度分析基础上的纹理分析方法,主要有Gabor变换、小波变换。
1.4.1 Gabor变换
基于Gabor滤波的纹理分析是一种空间频率域联合分析的方法,具有在空间域和频率域同时取得最优局部化的特性。对人体的心理物理学、视觉生理学的研究表明,人体的视觉注意系统具有与其相似的特性,因而广泛应用于视觉特征的提取,如人脸识别。
Gabor变换在理论上具有比统计分析法和模型法更好的纹理区分能力,是一种较好的纹理分析方法。但Gabor变换的思想是在待分析信号上加一个窗口函数,导致原信号的性质发生改变[18]。因此,提出Gabor变换的改进算法,Log-Gabor变换。Log-Gabor变换不仅能较好地解释人的视觉对图像尺度伸缩和方向变化的容忍度,而且比Gabor变换更能真实地反映图像在频域的响应,在取得最佳空间定位的同时,具有更宽的频带,性能优良且在进行图像处理时不受亮度条件的影响[19]。
1.4.2 小波变换
小波变换(wavelet transform,WT)的基本思想是通过母函数在时间上的平移和在尺度上的伸缩,获得一种能自动适应各种频率成分的有效的信号分析手段。小波变换是时间和频率的局域变换,具有多分辨率分析的特点,且在时频两域均具有表征信号局部特征的能力。小波变换可视为是Gabor变换的继承和发展,而Gabor变换可视为是傅里叶变换的推广。
近年来,小波变换在图像处理领域得到了广泛的应用。对图像进行一层小波分解后得到1幅近似子图和3幅细节子图,由于细节子图是原图像的高频分量,包含了主要的纹理信息,所以取个别细节子图的能量或者熵作为纹理特征。随着小波分解层次的增加,提取的纹理特征越来越准确,但分解层次越多,计算量也越大[20]。Uguz[21]将小波变换用于心脏瓣膜疾病的检测,提取每个子带的小波熵作为特征,分类准确率高达98.33%。
近年来,国外学者提出一种与小波分解、Gabor滤波不同的描述纹理的频谱方法—基于调频调幅(amplitude-modulation frequency-modulation,AM-FM)分解的纹理特征,并已应用于医学图像分析中[22-24]。
2 医学图像纹理分析的应用
图像纹理分析在医学中的应用主要是特征提取,对于某些影像检查不能鉴别的病变提供了有效的帮助。以往医学图像的纹理分析多数集中于MR图像,随着成像质量的不断提高,已可用于所有类型的医学图像。
2.1 肝部疾病的图像纹理分析
2.1.1 肝部CT图像
对肝脏CT图像特征提取常用的方法有直方图、GLCM、分形维数等。基于灰度直方图的分析是统计法中最简单的一种。灰度的变化可以作为最直接的视觉特征来对肝部图像进行分析,缺点是误识率较高[25]。
郭依正等[26]利用GLCM对肝部CT图像进行分析以确定是否正常。通过计算感兴趣区4个方向上的GLCM并作归一化处理,构造除了新的GLCM,然后提取纹理特征参数。研究结果表明,提取的纹理特征对图像内容有较好的区分性。
Gletsos等[27]开发了基于肝脏病变CT图像的计算机辅助诊断系统,提取出48个GLCM参数作为特征,并运用神经网络进行分类识别,分类准确率得到了提高。
董放等[28]利用差分盒计算法计算肝脏CT图像表面灰度的分维数值,发现正常肝脏组织的分维数值约为2.35,而肝癌软组织的分形维数约为2.40。该研究提示,分形维数值在某种意义上代表了组织的纹理特征。
Stavroula等[29]采用纹理分析方法对肝硬化、血管瘤和肝癌进行鉴别,实验中利用灰度直方图法、空间灰度相关法(SGLDM)、灰度差异法(GLDM)和Laws纹理能量测量法4种方法以及分形维数对肝脏CT图像进行特征提取。研究显示,利用4种方法分别进行神经网络模型分类识别时,灰度直方图法和Laws纹理能量法的分类准确率最高。
2.1.2 肝部B超图像
肝脏B超图像的纹理是由于不同的肝脏其组织纤维不同,使其对超声脉冲的吸收、衰退、反射有差异,超声脉冲相互作用而形成。因此,不同肝脏B超图像的纹理有明显不同,可通过对肝脏纹理的定量分析来区分肝脏有无疾病。
吴泽晖[30]提出利用分形特征配以和差直方图提取特征参数进行肝硬化、肝囊肿的识别。结果表明,单独考虑和差直方图或分形维数做特征进行分类,识别率分别为84%和88%,而同时考虑时的识别率为92%。
超声成像的复杂性导致超声图像并不具有理想情况下的自相似性,其统计分布非均匀,因而仅用单一的分形维数并不能准确地反映肝脏超声图像的分形特征。刘昉等[31]提出将多重分形分析方法应用到肝癌与肝硬化的识别中。
Jeong等[32]通过分析肝脏超声图像的特点,提取统计纹理、回声强度及肝脏大小等特征描述肝硬化,实验证明分类结果与临床诊断结果有很高的一致性。
Huang等[33]对肝部超声图像进行3层小波变换,提取每一层子图像的纹理特征作为特征向量,最后利用概率神经网络对脂肪肝进行识别。
2.1.3 肝部MRI图像
除CT和超声图像外有少数研究涉及肝脏的MRI图像纹理特征。Zhang等[34]对肝部MRI图像进行分析,提取基于灰度差分矩阵的纹理参数,并结合肝部的形态特征组成特征向量,运用人工神经网络对肝硬化进行识别。实验表明,肝硬化图像识别率高于单纯依靠形态特征。
2.2 肺部疾病
2.2.1 基于CT图像肺癌的检测
肺癌在CT图像中以肺结节的形式存在。结节的出现使肺部纹理发生改变,因此可通过纹理分析对早期肺癌进行检测。
李越[35]根据肺结节在CT图像中的形态特征,利用类圆形结构元素与肺实质图像进行开运算,提取感兴趣区域,然后选取灰度均值、灰度方差、面积、圆形度、傅里叶描述子以及边界清晰程度因子作为特征,利用最近邻法分类器和支持向量机分类识别肺结节。
对肺部CT图像的各项研究显示,将图像的分形维数值定量化后可作为区分正常组织与病变组织的参考值[36-37]。此外,Ohanian等[38]对马尔可夫随机场参数、多通道滤波特征、分形维特征和共生矩阵特征等4类纹理特征进行了多项实验比较,结果显示分形维数特征是一种非常有效的纹理特征,在计算精度、速度和判别正确率方面都具有较高性能。
Al-Kadi等[39]针对肺部CT图像对早期和晚期肺癌进行了分类识别。选出候选结节计算每个结节的分形维数值后取平均值,结果显示早期肺癌的分形维数值小于晚期肺癌的数值。
2.2.2 基于数字胸片的尘肺病检测
图像纹理分析方法是研究计算机辅助尘肺病影像学诊断的有效手段,但目前研究所采用的纹理特征多为基于灰度和GLCM的统计纹理特征[40-44]。
Yu等[42-43]对数字胸片图像进行灰度直方图和GLCM分析,利用部分纹理特征进行尘肺的诊断时,其准确率为89.2%,受试者操作特征(receiver operating characteristic,ROC)曲线下面积为0.978。van Ginneken等[45]提出,使用多分辨率高斯滤波器处理后的图像直方图矩作为特征,其灵敏度为97.4%,特异度达到90.8%,ROC曲线下面积为0.986。
Okumura等[46]对11例正常胸片和12例尘肺的数字胸片图像进行傅里叶变换,利用功率谱进行正常和(或)尘肺分类诊断,达到很高的诊断正确率,ROC曲线下面积为0.972。
Katsuragawa[47]在自动提取的数字胸片肋间区域上,应用标准差及傅里叶频谱的一阶矩作为特征,诊断尘肺的ROC曲线下面积最大为0.962。
在一项利用基于AM-FM分解提取纹理特征进行尘肺病影像学诊断的研究中,研究人员对4名正常人、4名Ⅰ期尘肺患者和3名Ⅱ期尘肺患者的11幅X线平片进行了初步分析,取得了令人满意的结果[48]。
3 结语
近30年来,纹理分析一直是图像处理和计算机视觉领域一个研究的热点和难点,而提取纹理特征是进行纹理分析的基础。虽然在纹理特征描述方面做了大量的研究工作,并取得了许多研究成果,但仍存在着不足。例如,在处理复杂纹理时常常仅用一种算法或者其改进算法来进行特征提取,而较少考虑将小波变换与分形维数相结合等不同的纹理分析方法整合到一起。多数纹理特征提取方法均假定纹理特征静态提取,未考虑到视觉变化引起的纹理缩放、不规则变形等,因此今后的研究应考虑将纹理图像进行多视觉采样后再进行特征提取。
[1]van Ginneken B,ter Haar Romeny BM,Viergever MA.Computer-aided diagnosis in chest radiography:a survey[J].IEEE Trans Med Imaging,2001,20(12):1228-1241.
[2]徐登云,王云秀.基于GLCM对纹理特征的分析[J].西部资源,2012(2):112-114.
[3]张学军.图像纹理分析的方法与应用[J].黑龙江科技信息,2009(16):54.
[4]刘丽,匡纲要.图像纹理特征提取方法综述[J].中国图像图形学报,2009,14(4):622-641.
[5]宋浩强.统计纹理特征在图像分类中应用与研究[J].福建电脑,2012,28(4):139-140.
[6]杨德坤,侯德文,步亚东.GLCM在纹理特征提取中的发展[J].信息系统工程,2012(1):134-136.
[7]孙君顶,马媛媛.纹理特征研究综述[J].计算机系统应用,2010,19(6):245-250.
[8]Haralick RM,K Shanmugam,I Dinstein.Textural features for image classification.Systems,Man and Cybernetics[J].IEEE Transactions on,1973,3(6):610-621.
[9]Haralick RM.Statistical and structural approaches to texture[J].Proceedings of the IEEE,1979,67(5):786-804.
[10]龚家强,李晓宁.基于共生矩阵纹理特征提取的改进算法[J].计算机工程与设计,2011,32(6):2068-2071.
[11]Srinivasan GN,Shobha G.Statistical texture analysis[J].Proc World Acad Sci.Engineer Tech,2008,36:2070-3740.
[12]刘春,杨韬,王娟,等.计算机辅助诊断技术中图像纹理研究的主要方法及其应用[J].中国组织工程研究与临床康复,2009,13(39):7721-7727.
[13]Ma WT,Zhang HJ.Benchmarking of image features for content-based retrieval[C].Pacific Grove USA:Signals,Systems and Computers Conference Record of the Thirty-Second Asilomar Conference,1998:253-257.
[14]Lee S.Markov random field modeling in image analysis[M].Japan:Springer Verlag,2001.
[15]Geman S,Geman D.Stochastic relaxation gibbs distribution and the bayesian restoration of images[J].IEEE Trans Pattern Anal Mach Intell,1984,6(6):721-741.
[16]Mandelbrot BB.The fractal geometry of nature[M].New York:W H Freeman and Company,1983.
[17]Florindo JB,Bruno OM.Fractal descriptors based on fourier spectrum applied to texture analysis[J].Physica A:Statiscal Mechanics and its Applicatio ns,2012,391(20):4909-4922.
[18]贾朱植,董立文,董勃,等.Fourier变换和Gabor变换与小波变换的比较研究[J].鞍山科技大学学报,2005,28(1):13-18.
[19]李敏,黄席樾,沈志熙,等.基于Log-Gabor小波变换和证据推理的车型识别[J].计算机应用研究,2009,26(3):1151-1154.
[20]刘素一,刘晶璟,邹崇涛.基于小波熵的织物疵点检测方法[J].棉纺织技术,2008,36(10):600-602.
[21]Uguz H.Adaptive neuro-fuzzy inference system for diagnosis of the heart valve disease using wavelet transform with entroy[J].Neural Comput Applicat,2012,21(7):1617-1628.
[22]Pattichis MS,Bovik AC.Analyzing image structure by multidimensional frequency modulation[J].IEEE Trans Pattern Anal Mach Intell,2007,29(5):753-766.
[23]Murray V,Rodriguez P,Pattichis MS.Multi-scale AM-FM demodulation and image reconstruction methods with improved accuracy[J].IEEE Trans Image Process,2010,19(5):1138-1152.
[24]Murray V,Barriga ES,Solizet P,et al.Survey of AM-FM methods for Applications on Medical Imaging[C].Portugal Lisbon Proc:Ibero-American Conference on Trends in Engineering Education and Collaboration (CITECI),ISTEC,2009.
[25]Rahman MM,Bhattacharya P,Desai BC.A framework for medical image retrieval using machine learning and statistical similarity matching techniques with relevance feedback[J].IEEE Trans Inf Technol Biomed,2007,11(1):58-69.
[26]郭依正,焦蓬蓬,周巧扣,等.基于GLCM的肝脏CT图纹理特征分析[J].实验室研究与探索,2012,8(8):61-64.
[27]Gletsos M,Mougiakakou SG,Matsopoulos GK,et al.A computer-aided diagnostic system to characterize CT focal liver lesions: design and optimization of a neural network classifier[J].IEEE Trans Inf Technol Biomed,2003,7(3):153-162.
[28]董放,李保伟.基于分形维数对肝脏CT图像的纹理特征研究[J].武警医学,2003,14(6):337-339.
[29]Mougiakakou SG,Valavanis IK,Nikita A,et al.Differential diagnosis of CT focal liver lesions using texture features,feature selection and ensemble driven classifiers[J].Artif Intell Med,2007,41(1):25-37.
[30]吴泽晖.B超图像的纹理识别[J].海南大学学报自然科学版,2001,19(4):337-341.
[31]刘昉,程敬之.肝脏超声图像分形特性的研究[J].西安交通大学学报,1999,33(5):22-24.
[32]Jeong JW,Lee S,Lee JW,et al.The echotextural characteristics for the diagnosis of the liver cirrhosis using the sonographic image[J].Conf Proc IEEE Eng Med Biol Soc,2007,2007:1343-1345.
[33]Huang YL,Wang LX,Li CX.Texture analysis of ultrasonic liver image based on wavelet transform and probabilistic neural[C].Shanghai Proc:The 2nd IEEE International Conference on Bioinformatics and Biomedical Engineering,2008:248-252.
[34]Zhang X,Fujita H,Kanematsu M.Improving the classification of cirrhotic liver by using texture features[C].Shanghai Proc:Engineering in Mdeicine and Biology 27th Annual Conference,2005:867-870.
[35]李越.基于形态学及灰度熵的肺结节检测算法[D].北京:北京交通大学,2011.
[36]汪家旺,于立燕,王德杭,等.肺癌分形维数特征的研究[J].中国医学物理学杂志,2005,22(1):393-395.
[37]蒋勇.基于分形维数的肺部软组织CT图像的纹理特征研究[J].中国医学装备,2004,1(3):28-31.
[38]Ohanian PP,Dubes RC.Performance evaluation for four classes of textural features[J].Pattern Recogn,1992,25(8):819-833.
[39]Al-Kadi OS,Watson D.Texture analysis of aggressive and nonaggressive lung tumor CE CT images[J].IEEE Trans Bio Med Eng,2008,55(7):1822-1830.
[40]Masumoto Y,Kawashita I,Okura Y,et al.Computerized classification of pneumoconiosis radiographs based on grey level co-occurrence matrices[J].Nihon Hoshasen Gijutsu Gakkai Zasshi,2011,67(4):336-345.
[41]Soliz P,Pattichis MS,Ramachandran J,et al.Computer-assisted diagnosis of chest radiographs for pneumoconiosis[J].Proc.SPIE,Medical Imaging,2001,4322:667-675.
[42]Yu P,Zhao J,Xu H,et al.Computer aided detection for pneumoconiosis based on histogram analysis[C].Wuhan, Hubei Proc:1st International Conference on Information Science and Engineeri ng(ICISE),2009:3625-3628.
[43]Yu P,Zhao J,Xu H,et al.Computer aided detection for pneumoconiosis based on co-occurrence matrices analysis[C].Shanghai Proc:Second International Conference on Biomedical Engineering and Informatics,2009:1-4.
[44]Yu P,Xu H,Zhu Y,et al.An automatic computeraided detection scheme for pneumoconiosis on digital chest radiographs[J].J Digit Imaging,2011,24(3):382-393.
[45]van Ginneken B,Katsuragawa S,ter Haar Romeny BM,et al.Automatic detection of abnormalities in chest radiographs using local texture analysis[J].IEEE Trans Med Imaging,2002,21(2):139-149.
[46]Okumura E,Kawashita I,Ishida T.Computerized analysis of pneumoconiosis in digital chest radiography:effect of artificial neural network trained with power spectra[J].J Digit Imaging,2011,24(6):1126-1132.
[47]Katsuragawa S,Doi K.Computer-aided diagnosis in chest radiography[J].Comput Med Imaging and Graph,2007,31(4-5):212-223.
[48]Murray V,Pattichis MS,Davis H,et al.Multiscale AM-FM analysis of pneumoconiosis x-ray images[C].Linhai Zhejiang Proc.IEEE International Conference on Signal and Image Processing Applications,2009.