局部二维结构描述的HEp-2染色模式分类

张东波,颜 霜,张 莹,秦 海,王俊超

(1．湘潭大学信息工程学院,湖南湘潭 411105;2．机器人视觉感知与控制技术国家工程实验室,湖南湘潭 411105)

局部二维结构描述的HEp-2染色模式分类

张东波1,2,颜 霜1,张 莹1,2,秦 海1,王俊超1

(1．湘潭大学信息工程学院,湖南湘潭 411105;2．机器人视觉感知与控制技术国家工程实验室,湖南湘潭 411105)

Hep-2染色模式分类主要用于免疫疾病诊断,但已有方法受荧光成像环境,细胞图像自身的视觉特性的影响,分类准确率较低.本文提出一种新的适合于HEp-2染色模式分类的特征提取方法.在构建了不同尺度下的高斯平滑图像序列后,利用shape index实现图像二维结构的直观描述,进而通过多灰度阈值图像结构的空间分解,使其同时具备对微观二维图像结构和空间信息的描述能力.该方法在ICPR 和SNP HEp-2数据集的两折交叉细胞级测试中,分别获得89.83%和87.49%的准确率,在ICPR的28折交叉细胞级和图像级测试分别达到60.5%和70.56%的准确率,明显优于LBP、CLBP 等方法,和CoALBP特征相当.

间接免疫荧光图像;染色模式;空间分解

1 引言

间接免疫荧光(IIF)图像分析是现代医学对自身免疫疾病进行诊断的有效手段,不同的IIF荧光染色模式与不同的免疫疾病密切相关.荧光染色模式的准确分类目前仍然是一个非常困难的问题,原因在于受荧光成像环境影响,不同染色模式细胞图像外观差异变化大,而其中一些染色模式又具有非常相似的视觉特性.

HEp-2细胞染色模式分类采用的特征主要有形状/形态学特征、纹理特征二类.例如G.V.Ponomarev[1]提取ROI染色细胞区域的数量,大小,形状等形态学特征,R.Stoklasa[2]通过不同尺度形态学开运算描述细胞图像中的峰值区域分布特性,同时借助地形学理论,对图像灰度分布中呈现出来的类似山、谷形状的表面信息进行统计.作为一种表面形状描述子,该特征计算简单,具有优越的分类性能.此外,由于荧光响应模式通常呈现出规律性的分布和空间关系,因此纹理特征也是一种非常有效的对HEp-2染色模式分类的特征,但全局纹理特征,例如灰度共生矩阵GLCM和离散余弦变换DCT[3],不能很好的描述图像中的微观结构之间的空间关系,因此分类性能欠佳.近年来,局部纹理特征得到广泛应用,例如Haralick特征[2],LBP特征[4～7],SIFT特征[8],其中LBP特征具有计算成本低,容易实现,鲁棒性较好等优点,且由于擅长描述图像微观结构,LBP及其改进的特征在HEp-2染色模式分类中得到有效应用,例如R.Nosaka[7]考虑了成对LBPs之间空间关系提出的CoALBP特征,为了实现旋转不变性,提高鲁棒性,提出了RIC-LBP特征.I.Theodorakopoulos[8]结合SIFT与GoC-LBPs提取特征,其中,SIFT特征具有旋转不变性,对光照变化,噪声,平移以及缩放具有鲁棒性,而GoC-LBPs特征考虑了各模式之间信息共现性,两种特征的结合很好的描述了细胞图像的灰度和纹理信息.S.Di.Cataldo[9]则提出了形态学与纹理特征结合的特征描述方法,其形态学特征考虑连通区域圆度(即面积/周长2)、数量、比值以及面积等等,纹理特征则考虑了全局纹理特征(GLCM,ZERN,EOH,RIGF)和局部纹理特征(LBPriu2,CLBP,CoLBP,RIC-LBP).组合特征虽然一定程度能够提升分类性能,但同时加大了计算量,算法复杂,而性能提升非常有限.

由J.J.Koenderink提出的shape index[10]是一种能够对图像中的二维结构进行直观描述的特征,受此启发,本文基于shape index并结合尺度空间理论和基于灰度排序的空间分解提出了一种新的特征提取方法.该特征具备对图像微观二维结构和空间信息的描述能力,实验结果验证了新特征的良好分类能力.

2 本文方法

为避免图像尺度对统计特征的影响,细胞图像均归一成64×64的尺寸,同时为避免光照影响通过式(1)还做了灰度归一化变换.

(1)

其中,mean(I)和std(I)分别是细胞图像的均值和标准差,I是原图像,I′预处理后图像.

2.1 基于shape index的特征提取

Shape index是由Koenderink 和van Doorn[10]提出的一种图像几何测量方法.由于HEp-2图像中的二维结构有尺寸差异,因此有必要在高斯尺度空间框架内计算shape index.图像的高斯尺度空间,

L(x;σ)=(G*I′)(x;σ),x=(x,y)

(2)

其中,*表示卷积运算,G是高斯函数

(3)

其中σ为高斯核函数的尺度参数.通过规范化尺度空间导数[11]可以计算图像中的差分结构

(4)

通过计算二阶导数Lx2,Ly2,Lxy我们可以构造出如下的Hessian矩阵:

(5)

Hessian矩阵是二阶对称矩阵,其特征值k1和k2可以用来衡量尺度σ下的二阶曲率,由下式计算,

(6)

(7)

k1和k2称之为主曲率,分别描述的是曲率在极大值和极小值方向的值,值得注意的是,k1和k2的值本身和极值曲率方向无关,因此具有旋转不变性.当k1=k2=0时,此时的像素点区域平坦,无明显信息结构.为了得到描述图像二维结构具有旋转不变性的特征,定义如下shape index指标s∈[-π/2,π/2],

(8)

指标s具有旋转,灰度以及平移不变性,能描述连续图像空间区间内所有的二阶形状.当s=0时,对应的是一个鞍状结构;当s≠0时,则可以分别描述极大值、极小值、脊线和谷线等凹凸不一的曲面结构.

s指标只能描述曲面结构的形状,而相同形状的结构在图像中的可观测性不一样,有的易于观测,有的和背景接近很难区分,因此二维结构的显著性需要另外用曲度值c(curvedness)进行区分

(9)

曲度描述的所描绘的形状的强度,c值小意味着此形状几乎是平坦的且不明显,c值大则意味着此形状是显著的.

联合式(6)～(9)可以得到计算shape index的s和c的公式如下,

(10)

(11)

测量值s和c可看作一类简明且有效的纹理描述方法,类似于SIFT特征构建的梯度方向直方图,我们可以将s看作梯度方向,c看作梯度值,作为直方图统计时梯度方向的权重,借鉴这样一种处理策略,我们不难实现图像中和表面形状有关的纹理信息描述.

为构建多尺度描述下的shape index,本文采用了如下多尺度(nσ)的选择原则

(12)

2.2 空间分解策略

shape index作为一种局部特征,为获得良好的分辨能力,需要在特征描述时根据图像特点对图像空间做适当的分解以便刻画重要的空间信息.为获得旋转不变性,我们考虑了两种基于灰度信息的空间分解策略.

2.2.1 基于环状结构的空间分解

第一种策略为同心环状结构空间分解策略,以点x0为中心,半径为r的环状区域D描述如下,

(13)

其中γ是高斯核函数宽度.通过上述公式,我们可以对到中心点距离为r的环状区域中各点按高斯函数衰减特性赋予一定的权重.

为了提高特征描述能力,我们可以选择多组参数ns以便实现对空间的多重分解,通过实验我们最终选择了三组参数,即(r,γ)=(0,19),(6.7,8)和(7.8,4.1)(如图2所示).该组参数可以描述具有交叠的同心环状结构空间,能较好的覆盖了整个细胞图像区域.

2.2.2 基于Ostu阈值分割的空间分解

首先根据Ostu方法得到一个参考阈值TH4,然后以TH4为中心,分别在小于和大于TH4的灰度区间再等间隔选择3个阈值,总共得到7个分割阈值,通过7个阈值我们可以得到7个空间分解子图(ns=7).图3分别给出了Homogeneous,Fine Speckled,Coarse Speckled,Nucleolar,Centromere和Cytoplasmatic六类模式下的细胞示例的阈值分割结果.显然,对于不同的染色模式,其7组阈值分割结果图具有明显不同的变化规律,其中隐含了丰富的染色模式内部结构信息.

2.3 直方图构建

为了建立基于shape index指标的直方图,在[-π/2,π/2]区间均匀选取nb个等级,且对这nb个区间分别取它们的中心值b,然后使用空间分解权值D和主曲率值c构建直方图.对于第一种空间分解策略,图像中各点依据式(13)选取,而对于第二种空间分解策略,图像中分割出来的前景区域各点的权重D都设为1,背景设为0,最后依据加权求和,计算整幅图像在给定参数时的直方图分布,计算公式如下,

(14)

实验中,nb=18,参数b是这nb个区域中的中心值(取值范围在[-17π/36,17π/36]).β是高斯核函数宽度.根据上述公式可以得到在不同尺度σ和不同空间结构D下的shape index直方图,通过拼接获得整体直方图特征向量.对于第一种和第二种空间分解策略,我们分别最终可以得到nδ·nb·ns=216和nδ·nb·ns=504维的特征向量.最后,为了对抗对比度变化,需要对特征向量做归一化,根据实验测试,本文采用的是L1归一化方法.

3 实验结果与分析

为验证本文特征在HEp-2细胞模式分类中的效果,我们在公开的数据集ICPR2012[12]和SNP数据集[13]中进行测试,采用的分类器是LIBSVM工具箱[14],评价准则用的是[12]推荐的两折交叉法和28折交叉校验.

LBP作为一种擅于对图像微观结构进行描述的特征,其计算原理简单,具有旋转和光照不变性的显著特点,因此是一种被广泛采用的纹理特征描述形式,已有研究人员将其成功用于HEp-2细胞染色模式分类问题[7],并取得了良好的分类性能.我们在实验中选择了旋转不变统一模式LBPriu2和完整局部二值模式CLBP两种典型的LBP特征和本文特征进行了对比.为了找到合适的邻域参数提取LBP特征,根据邻域半径R和邻域点数P,我们选取了三组参数(P,R)=(8,1)、(8,2)、(16,2)分别对ICPR和SNP数据集进行了测试.当(P,R)取(16,2)这一组参数时,不管是在ICPR还是SNP数据集,分类性能都要优于其它两组参数,此外,由于CLBP特征不仅描述了邻域中像素点之间的灰度大小关系,同时保留了其原有灰度信息,因此分类性能优于LBPriu2特征,以(P,R)取(16,2)为例,在两个数据集中CLBP-S-M特征分类准确率分别比LBPriu2特征提升了10.69%和15.17%.

此外,为确定采用环状空间分解策略时,相关参数r和γ的取值,我们分别按ns=1,2,3三种情况取了若干组参数,并在ICPR数据集中作了测试.在所有组测试中,当ns=3,即r和γ分别取(0,19),(6.7,8.0)和(7.8,4.1)时,获得了最好的分类准确率是88.26%.因此在后续实验中,我们都是按此组参数来提取shape index+donut特征.

另外基准尺度参数δbase和高斯核函数宽度参数β对于最终的shape index+Ostu特征分类性能也有重要影响,对于ICPR数据集,当δbase=1.8,β=0.4时有最好分类性能89.83%,而对于SNP数据集,当δbase=2.0,β=0.22时有最好分类性能87.49%.

表1给出了采用LBPriu2 特征,CLBP-S-M特征以及基于shape index采用不同空间分解策略的shape index+donut特征和shape index+Ostu特征在ICPR和SNP数据集中测得的两折交叉校验准确率,其中shape index特征和CLBP-S-M分类性能相当,但是加入空间分解策略后的shape index+donut特征和shape index+Ostu特征明显要优于单纯的shape index特征.shape index+Ostu特征分类准确率在两个数据集中都要优于其它特征,其中采用第二种空间分解策略之所以高于第一种策略的环状空间分解,是因为环状空间分解人为弱化了相邻像素之间的灰度相似关系,而基于Ostu阈值的空间分解,较好地保留了像素点之间的灰度相似关系,能够更好地描述图像中的二维结构,因此其获得比环状空间分解更好的分类准确率.

表1 HEp-2细胞染色模式在各种特征下的分类准确率(%)

ICPR数据集采自28张切片图像,每一幅图像的细胞染色模式基本属于同一类,由于不同切片图像具有独立性,因此28折交叉校验也是在ICPR数据集的测试中常用的评价准则,通常我们使用其中27幅图像中的细胞做训练集,剩下的一幅图像中的细胞做测试集,依序处理做28次测试,并取其平均值作为最终测试结果.表2展示了使用28折交叉获得的各类图像细胞分类结果,其中标明了用于做检测的28幅图像的染色细胞的实际类别和预测类别,每类的正确分类和错误分类的数量和百分比.表3展示了在做图像级测试时的混淆矩阵,在图像级测试时,以该图像中细胞预测类别占多数的类作为该图的预测类别.从表3可以发现,在Homogeneous和Fine Speckled这两类中有很大的误分率,其中Homogeneous类有40%误分为Fine Speckled类,Fine Speckled类有75%误分为Homogeneous类,具体表现在图像ID 21,ID 22中的Homogeneous被错分为Fine Speckled的概率分别是57.28%,54.62%,而正确分类的概率分别是13.11%,35.29%;在图像ID 9,ID 15,ID 23中,Fine Speckled被错分为Homogeneous的概率分别是50%,46.03%,64.71%,而正确分类的概率分别是19.57%,17.46%,35.29%.可以看出这两类的错分率竟然到达了正确分类率的一半以上,原因在于这两类的图片非常相似,因此容易出现误分.而Centromere与Cytoplasmatic和其它模式比具有较明显的结构差异,易于区分,因此具有较高的分类准确率.

表2 ICPR数据集28折交叉校验的准确率(%)

表3 图像级检测时的混淆矩阵(%)

表4 其他方法与本文方法对比(%)

表4中给出了常规LBP和若干改进型的最新的LBP特征描述方法和本文方法的比较,结果是在采用28折交叉校验时,分别在细胞级和图像级基础上测得的染色模式分类准确率,其中CoALBP和本文方法要明显优于其它特征,CoALBP在细胞级和图像级测试中,分别达到59.03%和71.4%的准确率,而本文的shapeindex+Ostu特征同样达到了60.50%和70.56%的准确率,值得说明的是,CoALBP特征在2012年的ICPR竞赛中获得了第一名的成绩,而本文提出的特征达到了和它相当的性能,这也充分验证了本文方法的有效性和分类性能.表5总结了本文最终采用的shapeindex+Ostu特征在两个数据集上采用不同准则的测试结果.

表5 本文最终算法测试结果总结(%)

4 总结

本文基于shape index对于图像局部二维结构的描述能力,结合尺度空间理论和基于灰度信息空间分解策略提出了一种新的适合于HEp-2细胞染色模式分类的方法.由于同时具备对二维图像结构和空间信息的描述能力,本文方法在ICPR 2012竞赛数据集和SNP HEp-2数据集上获得了非常好的分类效果,其分类性能优于LBP、CLBP等纹理特征描述技术,在ICPR测试数据集中达到了和竞赛第一名CoALBP相当的准确率.

[1]Ponomarev G V,Arlazarov V L,Gelfand M S,et al.ANA HEp-2 cells image classification using number,size,shape and localization of targeted cell regions[J].Pattern Recognition,2014,47(7):2360-2366.

[2]Stoklasa R,Majtner T,Svoboda D.Efficientk-NN based HEp-2 cells classifier[J].Pattern Recognition,2014,47(7):2409-2418.

[3]Ul Islam I,Di Cataldo S,Bottino A G,et al.Classification of HEp-2 staining patterns in immune fluorescence images[A].International Conference on Bioinformatics Models,Methods and Algorithms[C].Barcelona,Spain:Springer,2013.1-9.

[4]Heikkilä M,Pietikäinen M,Schmid C.Description of interest regions with local binary patterns[J].Pattern Recognition,2009,42(3):425-436.

[5]Nosaka R,Suryanto C H,Fukui K.Rotation invariant co-occurrence among adjacent LBPs[A].Computer Vision-ACCV 2012 Workshops[C].Berlin:Springer Heidelberg,2013.15-25.

[6]Nosaka R,Ohkawa Y,Fukui K.Feature extraction based on co-occurrence of adjacent local binary patterns[A].Advances in Image and Video Technology[C].Berlin:Springer Heidelberg,2012.82-91.

[7]Nosaka R,Fukui K.Hep-2 cell classification using rotation invariant co-occurrence among local binary patterns[J].Pattern Recognition,2014,47(7):2428-2436.

[8]Theodorakopoulos I,Kastaniotis D,Economou G,et al.Hep-2 cells classification via fusion of morphological and textural features[A].Bioinformatics & Bioengineering (BIBE)[C].USA:IEEE Press,2012.689-694.

[9]Di Cataldo S,Bottino A,Islam I U,et al.Subclass discriminate analysis of morphological and textural features for HEp-2 staining pattern classification[J].Pattern Recognition,2014,47(7):2389-2399.

[10]Koenderink J J,van Doorn A J.Surface shape and curvature scales[J].Image and Vision Computing,1992,10(8):557-564.

[11]王永明,王贵锦.图像局部不变性特征与描述[M].北京:国防工业出版社,2010.

[12]Foggia P,Percannella G,Soda P,et al.Benchmarking HEp-2 cells classification methods[J].IEEE Transactions on Medical Imaging,2013,32(10):1878-1889.

[13]Wiliem A,Wong Y,Sanderson C,et al.Classification of human epithelial type 2 cell indirect immune fluorescence images via codebook based descriptors[A].Applications of Computer Vision (WACV)[C].USA:IEEE Press,2013.95-102.

[14]Chang C C,Lin C J.LIBSVM:A library for support vector machines[J].ACM Transactions on Intelligent Systems and Technology,2011,2(3):389-396.

张东波(通信作者) 男,1973年生于湖南邵阳,现为湘潭大学教授、硕士生导师.主要研究方向为模式识别、图像处理和机器学习.

E-mail:zhadonbo@163.com

颜 霜 女,1989年生于湖南湘潭,现为湘潭大学信息工程学院研究生.主要研究方向为图像处理与模式识别.

E-mail:yanshuangxtu@163.com

HEp-2 Staining Pattern Classification by Local 2D Structure Description

ZHANG Dong-bo1,2,YAN Shuang1,ZHANG Yin1,2,QIN Hai1,WANG Jun-chao1

(1.CollegeofInformationEngineering,XiangtanUniversity,Xiangtan,Hunan411105,China; 2.RobotVisualPerception&ControlTechnologyNationalEngineeringLaboratory,Xiangtan,Hunan411105,China)

Hep-2 staining pattern classification is used for immune disease diagnosis.Due to the influence of imaging environment and the visual characteristics of cell images,the recognition accuracy of reported methods are still unsatisfied.A novel feature suitable for HEp-2 staining pattern classification is proposed.After constructing serial smoothing images with Gaussian scale parameter,the description ability of shape index is used to describe second-order image structure,moreover,the space structure can be presented by multi-threshold image segmentation.The proposed approach was tested in ICPR and SNPHEp-2 datasets by 2-flod cross validation in cell level,and achieved 89.83% and 87.49% accuracy for the two datasets respectively.Moreover,in 28 fold cross validation test of ICPR,the method achieved 60.5% and 70.56% accuracy in cell level and image level respectively.Experimental results show that the proposed method is superior to other popular texture descriptors,such as LBP and CLBP,and approximate to the performance of CoALBP feature.

indirect immune fluorescence (IIF) image;staining pattern;space decomposition

2015-04-14;

2015-08-15;责任编辑:覃怀银

国家自然科学基金(No.60835004);湖南教育厅重点项目(No.14A137);湘潭大学控制科学与工程学科建设经费资助

TP391.4

A

0372-2112 (2016)12-2817-06

��学报URL:http://www.ejournal.org.cn

10.3969/j.issn.0372-2112.2016.12.001