融合LBP纹理和局部灰度特征的材料图像分割

赵 曌，丁广太,2，樊明磊，张惠然,2，王 路，陈 琳

(1.上海大学 计算机工程与科学学院，上海 200444;2.上海材料基因组工程研究院，上海 200444;3.上海金融学院 信息管理中心，上海 201209)

融合LBP纹理和局部灰度特征的材料图像分割

赵 曌1，丁广太1,2，樊明磊1，张惠然1,2，王 路1，陈 琳3

(1.上海大学 计算机工程与科学学院，上海 200444;2.上海材料基因组工程研究院，上海 200444;3.上海金融学院 信息管理中心，上海 201209)

为了提高材料图像的分割精度，提出了融合局部灰度特征和LBP纹理的谱聚类分割算法。针对LBP算子无法区分邻域灰度差值幅度，提出几种改进的T-LBP算子，以表示图像纹理变化程度。构造邻域向量差用以描述局部特征；利用灰度直方图选取样本点；融合T-LBP特征与像素灰度特征及局部特征构造相似性矩阵；利用谱聚类算法进行图像分割；采用线检测方法抑制具有方向性的纹理噪声。对陶瓷材料图像和合成图像的实验结果表明，算法分割精度高、抗噪性强，具有较高的正确分类率。提出的融合LBP特征和灰度特征的谱聚类分割算法弥补了现有材料图像分割算法的不足，提高了材料图像的分割精度，适用于区域繁多、纹理复杂的材料图像；与其他算法实验结果的对比验证了该算法的有效性。

图像分割；T-LBP；谱聚类算法；灰度特征；线检测

1 概 述

在陶瓷材料研究领域，基于背散射电子图像(BackscatteredElectronImaging，BSE)分析法，研究者可以有效地对复相陶瓷试样进行物相定量分析，区分组成元素所在区域，进而得到表征各物相的区域面积，推得各物相在试样中的体积含量[1]。其原理是，样品表面经过抛光处理后，背散射电子成像衬度仅与样品表面原子序数有关；平均原子序数较大的区域显示的衬度较亮，反之则较暗[2]。区分BSE图像中的不同物相属于图像分割范畴。

在材料图像中,研究者感兴趣的区域是具有不同灰度值的晶粒形状和面积。传统的材料电镜图像中晶粒的形状和大小都是由研究者手工标出,工作效率低。

目前，材料图像分割方法的研究多基于形态学、马尔可夫模型和分水岭算法等。例如，康睿等[3]提出的基于距离变换和形态学重构的方法分割粘连的砂土颗粒，使砂土颗粒可以较好地分割开来。丁贤云等[4]提出了基于二维灰度直方图的人工鱼群分割算法，算法收敛速度快，对纤维材料图像分割结果稳定。YuZhu等[5]提出了基于马尔可夫模型的材料图像分割算法，对于纤维材料能够很好地分割出孔状结构和背景。PritimoySanyal等[6]运用分水岭算法分割不同品种番茄的SEM图像，将单个气孔和邻近气孔区分开来，能分割出清晰的边界线。M.BenHaha等[7-8]提出的阈值分割算法，对粉煤灰BSE图像进行像素级阈值分割，根据不同物相的像素值所处区间进行阈值分割，将不同阈值下的物相提取出来作为单独的二值图像，再对图像做形态学处理。该方法的缺点是，在像素差值小、纹理特征复杂的情况下，会造成较大的分割误差。R.Yang等[9]提出对粗集料图像的融合梯度特征的二值分割方法，在梯度图像的基础上进行二值化处理，再进行形态学重建操作，成功地将岩石颗粒与背景区分开；该方法的缺点是，分割不够精细，导致将不同灰度级的物相分割成了同一种物质。

总的来说，上述方法的共同不足是：分割精度不高，并且只能分割出单一物相，分割误差较大。

在材料研究者研磨试样的过程中，手工研磨会导致试样存在人为划痕，因此BSE图像会存在不规则纹理。同时，不同物相之间像素值差异小，形状不规则，采用常规的Canny算子等方法无法分割出较好的效果。尤其是晶粒上的不规则纹理，在传统的分割方法中，会因为其像素值和邻域内像素属性差异大而产生较大误差。由于LBP算子具有较强的纹理判别能力以及计算简便等特点，针对晶粒上的手工研磨增加的不规则纹理问题，采用LBP特征进行分割会减小纹理导致的分割误差。

近年来，谱聚类(SpectralClustering,SC)方法在图像分割中的应用越来越广泛，谱聚类只需对数据之间的相似度矩阵进行处理即可，而其他聚类算法多针对数据进行操作。谱聚类算法的计算复杂度小、健壮性强等特点使之成为一种优于K-means等聚类算法的聚类模型。谱聚类是一种基于图论的聚类方法，将带权无向图划分为两个或两个以上的最优子图。使子图内部尽量相似，而子图间距离较远。这样，谱聚类能够识别任意形状的样本空间且收敛于全局最优解。其基本思想是利用样本数据的相似矩阵(拉普拉斯矩阵)进行特征分解后得到的特征向量进行聚类。

文中提出融合灰度特征和纹理特征的谱聚类材料图像分割算法，并采用线检测方法消除具有方向性的划痕纹理。首先根据阈值标准改进LBP算子及包含邻域向量差的特征矢量；再利用灰度统计直方图及距离密度法选取样本点；接着融合T-LBP特征与像素灰度特征构造相似性矩阵；最后计算拉普拉斯矩阵的前K个特征值及其对应的特征向量，将特征向量组合成新的矩阵，利用K-means方法将特征向量分成多个类，并利用线检测方法抑制具有方向性的纹理噪声。

2 LBP模型

2.1 局部二值模式

LBP(Local Binary Pattern，局部二值模式)是一种用来描述图像纹理的算子。近年来，LBP算子已经广泛应用于纹理识别等领域。它最先由T. Ojala等[10-12]在1994年提出，是一种简单高效的图像纹理表示方法。其基本原理是，在中心像素邻域内，以中心像素值为阈值，比较邻域像素和中心像素的像素值差值，转化为由0和1表示的二进制字符串，以此来表示中心像素的纹理特征。

2.2 LBP特征的描述

记以像素gc为中心的p个像素的集合为Np(gc)，定义T0={gc;g0,…,gp-1}。以中心像素灰度值为阈值对Np(gc)内其他像素进行二值化处理。令

T=(s(g0-gc),s(g1-gc),…,s(gp-1-gc))

其中，gc表示中心像素的灰度值；gp∈T0表示半径为R的圆上p个点的像素值。

函数s(x)为：

可得长度为p的二进制字符串。按照从左上角顺时针旋转依次给位置为p的像素赋2p权值，将二进制字符串转化为十进制，则该值为中心像素的LBP值。定义LBP特征如下：

随着p的增加，LBP种类也随着急剧增加。在选择LBP邻域时，为了方便计算通常选择3×3邻域8个采样点。

3 图像分割中的谱聚类算法

图像分割中谱聚类算法的基本思想是[13]：将图像中的每一个像素点的空间位置、灰度值等特征作为图中的一个顶点V，根据相似性度量函数计算顶点间的相似性大小作为边E上的权值W，这样构造了一个带权无向图G=(V,E)，将图像分割问题转化为G上最优子图分割问题。具体流程如下：

(1)根据相似性函数构造相似性矩阵。

(2)根据划分准则计算拉普拉斯矩阵的前K个特征值及其对应的特征向量，将特征向量组合成新的矩阵。

(3)利用K-means方法将特征向量分成多个类。

其中，划分准则包括有规范割集准则(Normalized-cut)、比例割集准则(Ratio-cut)、最小最大割集准则(Min-Max-cut)等。其中应用最多的是规范割集准则。规范割集准则是由Shi等[14]于2000年提出。规范割集准则的优点是不仅能够衡量位于同一簇样本之间的相似程度，而且还能反映出不在同一簇样本之间的差异程度[15]。

4 图像分割

4.1 改进的T_LBP特征算子

传统的材料BSE图像分割方法大多基于图像的灰度值信息，采用像素阈值法、梯度二值化等方法。当灰度值比较接近或具有明显噪声时，仅仅使用了图像灰度信息而没有利用图像纹理特征，会导致算法对噪声敏感，分割效果不佳。

一般认为，将纹理特征作为辅助信息，对图像分割能起到促进作用。利用LBP值能很好地描述图像的纹理特征，但是无法有效地表示邻域像素与中心像素差值的差异情况。在图像分割中，当邻域像素与中心像素差值接近时，会被分割为同一区域，像素值差值较大则会被分割为不同区域。因而，采用LBP特征表示差值幅度差异性有局限性。

针对以上问题，文中按问题层次提出如下几种基于阈值的T_LBP算法(T表示阈值)。

(1)简单T_LBP算子。

在p个像素，半径为r的邻域内，当中心点邻域像素的灰度值与中心点像素值之差在某个阈值内，用0表示；超出阈值，则用1表示。具体为：

(1)

其他。

某邻域内的T_LBP生成过程如图1所示，其中T

图1 T_LBP生成过程

取10。二进制字符串为11011110，转换为十进制数222。

(2)局部灰度特征T-LBP算子。

材料图像的主要特征是：各种晶粒随机排列，无主体和背景之分，且晶粒呈块状分布，每块晶粒内部局部特征相似，因此局部特征对晶粒分割起到了至关重要的作用。针对上述改进的T_LBP算子，可利用如下局部特征数据做进一步改进：取像素点邻域内的四个点，求出四个邻域点的T_LBP特征向量v1、v2、v3、v4，构造向量差Δv表示局部特征。

(2)

其中，邻域点如图2所示。

图2 邻域点

令

其他

(3)

通过式(3)构造局部灰度特征T2_LBP算子。

(3)组合特征算子。

以f(x,y)表示像素灰度值，与上述简单T1_LBP算子和局部灰度特征T2_LBP算子相结合，共同组成局部纹理，构成纹理矢量：

BSE(x,y)=(f(x,y),V(x,y),ΔV(x,y))

令

BSE(x,y)=(α1f(x,y),α2V(x,y),α3ΔV(x,y))

(4)

其中，α1、α2、α3分别表示灰度特征、简单T1_LBP算子及局部灰度特征T2_LBP算子所占权重,并且α1+α2+α3=1。

4.2 利用灰度统计直方图及T3_LBP算子选取样本点

陶瓷材料BSE图像分辨率大都在1 024×768左右，构造的谱聚类相似性矩阵大小数量级高达238。在计算过程中会导致占用内存过大、内存溢出、耗时过长等问题。材料图像中晶粒主要呈现黑色、灰色、白色块状，在每一个小块内部，灰度值分布较为均匀，只存在部分噪声。

文中提出一种选取样本点的方法，即首先统计整个图像的灰度直方图，选出其中所占比重较大的灰度值，再选择纹理变化较小的像素作为采样点，使得选取样本点数量在30以内，相似性矩阵大小控制在100×100左右。

令G={(x,y)|x=0,1,…,n;y=0,1,…,n}，H={h1,h2,…,h256}。其中，H表示灰度统计直方图，hk表示灰度为k的像素个数，选择居于前30的hk对应的灰度k，在每个灰度下选择T2_LBPPR小的点作为采样点。

4.3 融合T_LBP特征与灰度特征构造相似性矩阵

相似性矩阵的构造是谱聚类算法的关键所在，而高斯核函数是最常用的相似性测量方法，表达式如下：

其中，W表示图像的相似性矩阵；f(xi,yi)和f(xj,yj)表示i,j处的灰度值；σ表示尺度参数。

该函数表明，当像素灰度值之间差值越小，该样本点之间的相似性越大。因此，该式适宜作为像素灰度值的相似性度量函数。

将组合特征算子T3_LBPPR引入到相似性度量中，构造如下表达式：

其中，δ为尺度参数，可手动设置。

式(5)不包含像素的空间位置关系，则采用式(6)表示样本点与其邻域m(m一般取8)个样本点之间的关系。

δi=

(6)

其中，yi表示采样点的空间位置；ai表示不同邻域点的权值。

由于邻域点到采样点的距离有远近之分，距离近的点权值应比距离远的点权值大，因此am表达式构造如下：

(7)

其中，dmj为样本点之间的欧氏距离。

该式表明，在样本点的邻域内，距离越近的点有更大的权值，对尺度参数的贡献越大。

4.4 融合T_LBP特征与灰度特征的谱聚类算法流程

(1)利用式(1)计算改进的T1_LBPPR算子，根据式(2)计算局部向量差Δv，根据式(3)计算T2_LBPPR，根据式(4)构成纹理矢量BSE(x,y)。

(2)计算图像的灰度直方图，再根据T2_LBPPR选出最佳采样点。

(3)根据式(6)和式(7)计算出尺度参数δi与δj，使用式(5)对选取的采样点构造相似性矩阵W。

(4)计算拉普拉斯矩阵的前K个特征值及其对应的特征向量。将特征向量组合成新的矩阵。

(5)利用K-means方法将特征向量分成多个类。

4.5 线检测优化处理

在陶瓷材料的研磨过程中，会出现人为的手工划痕。这些划痕是研究人员的研磨习惯造成的。观察图像可以发现，在同一幅图像中，划痕方向基本一致，粗细基本一致。因此，可采用图像分割中线检测的方法[16]检测特定方向上的线。线模板包括水平方向、45°方向、垂直方向、-45°方向等模板。利用线检测对分割的图像优化过程如下：

(1)根据上述算法聚类后的图像判断具有明显划痕的方向；

(2)选择对应线检测模板；

(3)根据线模板检测出特定方向上的划痕；

(4)确定划痕在图像中的位置；

(5)根据划痕邻域内像素的灰度值，将划痕灰度值改变为邻域内的灰度值。

5 实验与结果分析

为了验证文中方法的优越性，采用的实验平台为：Microsoft Visual Studio 2010,CPU:Phenom II X4 B97，RAM：3 GB，对材料BSE图像进行实验。分别采用阈值分割法、梯度图二值化法以及基于规范割集准则谱聚类算法和文中算法进行对比。

文中进行了以下几个实验：

(1)阈值分割法；

(2)梯度二值化法；

(3)组合特征算子α1=1，α2=0,α3=0；

(4)组合特征算子α2=1，α1=0，α3=0；

(5)组合特征算子α3=1，α1=0，α2=0；

(6)组合特征算子α1=0.8，α2=0.1，α3=0.1。

为了对实验结果进行定量分析，引入正确分类率(CCR)[17]作为各算法分割效果评估准则，其定义为：

由CCR的取值可知，CCR越高说明分割精度越准确[18]。

文中的材料图像都来源于文献[1]。图3是Mag为3.84KX的陶瓷BSE图像在各种分割算法下的比较结果。材料图像的大小为1 024×768像素。

图3 分割算法比较(1)

由图3可看出，阈值法只能分割出较少的物相，梯度二值法只能分割出黑色区域，对其他区域无分割效果；而文中算法结合了LBP特征和灰度特征，很好地将不同区域分割出来，对原图中无明显分界线的区域也有很好的分割效果。

由表1可看出，梯度二值化由于只能分割出黑色区域，正确分类率最低；阈值分割法分割出的区域较多，正确率较梯度二值化法高；而文中方法分割出的区域最多，每个区域内像素灰度值差异性较小，正确率最高。相比运行时间而言，阈值分割耗时最长，梯度二值化耗时最短，文中方法运行时间较阈值分割方法更快一些。

表1 3种算法CCR及运行时间比较

Mag为2.15KX的陶瓷BSE图像在各种分割算法下的比较见图4。实验中的图像与前文陶瓷BSE图像相比，有更明显的方向性的划痕。在此选用-45°线模板在文中算法基础上做优化处理，与阈值法、梯度二值化法和非优化处理的文中融合算法作对比。

由图4可看出，阈值法对噪声敏感，尤其是图像中接近-45°方向的划痕线；梯度二值化法只能分割出图像中的黑色区域；而文中算法未采用线模板优化处理的分割效果较阈值法区域之间的分割更明显；经-45°线模板优化算法能很好地处理图像中划痕，将其与邻域分割为同一区域。

图4 分割算法比较(2)

由表2可看出，阈值分割法比梯度二值化法分割出的区域数量多，因而正确率高于梯度二值化法。文中方法经过优化处理以及未经优化处理得到的正确率几乎一致，说明经线检测优化后，图像中-45°方向的划痕线被分割为和邻域同一区域，但是也会导致(d)中明显分割开的两个区域被融合为同一区域，且文中算法经优化处理和未经优化分割正确率远大于阈值分割和梯度二值化法。

表2 4种算法CCR及运行时间比较

6 结束语

文中在灰度特征的基础上提出了融合灰度特征和改进LBP特征的谱聚类图像分割模型，用于解决陶瓷材料BSE图像分割精度不高的问题。与已有的材料图像分割算法相比，文中算法具有抗噪性强、分割精度高、分割后区域差异性大等特点。另外，经过线检测优化处理后的图像能消除方向性的划痕线纹理，但是，线检测优化处理又会将图像中明显分割开的区域融合在一起，且谱聚类算法的样本点选取数量过少。对这两方面的改进研究是下一步的工作重点。

[1] 胡冬力，刑娟娟，郑 强,等.HfB2-SiC-HfC陶瓷相组成与相成分定量分析的对比研究[J].无机材料学报，2014，29(10)：1105-1109.

[2] 张倩倩，魏 亚.基于背散射电子图像的矿渣-水泥复合体系反应程度的定量分析[J].硅酸盐学报,2015，43(5):563-569.

[3] 康 睿，郭中华，李学丰，等.砂土颗粒SEM图像分析方法的研究[J].科技视界,2015(12)：16-18.

[4] 丁贤云，朱 煜.基于二维熵的人工鱼群材料图像分割方法[J].激光与红外,2010,40(2):210-214.

[5]YuZ，TianZ，YuZW.SEMmicroscopeimagesegmentationbasedonMarkovfieldmodels[C]//Procoffifthinternationalconferenceonimageandgraphics.[s.l.]:[s.n.],2009:177-181.

[6]PritimoyS，UjjwalB，SamirKB.AnalysisofSEMimagesofstomataofdifferenttomatocultivarsbasedonmorphologicalfeatures[C]//ProcofSecondAsiainternationalconferenceonmodelling&simulation.[s.l.]:[s.n.],2008:890-894.

[7]BenH，DeW，LothenbachB.Quantificationofthedegreeofreactionofflyash[J].CementandConcreteResearch,2010，40:1620-1629.

[8]BenH，GallucciE，GuidoumA，etal.RelationofexpansionduetoalkalisilicareactiontothedegreeofreactionmeasuredbySEMimageanalysis[J].CementandConcreteResearch,2007，37：1206-1214.

[9]YangR，BuenfeldNR.BinarysegmentationofaggregateinSEMimageanalysisofconcrete[J].CementandConcreteResearch,2001，31：437-441.

[10]TimoO，MattiP，TopiM.Multiresolutiongray-scaleandrotationinvarianttextureclassificationwithlocalbinarypatterns[J].IEEETransactionsonPatternAnalysisandMachineIntelligence，2002，24(7)：971-987.

[11]TimoO，MattiP，TopiM.Textureclassificationbymulti-predicatelocalbinarypatternoperators[C]//Procof15thinternationalconferenceonpatternrecognition.[s.l.]:[s.n.],2000:951-954.

[12]MaenpaaT，OjalaT，PietikainenM，etal.Robusttextureclassificationbysubsetsoflocalbinarypatterns[C]//Procofinternationalconferenceonpatternrecognition.[s.l.]:[s.n.],2000:947-950.

[13] 尹 芳，陈德运，吴 锐.改进的谱聚类图像分割方法[J].计算机工程与应用,2011,47(21):185-187.

[14]ShiJ,MalikJ.Normalizedcutsandimagesegmentation[J].IEEETransactionsonPatternAnalysisandMachineIntelligence,2000,22(8):888-905.

[15] 李泽明.基于路径相似度测量的谱聚类算法研究[D].重庆：重庆大学，2015.

[16] 阮秋琦，阮宇智.数字图像处理[M].第2版.北京：电子工业出版社，2010：462-463.

[17]DiplarosA，VlassisN，GeversT.AspatiallyconstrainedgenerativemodelandanEMalgorithmforimagesegmentation[J].IEEETransactionsonNeuralNetworks，2007,18(3):798-808.

[18] 刘金尧,纪则轩.鲁棒空间约束的模糊聚类图像分割[J].中国图象图形学报,2014，19(10)：1438-1448.

Material Image Segmentation Combined LBP Texture and Local Gray Level Feature

ZHAO Zhao1,DING Guang-tai1,2,FAN Ming-lei1,ZHANG Hui-ran1,2,WANG Lu1,CHEN Lin3

(1.School of Computer Engineering and Science,Shanghai University,Shanghai 200444,China;2.Shanghai Institute of Materials Genome,Shanghai 200444,China;3.Information Management Center,Shanghai Finance University,Shanghai 201209,China)

To improve precision of material image segmentation,based on spectral clustering method,a set of new algorithms combined local gray level features with Local Binary Patterns (LBP) are proposed.Considering that the LBP operator cannot efficiently distinguish the difference of gray magnitude of pixels in the neighborhoods,several threshold-LBP (T-LBP)operatorsareproposedtoshowthechangeofimagepixels.Thedifferenceofneighborhoodvectorisconstructedtodescribethelocalfeatures,selectingsamplepointsbygraylevelhistogram,establishingthesimilaritymatrixbycombinationofT-LBPfeatures,grayfeaturesofpixelandlocalfeatures,conductingtheimagesegmentationbyspectralclusteringalgorithm,andconstrainingthetexturenoisewithdirectionbylinerdetection.Theexperimentforceramicmaterialimageandsyntheticimageshowsthatthealgorithmhashighsegmentationprecision,strongnoiseresistance,andwellcorrectclassificationrate.Theproposedalgorithmbreaksthroughthedrawbacksandimprovestheaccuracyofmaterialimagesegmentation,whichisappropriateforvariousareasandcomplextextureofmaterialimages.Thecomparisonamongtheproposedalgorithmandotheralgorithmdemonstratestheeffectivenessoftheformer.

image segmentation;T-LBP;spectralclusteringalgorithm;graylevel;linedetection

2016-01-04

2016-05-11

时间：2016-09-19

上海市政府科研计划项目(14DZ2261200)

赵 曌(1991-)，女，硕士研究生，研究方向为数字图像处理;丁广太，副教授，研究方向为数字图像处理。

http://www.cnki.net/kcms/detail/61.1450.TP.20160919.0841.034.html

TP

A

1673-629X(2016)10-0011-06

10.3969/j.issn.1673-629X.2016.10.003