基于纹理特征匹配的快速目标分割方法

陈宁，杨永全

（西安工程大学计算机科学学院，陕西西安710048）

基于纹理特征匹配的快速目标分割方法

陈宁，杨永全

（西安工程大学计算机科学学院，陕西西安710048）

目标分割方法是工业自动化、在线产品检验、生产过程控制等领域的关键技术之一。基于特征匹配策略，研究了如何增强纹理特征的区分能力以及如何快速分割特定的目标。在纹理特征提取方面，首先通过形态学处理获取图像细节信息，然后对细节信息进行过滤进而得到鲁棒的局部信息，最后融合局部二值模式用于增强特征的区分能力。在目标分割方面，基于纹理特征和变化分解窗口框架，根据目标窗口和待定目标窗口间的特征距离分等级的变化分解窗口的尺度，从而快速定位到目标。最后，在纹理数据集上验证了方法的有效性。

纹理特征提取；局部二值模式；特征融合；目标分割

目标分割方法广泛的应用于工业自动化、在线产品检验、生产过程控制等领域。纹理以其对物体表面的粗糙性、方向性和规则性等视觉特征明显的反映，是基于特征匹配的目标分割方法中的重要特征之一。

局部二值模式[1]（local binary pattern，LBP）纹理特征提取方法，近年来一直是研究的热点，在图像分割[2-4]、人脸识别[5-8]、纹理分类[9-10]、图像检索[11-12]等领域得到广泛应用。在过去的十几年中各国研究学者提出了多种LBP改进方法。Guo[13]等人提出完整局部二值模式（Completed LBP，CLBP），在基本LBP算子的基础上增加了局部梯度二值模式和局部灰度二值模式两种算子，通过对3种算子进行联合特征统计得到了较好的纹理分类效果。刘[14]等人对CLBP进一步发展，提出了灰度梯度差异描述算子，更加精细的描述了图像局部纹理。S[15]等人提出一种尺度和方向自适应的LBP，提高了对纹理在尺度和方向变化场景下的分类准确率。不同于局部原始灰度值对比方法，L[16]等人采用局部灰度中值对比方法来计算二值模式，在基准测试[17]中取得了高水平的效果。尽管LBP本身对光照线性变化具有一定的鲁棒性且目前也有众多的改进方案，然而当光照非线性变化导致背景不均时，这些方法的分类能力往往会被降低。

基于纹理特征匹配的目标分割的经典方法将图像分解成固定尺度像素的子窗口。通过提取每个子窗口的纹理特征，然后将每个子窗口和目标窗口的特征进行匹配，如果特征距离在设定的阈值范围内则认为该子窗口是目标。该方法难于确定分解窗口的尺度，且易于出现目标漏检及误检。变化分解窗口的方法的提出，很好的克服了经典方法中的窗口漏检及误检的问题，然而分解窗口以固定尺度变化造成了算法时间效率低。

为此，本文在纹理特征提取方面通过形态学处理融合LBP算子来增强特征的区分能力。在目标分割方面采用分等级的变化分解窗口的尺度来提高时间效率。

1 纹理特征提取

基本LBP算子通过对比像素点与其领域像素点的灰度值的差异性来描述局部纹理

其中，g为像素灰度值，c为中心下标，p为邻域下标，P表示邻域像素点数目，R表示圆形邻域的半径。通过不断旋转邻域二值序列并取最小值作为中心点的LBP响应，进而提取到具有旋转不变的特征，表达式为

其中ROR（x）表示对x进行循环移位。为了获取更具统计意义的特征直方图，将二进制位串视为循环，如果其中从0到1或者从1到0的转变不多于两个，则称该二值串为均匀模式。在特征直方图统计过程中，只为均匀模式分配独立的收集箱，而所有的非均匀模式都放入一个公用收集箱，使得LBP特征模式大大减少而不至于得到一个稀疏的统计直方图。进一步的，结合旋转不变和均匀模式有:

这样不仅提取到具有旋转不变性的特征而且同时减少了特征模式。

然而，当因光照非线性变化而导致图像灰度梯度分布不均匀时，即相比于图像的大部分区域，小部分区域变化幅度剧烈时，LBP及其变种就显现出了它的局限性，容易丢失图像局部细节信息。为了保留这些具有较强区分能力的细节信息，首先通过顶帽变换获取图像f的细节分量h。顶帽变换是形态学处理的重要应用之一，f的顶帽变换h定义为f与f的灰度开运算之差，表达式为

其中b为开运算模板。经过顶帽变换变换后得到的分量h便获取到原图像在特定形态下的细节信息。其次，通过局部二值化的方式对h进行过滤

其中S取值为图像宽度的八分之一，t的取值为15。最后，对h2进行LBP特征提取（detailed LBP，DLBP）

并对图像f进行LBP特征提取

二值化h的原因在于，LBP本身对不均匀背景具有一定的鲁棒性，因此使用未二值化的h而得到的DLBP的特征统计直方图与原图像f的LBP的特征统计直方图在标准化后会具有一定的相似度，进而导致出现特征冗余。通过（5）对h进行二值化，即对细节信息进一步过滤，会使得DLBP能够提取到图像更为鲁棒的局部细节，并减少了DLBP与LBP之间的统计相似度以及避免了出现特征冗余，有利于对DLBP和LBP进行特征联合统计（Union，U）

这样，U在保持原图像LBP特征信息的同时也融入了具有较强区分能力的图像局部细节信息，进而能够提高分类能力。更一般的，U可以推广到LBP特征的其他变种，如 CLBP[11]、ICLBP[12]、MRELBP[14]等。

2 快速目标分割

分等级变化主窗口尺度的思想是:当距离小于设定阈值时具有最高等级；当距离大于设定阈值时，差异越大等级越低；等级越低，变化尺度d越大反之则越小；变化主窗口时优先选择高等级下的像素尺度d对主窗口进行减小。快速目标分割方法描述如下:

1）确定主窗口（MW）。

2）用MW尺度生成尽可能多的窗口（window）。

3）For each window。

①用U（DLBP，LBP）计算窗口纹理特征直方图；

②计算窗口特征直方图和目标特征直方图的距离量距离Dis；

③如果Dis小于设定的阈值λ，则保存该窗口的坐标和其特征直方图到一个向量V中，MW变化等级最高；如果Dis大于等于设定的阈值λ，差异越大MW变化等级越低；MW变化等级越低，MW减小的尺度d越大。

5）优先考虑使用较高等级下的尺度d减小MW。

6）如果MW的大小小于设定的最小窗口大小μ，标记保存的那些窗口后退出程序。

7）否则跳转到3）。

快速目标分割方法的框架图如图1所示，每一循环中主窗口的尺度减小d并且生成和新主窗口尺度相同的一些窗口。主窗口减小的尺度d是由当前循环层中所确定的MW变化等级决定。通过有效的利用当前子窗口与目标纹理之间的相似度信息分等级的变化分解窗口的尺度，进而能够快速的定位到目标，提高算法的时间效率。

图1 目标分割框架图

3 实验与分析

在Outex和CURet数据集上，对比了不同特征提取方法 LBP[1]、CLBP[13]、ICLBP[14]、MRELBP[15]以及本文方法U的分类准确率。Outex数据集由24类不同纹理图像，采用9种不同的旋转角度及3种不同光照拍摄得到。鉴于篇幅有限，在其中的TC11和TC12图像集上进行了分类实验。分类结果见表1，其中TC12下的“t”和“h”分别代表测试数据光照条件为“t184”和“horizon”。

CURet数据集中包含61种类别的自然纹理图，每种类别含有在不同光照强度以及不同角度下拍摄得到的205幅图像。实验中，将每个类别中92幅拍摄角度小于60°的图像转换为灰度图像，选取其中N幅图像作为训练样本，剩余图像作为测试样本进行分类实验，实验重复200次后求取均值，分类结果见表2。

表1 Outex数据库的分类准确率

表2 CURet数据库的分类准确率

表1中LBP的平均分类准确率仅为72.29，而通过融合DLBP和LBP的U（DLBP，LBP）则取得了超过85.36的平均分类准确率，有了大幅度的提高。但U（DLBP，LBP）相比于CLBP、ICLBP及MRELBP方法，分类效果仍然逊色不少。然而融合DLBP的U（DLBP，CLBP）、U（DLBP，ICLBP）以 及 U（DLBP，REMLBP）却又小幅度的提高了对应方法的平均分类准确率。在表2中，随着训练样本N的增大，各特征提取算法的分类准确率均不断提高。通过为不同方法融入DLBP，表2基本保持了表1中的规律，提高了各方法的分类能力。在两大数据集上的比较实验验证了本文通过为特征统计中融入具有区分能力的图像细节信息是的有效性。

为了评价分等级变化窗口算法的时间效率，本文从Outex数据库24种中随机选择6种纹理，用其中的2到5种不同纹理合成测试图像，如图2（a）所示。测试时，首先选择一种纹理作为目标，然后基于特征匹配策略从测试图像中分割出该目标纹理，分割结果如图5（b）所示。

图2 测试图像及分割结果示例

随机选择的6种纹理可以分别合成包含2到5种纹理的测试图像30、120、360及720幅。分割准确率定义为分割区域与目标区域的交集面积和它们的并集面积之间的比值。由于篇幅有限，本文仅给出6次随机选择纹理下不同分割方法的分割结果，平均分割准确率及平均时间效率则是在重复试验100次后求取均值，如表3所示。

表3 不同分割算法的准确率和时间效率

从表3中可以看出，尽管固定分解窗口方法时间效率很高，但是因存在漏检及误检的情况而获得了较低的分割准确率。变化分解窗口方法从不同尺度下对目标进行了定位，因此取得了比固定分解窗口方法更好的分割精度。然而，以固定尺度变化分解窗口的策略导致产生的子窗口数量巨大，算法时间效率低。本文通过继承变化分解窗口方法的优点，进而获得了较好的分割精度，仅略低于变化分解窗口方法。然而，本文方法通过有效利用当前子窗口与目标纹理之间的距离信息分等级的变化分解窗口的尺度，进而获得了更好的时间效率。

4 结论

首先，本文针对LBP对非线性光照变化分类能力降低的问题，利用形态学处理获取图像细节信息，进一步通过对细节信息过滤得到鲁棒的图像局部信息进而用于提高特征分类能力。更一般的，该方法可以推广到其他LBP变种。其次，基于纹理特征和变化分解窗口框架，本文利用目标纹理特征与待定纹理特征间的距离信息分等级的变化分解窗口有效的提高了目标分割的时间效率。最后，一系列实验证实本文方法准确率高且速度快，具有一定的应用价值。

[1]Ojala T.Multi-resolution gray-scale and rotation invariant texture classification with local binary patterns[J].IEEE Transactions on Pattern Analysis and Machine Intelligence，2002，24（7）:971-987.

[2]Choi I，KimA D.Variety of local structure patterns and their hybridization for accurate eye detection[J].Pattern Recognition，2017（61）:417-432.

[3]Petranek K，Janecka P，Vanek J.Using local binary patterns for object detection in images[J].Toxicology Letters，2015，5（1）:S320-S320.

[4]Jia X，Yang X，Cao K.Multi-scale local binary pattern with filters for spoof fingerprint detection[J].Information Sciences，2014，268（6）:91-102.

[5]Liu L，Fieguth P，Zhao G.Extended local binary patterns for face recognition[J].Information Sciences，2016，s358-359（C）:56-72.

[6]Li J，Sang N，Gao C.Face recognition with riesz binary pattern[J].Digital Signal Processing，2016（51）:196-201.

[7]Zhang Z，Zhang W，Liu J.Hierarchical facial landmark localization via cascaded random binary patterns[J].Pattern Recognition，2015，48（4）:1277-1288.

[8]RenS，Cao X，Wei Y.Face alignment at 3000 FPS via regressing localbinary features[J].IEEE Transactions on Image Processing，2014，25（3）:1685-1692.

[9]Hafiane A，Palaniappan K，Seetharaman G.Joint adaptive median binary patterns for texture classification[J].Pattern Recognition，2014，48（8）:2609-2620.

[10]Hegenbart S，Uhl A.A scale-and orientation-adaptive extension of local binary patterns for texture classification[J].Pattern Recognition，2015，25（8）:2633-2644.

[11]Dubey SR，Singh SK，Singh RK.Multichannel decoded local binary patterns for content based image retrieval[J].IEEE Transactions on Image Processing，2016，25（9）:4018-4032.

[12]Cao Z，Dong E.Distinctive local binary pattern for non- rigid registration of lung computed tomography images[J].Electronics Letters，2015，51（22）:1742-1744.

[13]Guo Z，Zhang L，Zhang D.A completed modeling oflocalbinary pattern operator for texture classification[J].IEEE Transactions on Image Processing，2010，6（19）:1657-1663.

[14]刘豪，杨永全，郭仙草，等.用于纹理特征提取的改进的LBP算法[J].计算机工程与应用，2014，50（6）:182-185.

[15]Hegenbart S，Uhl A.A scale-and orientationadaptive extension of local binary patterns for texture classification[J].Pattern Recognition，2015，25（8）:2633-2644.

[16]Liu L，Lao S，Fieguth PW.Median robust extended local binary pattern for texture classification[J].IEEE Transactions on Image Processing，2016，25（3）:1368-1381.

[17]Liu L，Fieguth P，Guo Y.Local binary features for texture classification:Taxonomy and experimental study[J].Pattern Recognition，2016（62）:135-160.

Fast object segmentation based on texture matching

CHEN Ning，YANG Yong-quan
（School of Computer Science，Xi’an Polytechnic University，Xi’an710048，China）

Target segmentation is widely applied to automated areas.Based on feature matching strategy，we focus on extraction of discriminative feature and fast segmentation of target.To extract more discriminative feature，we propose to fuse detailed information of image obtained from morphological processing with local binary pattern.To efficiently locate the target，we propose to change the size of decomposing widow in a rated way，according to feature distance between the target and the candidate window.Experiments demonstrate that our method achieves better performance.

texture extraction；local binary pattern；feature fusion；object segmentation

TP311

A

1674-6236（2017）23-0039-04

2016-11-11稿件编号：201611088

西安工程大学研究生创新基金（CX201622）

陈宁（1970—），男，河南荥阳人，博士，副教授。研究方向：智能信息处理、模式识别。