基于多尺度结构特征融合的纹理图像识别

王军敏，宁超魁

(平顶山学院 信息工程学院，河南 平顶山 467036)

0 引言

纹理特征是一种重要的、普遍存在的视觉特征，它能够很好地描述目标的表面属性.纹理图像具有如下特点：1)在纹理图像中存在某种基本的视觉感知单元，即纹理基元；2)纹理基元的出现具有重复性.所以，纹理图像的核心特征就是纹理基元的存在性和重复性，不同的纹理基元和排列规则形成了千差万别的纹理图像，这也使得对纹理基元形态及其重复性的检测成为纹理图像识别的核心研究内容[1-2].

对纹理图像识别的研究一直是人工智能领域的研究热点，其研究成果已经在人类的生产生活中获得了广泛应用.但由于纹理图像中所蕴含的纹理模式具有极大的多样性和复杂性，并且在现实场景中纹理图像可能受到光照条件、目标旋转、尺度变化等因素的影响，这使得纹理图像识别成为一项具有挑战性的任务.

1 相关工作

目前，研究人员已经提出了多种纹理图像识别方法，例如，GLCM方法[3]、Gabor滤波方法[4]、VZ-MR8方法[5]、VZ-Joint方法[6]、局部二值模式(Local Binary Pattern,LBP)方法[7]等.

20世纪70年代，Haralick提出了GLCM方法来实现纹理图像的特征提取和识别.因为纹理图像是由灰度分布在空间位置上反复出现而形成的，所以，GLCM方法通过检测灰度的空间共生性来描述纹理图像的特征.GLCM方法首先对距离d和方向θ上不同灰度等级的像素对出现的次数进行统计来构造GLCM矩阵，然后利用GLCM矩阵计算一组特征量来描述纹理图像的特征.不同的距离d和方向θ对应不同的GLCM矩阵和特征量，从而能够捕获纹理图像在不同距离和不同方向上的灰度共生性质.图1展示了当选择距离d=1，方向θ=0°时根据输入图像计算GLCM矩阵的基本原理.

图1 计算GLCM矩阵的基本原理

为了提取纹理图像的局部特征，Zhao等提出了CLBC方法[8]，该方法计算局部邻域像素与中心像素灰度差的符号信息CLBC_S、幅值信息CLBC_M和中心像素的灰度等级信息CLBC_C，其计算公式为

2 本文方法

现有的纹理图像识别方法重点研究纹理基元的尺寸、形状等局部特征，但这些方法不能有效描述纹理基元在整幅图像中的排列和分布规律，无法获得从整体到局部的多尺度结构特征，从而导致这些方法的识别能力受到限制.为了解决上述问题，笔者提出一种从全局到局部的多尺度结构特征融合方法，同时捕获纹理基元的局部形态特征和全局分布规律.

图3展示了本文方法提取多尺度结构特征并进行纹理图像识别的基本原理，对输入的原始纹理图像，一方面利用CLBC方法捕获纹理基元的形态特征，另一方面利用GLCM方法捕获纹理基元的分布规律，最后通过NSC分类器实现多尺度GLCM特征和CLBC特征的融合和分类，获得输入纹理图像的类别标签.

2.1 提取多尺度GLCM特征

在本文方法中，主要利用GLCM特征描述纹理图像在全局的结构信息，即体现纹理基元在整幅图像中的分布规律和排列规则.图4展示了本文方法提取多尺度GLCM特征的原理，具体实现步骤如下所述.

图4 本文方法提取多尺度GLCM特征的基本原理

1)构建纹理图像的多尺度空间.为了捕获多尺度的GLCM特征，首先对输入的原始纹理图像进行多次采样来构建图像多尺度空间，所生成的图像多尺度空间一共包含4幅图像，即原始的纹理图像及其1/2、1/4和1/16尺寸的图像.

2)计算GLCM矩阵及其特征量.为了捕获全局的结构信息，在计算GLCM矩阵时选择较大的距离d为10和20，方向选择θ为0°、45°、90°、135°，然后利用GLCM矩阵计算4个特征量(对比度、相关性、能量、均匀性).

3)对多尺度空间中的每幅图像，分别计算距离d为10和20对应4个特征量的均值和标准差并进行级联，将其作为多尺度空间中每幅图像的特征向量.

4)对多尺度空间中4幅图像的特征向量按列取最大值，获得一个尺度稳健的GLCM特征向量，将其作为最终的多尺度GLCM特征描述.

2.2 提取多尺度CLBC特征

在本文方法中，主要利用CLBC特征描述纹理图像的局部结构信息，即体现纹理基元的局部尺寸和形态特征，它与多尺度GLCM特征所描述的纹理基元分布规律形成互补.图5展示了本文方法提取多尺度CLBC特征的基本原理，具体实现步骤如下所述.

图5 本文方法提取多尺度CLBC特征的基本原理

1)构建纹理图像的多尺度空间.为了捕获多尺度的CLBC特征，首先对输入的原始纹理图像进行多次高斯滤波来构建图像多尺度空间，所生成的图像多尺度空间一共包含3幅图像，即原始的纹理图像及两次高斯滤波后的图像.其中，高斯滤波器的标准差σ=1.7，滤波器的窗口尺寸为11×11像素.

2)计算CLBC联合直方图特征.选择一个半径R和邻域点个数P，对多尺度空间中的每幅图像分别计算CLBC_SMC联合直方图，并将其转换成行向量形式，即获得每幅图像的CLBC模式特征向量.

3)对3个CLBC_SMC模式特征向量按列(模式)取最大值，获得一个尺度稳健的特征向量.

4)改变参数(P,R)的值，分别选择R=[1,5,9]，P=[8,16,24]，重复第2)～3)步提取多个半径R对应的尺度稳健特征向量，并将这些特征向量进行级联，将其作为最终的多尺度CLBC特征描述.

2.3 特征融合与图像识别

多尺度GLCM特征体现纹理图像的全局结构信息和纹理基元的分布规律，多尺度CLBC特征体现纹理图像的局部结构信息和纹理基元的尺寸形态，两者对纹理图像识别都具有重要的作用.因此，为了充分利用多尺度的GLCM特征和CLBC特征，笔者利用NSC分类器实现多尺度GLCM特征和CLBC特征的融合并判定输入纹理图像的类别.具体实现过程如下所述.

在NSC分类器[9]中，每类全部训练样本的特征张成该类的一个特征子空间，如式(1)和(2)所示：

HGLCM=[hGLCM,1,hGLCM,2,…,hGLCM,n]，

(1)

HCLBC=[hCLBC,1,hCLBC,2,…,hCLBC,n].

(2)

其中，hGLCM,i和hCLBC,i分别表示第i个训练样本的多尺度GLCM特征列向量和CLBC特征列向量，n为每类的训练样本个数.

然后，分别计算输入纹理图像y在每类特征子空间中的投影残差，即

接着，利用加权求和的方法将投影残差errGLCM和errCLBC进行特征融合，即

errf=w·errGLCM+(1-w)·errCLBC,0≤w≤1.

其中，加权系数w的值可以通过实验来确定，笔者选择w=0.8.

最后，计算输入纹理图像y在所有类别的投影残差，并将投影残差最小的那个类别作为输入纹理图像y所属的类别，即

3 实验与结果分析

3.1 纹理数据库和实验设置

为了评估笔者提出的纹理图像识别方法的性能，选择在两个基准的KTH-TIPS和UIUC纹理库上开展实验.其中，KTH-TIPS纹理库包含10类纹理，每类81个样本，该纹理库含有复杂的照明条件、拍摄视角和尺度变化，给纹理图像识别带来了很大的挑战，图6展示了KTH-TIPS纹理库的一些样本图像.UIUC纹理库包含25类纹理，每类40个样本，该纹理库的样本数量少，并且具有显著的视角、尺度变化和表面非刚性形变，图7展示了UIUC纹理库的一些样本图像.

图6 KTH-TIPS纹理库的尺度变化

图7 UIUC纹理库的视角、尺度变化和非刚性形变

实验设置：从KTH-TIPS和UIUC纹理库各随机挑选一半样本用于训练，剩下的一半样本用于测试；为了获得稳定的结果，独立重复实验100次，用这100次实验结果的平均值作为最终的结果.

实验的软硬件平台：计算机(i5-4440 CPU @ 3.10 GHz,16 GB RAM)，MATLAB R2016b软件.

3.2 识别精度对比

识别精度是评价一种纹理图像识别方法最重要的指标.为了对本文方法的识别精度进行评估，选择在基准的KTH-TIPS和UIUC纹理库上开展实验，并将本文方法的识别精度与其他一些方法的识别精度进行对比，结果如表1所示.

表1 本文方法与其他方法的识别精度对比 单位：%

从表1的结果对比可以看出，笔者提出的方法在基准的KTH-TIPS和UIUC纹理库上都获得了最高的识别精度，分别为99.51%和99.22%，都超过了其他方法的识别精度，这表明笔者提出的方法能够有效捕获纹理图像从全局到局部的多尺度结构信息，所提取的纹理特征具有更好的鉴别能力，从而在纹理图像识别任务中具有更好的性能.

4 结论

笔者提出一种多尺度结构特征融合的纹理图像识别方法，该方法首先构造纹理图像的多尺度空间来模拟纹理图像的尺度变化，然后在多尺度空间中利用CLBC方法提取局部结构信息和纹理基元的形态特征，利用GLCM方法提取全局结构信息和纹理基元的分布特征，最后利用NSC分类器实现多尺度GLCM特征和CLBC特征的融合并实现纹理图像识别.笔者提出的方法在基准的KTH-TIPS和UIUC纹理库上分别取得了99.51%和 99.22% 的识别精度，具有良好的应用前景.