基于四元数Gabor滤波的彩色纹理特征提取*

孟 勃，王晓霖，李东威

(1.东北电力大学信息工程学院，吉林 吉林 132012;2.中国石油天然气股份有限公司吉林石化公司铁路运输部车辆车间，吉林 吉林 132012)

1 引言

图像纹理特征是图像处理研究的热点之一，是人脸识别、图像分类、图像分割和图像增强等热点问题的基础。提取的纹理特征质量直接影响到分割效果和分类结果。纹理特征是图像处理重要而又难以描述的特征，时至今日，图像纹理特征仍然没有一个公认的、严格的定义。

现有的纹理特征提取方法主要包括统计方法、模型方法、信号处理方法和结构方法[1]，其中信号处理方法中的Gabor滤波器可以提取多尺度多方向的纹理特征。成熟的纹理特征提取方法仅仅停留在对灰度图像的纹理特征提取。

早期的图像纹理特征的研究者Hawkins[2]提出难以定义“纹理的确切概念”。Tamura等人[3]根据人类视觉对纹理特征的感知提出了粗糙度(Coarseness)、对比度(Contrast)、方向度(Directionality)、直线度(Linearity)、规则度(Regularity)和粗细度(Roughness)六个纹理特征。其中，粗糙度、对比度和方向度是图像分类和图像分割中重要的纹理特征。根据其中一种特征或三个特征的结合用于图像分割和图像分类。Shi等人[4]提出了一种采用四元数分割图像的算法。为了操作大量的训练集，将四元数主成分分析(Quaternion Principal Component Analysis)扩展为增量四元数主成分分析(Incremental Quaternion Principal Component Analysis)，更加有利于提取纹理特征。最终通过欧氏距离和区域相似性合并达到纹理分割的目的。该方法在利用增量四元数主成分分析算法时不可避免地会丢失图像的一些纹理信息，并且对于训练集的要求较高。

Mehta等人[5]提出了主导旋转二值模式DRLBP(Dominant Rotated Local Binary Patterns)，在保留全局信息的同时，又增加了旋转不变性元素，实现对纹理图像的分类。Li等人[6]使用Gabor滤波对图像进行了分解，利用高斯连接模型连接尺度、方向和彩色通道之间的相关性，将K-L距离KLD(Kullback-Leibler Distances)作为两个连接模型的相似度量，最终达到计算复杂度低、检索率高的效果。

Yoo等人[7]将图像分为结构和纹理两个区域。利用结构提取算法提取出图像中的结构区域。用原图像减去结构区域，得到图像的纹理区域。利用提出的纹理合成方法和双三次插值算法对纹理层进行处理，最终得到高分辨率纹理层的高频部分，将得到的结果和Single-image super-resolution方法相结合得到最终的纹理增强图像。

彩色图像三个通道之间存在紧密的光谱联系，所以在研究彩色图像处理技术时应当考虑各颜色通道数据之间的内在联系[8]。四元数可用于表征彩色图像通道间的结构信息，四元数的三个虚部分别表示彩色图像的三基色分量。Guo等人[9]提出四元数傅里叶-梅林矩并构建了彩色图像的相似不变量，利用四元数傅里叶-梅林矩识别仿射变换后的图像。马瑜等人[10]提出采用简约双四元数的彩色纹理分割算法，但是并没有提取出具彩色纹理的特征图像。

本文结合四元数整体表示彩色图像和Gabor滤波多尺度多方向的特点，提出四元数Gabor滤波及四元数Gabor滤波卷积算法提取图像多尺度、多方向的彩色纹理特征。

本文的创新点在于可以提取多尺度、多方向和多通道的纹理特征，不同于一般处理灰色图像的方法，四元数Gabor滤波卷积算法根据四元数乘法原理整体处理彩色图像，所提取的特征图像和传统Gabor方法和LBP方法相比具有更高的相似度。

2 相关研究

2.1 四元数理论

四元数由Hamilton在1843年提出，是由一个实部和三个虚部四部分组成的超复数[11]。表示为：

q=qr+qi·i+qj·j+qk·k

(1)

有如下运算法则：

i2+j2+k2=-1,i·j=k,j·k=i,j·i=-k,k·j=-i,i·k=-j。

若四元数的实部为0，则称该四元数为纯四元数。四元数的共轭为：

(2)

四元数的范数为:

(3)

如果纯四元数q的范数为1，则称q为单位纯四元数。设单位纯四元数为μ，则四元数欧拉公式可以表示为：

eμ θ=cosθ+μsinθ

(4)

四元数q=s+xi+yj+zk可以表示为q=[s,v],其中v=xi+yj+zk，则两个四元数相乘可以表示为：qaqb=[sa,va][sb,vb]。

令qc=[sc,vc]=qaqb，则qc=[sasb-va·vb,savb+sbva+va×vb]，四元数乘法不满足乘法交换律。

彩色图像的四元数表示普遍采用Pei等人[12]提出的方法：四元数的实部为0，用三个虚部分别代表彩色图像中的红、绿、蓝分量，这时将一幅彩色图像表示为：

f(x,y)=fR(x,y)·i+

fG(x,y)·j+fB(x,y)·k

(5)

其中,fR(x,y)表示图像的R通道，fG(x,y)表示图像的G通道，fB(x,y)表示图像的B通道。

四元数表示彩色图像的优势在于其可以整体表示彩色图像。相对于将图像转化为灰度图或者分通道表示，利用四元数表示的彩色图像具有丰富的颜色信息和通道间信息，并具有仿射不变性等特性。

2.2 Gabor滤波器

Gabor滤波器是一种线性滤波器，其基函数具有与人类视觉基元类似的性质。2-D Gabor滤波器是Gabor函数通过尺度伸缩和旋转生成的一组可以调节通道方向、带通频率和通道中心频率的一组复函数系。其基本波形类似于哺乳动物视觉系统的感受面波形，可以很好地模拟人类视觉皮层细胞。图1中显示空白Gabor滤波在5个尺度和8个方向上的滤波器模型。一种常用的Gabor滤波器如式(6)所示[13]：

(6)

Figure 1 2-D Gabor filter with five scales in eight directions图1 5个尺度8个方向的二维Gabor滤波

3 四元数Gabor滤波

Gabor滤波器在图像纹理特征提取中的优势在于多尺度和多方向。多尺度、多方向的Gabor滤波器构成一个Gabor滤波器组，每个Gabor滤波器只允许图像中与其频率相对应的纹理顺利通过。本文提出的四元数Gabor滤波器综合了四元数整体处理彩色图像的特点和Gabor滤波器可提取多尺度、多方向纹理特征的优势，表达式如下：

(7)

(8)

进而：

(9)

展开可得：

(10)

3.1 四元数Gabor滤波卷积算法

使用四元数Gabor滤波卷积一张彩色图像时，根据四元数乘法，本文提出的卷积算法示意图如图2所示。

Figure 2 Quaternion Gabor convolution 图2 四元数Gabor卷积图解

两个四元数相乘，qc=qaqb=[sa,va][sb,vb],设qb为待处理图像(四元数乘法不满足交换律，本文以四元数乘法的一种顺序说明该卷积算法)。

qc=[sasb-va·vb,sava+sbva+va×vb]，由于四元数域用纯四元数表示彩色图像，其实部为0，所以，qb=[0,vb],qc=[-va·vb,savb+va×vb]。

四元数Gabor滤波的卷积算法步骤如下所示：

(1)设Gi为四元数Gabor虚部生成的大小为35*35(设v=1)的算子[15]，Ii(M*N)为四元数彩色图像三基色分量构成的M*N*3维的矩阵。

C=Gi⊗Ii

(11)

(2)设Gr为四元数Gabor实部生成的大小为35*35的算子，在三个通道分别对图像进行卷积操作，即:

C1=Gr⊗Ii

(12)

(3)根据公式qc=[-va·vb,savb+va×vb]，在一副图像上，对于每个像素进行以下运算:

C2=gi×pi

(13)

其中，“×”表示两个向量坐标叉乘，gi表示Gi中的最大值，pi是由一个像素点的三基色分量构成的三维向量，则C2为：

(4)最终得到的彩色纹理特征图像为F=C*(C1+C2)。

3.2 特征提取方法

本文提出的彩色图像特征提取方法如图3所示，具体步骤为:

步骤1输入一张图像，利用四元数Gabor滤波及四元数Gabor卷积算法得到5个尺度和8个方向的特征图像。

步骤2对所有的特征图像和原图像求出Tamura纹理特征并使用欧氏距离进行相似度测量得到和原图像Tamura最接近的3张特征图像。

步骤3验证步骤2中得到的3张特征图像尺度和方向均不相同，满足则执行步骤4，否则转步骤2。

步骤4得到相似度最高的3张特征图像，每一张图像提取出各通道的Tamura特征，得到一个12维的特征向量。

Figure 3 Image feature extraction图3 提取图像特征

4 Tamura纹理特征

Tamura纹理特征广泛应用于图像检索和图像分类，其中使用最多的是粗糙度、对比度和方向度三个特征。

四元数Gabor提取多尺度多方向的彩色纹理特征图像，利用不同尺度、不同方向的特征图像，提取出每幅特征图像的Tamura特征用于图像分类和图像分割。

4.1 粗糙度计算

粗糙度是纹理特征的基本特征之一，是纹理分类的重要依据。用数学方法对粗糙度进行准确的描述及分析极为重要。

粗糙度的计算步骤如下：

(1)计算图像中每个像素点以2k为邻域的窗口内的平均灰度值，即：

(14)

其中,k=1,2,3,4,5,…，g(x,y)是图像在(x,y)的灰度值。

(2)计算每个像素点在水平和垂直方向上不重叠窗口间的平均灰度值差，即：

Ek,h(x,y)=|Ak(x+2k-1,y)-Ak(x-2k-1,y)|

(15)

Ek,v(x,y)=|Ak(x,y+2k-1)-Ak(x,y-2k-1)|

(16)

(3)对于每一个像素点，计算水平方向和竖直方向Ek的最大值，作为该点的取值，记为Sbest(x,y)。

(4)计算整张图像Sbest(x,y)的均值，即为整张图像的粗糙度，即：

(17)

其中,m和n分别为图像水平方向像素总数和竖直方向像素总数。

4.2 对比度计算

对比度反映图像灰度级差异的大小，像素之间的灰度级差异越大，对比度越强；像素之间的灰度级差异越小，对比度越弱。在数字图像处理中，通过改变图像的灰度范围来改变图像的对比度。在Tamura纹理特征中，计算对比度的表达式为：

(18)

其中，σ是图像的标准差，α4=μ4/σ4,μ4是图像的四阶矩，n可取8,4,2,1,1/2,1/4或1/8，一般选择1/4。

4.3 方向度计算

方向度是图像的一种全局属性，包括元素的形状和分布规则。计算方向度的核心是建立方向角局部边缘概率直方图。计算方向度的步骤如下：

(1)计算图像每个像素的梯度向量，其模和方向有如下定义：

|ΔG|=(|ΔH|+|ΔV|)

(19)

θ=tan-1(ΔV/ΔH)+π/2

(20)

其中，ΔH,ΔV可以通过水平和竖直方向的Prewitt算子计算得到。

通过计算梯度统计直方图的峰值来计算方向度。如果存在多峰值的情况，常用的方法就是对波谷与波谷之间的峰值做二阶矩求和。图像的方向度可以通过以下公式求得：

(21)

5 实验结果及分析

实验分为两部分，第一部分是针对5种不同类型的纹理进行特征提取，并分析四元数Gabor提取纹理特征时的特点；第二部分是利用提出的算法在Outex-10数据库上进行特征提取实验，实验表明所提取的特征分布和特征图像之间存在一定的关联性。

实验对5种不同种类的纹理基元进行特征提取，分别计算原图像、传统Gabor纹理特征图像、LBP纹理特征图像和四元数Gabor特征图像的Tamura纹理特征，并提取出彩色纹理特征图像的多通道纹理特征。实验所用四元数Gabor算法中，σ=2π,μ和v需根据具体图像而定。根据欧氏距离，选出特征图像特征向量与原图像特征向量相似度最高的特征图像，确定μ和v。

5.1 不同种类纹理特征提取

实验1垂直纹理特征提取。

图4a为原始图像，图4b为四元数Gabor提取的纹理特征图像，图4c为LBP方法提取的多通道纹理特征图像，图4d为传统Gabor虚部提取的纹理特征图像，图4e为传统Gabor实部提取的纹理特征图像，其中四元数Gabor和传统Gabor滤波中取μ=0,v=0。

表1给出了各方法特征图像的Tamura特征与原图像Tamura特征的对比情况，可以看出，本文提出的四元数Gabor方法在垂直分布的纹理上最大程度保留了原图像的Tamura纹理特征。表2为四元数Gabor彩色纹理特征图的三通道Tamura特征，可以看出，在红色通道、绿色通道和蓝色通道上，Tamura纹理特征表现出一定的差异，实验中选择一种方向的特征图像进行特征计算，由于本实验中纹理方向单一，所以这种差异在垂直纹理基元上表现并不明显。

Figure 4 Images of vertical texture features图4 垂直纹理特征图

图像粗糙度对比度方向度原图55.704 733.295 30.956 9LBP特征图43.086 0111.420 20.600 7Gabor特征图(实部)56.056 821.720 10.193 2Gabor特征图(虚部)43.077 2124.340 60.718 6四元数Gabor特征图55.720 833.660 70.899 9

Table 2 Multi-channel Tamura texture of vertical texture features by quaternion Gabor表2 垂直纹理特征图像四元数Gabor多通道Tamura纹理特征

实验2圆形纹理特征提取。

图5给出了各方法提取的圆形纹理基元的特征图。表3表示原图和各特征图像的Tamura纹理特征对比，文中选取的尺度因子和方向μ=0,v=0，但是其在Tamura特征表现上较差，在选取μ=1,v=0时，得到的Tamura表现为：粗糙度：52.543 8,对比度：27.987 2,方向度：0.025 2,与表3中传统Gabor和LBP方法相比，相似度最高。从表4可以看出，在用一种方向的特征图像提取圆形纹理的多通道特征时，该特征图像的蓝色通道的方向度和红色通道、绿色通道的方向度差异较大。

Figure 5 Images of roundness texture features图5 圆形纹理特征图

图像粗糙度对比度方向度原图52.185 023.196 70.030 2LBP特征图42.794 1105.248 10.421 5Gabor特征图(实部)52.558 26.273 00Gabor特征图(虚部)41.675 094.398 00.800 4四元数Gabor特征图45.647 524.284 10.049 8

Table 4 Multi-channel Tamura of roundness texture features by quaternion Gabor表4 圆形纹理特征图像四元数Gabor多通道Tamura纹理特征

实验3水平纹理特征提取。

图6表示各方法提取的水平纹理特征图，其中四元数Gabor和传统Gabor滤波中取μ=5,v=1。表5表示不同特征图的Tamura特征对比，在粗糙度表现上，传统Gabor特征图(实部)与原图像更加接近，但是综合粗糙度、对比度和方向度三个特征，本文方法提取出的纹理特征图像与原图的纹理特征相似度更高。表6为四元数Gabor纹理特征图像三个通道的Tamura纹理特征，和实验1中纹理分布相似，本实验中纹理分布为水平方向，可以看出三通道的Tamura特征虽然有差异，但差异并不明显。

Figure 6 Images of horizontal texture features图6 水平纹理特征图

图像粗糙度对比度方向度原图55.929 015.111 11.293 8LBP特征图41.496 9103.959 00.410 2Gabor特征图(实部)55.524 51.069 20Gabor特征图(虚部)41.989 6113.321 61.551 3四元数Gabor特征图55.510 910.721 50.905 1

Table 6 Multi-channel Tamura of horizontal texture feature by quaternion Gabor表6 水平纹理特征图像四元数Gabor多通道Tamura纹理特征

实验4树叶纹理特征提取。

图7表示各方法提取的树叶纹理特征图，其中四元数Gabor和传统Gabor滤波中取μ=0,v=1，通过比较图7b和图7d以及表7中的对比度特征发现，该实验中图像的像素点之间的颜色差异小，在实验中仅提取了一张特征图像的Tamura纹理特征，提取单一方向的纹理特征，但原图中纹理方向并不单一，所以四元数Gabor提取的树叶纹理特征图像对比度较低，通过图像很难发现提取的纹理特征。

表8表示四元数Gabor特征图三个通道的Tamura特征。在该特征图中红色通道和绿色通道的方向度均为0，只有蓝色通道的方向度与原图像相似。

Figure 7 Images of leaf texture feature图7 树叶纹理特征图比较

图像粗糙度对比度方向度原图56.900 415.395 70.143 0LBP特征图42.814 9101.294 40.332 3Gabor特征图(实部)51.904 11.174 80Gabor特征图(虚部)41.989 6113.321 61.551 3四元数Gabor特征图52.880 712.209 20.162 8

实验5花朵纹理特征提取。

图8给出了各方法提取的花朵纹理特征图的比较，四元数Gabor和传统Gabor滤波中μ=0,v=1，该实验中利用本文方法提取的纹理特征图8b与实验4中纹理特征图同样存在对比度低的问题。

Table 8 Multi-channel Tamura of leaf texture features by quaternion Gabor表8 树叶纹理特征图像四元数Gabor多通道Tamura纹理特征

表9给出了各纹理特征图像的Tamura特征对比。表10给出了四元数Gabor纹理特征图三个通道的Tamura纹理特征。其中，红色通道的方向度与绿色通道、蓝色通道的方向度差异较大。

Figure 8 Images of flower texture features图8 花朵纹理特征图

图像粗糙度对比度方向度原图54.972 032.247 30.160 2LBP特征图44.157 6109.730 80.483 7Gabor特征图(实部)52.815 066.462 90.422 3Gabor特征图(虚部)43.430 0112.727 70.422 0四元数Gabor特征图54.503 432.867 40.238 4

Table 10 Multi-channel Tamura of flower texture features by quaternion Gabor表10 花朵纹理特征图像四元数Gabor 多通道Tamura纹理特征

通过比较实验1、实验3和实验2、实验4、实验5可以看出，四元数Gabor在处理具有多方向纹理特征的图像时，得到的特征图像对比度较差。由表2、表4和表6、表8、表10可以看出，多方向纹理特征，如圆形纹理、树叶纹理和花朵纹理的四元数Gabor不同通道纹理特征的方向度差异较大；单一纹理特征，如垂直纹理和水平纹理，各通道中方向度的差异较小，彩色通道间Tamura纹理特征相似度低，图像纹理分布为多方向，彩色通道间Tamura纹理特征相似度高，图像纹理分布为一种方向，这种特点可用于区分图像纹理，有利于图像分类。

相比于LBP方法和传统Gabor方法提取特征图像，四元数Gabor滤波在使用四元数整体表示彩色图像的基础上，结合四元数Gabor卷积算法，对彩色图像进行处理，得到的彩色纹理图像比灰度特征图像的相似度更高。从上述实验可以看出，使用Gabor虚部提取的纹理特征图像，提取的主要纹理特征容易受到其他特征的影响，导致纹理特征并不明显，如图5d和图8d所示，圆形纹理特征表现模糊；使用Gabor实部得到的纹理特征有所缺失，如图5e和图8e所示。四元数Gabor滤波结合实部和虚部同时处理图像，使用Gabor实部去卷积原图，得到缺失的滤波纹理特征图像，Gabor实部和图像做“×”，得到三维的图像向量，两部分相加得到完整的纹理特征图像；将得到的完整特征图像和Gabor实部图像进行算数相乘，得到局部纹理特征图像，特征图像的纹理特征明显且完整。

5.2 Outex-10数据库特征提取

Outex-10数据库由24类纹理图像的4 320张图像组成，数据库特征提取流程如图9所示。每一类图像亮度相同，有9个旋转角度(0°,5°,10°,15°,30°,45°,60°,75°,90°)，其中每一角度有20张图像。图9中某一张原图像的特征图像的Tamura直方图分布如图10所示。原图像的粗糙度、对比度和方向度分别为31.521 6、4.254 02、0.131 588。根据欧氏距离测量特征图像和原图像的相似度，找出3张和原图像最相似的特征图像。图10中，四元数Gabor所提取的特征图在粗糙度这一表征上较为稳定。由于受到滤波尺度和方向的影响，纹理特征在特征图中较为明显，所以对比度在不同特征图之间会有所波动；由于四元数Gabor滤波本身具有方向性，在对原图像处理的过程中，和原图像的纹理尺度和方向相近的滤波，在方向度的表现上会更加接近于原图像，如图9中第1行第1列的图像对应图10c中x=1时的方向度，图9中第4行第1列，第4行第2列，第4行第3列，第5行第1列，第5行第2列，第5行第3列分别对应图10c中的x=25,26,27,33,34,35时的方向度。可以看出，在客观表现上方向度与原图接近的特征图像，其特征图的纹理特征较其他特征图更加明显。

Figure 9 Feature extraction of Outex-10 database图9 Outex-10数据库特征提取

图9中使用四元数Gabor处理的Outex-10数据库中一张图像，得到的特征图像，在尺度系数v=3和v=4时纹理图像在各方向上较为清晰。在v=0时，由于滤波尺度因子过小，只有方向因子μ=0和μ=4时，可以提取到较为清晰的特征。随着尺度因子的增大，得到的频率范围也会变宽，得到的纹理特征图像也会更清晰，由于方向因子的选择性，会使得特征图像变得模糊，如图9中第5行第5列的图像。根据上述对方向度的分析，选择与原图像相似度最高的3张图像，用以保证纹理特征的质量。

通过图10中粗糙度、对比度和方向度的分布可以看出，在四元数Gabor提取出的特征图像中，由于尺度和方向影响(纹理方向和滤波方向相差较大)，导致有些图像和原图像的特征差距较大，考虑到计算复杂度，本文选取和原图像最相似的3张特征图像，依次提取其各颜色通道的纹理特征，每一张图像由一个12维向量表示。

Figure 10 Tamura feature distribution histogram图10 Tamura特征分布直方图

四元数Gabor滤波卷积图像的过程中需要对每一个像素点进行运算，算法的运行时间和图像尺寸的大小有关系，具体表现如表11所示，实验在Matlab R2015a Intel(R) Core(TM) i5-6300HQ CPU @ 2.30 GHz 8 GB内存平台上运行。随着图像尺寸的增大，算法的执行时间会迅速增长，在实际应用中使用图像处理方法减小图像尺寸进而减少算法执行时间。

Table 11 Execution time of quaternion Gabor for images of different scales表11 图像尺寸和算法执行时间

6 结束语

本文提出四元数Gabor滤波和四元数Gabor滤波的卷积算法，提取出图像的多尺度、多方向、多通道的纹理特征，得到图像更多的纹理信息。在之后的研究中，本算法将运用于彩色图像分类和彩色图像分割中。

与传统Gabor滤波相比，本文提出的算法可以提取出多通道的Tamura纹理特征，与LBP方法相比，本文提出的算法可以提取出多尺度和多方向的Tamura纹理特征。通过实验可以看出，本文提出的算法与传统Gabor滤波器和LBP相比，可以最大程度保留原图像的Tamura纹理特征，提取的特征图像质量高于LBP特征的。由于算法和四元数相结合，该算法时间复杂度较高，在提取多方向的纹理特征时，特征图像对比度较低，纹理特征不明显，鲁棒性差。