基于纹理结构相似性和边缘信息的水平集纹理图像分割

邓星涛, 闵 海

(合肥工业大学 计算机与信息学院,安徽 合肥 230601)

图像分割是图像特征提取和识别、图像分析的基础,是图像处理领域中的一个长期研究热点。大量图像属于纹理图像,具有结构复杂、随机多样等纹理特征,若忽视纹理特征,则会导致纹理图像分割不准确甚至出现分割错误的情况,因此纹理图像分割一直是图像处理中的难点。因为纹理图像的准确分割和提取出的纹理特征的质量紧密相关,所以提取出好的纹理特征是纹理图像分割的关键和难点。

针对纹理图像分割的问题,传统的基于水平集的非监督纹理图像分割方法的具体步骤如下:一是提取纹理特征;二是将提取出的纹理特征融入水平集中进行纹理图像分割。现有的基于水平集的非监督纹理图像分割方法中,提取纹理特征的方法常见的有:① 基于统计的局部算子,包括SIFT算子[1]、HOG算子[2]等;② 基于微分的局部算子,包括Sobel算子[3]、Canny算子[4]、结构张量算子[5]、拓展结构张量[6]等;③ 基于滤波器的局部算子,包括Gabor滤波器[7]、小波理论[8]等。这些方法通常是基于局部区域的灰度统计来获取纹理特征,然后将上述方法提取的纹理特征融入水平集[9]框架中,从而进行有效的纹理图像分割。其他基于非监督纹理图像分割方法在近几年一直有新的成果出现,文献[10]提出一种鲁棒的凸主动轮廓模型用于纹理分割,通过结合强度和Gabor特征的局部变化程度来计算一组特征图；文献[11]提出非局部Mumford-Shah-TV 变分模型,用总变差(total variation,TV)规则项和非局部算子分别得到纹理图像中隐藏的图像结构和纹理图像特征；文献[12]提出一种基于多层级聚类的算法,该算法包括粗分、代表点聚类和细分3个阶段,具有一定的有效性。

综上所述,提取纹理特征的传统方法通常根据像素邻域灰度的分布,然后通过统计获得纹理特征;但纹理中相近的灰度值并不一定属于同一纹理区域,且传统方法存在尺度性、方向性等限制,很难稳定地提取出纹理特征,因而无法有效地分割一些复杂的纹理图像。纹理图像是结构化的,通过对大量纹理图像观察,可以发现同一类纹理模式内的区域具有结构相似性特征,且旋转前后的结构形态具有一致性;反之,不同类的纹理模式间具有结构差异性,边缘区域旋转前后的结构形态有明显的差异。若可以有效地提取出这些结构信息,得到整体关联性特征,则能够消除传统方法的一些限制,鲁棒地分割一些传统方法无法有效分割纹理图像。

本文提出使用结构相似度(structural similarity index,SSIM)[13]分析加噪图像和原始图像的相似性和旋转扭曲方法提取纹理结构特征。同时,由于水平集具有较完整的分割边界,曲线可以自由拓扑等优势,本文结合水平集框架进行纹理图像分割,提出基于SSIM及扭曲旋转的水平集分割方法。本文的创新点在于:① 利用结构相似度去分析图像中的纹理结构信息,从而获取相同纹理区域的结构相似性,进而区分出不同的纹理形态;② 提出图像旋转扭曲方法,通过变换图像的局部区域,提取纹理图像中的边缘区域的结构差异特征;③ 将结构相似度、图像旋转扭曲方法和图像的灰度信息结合并应用到水平集框架中,使其共同分割纹理图像。

1 方 法

1.1 SSIM方法

1.1.1 SSIM的定义

文献[13]提出SSIM,认为图像是高度结构化的,像素间相关性很强,且认为人类衡量2幅图的距离时,更偏重于结构相似性,而不是逐像素计算差异。该算法通过在2幅图像之间对亮度、对比度和结构信息方面的比较,确定两者之间的结构相似程度。为判断结构相似程度,通过SSIM公式,生成一个0～1之间的数值,数值越大表示结构越相似,且计算过程是按窗口滑动计算,最后取平均值。具体SSIM公式为:

SSIM(x,y)=[l(x,y)]α[c(x,y)]β[s(x,y)]γ

(1)

其中:l(x,y)为平均亮度相似性,是图像x的区域平均亮度ux和图像y的区域平均亮度uy的相似度;c(x,y)为对比度相似性,是图像x的区域标准差σx和图像y的区域标准差σy的相似度;s(x,y)为结构相似性。研究2个归一化的量(x-ux)/σx和(y-uy)/σy之间的关系，以上3个分量的计算公式为:

(2)

其中:σxy为x、y的协方差;C1=(k1L)2、C2=(k2L)2、C3=C2/2为3个常数；k1=0.01、k2=0.03为默认值；L为图像灰度级数;一般将(1)式中α、β、γ设为1,得到SSIM公式为:

(3)

1.1.2SSIM的有效性

SSIM最初用于图像质量的评估,该方法基于标准原始图像来评判失真图像的质量。SSIM以平均亮度、对比度、结构3个模块按区域进行对比评估,其中平均亮度对比是指2幅图像某相同区域的像素平均值对比,平均值反映2幅图像的某相同区域像素值集合的中间值是否一致；对比度对比是指2幅图像某相同区域的像素标准差对比,标准差反映2幅图像在该区域的像素值集合离散程度是否一致；结构是指2幅图像某相同区域的像素协方差对比,协方差反映2幅图像在该区域像素值的相关性,并通过3个模块对比去衡量2幅图像的结构相似性。

通过分析可知:① 目标和背景的像素灰度在空间中有不同的变化情况。纹理前景区域的结构形态较为复杂且紧凑,通常灰度变化比较频繁,因此纹理图像的纹理前景相对而言通常是高频区域。背景区域的结构形态较为均匀且分布广,因此灰度变化比较小,相对而言通常是低频区域。原始图像施加高频噪声后,高频噪声对低频区域抑制较大,对高频区域抑制较小。② 同种模式下各局部结构相似,高频噪声对各局部结构的影响是一致的。首先给原始图像施加高斯白噪声。高斯白噪声是一种高频信号,图像的每个区域经过高斯噪声处理后失真情况不一致,灰度变化大的高频纹理区域(前景)失真较小,灰度变化小的低频区域(背景)失真较大。然后将原始图像和高斯处理后的图像进行SSIM计算,失真较小的前景计算得到的相似性度比失真较大的背景要高,从而区分不同的纹理形态。

本文通过实验验证了该方法提取纹理结构特征的效果,将得到的纹理结构特征图和一些已有方法得到的纹理特征图进行比较,包括Gabor滤波器、结构张量、拓展型结构张量、局部连接度算子、局部异常点算子。基于2幅纹理图像,通过典型的纹理特征提取算子和该方法提取出来的纹理特征如图1所示。从图1b～图1g可以看出，该方法能够很好地提取出目标的纹理结构形态,对于不同方向的复杂纹理具有较好的适应性。可见，基于SSIM分析加噪图像和原始图像的相似性提取结构特征是一种有效的方法。

图1 特征提取效果对比(一)

1.2 旋转扭曲方法

1.2.1 旋转扭曲方法的定义

纹理图像中不同类的纹理结构具有差异性,斑马纹理图像如图2所示。从图2可以看出,斑马皮肤纹理和草地纹理是2类不同的纹理,结构互异,都具有一定的规则性和旋转不变性。纹理的旋转不变性是指纹理不具有方向性,无论以任何角度进行旋转,其结构形态具有一致性,仍属于该纹理类别。根据纹理具有旋转不变性,本文提出了旋转扭曲的方法。旋转扭曲方法是计算机图形学中旋转变换的一种特殊扩展,是对纹理图像按一定大小窗口遍历的过程。对每一个窗口所处区域的像素进行旋转变换，若该区域所有像素都按同一个角度值进行旋转变换,则称为旋转；若该区域的像素进行旋转变换的角度并非全部一致,则称为扭曲。

图2 斑马纹理图像

1.2.2 旋转扭曲方法的详细计算

根据纹理具有旋转不变性的特点,选取2类区域进行分析。一类位于纹理内部,都属于同一类纹理,结构形态具有一致性,可称为“平坦区域”；另一类交叉位于2类或以上的纹理内,可称为“边缘区域”。针对这2种不同类型的区域,计算过程示意图如图3所示。用Ir表示位于中心点I周围一定大小的局部邻域。将局部区域按长和宽的中值分为4部分,左上、右上、左下、右下角区域分别为a1(I)、a2(I)、a3(I)、a4(I),且将处于对角状态的左上角区域和右下角区域旋转角度设为α,将处于对角状态的左下角区域和右上角区域旋转角度设为β,计算公式为：

(4)

其中:(x,y)为局部领域的某个点的坐标位置;(s,t)为(x,y)旋转后的坐标位置,并将(x,y)处的像素值Ir(x,y)赋值给(s,t)处的像素值Ir(s,t)(本文α和β枚举选取30、60、90、180、270度作为旋转角度,有25种搭配方式)。

按照(4)式对原始纹理图像以自设定大小的窗口按像素遍历原始图像,得到与原始图像大小相等的25个旋转扭曲后的图像,从一系列扭曲矩阵对应像素位置中选取最大和最小值,并进行相差,作为matrix0在该像素位置的像素值,计算公式为:

matrix0(x,y)=

max(matrix1(x,y),matrix2(x,y),…,

matrixn(x,y))-

min(matrix1(x,y),matrix2(x,y),…,

matrixn(x,y)),

(x,y)∈matrix0

(5)

为了减少噪声的影响,对生成的矩阵进行高斯平滑处理,得到旋转扭曲特征矩阵。

1.2.3 旋转扭曲方法的有效性

同一类纹理内的形态和结构具有相似性,而不同类纹理间的形态和结构通常会有差异性。由纹理旋转不变性可知,属于同一类纹理的区域也就是“平坦区域”,经过旋转扭曲变换后,区域内纹理的形态和结构基本没有改变,如图3所示,最后得到的特征矩阵的像素灰度值相差很小,验证了旋转不变性这一特性。在“边缘区域”上进行旋转扭曲后,最后得到的特征矩阵的像素灰度值相差较大,差异很明显,因此这种结构变换体现了边缘区域里不同类纹理结构的差异,从而能够提取出纹理的边缘信息。

图3 区域计算示意图

为验证提取纹理结构特征的效果,本文将得到的纹理结构特征图和一些已有方法得到的纹理特征图进行比较,如图4所示,包括局部连接度算子、Gabor、结构张量、拓展的结构张量、局部差异度算子、旋转扭曲方法。从图4可以看出,通过此方法所得到的特征图像的目标和背景的差异更明显,旋转扭曲方法对纹理间的边缘差异很敏感,而对于纹理的方向和灰度变化都具有很强的适应性,因此能够提取出比较好的纹理结构特征图。基于以上分析,旋转扭曲方法是一种提取纹理结构特征的有效方法。

图4 特征提取效果对比(二)

1.3 SSIM方法和旋转扭曲方法的互补性

互补示意图如图5所示。

图5 互补示意图

结构相似度方法根据同种模式下的结构形态具有相似性和纹理目标区域和背景区域对高频噪声的影响强弱提取目标纹理结构形态,通过该方法可以提取出区域间的主要差异,但是窗口滑动从背景区域到纹理目标区域会有个过渡过程,此时会带来边缘区域的模糊,没有考虑到边缘的细节,这是该方法的缺陷。为解决此问题,本文提出了用旋转扭曲的方法补充。旋转扭曲根据旋转一致性能够准确提取出纹理图像的边缘信息,可以弥补结构相似度方法的缺陷。结构相似度表达整体各个区域的结构形态相似性,是一种纹理模式相似性的度量；旋转扭曲方法表达了整体各个区域间的结构形态的差异。此2种方法分别提取了目标的结构形态和纹理图像边缘区域的结构差异特征,因此2种纹理结构特征具有互补性。

该实验结果也表明,单个特征不能有效准确分割,2种结构特征分割效果良好。此外,纹理图像分割也依赖于图像灰度信息,因此将2种互补的结构特征信息结合灰度信息融入水平集模型进行分割复杂纹理图像。

1.3.1 互补性补充实验

互补性实验如图6所示。

图6 互补性实验

通过图6的2组实验,明显发现仅用一种方法去分割一些复杂的纹理图像,会导致分割不精确甚至分割错误的问题。结合两者后,两者互补,精确度得到了很好的提升,因而能够分割出一些单独使用一种方法而无法分割的图像,具有理想的分割效果。

1.4 水平集能量公式

因为曲线演化依赖图像的灰度信息,所以本文方法所建立的模型将提取出的纹理结构特征信息与灰度信息进行融合。此模型的能量泛函由灰度项、纹理结构特征项E2和规则化项E33部分构成,其中纹理结构特征项包含SSIM方法E11和旋转扭曲方法E122个部分。总的能量泛函表示为:

E=E1+E2+E3

(6)

其中，E1可表示为:

E1=E11+E12

(7)

用P1、P11、P12分别表示灰度图像、SSIM方法提取的特征图像、旋转扭曲方法提取的特征图像；i(m)表示处于曲线m内的区域,o(m)表示处于曲线m外的区域;闭合曲线m在图像P1、P11、P12内部的灰度均值分别表示为m1′、m11′、m12′,闭合曲线m在P1、P11、P12外部的灰度均值分别表示为m1″、m11″、m12″,E1、E11、E12分别为:

(8)

(9)

(10)

接下来使用水平集的思想求能量泛函E最小值,使用零水平集函数φ(x)=0取代演化曲线m。ER起平滑演化轮廓和避免重初始化的作用,ER的计算公式为:

ER=L(m)+p(φ)

(11)

其中：L(m)为演化轮廓的长度并用来平滑曲线,p(φ)为规整项,计算公式为:

(12)

用H(φ)和δ(φ)表示海氏函数和狄拉克函数,即

(13)

(14)

最终的水平集能量泛函表达式为:

(15)

将(15)式对应的Euler-Lagrange方程进行求解,可得如下演化方程：

λ1(P1-m1″)2-λ2(P11-m11′)2+

λ2(P11-m11″)2-λ3(P12-m12′)2+

λ3(P12-m12″)2)+

(16)

k=1,11,12

(17)

k=1,11,12

(18)

2 实 验

本文实验基于BSD500分割数据集和Weizmann数据集,通过对若干自然纹理图像进行测试来验证本文方法的有效性。

2.1 方法有效性验证实验

二值化结果如图7所示。图7中4幅自然纹理图像的分割结果和二值化图像用于初步验证本文方法的有效性。图7a～图7c和第1幅图目标纹理是规则纹理,背景复杂的自然图像；第2幅图是目标纹理较为规则,但背景灰度不均匀的自然图像；第3幅图是目标和背景纹理均不显著,不规则的自然图像；第4幅图是目标纹理较为显著且规则的自然图像。这4幅图像各有特点,具有代表性。

图7 二值化结果

2.2 对比实验

将本文方法与基于连接度和差异度的水平集方法(LCODO)[14]、基于Gabor滤波器的水平集方法[15]、基于结构张量的水平集方法[16]、LCV[9]以及RLSF[17]的一些传统方法进行对比分析,从而能够进一步验证本文方法的有效性和优势。

本文将自然纹理图像划分为3类,第1类是灰度不均匀纹理图像,其特点是目标显著但背景模糊、灰度不均匀,容易对分割造成影响,使得分割不够精确;第2类是弱纹理模式纹理图像,其特点是目标和背景的纹理模式都是不明显的；第3类是不规则的纹理图像,对于这类图像,目标纹理为不规则的纹理,尺度和方向变化都较大。3类自然纹理图像对比实验的分割结果如图8～图10所示。

图8～图10中，本文方法分割后的结果轮廓为蓝色曲线,其余对比方法分割后的结果轮廓为红色曲线，LCODO方法考虑到了局部区域的纹理形态和灰度差异,但并没有考虑纹理图像具有很强的结构性、关联性,局部区域的大小对于纹理分割具有较大的影响,因此对于一些复杂纹理图像,无法准确地、鲁棒地分割。

图8 纹理图像分割实验(灰度不均匀自然纹理图像)

图9 纹理图像分割实验(弱纹理模式自然纹理图像)

图10纹理图像分割实验(不规则自然纹理图像)

基于Gabor滤波器的水平集方法根据Gabor滤波器算法的特点,要设计不同方向,不同尺度的Gabor滤波器提取特征,但是大量纹理图像具有多尺度、方向变化的特点,不可能设计出能覆盖所有方向、所有尺度的Gabor滤波器组,因此具有比较大的局限性,而且如何设计出最佳的Gabor滤波器组也是很困难的。

基于结构张量的水平集方法通过指定局部区域梯度的固定方向来获取纹理特征,而且其没有灰度信息,对于灰度不均匀的图像效果不佳,并可能会分割错误。LCV方法是基于全局项和局部项的水平集方法,该方法主要对灰度不均匀的自然图像有较好的效果,但对于目标纹理信息较丰富的自然图像会有过分割和欠分割等现象。RLSF方法没有考虑到纹理形态,利用局部相似性算子,通过计算分析局部区域的灰度差异获取纹理特征。

基于以上分析和图8～图10的实验结果,本文方法能够比较准确地分割,分割效果好,而基于局部连接度和差异度(LCODO)、Gabor滤波器、结构张量、LCV和RLSF 5种水平集方法会存在分割错误、分割不足或者过度、分割不精确的一些缺点。

2.3 分割准确率

本节中,基于2.2节所列的3类图像,通过Jaccard系数[18]客观地计算各种模型的分割准确率。Jaccard系数是一种计算相似度的系数,可以比较主观地标准分割和客观地自动分割相似性和差异性。数据集提供的标准结果如图11所示。3类纹理图像在本文方法和基于局部连接度和差异度(LCODO)、Gabor滤波器、LCV、结构张量和RLSF 5种水平集方法下的分割准确率见表1～表3所列。

图11 标准分割结果图像集

表1 分割准确率比较(灰度不均匀自然纹理图像) 单位:%

表2 分割准确率比较(弱纹理模式自然纹理图像) 单位:%

表3 分割准确率比较(不规则自然纹理图像) 单位:%

从表1～表3可以看出，本文方法平均分割准确率达98%以上。通过对比各方法的分割准确率,表明了本文方法的优越性,相对于其他方法有明显更高的分割准确率。

2.4 初始轮廓的鲁棒性

在传统基于水平集的分割方法中,初始化轮廓的不同会影响最终分割效果。好的分割方法对不同的初始化轮廓应有较强的鲁棒性并对分割效果带来较小的影响。本节将初始化轮廓分为位于前景目标上、位于背景上、位于前景目标和背景上3类;然后通过此3类初始轮廓验证初始化轮廓对本文方法是否具有影响,不同初始化轮廓下的分割结果示意图如图12所示。

根据图12的实验结果,手动在图像的不同位置设置了不同大小的初始轮廓,最终演化后的分割结果几乎一样,且效果均很好,说明初始轮廓所带来的影响可以忽略不计,具有较强鲁棒性。

图12 不同初始化轮廓下的分割结果示意图

3 结 论

本文利用SSIM分析加噪图像和原始图像的相似性和旋转扭曲的方法提取纹理的结构特征,并结合灰度信息将其融入到水平集方法中,解决自然纹理图像的分割。先是使用SSIM分析加噪图像和原始图像的相似性,提出旋转扭曲方法,能够有效地提取出纹理图像的结构特征,体现纹理的结构相似性和差异性,相比Gabor滤波器、LCV、局部连接度算子和局部差异度算子、结构张量、RLSF这些传统方法,能够更准确和鲁棒地将纹理图像的特征信息提取出来,并将特征信息融入水平集中,引导曲线演化,最后通过多种实验验证了本文模型的有效性和性能。

进一步的工作可以聚焦全面分析和构建各种纹理区域的结构关系,量化纹理的结构信息。同时,如何基于像素级的精度精确定义纹理边界也是需要重点研究的问题。