多尺度超像素纹理特征保持与融合的高光谱图像分类

涂 兵 朱 禹 周承乐 陈思源 何 伟

(湖南理工学院信息科学与工程学院 岳阳 414000)

1 引 言

高光谱图像蕴含着密集的光谱信息，适用于地表诊断、矿物勘探、精准农业等众多应用领域。尽管丰富的光谱信息为材质识别与分类提供了便捷与高效的途径，然而高光谱图像的低光谱可分离性及低空间分辨率的特性给高光谱图像的数据处理带来了不可避免的困难与挑战。

高光谱图像特征提取技术可分为光谱特征提取以及空间特征提取。前者旨在将高维非线性光谱特征进行投影或映射至低维线性子空间，以期改善像元的可分离性。如主成分分析法(Principal Component Analysis, PCA)[1]通过线性变换将高维特征映射到低维子空间，降低信息冗余并保留有价值的判别信息。再如罗甫林等人[2]利用稀疏流形嵌入对原始光谱信息进行特征提取以提升光谱特征的判别性。然而，光谱特征提取技术仅考虑了高光谱图像的光谱信息，并不能显著提升分类器的精度。后者则是在特征提取过程中引入像元的空间上下文信息，利用邻域像元具有相似性的特点去进一步提升分类器精度。如Chen等人[3]利用像元空间上下文相关性，提出联合稀疏表示模型(Joint Sparsity Reconstruction and Classification, JSRC)，有效平滑了分类中椒盐噪声。但固定的方形窗口未能有效刻画像元分布的空间结构，致使分类结果中依然存在边缘误分类现象。超像素分割算法是一种依据图像颜色、亮度等显性特征对像元进行聚类的技术，能够有效提取到像元局部空间结构信息。如Yu等人[4]结合多尺度超像素子空间与支持向量机设计了一种超像素级的分类器，实验证明该方法能够缓解方形窗口邻域内的噪声及信息缺失问题。此外，结合超像素空间特征提取的新技术[5,6]已被成功证实能够有效应用于高光谱图像分类，提高地物解译的精度。

图像纹理是符合人类视觉感知的材质表征信息之一，被成功应用于高光谱图像分类、异常检测等领域。同时，图像纹理信息的重要性催生了许多特征提取技术，如灰度共生矩阵(Gray Level Co-occurrence Matrix, GLCM)、局部二值模式(Local Binary Pattern, LBP)及Gabor等。GMCL与LBP是自然图像处理中较为流行的纹理描述方法，可以最大限度地提高图像纹理特征的表征力[7,8]。但由于高光谱图像的纹理基元呈非规则化排列，且随着观察距离的不同纹理基元发生变化，因此单一分辨率的纹理描述方法损失了部分纹理相关信息。Gabor滤波器因其多通道、多分辨率的特性，能够获得多方向及多尺度纹理特征，被广泛用于大量的高光谱研究工作中。如Xu等人[9]提出基于Gabor滤波协同表示的分类方法，与原始协同表示方法相比，具有良好的分类性能。再如Kang等人[10]将Gabor特征与深度学习结合并应用于高光谱图像分类领域，取得了良好的效果。然而，上述工作均未从Gabor滤波器的不同方向以及尺度来刻画与提取高光谱图像的纹理特征，因此，不可避免地影响高光谱图像中类边界以及角点像元的精准识别。

综上，相比于光谱特征提取技术，空谱特征提取技术在提升分类器精度方面具有良好优势，同时，基于超分割的空间邻域信息比方形窗口的空间信息更有优越性。然而，超像素是一种基于图像显性特性的像元聚类方法，难以避免邻域中存在隐性不相关像元。此外，Gabor作为多通道及多分辨率纹理特征提取的滤波器，简单地将Gabor滤波器作用于高光谱图像并不能多层次地反映与提取其深层纹理特征。为了解决上述问题，本文提出多尺度超像素纹理保持与融合的特征提取方法。

2 本文方法

本文所提多尺度超像素纹理保持与融合的高光谱图像分类方法MSuTPF (Multi-scale Superpixel Texture Preservation Fusion)如图1所示，主要包括纹理特征提取与融合、多尺度超像素分割、同质区域纹理保持和多尺度决策融合4个主要步骤。

图1 多尺度超像素纹理保持与融合的高光谱图像分类方法示意图

2.1 纹理特征提取与融合

2维Gabor滤波器在不同方向可反映同一材质不同丰富度的纹理信息，而多个尺度则反映其不同分辨率的纹理信息。由于地物自身的尺度属性，其空间特征常利用不同尺度加以度量，本文将不同层次的频率信息进行融合，强化图像边缘细节，使纹理特征进一步增强。特别地，多方向与尺度的Gabor纹理特征中包含冗余信息，因此，通过融合同方向的不同尺度Gabor纹理特征，可以降低信息冗余。Gabor纹理特征融合的定义为

2.2 多尺度超像素分割

2.3 同质区域纹理保持

超像素内部纹理基元的排列方式、规律以及纹理的粗糙程度等表现相似，且超像素纹理受观察区域规模大小的影响，因此通过利用多尺度超像素度量策略，可提取到既具有整体纹理趋势又包含细节信息的纹理特征。不同尺度的超像素集Sk是由一系列位置相邻且颜色、亮度、纹理等特征相似的像素点组成的nk个局部区域。然而，利用颜色、亮度、纹理等显性特征获取的高光谱遥感图像所对应的超像素集往往使得超像素内部存在隐性不相关像元。也就是说，超像素分割的理想情况是超像素内部光谱际上

差超异像较素小S且ik内超可像能素包之含间少光量谱来差自异其性他较类大别，的然像而素实，使超像素表现为局部隐性不相关，此时超像素并不是真正意义上的纹理一致性区域而是弱同质区域。

通过执行2.1及2.2的步骤，获得V个光谱-纹理联合特征图Ti与 其对应的超像素分割MiERS。

2.4 多尺度决策融合机制

尽管多尺度超像素引导光谱-纹理联合特征能够显著增强不同局部区域的光谱可分离性，提升像元的分类准确性，但是当场景中某些类别的样本数较少且分布不集中时，超像素引导的方法可能会对分类结果产生负面影响，导致整个局部像素被误分类。因此，为了进一步增强所提方法的鲁棒性，本文在由各尺度超像素光谱-纹理联合特征得到的分类图的基础上引入多数投票机制去进一步提升分类精度，最终分类图F由式(12)确定

3 实验与分析

3.1 实验数据

(1) Indian Pines高光谱图像：于1992年在印第安纳州西北部的农业印度派恩斯测试地点获取，图像大小为145×145，空间分辨率为20 m，数据光谱波段为200，波段范围是400～2500 nm，共标记10249个像素，其主要地物类型被划分为16类。

(2) Pavia University高光谱图像：在意大利帕维亚大学周围的市区记录，由610×340个像素组成，图像空间分辨率为1.3 m，其包含42776个像素，实验保留了剔除噪声后的103个波段，地面覆盖包含9个目标类别。

3.2 参数设置

影响本文算法性能的参数主要包括以下这些。它们对本文算法的影响在3.4节中详细分析。

(1) Gabor滤波器固有参数。鉴于Gabor滤波器的性能对空间局部特征具有较大影响，将Gabor滤波器尺度U与方向V分别设置为5和8，以提取局部纹理特征，其中，8个方向θ分别为[0,π/8,π/4,3π/8,π/2,5π/8,3π/4,7π/8]。在具体实验中，针对每个高光谱图像，Gabor滤波器窗口d设置为55。

(2) 在3.3.1节和3.3.2节中，自由参数ξ统一设置为0.7。

(3) 超像素数量Sn：在3.3.1节和3.3.2中，超像素尺度分别设置为100～800, 600～1300。

3.3 实验

为了客观而有效地评价所提方法MSuTPF的性能，本文选取了支持向量机(Support Vector Machine, SVM)[15]、稀疏表示(Sparsity Reconstruction and Classification, SRC)[3]、联合稀疏表示(Joint Sparsity Reconstruction and Classification,JSRC)[3]、超像素多核(Superpixel-based Classification via Multiple Kernels, SC-MK)[16]、超像素主成分分析(Superpixelwise PCA, SuperPAC)[17]、分层引导滤波(Hierarchical Guidance Filtering-Weighted Voting, HiFi-we)[18]、Gabor滤波稀疏自编码深度网络(Gabor Filtering and Deep Network,GFDN)[10]和无监督空-谱超像素PCA(Spectral-Spatial and Superpixelwise PCA, S3-PCA)[19]8个高光谱图分类算法与本文MSuTPF方法进行分类性能比较和分析。其中，SVM参数通过5层交叉验证设置，对比方法中的参数均为对应论文中的默认参数。此外，实验采用常用的总体分类精度(Overall Accuracy , OA)、平均分类精度(Average Accuracy, AA)以及Kappa系数，作为量化指标来衡量分类性能。同时，为了消除随机性影响，所有量化指标结果均为10次结果的均值。

3.3.1 Indian Pines数据实验结果与分析

表1和图2给出在Indian Pines真实数据上不同对比算法采用1.5%的标记样本作为训练集得到的分类精度及结果(黑色加粗数字表示同行中的最大值)，以及客观评价结果。

SVM和SCR分类器由于仅考虑了像元的光谱信息，导致分类结果中存在较多的“椒盐噪声”。JSRC分类器通过像元的上下文信息来改善SRC的分类性能，尽管分类精度有所提升，但边界与角点像元容易被误分类。SC-MK以超像素的方式引入像元的空间信息，但未考虑超像素块内隐性不相关像元的存在，导致分类精度受限。SuperPCA与S3-PCA是超像素引导的局部特征提取方法，虽然利用多尺度超像素提取空间结构，但同样地未考虑超像素块内隐性不相关像元的存在，因而存在性能瓶颈。此外，HiFi-we在每个层次结构中进行边缘保持滤波操作，图像细节易被过平滑处理。同时，1.5%的训练样本无法充分训练自适应编码深度网络，导致GFDN未能得到有效的训练，使得GFDN分类精度有限。特别地，从表1和图2可以看出本文的MSuTPF方法无论是在OA(94.32%), AA(95.00%)及Kappa(93.52%)3个客观评价指标上还是在分类图上都取得了比上述8个对比方法更优的实验结果。

图2 Indian Pines高光谱图像不同方法的分类图

此外，本文将基于单一尺度光谱-纹理联合特征的方法架构定义为MSuTPF*，并给出相应的实验结果。由表1发现，MSuTPF*方法的分类指标都低于MSuTPF方法，说明仅用单一尺度不能有效地提取出不同大小地物的纹理信息，而以多尺度超像素构造的光谱-纹理联合特征能够获得各同质区域丰富的空间纹理结构信息，从而提升了分类器对边界地物的鉴别准确率。

表1 Indian Pines高光谱图像不同方法的分类精度(%)

3.3.2 Pavia University数据实验结果与分析

对于Pavia University数据实验随机选取总样本数的0.42%作为训练样本集，剩余样本作为测试样本。表2展示了各种分类算法的定量指标(黑色加粗数字表示同行中的最大值)，本文所提出的MSuTPF方法的OA, AA及Kappa均为最高值。同时，如图3所示，在有限的标记训练样本的情况下，MSuTPF方法相比于8个对比方法获得的分类结果具有明显较少的误分类现象。由此，该实验充分验证了本文MSuTPF方法的可行性和优越性。

图3 Pavia University高光谱图像不同方法的分类图

表2 Pavia University高光谱图像不同方法的分类精度(%)

3.4 相关参数影响分析

3.4.1 参数w与ξ对MSuTPF方法的性能影响

当Gabor滤波窗口w较小时纹理特征提取仅考虑有限的局部结构，局部纹理方向性不明显，易损失具有代表性的信息。图4(a)与图4(b)展示了随着窗口尺寸增大，OA精度呈现明显上升趋势，但窗口w规模大于55时，分类精度增幅变缓，计算时间持续上升。自由参数ξ改变对最终分类精度影响不大。考虑到算法时间代价与满意的整体分类精度，本文实验默认Gabor滤波窗口w与自由参数ξ分别设置为55和0.7。

3.4.2 超像素尺度对算法的影响

图4(c)与图4(d)给出了不同尺度超像素对基于单一尺度光谱-纹理联合特征的方法MSuTPF*性能影响的量化指标(OA)。由此可知，OA曲线伴随超像素尺度(数量)增加表现为短上升、长下降的趋势。这说明，单一尺度的超像素存在空间结构信息提取不充分的现象。因此，本文采用多尺度超像素分割策略，进一步提出了MSuTPF算法，以期提取高光谱图像多尺度空间结构信息。对每个方向的光谱-纹理联合特征进行多尺度超像素分割，其中，以Indian Pines为例，将图4(c)中算法性能较好且连续的8个超像素分割尺度(步长为100)作为MSuTPF算法多尺度分割的依据(100～800超像素)。同样地，对于Pavia University高光谱图像选取800～1500超像素作为超像素分割的尺度范围(步长为100)提取不同高光谱图像8个2D Gabor方向上的光谱-纹理联合特征Ti的同质空间信息。

图4 不同参数对所提算法性能的影响

3.4.3 各架构组件对MSuTPF的性能影响

首先，本文通过比较递归滤波(Recursive Filtering, RF)[20]、Savitzky-Gola滤波(Savitzky-Gola Filtering, SGF)[21]、双边滤波(Bilateral Filtering, BF)[22]、高斯滤波(Gaussian Filtering,GuF)[23]及Gabor滤波[10]5种常用的滤波方法在MSuTPF方法架构中对分类性能的贡献。特别地，上述方法中滤波参数设置采用相关参考文献默认参数。由图5发现，在两个真实数据上，Gabor滤波对MSuTPF方法的分类性能贡献均比其它4种滤波法更优。因此，Gabor滤波被选为MSuTPF方法的默认组成。

图5 不同滤波方法的整体分类效果

其次，本文深入研究了Gabor滤波在不同方式下的纹理特征提取能力。实验结果如表3所示，其中，I-Gabor表示各尺度和方向顺序堆叠的纹理特征；II-Gabor表示保留尺度融合各方向的纹理特征；III-Gabor表示方向融合各尺度的纹理特征；III-Gabor的实验结果证明，融合Gabor滤波器响应后同一方向不同尺度的特征信息对MSuTPF方法的性能贡献大于I-Gabor和II-Gabor方法。此外，本文探讨了考虑局部像元隐性不相关现象对MSuTPF方法的性能贡献问题。同样地，实验结果如表3所示，II-ERS和I-ERS分别表示有无采用基于密度最近邻的相似性评价准则进行纹理一致化处理的实验结果。结果发现II-ERS对MSuTPF方法的性能贡献大于I-ERS，说明基于密度最近邻的相似性评价准则可以有效地提高算法的分类性能。

3.4.4 不同光谱维数对MSuTPF的性能影响

本文将原始高光谱图像的主成分(Principal Components, PCs)作为光谱特征与Gabor融合的纹理特征串联构建光谱-纹理联合特征。由表4可知，当光谱特征维数控制在20左右时，整体分类精度OA较高，且随着光谱维数的增加，算法性能并没有明显的提升。虽然更多的PCs中仍可能具有对光谱信息的贡献，但由于存在较多的冗余信息与图像噪声点等情况，因此对分类性能产生负影响。同时考虑到Gabor融合特征仅具有15个波段，若使用全光谱作为联合特征的光谱特征，庞大的光谱信息将会淹没纹理特征信息，且维数增大时间复杂度随之提升。因此本文将主成分数量设置为20。

表4 不同维数光谱特征对算法性能的影响

3.4.5 不同训练样本数量对算法性能的影响

在本节中，分析了训练样本数量变化对不同分类算法性能的影响。对于Indian Pines和Pavia University，随机选取不同百分比数据(Indian Pines每类地物标记1%～10%，Pavia University每类地物标记0.42%～4.2%)作为训练样本。图6展示了在不同方法在不同训练集下的总体分类精度的变化趋势。可以观察到，增加训练样本数量对所有分类方法的分类精度均具有较为积极的影响。尤其是，本文所提出的MSuTPF方法在有限的训练样本情况下比8个对比方法的分类精度更为理想。

图6 不同训练样本数量对于不同方法的影响

4 结 论

结合Gabor、超像素与峰值密度聚类的优势，本文提出了一种多尺度超像素纹理特征保持与融合的高光谱图像分类方法MSuPTF，其主要贡献如下：(1)依据各方向对不同尺度的高光谱图像Gabor纹理特征进行融合，增强高光谱图像纹理信息的表征力；(2)设计基于密度最近邻相似性评价准则，有效地解决了超像素内邻域像元的隐性不相关问题，提升了超像素块的同质化程度；(3)提出了Gabor方向与超像素对应的多尺度空间结构提取策略，显著增强了边界与角点像元的细节信息。