基于混合核函数BDK的支持向量机遥感图像分类

古丽娜孜·艾力木江，孙铁利，乎西旦，冯雪花

(1．伊犁师范学院电子与信息工程学院，新疆伊宁　835000；2．东北师范大学地理科学学院，吉林长春　130024；3．东北师范大学计算机科学与信息技术学院，吉林长春　130117)



基于混合核函数BDK的支持向量机遥感图像分类

古丽娜孜·艾力木江1，2，孙铁利3，乎西旦1，冯雪花1

(1．伊犁师范学院电子与信息工程学院，新疆伊宁835000；2．东北师范大学地理科学学院，吉林长春130024；3．东北师范大学计算机科学与信息技术学院，吉林长春130117)

以支持向量机关键部分核数的有效选定作为探究目标，从核函数选取规则着手，将遥感数据领域知识嵌入到核函数构造问题中，结合遥感数据本身特征提出一种能同时兼顾到样本亮度差异性和角度差异性的混合核函数选取方法，通过支持向量机传统核函数分类效果进行对比分析，表明混合核方法的有效性.

支持向量机；遥感数据；核函数；光谱

遥感图像的分类是遥感数据研究领域的重要部分，如何解决并提高样本间的分类精度是遥感数据应用研究的关键，具有较强的实际意义.

遥感数据技术通过获取大尺度、动态、宏观的各类专题图，对土地覆盖检测提供有利数据.与此同时，由于地理空间数据的不确定性和复杂性等特征，异物同谱现象和同物异谱现象，使得专题图数据表达有些模糊性和不确定性，从而加大了信息提取工作的难度[1-3].精确与实时的土地覆盖分类遥感数据的提取不仅与数据质量和分辨率有关，同样也与分类技术有关[4-5].因此，提高遥感数据分类精度已经引起了遥感研究领域很多人的关注[6-7].基于统计模式的分类方法，Vapnik提出的支持向量机方法以计算量较小的特点在非线性分类问题中广受欢迎，也是模式识别领域最为活跃的一个机器学习算法[8-10]，同样在维数高、数据不确定性等遥感数据处理领域也显示出优越性[11-13].目前，支持向量机不管是在图像分类[14-15]，还是在土地覆盖分类[16-17]、森林类型检测[18]、农作物监测[19]、道路信息提取[20]等领域被广泛使用[15].尽管如此，SVM分类方法仍有进一步优化改进并完善的研究空间，这跟SVM本身设计原理息息相关.当要解决具体问题时，首先考虑数据集特征和分类问题的性质，如果核函数的选择和其参数的选定不当，则直接影响分类结果.

特定领域的分类问题靠核函数的选择及其他的参数.若不经考虑，随意性地选择核函数，该核函数模型的推广性将受影响，甚至影响到样本的分类效率[21-22].一般而言，针对特定的数据集和数据来源，根据先验知识和经验，特意选择合适的核函数，分类精度会高一些.比如，课题组往年研究的文本分类问题中，倾向于RBF核和线性核，因这两个方法前一个参数较少，较易用；后一个简单易于推广.但对遥感数据的分类问题，遥感数据本身的不确定性使得这些方法有点力不从心，错分、漏分甚至造成“椒盐效应”现象.这些问题足以说明核函数的构造规则要完备一些，即将遥感数据本身的特征信息融合到核函数构造表达式中.

文中围绕核函数构造过程、遥感数据领域知识进行研究，将遥感数据特征嵌入到核函数中，提出一种能同时兼顾到样本亮度差异性和角度差异性的混合核函数选取方法.实验阶段，在应用SVM进行图像分类时，基于线性核、径向基核的分类结果与文中提出的混合核函数下的分类结果进行对比研究.

1　支持向量机学习方法

1.1支持向量机基础理论

支持向量机(Supportvectormachines,SVM)是统计学习理论中最重要的学习方法，仅从分类的角度来分析的话，SVM是一种广义的线性分类器，就在这线性分类器的基础上，经过引入结构风险最小化、最优化和核方法等原理与理论逐渐演化而成.虽然该方法在1992—1995年设计完成，但从实用角度来看，目前仍处于不断完善、优化的阶段.

SVM的基本思想可以概括为：首先通过非线性变换将输入空间中的样本信息变换到一个高维的空间中，然后在这新空间中求取最优线性分类面，而非线性变换通过定义适当的内积函数实现.所谓最大间隔分类线在二维空间中被叫最优分类线，推广到多维空间时被叫最优分类面，不管怎样，最优分类线不但能把不同类别的样本正确分开，而且使分类间隔最大，见图1所示.

图1　二维情形中的最优分类面和间隔Fig 1　Optimal hyperplane and the intervalin two-dimensional situation

SVM的线性可分类问题描述如下[8]，其训练样本集为

(1)

(2)

(3)

其中对应ai≠0的样本为支持向量.

当要解决非线性图像分类问题时，就要利用一些非线性特征变换，想办法将原始输入空间中的输入点信息转变(映射)到其他高维特征空间中，然后到新的空间中求出最优的分界面.根据映射，(2)式可变为

(4)

其中，φ(w,ξ)为空间变化函数；C为惩罚系数；ξi为松弛项.

通过运用与构造不同形式的核函数，就可解决不同的分类问题，最优分类面(3)式引入核函数后变为

(5)

2　核函数与选取方法

2.1核函数

核函数本身是一个通过内积运算将各类线性算法非线性化的点积运算公式.核函数理论研究已有很长的历史，但是，直到Vapnik等核函数思想用到支持向量机方法之前，核函数的重要性都没有受到很大重视，运用较欠缺.

根据核函数的定义和构造原理来分析的话，核函数的选择问题并不困难，只要满足Mercer定理的函数都可以当作核函数来使用.支持向量机被提出之后，反而很多人开始关注基于核函数的算法设计及应用，甚至后来都认识到，提高SVM样本分类性能的关键之一是选定或设计适合给定要解决问题的核函数[23-25].

核函数大致有3类，即卷积核(如SVM的线性核)，平移不变核(如径向基核)和旋转不变核(如多项式和感知器核)函数.SVM的常用核函数为：

1)线性内核(Linear):

2)高斯径向基核函数(RBF):

3)多项式内核(Polynomial):

K(x,xi)=[(x·xi)+1]q；

4)感知器核函数(Sigmoid):

除这些简单核函数以外，目前不少研究集中在根据具体数据集构造复杂的核函数，使得SVM得到进一步的推广.

2.2核函数的基本性质

核函数具有以下重要性质:

性质2封闭性.若k1,k2,k3,…是核函数，则

①k1+k2是核函数；

②αk1,α≥0是核函数；

③k1·k2是核函数；

① 组合f(x)f(x′)也是核函数；

② 组合f(x)k(x,x′)f(x′)也是核函数.

这个距离范式，就是计算x与x′等2类样本之间的相似性度量.比如，在遥感数据的分类工作中，关注样本向量之间的光谱相似性特征是极其重要的.我们在以下工作中利用这些基本性质来构造混合核函数.

2.3核函数方法实现步骤

核函数方法是由核函数设计和算法设计等两大模块组成的一种模块化的方法，其具体过程见图2.

核函数方法的实现步骤，可以概括为

1)采集样本并对其进行标准化；

图2　核函数方法实现步骤Fig 2Implementation of kernel based methods

2)选择或构造恰当的核函数；

3)将输入数据通过非线性变换函数映射到高维特征空间，即用核函数将输入样本向量信息变换成为核函数矩阵信息，这里矩阵是1×1的对称矩阵，其1为样本数；

4)对核函数矩阵上运用各种线性算法，得到输入空间中最终的非线性模型.

2.4混合核函数

在SVM核函数中，一般最常用的是线性核与径向基核.因为线性核主要用于线性可分的情况，其参数少，速度快，对于一般数据，分类效果很理想.线性SVM是实际应用最多、实用价值最大，具有较广的推广性.而径向基核主要用于线性不可分的情况，其参数多，分类结果很大程度上依赖于其σ值.有时通过训练数据的交叉验证来寻找参数最合适的值，可是这个过程比较耗时.若直接使用LibSVM默认参数，则径向基核的效果会比线性核的差.但是通过进行大量参数的尝试，一般能找到比线性核更好的效果.至于到底该采用哪种核，要根据具体问题，有的数据线性可分，而有的线性不可分，需要多尝试不同核不同参数[26-27].如果样本的特征提取的好，包含的信息量足够大，很多问题都是线性可分的.当然，如果有足够的时间去寻找径向基核参数，那么径向基核也许能达到更好的效果.但有些情况下也未必，如Vapnik在1995年提出，针对一些情形径向基核是不能适用的.特别是，当特征维数非常大的时候，很可能只能使用线性核.当然，也有一些情形可用多项式核函数，由于任何连续函数都可以用多项式逼近，所以只要多项式阶数d不要太大，多项式核也较方便.多项式核一般随着多项式阶数d的减小而增强，从而具有较强的推广能力.但是当d过大时，函数集的VC维会升高，从而学习机的复杂性也将提高，不利于SVM的推广，甚至易出现“过拟合”现象.根据以上分析及以往经验知识，文中倾向于线性核和径向基核的应用.除了以上分析以外，针对遥感数据本身的特征，在分类特征空间中，只考虑样本向量间的欧氏距离作为向量间的差异性标准是不够的，还需考虑波段光谱亮度信息，即将光谱向量间的亮度角度差异性也加入到样本向量分类标准函数中.

Kruse在1993年提出了一种光谱角度匹配(Spectral angle mapper， SAM)的方法[22]，此法通过计算从图像上提取的“标准”参照光谱曲线和测试光谱曲线(像元光谱)间的“角度”相似性来分析而识别确定地表物的不同类别.对于两个光谱向量x和y，

(6)

夹角越小，光谱越相似，将待判像元分到角度最小(余弦最大)的类别当中去.

光谱角是对地物光谱波形相似性的一种度量，它将每条光谱都视为波谱空间的一个矢量，即地物的光谱反射比在多维空间作为一个矢量，每一个像元的光谱矢量X=[x1,x2,x3,…,xn]T作为样本的观测值，其中xi表示该像元在每个波段上的反射率.如果总光照增加或减小(光照或阴影的作用)，这个矢量的长度将增大或减少，但是角度方向将保持不变.

图3　欧式距离与SA距离Fig 3Euclidean distance and SA distance

光谱角度匹配的公式为

即

(7)

当研究两个n波段的光谱向量X=(x1,x2,x3,…,xn)和Y=(y1,y2,y3,…,yn)的差异时，可以用光谱角度匹配的方法作为向量角度差异性测试标准，用欧氏距离方法作为向量亮度差异性测试标准.将以上两种距离函数进行组合，可充分应用高维光谱所提供的信息，使组合核函数同时兼顾到光谱亮度与光谱向量方向的距离测度.

有些样本的遥感数据特征较好提取，对于这种样本应用线性核就足够了.由于同谱异物的原因，还有一些样本的特征不好提取，针对这些样本用径向基核比较合理.文中考虑到线性可分和线性不可分以及遥感数据本身特征，设计一个能够同时兼顾到样本间的距离相似度和光度角度相似度的核函数为目标，将线性核、径向基核和光谱角度测度标准融入到核函数表达式中，运用核函数性质等几项原则，整理组合而构成一个混合核函数.这些核都有各自突出的优点和不足之处，一旦将它们组合起来应用就可达到互补的效果.由此，将它们的自然组合应用到实际遥感影像分类问题中，结合具体实验数据，说明该核函数性能的优越性.

为了引入方便，令

利用核函数的“封闭性”性质，不难构造(8)式所示的混合核函数：

(8)

其中，ρi为权参数，代表这三类核函数在混合核函数中的比例；σ为径向基核参数，本实验中σ=0.7.从上式不难看出，当ρ1=1,ρ2=ρ3=0时，(8)式转变为简单的线性核；而当ρ2=1,ρ1=ρ3=0时，(8)式为常用的径向基核.

权参数ρi可根据线性核和径向基核各自的欧氏均值EL和ER以及SAM光谱角均值ES之间的关系组合来获得，此关系组合为

将式(7)变换成正定矩阵后，将Kmix(x,x′)带入到

求解可获得最优分类面

(9)

3　实验结果及分析

文中采用的是2009年12月18日制作的吉林省长春伊通河ALOS数据，覆盖范围长达10.07413×10.115708 m地段，由7100 行 7995 列4 个波段([BIP]式)组成，含 227,123,619 bytes像素.为了实验方便,截取1014×721×3规格的一部分数据当作本次实验数据集.数据集大致分为由水体、建筑、草地和灌木、裸地、道路等5类，以下是实验样本集，感兴趣区域样本分类度的数字化和可视化表示形式分别见图4-6.

下面对线性核、径向基核和混合核函数的SVM分类效果分别从混淆矩阵和混淆精度等两方面进行比较，最后给出图像分类效果图.

图4　实验数据(来自于2009年12月制作的 吉林长春伊通河遥感影像)Fig 4　Experimental data(Yitong River remote sensing image in Changchun,Jilin)

图5　ROI样本分离性报告Fig 5 ROI sample separability report

图6　ROI样本分类型n-D可视化报告Fig 6ROI sample separability n-D visualizer report表1　线性核SVM的混淆矩阵Tab 1Linear kernel SVM confusion matrix

类别水体建筑草地、灌木裸地道路水体114710023建筑00000草地、灌木001273066裸地000738道路31663361210817总数1150166413098510914

表2　径向基核SVM的混淆矩阵

表3　混合核SVM的混淆矩阵

表4　分类精度的比较

(a)线性SVM(b)径向基SVM(c)混合SVM

图7分类效果图

Fig 7Classification effect picture

遥感数据感兴趣区域里每类样本之间的区分度都达到1.8以上比较理想，也就是说图5所显示的数字里最后一列上的每一项都大于1.8就较好.但我们的实验数据只有1.5546.这就影响到最终的分类精度.遥感数据应用研究中要注意的是同一个光谱对应不同地表物的现象(简称“同谱异物”现象)，如果处理不好，分类精度会受影响.一般建筑屋顶和道路的建筑材料大致主要都是水泥和沥青，因此自然会有相同的光谱特征，如果能加上样本形状特征，带来的问题将会减少一些，因为建筑和道路的形状截然不同，加以形状特征尤其对遥感数据的分类极其重要，这就是我们下一步的工作.从整体来说，获得实验结果数据表明我们已达到构建核函数的目的.

4　结束语

目前，核函数及最优参数值的选择是与任何分类问题直接相关的热门话题.文中利用核函数的封闭性、组合性等固有性质和SVM 方法的常用核函数技巧构建了一种混合核函数，实验数据表明该方法具有一定的推广性.但仍有一些问题没有考虑周全，那就是没能加上样本的形状特征，因实验数据源是遥感数据，对遥感数据还需考虑样本的形状特征，也就是说，将普通距离运算、光谱夹角运算与样本形状特征结合起来当做样本之间的测度运算，这样样本间的区分度会更好一些，这也是项目将来要研究的任务之一.

[1]SERGE A,LUDOVIC R,YANNICK C,et al.A fuzzy-possibilistic scheme of study for objects with indeterminate boundaries:application to French Polynesian reef scapes[J].IEEETransactiononGeoscienceandRemoteSensing,2000,38(1):257.

[2]YANG C,BRUZZONE L,SUN F Y,et al.Fuzzy statistics based affinity propagation technique for clustering in multis images[J].IEEETransactionsonGeoscienceandRemoteSensing,2010,48(6):2647.

[3]骆继成,郭华东,史文中，等.遥感数据的不确定性问题[M].北京:科学出版社,2004.

[4]YOUSSEF A M.An enhanced remote sensing procedure for material mapping in the western desert of Egypt:a tool for managing urban development[J].NaturalResourcesResearch,2008,17(4):215.

[5]PAN X,ZHANG S Q,ZHANG H Q.A variable precision rough set approach to the remote sensing land use/cover classification[J].Computers&Geosciences,2010,36(14):66.

[6]FOODY G M,MATHUR A.Toward intelligent training of supervised image classification:directing training data acquisition for SVM classification[J].RemoteSensingofEnvironment,2004,93:107.

[7]DALPONTE M,BRUZZONE L,GIANELLE D.Fusion of hyperspectral and LIDAR remote sensing data for classification of complex forest areas[J].IEEETransactionsonGeoscienceandRemoteSensing,2008,46(5):1416.

[8]刘伟强,胡 静,夏德深.基于核空间的多光谱遥感图像分类方法[J].国土资源遥感,2002(3):44.

[9]杨志民,刘广利.不确定性支持向量机[M].北京:科学出版社,2007.

[10]MELGANI F,BRUZZONE L.Classification of hyperspectral remote sensing images with support vector machines[J].IEEETransactionsGeoscienceandRemoteSensing,2004,42(8):1778.

[11]VAPNIK V N.StatisticalLearningTheory[M].New York:Wiley,1998.

[12]DU P,TAN K,XING Xiao-shi.A novel binary tree support vector machine for hyperspectral remote sensing image classification[J].OpticsCommunications,2012,285:3054.

[13]ZHANG R,MA J.Feature selection for hyper spectral data based on recursive support vector machines[J].InternationalJournalofRemoteSensing,2009,30(14):3669.

[14]WANG L,JIA X.Integration of soft and hard classifications using extended support vector machines[J].IEEEGeoscienceandRemoteSensingLetters,2009,6(3):543.

[15]TUIA D,CAMPS-VALLS G.Semi-supervised remote sensing image classification with cluster kernels[J].IEEEGeoscienceandRemoteSensingLetter,2009,6(2):224.

[16]TUIA D,PACIFICI F,KANEVSKI M,et al.Classification of very high spatial resolution imagery using mathematical morphology and support vector machines[J].IEEETransactionsonGeoscienceandRemoteSensing,2009,47(11):3866.

[17]PETROPOULOS G P,KALAITZIDIS C,VADREVU K P.Support vector machines and object-based classification for obtaining land-use/cover cartography from Hyperion hyper spectral imagery[J].Computers&Geosciences,2012,41:99.

[18]LIU Y,ZHANG B,HUANG L H,et al.A novel optimization parameters of support vector machines model for the land use/cover classification[J].InternationalJournalofFood,Agriculture&Environment,2012,10(2):1098.

[19]KNORN J,RABE A,RADELOFF V C,et al.Land cover mapping of large areas using chain classification of neighboring Landsat satellite images[J].RemoteSensingofEnvironment,2009,113(5):957.

[20]HEIKKINEN V,TOKOLA T,PARKKINEN J,et al.Simulated multispectral imagery for tree species classification using support vector machines[J].IEEETransactionsonGeoscienceandRemoteSensing,2010,48(3):1355.

[21]LARDEUX C,FRISON P L,TISON C,et al.Support vector machine for multifrequency SAR polarimetric data classification[J].IEEETransactionsonGeoscienceandRemoteSensing,2009,47(12):4143.

[22]HUANG X,ZHANG L P.Road centre line extraction from high-resolution imagery based on multi scale structural features and support vector machines[J].InternationalJournalofRemoteSensing,2009,30(8):1977.

[23]罗小波,赵春晖,潘建平，等.遥感图像智能分类及其应用[M].北京:电子工业出版社,2011.

[24]杜培军,谭琨,夏俊士.高光谱遥感影像分类与支持向量机应用研究[M].北京:科学出版社,2012.

[25]CRISTIANINI N,KANDOLA J,ELISSEEFF A,et al.On kernel target alignment[C]//DIETTERICH T G,BECKER S,GHAHRAMANI Z.AdvancesinNeuralInformationProcessingSystems14.Cambridge:MIT Press,2002:367.

[26]SCHOLKOPF B,MULLER K R.The connection between regularization operators and support vectors kernels[J].NeuralNetWorks,1998,11(3):637.

[27]EVGENIOU T,PONTIL M,POGGIO T.Regularizationnet works and support vector machines[J].AdvanceinComputationalMathematics,2000,13:1.

(责任编辑孙对兄)

The remote sensing image classification based on the mixedkernelfunctionBDKofsupportvectormachine

GULNAZAlimjan1,2,SUNTie-li3,HURXIDA1，FENGXue-hua1

(1.CollegeofElectronicsandInformationEngineering,YiliNormalUniversity,Yining835000,Xinjiang,China;2.CollegeofGeographicalScience,NortheastNormalUniversity,Changchun130024,Jilin,China;3.CollegeofComputerScienceandInformationTechnology,NortheastNormalUniversity,Changchun130117,Jilin,China)

Thetechnologyofremotesensingimageclassification,selectionofclassificationrulesandtheselectionofkernelfunctionaffecttheclassificationaccuracyamongthesamples.Thekeypartofthesupportvectormachine(SVM)kernelfunctioniseffectivelyselectionasexplorationtargetrulesfromtheselectionofkernelfunction.Theremotesensingdataknowledgeembeddedinthekernelfunctionstructureproblems,combinedwiththefeatureofremotesensingdataitselfcanputforwardakindofbothsamplestothebrightnessdifferenceandangledifferenceofthemixedkernelfunctionselectionmethod.ThekernelfunctionofSVMandtraditionalSVMclassificationeffectareanalyzedtoshowtheeffectivenessofmixedkernelmethods.

supportvectormachine;remotesensingdata;kernelfunction;spectrum

10.16783/j.cnki.nwnuz.2016.03.010

2015-10-10;修改稿收到日期:2015-12-28

国家自然科学基金资助项目(61363066)；新疆高校科研计划重点研究资助项目(XJEDU2014I043)；伊犁师范学院院级重点基金资助项目(2015YSZD04)；吉林省科技发展计划资助项目(20120302)

古丽娜孜·艾力木江(1972—)，女，新疆伊宁人，副教授，博士研究生．主要研究方向为模式识别与遥感数据分类．E-mail:alay328@163.com

TP391.1

A

1001-988Ⅹ(2016)03-0049-08