结合光谱、纹理与形状结构信息的遥感影像分割方法

巫兆聪，胡忠文，张 谦，崔卫红

武汉大学 遥感信息工程学院，湖北 武汉430079

1 引 言

影像分割是面向对象影像分析的基础，其结果将对后续的分析处理产生重要的影响。遥感图像中的光谱信息是影像解译最基本的特征，也是诸多分割算法的基础，如区域增长、分水岭算法［1］等。影像纹理是地物的空间分布模式，也是进行影像解译的重要特征，被广泛应用于影像分割中［2－4］。地物在影像中表现为一定光谱、纹理与形状特征的综合体，采用单一特征进行分割具有较大的局限性，多特征结合的影像分割方法已经成为当前研究的热点。许多学者提出了结合光谱与纹理的分割方法［5］，如JSEG［6－7］、高斯混合模型［8－9］、马尔可夫随机场［10－11］等。这些算法针对内容相对简单的自然影像和合成影像取得了一定的成果，但是对于数据量巨大且地物类型多样的遥感影像仍难以取得较为理想的结果。在遥感影像分割中，多特征综合应用也一直是研究的热点和难点。最具代表的FNEA［12］算法结合了光谱与几何信息实现了多尺度的影像分割，但其未能有效结合影像的纹理信息，对纹理丰富地区仍难以达到理想效果。

本文针对目前遥感影像分割中多特征综合应用问题，提出一种结合光谱、纹理与形状结构信息的分割方法。新算法以初始过分割为起点，采用基于邻接图的方法对过分割区域进行合并获取分割结果。在度量相邻区域相似性时，分别以光谱直方图距离和LBP（local binary patterns）直方图距离度量光谱和纹理差异，并实现了光谱与纹理特征的自动加权。在此基础上，本文算法还利用相邻区域的公共边界进行形状约束。试验结果表明，本文算法能充分利用影像中的多种信息，实现准确而高效的分割。

2 方 法

本文算法分割主要流程：首先对输入影像进行初始的分割，获取最低层次的同质区域，同时，提取影像的LBP纹理信息；然后再统计各区域的光谱与纹理信息，计算相邻区域的光谱、纹理和形状异质性，并将所有区域都映射为区域邻接图中的结点。当两区域相邻时，图中对应的节点用边缘连接，边缘权重即对应两节点合并的代价。最后将区域合并视为图像逼近问题，在邻接图的基础上采用逐步迭代优化的方式逐步合并边缘权重最小的节点，获得最终结果。整体流程如图1。

图1 分割流程图Fig.1 Flowchart of the proposed approach

2.1 LBP纹理特征

局部二进制模式（local binary patterns，LBP）是由 Ojala［3］于1996年提出并逐步完善的一种纹理描述算子，该算子计算局部窗口内像素的局部空间结构与灰度反差，并采用统计分析的方法来描述纹理。该算子计算简单，并且纹理描述能力强，被广泛应用于纹理图像分析中，如纹理图像的分割［3，15］、纹理图像分类［13－14］等。

LBP算子描述像素的局部结构信息，以中心像素灰度为阈值，对邻域像素二值分割为亮像元与暗像元，并与等大小的权重模板卷积得到结构信息。其定义如下

式中

P表示半径R时邻域点的个数；gc为中心点的灰度值；gp为邻域点灰度值。LBP描述的为纹理的结构信息，对于纹理的强度以局部反差（local contrast，LC）进行描述，其定义为

式中，sum1表是窗口内亮像元灰度和，即sp为1的所有像元灰度值的和；n1为对应像元的个数；sum2和n2分别表示暗像元的灰度和与个数。LBP和LC相结合将能同时描述纹理的结构和强度信息，对于不同纹理具有良好的区分性。图2所示为3×3窗口内计算LBP与LC的示意图。

图2 LBP和LC的计算Fig.2 Calculation of LBP and LC values

原始LBP算法邻域像素权重值和位置固定，这使LBP值对纹理的方向较为敏感。为此，文献［13］中进一步提出了旋转不变的LBP，即不断旋转圆形邻域得到一系列初始定义的LBP值，取其最小值作为该邻域的LBP值。

式中，ROR（x，i）表示对P位二进制数x进行向右循环旋转位移i次。当邻域为3×3时，P＝8，旋转不变LBP模式仅有36种可能值。本文中根据LBP值出现的序号，将相应的LBP值换算成序号值，方便后续计算［17］。

LBP纹理反应局部的结构信息，对于多光谱影像，纹理在不同波段上具有高度的一致性，为了减少算法计算量，将各波段影像求均值得到灰度影像，并利用此灰度影像计算影像的LBP／C纹理值。

2.2 纹理与光谱特征异质性

区域LBP／C纹理特征表现为统计信息，即区域纹理直方图之间的相似性。计算直方图距离的方法有直方图交叉法、交叉熵方法、G统计法等。其中G统计法是一种非参数的统计方法，不需要预期知道随机变量的分布情况，因此被广泛应用于基于LBP纹理的影像分析中［3，14，17］。对于两个随机变量集合m和n，令f表示概率密度函数，G统计公式为

对于任意同质区域，其直方图累积概率值均为1，因此式（5）中第2项和第4项的值始终为常数，即

将式（6）和式（7）代入式（5）可得

本文中纹理的描述综合了纹理结构与纹理强度，即采用LBP与LC的联合概率分布直方图进行度量。为了减少计算复杂度，同时考虑纹理的可分性，将LC量化为8个等级，并与LBP构成36×8的联合概率直方图［3］，其结合具有极强的纹理描述和区分能力。则相邻区域的纹理异质性定义为LBP／C联合直方图之间的G统计值

对象的光谱特征量化等级越高，对地物的区分能力越强，但是较高的量化等级使面积有限的区域内直方图变得稀疏不稳定。并且量化等级越高，存储直方图信息所需的内存空间就越大，计算效率越低。适当减少灰度值的量化等级，可以使直方图变得紧密而提高稳定性，但这样会损失一定的光谱区分能力。因此实际计算中需要在区分能力和稳定性之间均衡。在本文中，光谱直方图被压缩到32级。考虑到影像中灰度值的分布范围可能较小，因此对直方图直接进行线性的压缩可能大大降低其区分能力。本文中，首先对原始影像先采用2倍标准差拉伸，然后再进行线性的灰度压缩，将较窄的灰度范围较均匀的压缩到32个灰度级中。在此基础上统计区域的光谱直方图，此时区域m和n之间的光谱距离定义为两区域光谱直方图的距离

式中，N表示影像的波段数；GiC（m，n）表示区域m和n在第i波段的直方图距离。

2.3 光谱与纹理特征自动加权

光谱特征与纹理特征的组合是实现光谱纹理分割的关键之一，最为常用的便是加权组合方式。设hC和hT分别为光谱与纹理异质性，wC、wT为对应的权重，则光谱与纹理加权组合形式如下

wC和wT的确定便成为光谱与纹理组合的关键问题。文献［16—17］等针对遥感影像分割中光谱与纹理特征加权组合提出了两种半自动方法。这两种方法都采用相同的原则，即对于纹理占主导区域设置较高纹理权重，反之设置较大光谱权重。这两种方法以区域的方差为依据，设定经验阈值以判定区域是否属于纹理主导区域，然后再根据判定结果选择预先设置的权重。这种经验阈值方法对于影像中纹理特征突出的区域具有良好的效果，而一些纹理细密的区域可能被归入光谱主导的区域。同时，所有判定为纹理主导的区域所设置的权重均是固定的，难以反映不同区域光谱和纹理特征构成成分的差异。

为此，本文采用了一种全自动的权重设置方法，依据不同两区域的影像内容动态调整光谱和纹理特征的权重。首先统计两近邻区域的光谱特征分布情况，然后以光谱特征所表述的信息自动调整纹理与光谱的权重。对于纹理粗糙的区域，由于纹理结构的影响，影像灰度值比较分散或集中于某几个值附近，使得直方图中最大概率值较小。在纹理细密的区域，灰度分布较为集中，灰度频率最大值较高。图3所示为某真彩色航空影像上林地与农田区域及其光谱直方图。两区域光谱均值相近，但纹理特征存在较大的差异，在光谱直方图上反映为离散程度和峰值的不同。

由以上分析可知，当两区域纹理结构均比较细密时，两光谱直方图最大值均比较高，此时设置较大的光谱权重。反之，只要任一区域纹理粗糙则需加大纹理权重。据此，以两区域光谱直方图情况设置光谱与纹理权重。定义

式中，N为波段总数；maxf（）i表示第i波段的灰度概率最大值；k表示的对当前区域各波段概率密度最大值的加权。分别对相邻的两区域统计k1和k2。由于光谱直方图已经在一定程度上反映部分纹理信息，因此适当增大光谱的权重，取k1和k2最小值的平方根为光谱权重

式中，wC为光谱权重；wT为纹理权重。当相邻两区域中任意一个区域由纹理占主导时，wC将较小，这时两个区域的区分主要依靠其纹理的差别。当k1和k2均较大时，两区域的纹理特征均不明显，以光谱信息作为区分两区域的主要特征。

图3 不同纹理区域及其光谱直方图（已压缩为32级）Fig.3 Examples of regions with different textures and their histograms（32bins）

2.4 结合形状特征的异质性度量

遥感影像上地物是具有一定形状信息的地理实体，在对象合并中，仅利用地物的光谱与纹理信息往往使得图斑轮廓蜿蜒曲折，较难形成具有实际意义的对象，加以几何约束将有助于获取具有实际意义的对象。初始分割往往受噪声、纹理、细微边缘的影响，使得对象破碎，轮廓复杂。在合并中，优先合并公共边较长的相邻区域将有助于获取结构更为紧凑的对象［20］。以式（11）为基础，引入公共边长度的影响，定义新的异质性准则为

式中，lmn为相邻区域m和n的公共边长度；λ为公共边的影响系数，当λ＝0时，lλmn＝1，表示公共边不影响区域异质性度量；当λ不为0时，公共边越长，异质性越小。

2.5 基于邻接图的区域合并

采用基于RAG的合并方法是将初始分割的每一个区域均视为图中的一个节点，当两区域相邻时，对应的节点便以一具有权重的边缘进行连接［21］，通过对图中节点的合并来实现区域的合并。文献［19］提出了一种逐步迭代优化的分割模型，该模型将影像分割视为影像逼近问题，在每一步的优化过程中力求逼近误差最小。在基于邻接图的区域合并中，逐步优化问题转化为寻找合并代价最小的区域进行合并，合并代价即对应于图中边缘的权重，其定义为

式中，C（m，n）表示区域m和n的合并代价值，即对整个图像逼近问题所带来误差；Sm和Sn表示两区域的面积；h（m，n）表示两区域的异质性。将h1（m，n）和h（m，n）逐次代入可得

上式所示合并代价不仅融合了区域的光谱、纹理与形状特征，还充分考虑了区域的面积特征。分析式（17）可得知，在区域异质性相同的情况下，区域的面积越小，合并对于整个图像逼近带来的误差也越小，其合并也代价越小。在区域合并过程中优先合并面积较小的区域，形成较大的区域，还有助于增强区域光谱和纹理统计特征的稳定性。在邻接图中逐次选择合并代价最小的节点进行合并，并更新相关的边缘权重，重复这一过程，直至合并代价最小值超过某一阈值或满足其他设定条件时合并停止，获得最终分割结果。

3 试验结果与分析

为验证本文算法效果，采用1幅TerraSar－X单极化影像和两幅QuickBird真彩色影像进行试验分析。影像原始大小为400像素×400像素，TerraSar－X影像空间分辨率为3m，QuickBird影像为RGB波段组合影像，空间分辨率2.44m。本试验影像分割目的是满足地表覆盖分类需求，因此需要尽可能将同一类型的地物分割在一起，如城市、森林、水体等。因区域合并可以逐步改善过分割效果，但无法处理欠分割的情况，因此在初始分割阶段需保证不出现欠分割为宜。本文采用分水岭分割算法获取初始分割结果，并将面积小于50的区域合并到其光谱均值距离最小的相邻区域中。分水岭算法能较好地区分影像中的同质区域，产生密集的过分割图斑，保证后续处理的精度。

3.1 试验1

为验证本文算法，本试验将试验影像分别以JSEG算法［6］、FNEA 算法［12］进行对 比 试 验。试验平台CPU为Intel E7200双核，2GB内存，Windows XP SP3操作系统。JSEG作为光谱－纹理分割的经典算法，常用于评判其他颜色－纹理分割算法的优劣，该算法也成功应用于遥感影像分割中［6］；而FNEA算法是世界上首个面向对象影像分析软件eCognition的核心算法，被广泛应用于各种遥感影像分析中。因而本文选取这两种标志性的算法作为参考衡量本文算法效果。本文算法合并时设置形状参数为0.5，试验中当剩余区域的个数达到设定阈值时停止合并，通过多组试验，最终设定SAR影像和QuickBird影像区域合并的停止阈值均为24。采用JSEG算法和FNEA算法时，同样调整参数进行多次试验，并采用目视解译的方式选择整体效果最佳的分割结果作为对比。图4（a）和（d）JSEG参数分别为：q＝255，l＝2，m＝0.25和q＝379，l＝2，m＝0.4。图4（b）和（e）FNEA算法参数分别为shape＝0.4，compactness＝0.55，scale＝140和shape＝0.4，compactness＝0.55，scale＝120。

图4 分割效果对比图Fig.4 Segmentation results of different method

3种分割算法效果如图4所示，图中比较明显的过分割或欠分割以箭头指示。图4（a）、（d）所示为JSEG算法结果，两图中区域个数分别为31和39。JSEG算法针对遥感影像分割存在一定的局限，对于纹理粗糙地区过分割，而对于纹理相对细密地区则易出现欠分割。图4（b）和（e）所示为FNEA算法分割结果，两图中区域个数分别为24和25。FNEA算法采用了光谱特征和形状特征进行分割，但由于其没有考虑影像中纹理特征，在纹理密集分布的地方往往出现过分割现象，并且对象边界弯曲复杂的情况，如图4（b）、（e）中箭头处居民地；而对于一些光谱相近纹理存在一定差别的区域容易出现欠分割，如图4（e）中箭头所指处耕地和水体。图4（c）、（f）所示为本文算法结果，两图中区域个数均为24。从图中可以看出本文算法能够较好度量不同地物的光谱与纹理信息，反映地物之间的差别，较好地实现不同类型地物的分割。从图中还可以看出本文算法在能较为精确地获取不同类型地物之间的边界，保证后续分析的精度。

表1给出了3种不同算法针对两幅试验图片的运行时间。由于FNEA算法采用eCognition软件实现，该软件在运行时间大于1s时统计精确到秒，因而表1中FNEA算法时间仅供参考。从表1中可以看出，本文算法的运行效率最高。这充分体现了所采用的LBP纹理的高效，同时也体现了基于区域邻接图的区域合并算法的高效性。

3.2 试验2

为了分析形状参数对分割结果的影响，采用一幅QuickBird影像，以分水岭获取的初始结果，再分别采用形状参数0、0.5和1进行区域合并，通过调整合并停止阈值，使得3组试验结果中区域数目相同。试验结果如图5所示。

表1 分割时间比较Tab.1 Running times of different algorithms for the two images s

图5 不同形状参数下分割结果及局部放大图像Fig.5 Segmentation results using different shape parameters

从对比3组不同形状参数下分割结果可以看出，当形状参数为0时，区域合并以对象的光谱和纹理特征为主导。城区中纹理复杂，且存在部分植被干扰，被分割为多个小块，并且各个对象区域之间轮廓线较为复杂。随着形状参数的增大，对象公共边长度对区域异质性的影响逐步加大，公共边较长的对象被合并在一起的优先级升高，从而得到的对象轮廓更为紧致。如图5（b）、（c）所示，伴随形状参数逐步增大，城区里原本边界复杂的对象由于公共边较长而被优先合并，城区分割效果逐步改善。但是当形状参数过大时，可能会导致某些线状地物与其相邻地物合并，引起欠分割，如图5（f）中箭头所指处植被，被合并到水体中。

4 结 论

本文方法实现了光谱与纹理信息的自动加权组合，并以区域公共边进行空间约束进行影像分割，为多特征结合的遥感影像分割提供了一条有效途径。试验结果表明本文方法能结合光谱、纹理与形状结构信息，改善分割质量，特别是纹理信息较为丰富的区域。与其他算法相比，具有分割结果准确，效率高等优点，具有较高的实用价值。为进一步提高遥感影像分割的自动化、智能化水平，在本文方法的基础上还可进一步引入其他特征（如边缘、上下文关系等），同时，在区域合并停止阈值方面也有待进一步的研究。

［1］ XIAO Pengfeng，FENG Xuezhi，ZHAO Shuhe，et al.Segmentation of High－resolution Remote Sensed Imagery Based on Phase Congruency［J］.Acta Geodaetica et Cartographica Sinica，2007，36（2）：146－151.（肖鹏峰，冯学智，赵书河，等.基于相位一致的高分辨率遥感图像分割方法［J］.测绘学报，2007，36（2）：146－151.）

［2］ GAETANO R，SCARPA G，POGGI G.Hierarchical Texture－based Segmentation of Multiresolution Remote Sensing Images［J］.IEEE Transactions on Geoscience and Remote Sensing，2009，47（7）：2129－2141.

［3］ OJALA T，PIETIKAINEN M.Unsupervised Texture Segmentation Using Feature Distribution［J］.Pattern Recognition，1999，32：477－486.

［4］ YU Peng，ZHANG Zhenlong，HOU Zhiqun.Textured Image Segmentation Based on Gaussian Markov Random Field Mixture Model［J］.Acta Geodaetica et Cartographica Sinica，2006，35（8）：224－228.（余鹏，张震龙，侯至群.基于高斯马尔科夫随机场混合模型的纹理图像分割［J］.测绘学报，2006，35（8）：224－228.）

［5］ TRIAS－SANZ R，STAMON G，LOUCHET J.Using Colour，Texture，and Hierarchical Segmentation for High－resolution Remote Sensing［J］.ISPRS Journal of Photogrammetry and Remote Sensing，2008，63：156－168.

［6］ DENG Y，MANJUNATH B S.Unsupervised Segmentation of Color－texture Regions in Image and Video［J］.IEEE Transactions on Pattern Analysis and Machine Intelligence，2001，23（8）：800－810.

［7］ LIU T T，ZHANG L P，LI P X，et al.Region Segmentation of Multi－spectral Remote Sensing Images Using Improved JSEG Algorithm［J］.Journal of Remote Sensing，2009，13（1）：30－34.

［8］ CARSON C，BELONGIE S，GREENSPAN H，et al.Blobworld：Image Segmentation Using Expectation－maximization and Its Application to Image Querying［J］.IEEE Transactions on Pattern Analysis and Machine Intelligence，2002，24（8）：1026－1038.

［9］ PERMUTER H，FRANCOS J，JERMYN I.A Study of Gaussian Mixture Models of Color and Texture Features for Image Classification and Segmentation［J］.Pattern Recognition，2006，39：695－706.

［10］ KATO Z，PONG T C.A Markov Random Field Image Segmentation Model for Colour Texture Images［J］.Image and Vision Computing，2006，24：1103－1114.

［11］ XIA Y，FENG D，ZHAO R.Adaptive Segmentation of Texture Images by Using the Coupled Markov Random Field Model［J］.IEEE Transactions on Image Processing，2006，15（11）：3559－3566.

［12］ BAATZ M，SCHAPE A.Multiresolution Segmentation：An Optimization Approach for High Quality Multiscale Image Segmentation［J］.Journal of Photogrammetry and Remote Sensing，2000，58（3－4）：12－23.

［13］ OJALA T，PIETIKAINEN M，HARWOOD D.A Comparative Study of Texture Measures with Classification Based on Feature Distributions［J］.Pattern Recognition，1996，29（1）：51－59.

［14］ OJALA T，PIETIKAINEN M，MAENPAA T.Multiresolution Gray－scale and Rotation Invariant Texture Classification with Local Binary Patterns［J］.IEEE Transactions on Pattern Analysis and Machine Intelligence，2002，24（7）：971－987.

［15］ CHEN K M，CHEN S Y.Color Texture Segmentation Using Feature Distributions［J］.Pattern Recognition Letters，2002，23：755－771.

［16］ HU X，VINCENT T，BJORN P.Automatic Segmentation of High－resolution Satellite Imagery by Integrating Texture，Intensity，and Color Features［J］.Photogrammetric Engineering and Remote Sensing，2004，71：1399－1406.

［17］ WANG A，WANG S，LUCIEER A.Segmentation of Multispectral High－resolution Satellite Imagery Based on Integrated Feature Distributions［J］.International Journal of Remote Sensing，2010，31（6）：1471－1483.

［18］ ZHENG Yongbin，HUANG Xinsheng，FENG Songjiang.An Image Match Algorithm Based on Combination of SIFT and the Rotation Invariant LBP［J］.Journal of Computer－Aided Design ＆ Computer Graphics，2010，22（2）：286－292.（郑永斌，黄新生，丰松江.SIFT和旋转不变LBP相结合的图像匹配算法［J］.计算机辅助设计与图形学学报，2010，22（2）：286－292.）

［19］ BEAULIEU J M，GOLDBERG M.Hierarchy in Picture Segmentation：A Stepwise Optimization Approach ［J］.IEEE Transactions on Pattern Analysis and Machine Intelligence.1989，11（2）：150－163.

［20］ TAN Yumin，HUAI Jianzhu，TANG Zhongshi.Edge－guided Segmentation Method for Multiscale and High Resolution Remote Sensing Image［J］.Journal of Infrared and Millimeter Waves，2010，29（4）：312－315.（谭玉敏，槐建柱，唐中实.一种边界引导的多尺度高分辨遥感图像分割方法［J］.红外与毫米波学报，2010，29（4）：312－315.）

［21］ TAN Yumin，HUAI Jianzhu，TANG Zhongshi.Objectoriented Adjacency Graph Partition Algorithm for Remote Sensing Image Segmentation［J］.Journal of Dalian Maritime University，2009，35（2）：81－83.（谭玉敏，槐建柱，唐中实.基于邻接图的面向对象遥感图像分割算法［J］.大连海事大学学报，2009，35（2）：81－83.）