面向图像语义分析的JSEG改进分割算法

周 云，张 滢，纪 平

（合肥工业大学计算机与信息学院，安徽合肥 230009）

面向图像语义分析的JSEG改进分割算法

周 云，张 滢，纪 平

（合肥工业大学计算机与信息学院，安徽合肥 230009）

JSEG算法是一种经典的被广泛应用于图像处理的图像分割算法，但是它存在着严重的过分割问题，因而不适用于对图像的语义分析处理。针对这个问题提出了两个方面的改进，一是改进了原算法中初始种子点的选取方法，二是在区域聚合过程中增加考虑了区域纹理特征的信息。实验表明，改进后的方法有效地改善了原算法中的过分割现象，分割后的图像区域更加符合对图像进行语义分析的要求。

图像语义分析;JSEG算法;区域生长;区域聚合

【本文献信息】周云，张滢，纪平.面向图像语义分析的JSEG改进分割算法［J］.电视技术，2014，38（1）.

目前，如何对图像进行准确的语义分析非常热门。由于图像语义内容描述为“像素—区域—目标—场景”的层次包含关系［1］，因此图像分割［2］是其中极为重要和基础的一步，区域分割的准确性直接影响到图像中对于目标的提取，进而对图像语义的分析和理解产生影响。

图像分割是一种基本的计算机视觉处理技术，是从图像基本处理到图像分析的关键环节。目前对其已有大量的相关研究，主要有基于聚类［3－4］、基于区域［5］、基于模型［6－7］等多种方法。其中Deng和Manjunath提出的JSEG算法颜色［8］是一种经典的基于图像颜色和纹理的区域生长的分割方法，近年来被大量应用于对网络视频图像的分析［9］、航拍遥感图像的分析［10］等，具有较高的准确性和鲁棒性。但是JSEG分割算法存在着明显的过分割问题，并不适用于图像的语义分析处理。为此文中针对原算法的过分割问题提出了两个方面的改进，一是改进了原算法中初始种子点的选取方法，二是区域聚合过程中在依据颜色信息的基础上增加了区域纹理特征的信息。实验表明，改进后的方法有效地改善了原算法中的过分割现象。

1 JSEG算法

JSEG算法主要有颜色量化和空间分割两大步骤。

1.1 颜色量化

颜色量化是为了在不损失原图像信息的情况下减少图像的颜色数量，降低算法的运算时间和复杂。量化的结果是对图像提取出十几种具有代表性的颜色，形成不同的颜色区域，得到一幅每个像素用不同的量化颜色类标记的类图。颜色量化首先将图像的颜色空间转换成为比较符合人类视觉感知的LUV颜色空间;然后采用同组滤波器（Peer Group Filtering，PGF）［11］对图像进行平滑去噪，用分裂算法确定图像的类数;最后采用GLA（Generalized Lloyd Algorithm）算法［11］进行矢量量化和颜色聚类，生成由不同的颜色类标记的类图，如图1所示。类图可以看作是一种特殊的纹理图像，在类图中，每个点的像素值不是它的颜色值，而是量化后的颜色类标记号，图1中的类图表示该图像量化为3个不同的颜色类别，图中不同的符号表示不同的颜色类别。

图1 类图的示例

1.2 空间分割

1.2.1 J图的生成

JSEG算法中的空间分割并不是直接对颜色量化后生成的类图进行分割，它引入了一种模板扫描方法，通过颜色信息在模板中的分布情况来计算模板中心像素点的局部J值，在类图的基础上生成能够反映图像区域分部信息的J图，再对J图进行空间分割。假设Z是图像中N个像素点的集合，其中像素点z=（x，y），z∈Z，m表示Z的均值，即

式中:W表示局部窗口;C表示窗口内颜色类别的数量;Zi表示第i类颜色的像素集合，其中i=1，2，3，…，C;Ni则表示Zi中的像素个数。mi表示Zi中的均值，即

其中像素点（x，y）的局部J值为

由以上公式和计算过程可知，每个像素点所对应的J值是在以该像素为中心的局部窗中计算得到的每个像素的局部相似度。J值的计算结果与局部窗口W的大小有直接关系，当局部窗口W过大时，计算出的局部J值分布比较均匀，分割出的区域具有较好的纹理边缘区分，但存在着欠分割现象;当局部窗口W较小时，计算出的局部J值具有较好的区分度，对于颜色边缘的变化比较敏感，容易出现过分割现象。因此，JSEG算法中采用在不同尺度的局部窗中计算J值的方法，通过反馈改变局部窗的大小，以获得最能表达区域边界的位置信息。

某像素点的局部J值越高，表示这个像素靠近边界的可能性越大，J值越小，表示这个像素靠近区域中心的可能性越大。J图就相当于一幅三维地形图，越大的J值表示越高的山峰，代表了区域的边缘，而越小的J值表示越低的山谷，代表了区域的内部。

1.2.2 区域生长和区域聚合

区域生长主要分为两个步骤，一是种子点的确定，二是区域聚合。首先在一个区域中计算局部J值最小点的平均值和标准差，分别记为μJ和δJ，并设定阈值TJ=μJ+a× δJ，其中a={－0.6，－0.4，－0.2，0，0.2，0.4}。将局部J值低于TJ的点选为种子点，连接起来获得种子域;其次将种子点的各邻域中与种子点具有相同性质的像素合并到种子点所在的区域中。对于未被选中的非种子区域，计算非种子区域与已标记过的相邻区域之间的色调均值差，选取差值最小的相邻区域进行合并。最后依据颜色的相似性来对区域进行聚合，通过计算2个区域的颜色直方图距离来判断是否要进行合并。

2 算法改进

本文中针对JSEG算法中的区域生长过程和区域聚合过程进行了一定的改进，主要是通过改变种子点的选取和生长规则以及聚合准则来降低原算法中的过分割现象。

2.1 种子点的选取和生长准则

在图像分割中，好的分割效果其基本要求是能够使同一区域内的像素点之间的相似性大于不同区域之间的像素点之间的相似性，所以在区域生长中所选取的种子点应该与它相邻像素之间的特征非常相似。文献［12］的研究表明，通过定义各像素点之间的邻域相容因子来进行区域生长，在对灰度图像的分割处理中获得了很好的分割效果。因此，本文中考虑到依据J图来计算各像素点之间的邻域相似度SJ，同时考虑计算各像素点之间的基于局部颜色直方图的邻域相似度SC和基于局部LBP纹理［13］的邻域相似度ST，各邻域相似度计算方法定义如下

式中:Num（MJ），Num（MC）和Num（MT）表示像素点p的K邻域中像素点的数目;K邻域定义为以p为中心，边长为2K+1的正方形窗;Num（NJ）表示满足在p的K邻域中满足与p的局部J值直方图之差小于阈值QJ的像素点的数目;同理Num（NC）表示K领域中与p的局部颜色直方图之差小于阈值QC的像素点的个数。

LBP纹理特征是一种描述图像局部纹理特征的算子，原始的LBP算子定义为在3×3的窗口内，以窗口中心像素为阈值，将相邻的8个像素与其比较，大于中心像素值则标记为1，否则为0。因此本文中将以p为中心的3×3的窗口作为一个小区域，将该区域的LBP特征看作是像素点p的LBP特征，对于其他的像素点LBP特征也是依此方法计算，Num（NT）表示K领域中与p的局部LBP特征之差小于阈值QT的像素点的个数。综合考虑各邻域相似度的区分作用，取这3种相似度的加权和为像素点的综合邻域相似度，定义如下

S（p）定义了在邻域内与中心像素点p的相似像素和像素总数目的比值，当S（p）≥0.5时，表示p像素点周围的颜色和纹理变化缓慢，处于区域内部的可能性比较大。反之则表示p点周围的颜色纹理变化剧烈，处于区域边缘处的可能性比较大。因此，将S（p）≥0.5的像素点选为种子点，将种子点的K邻域中的综合邻域相似度差异小于Q的像素点进行合并，其中Q=0.4×QJ+0.3×QC+0.3×QT。具体过程如图2所示。

图2 区域生长过程

2.2 区域聚合准则

JSEG算法中的区域聚合是以区域的颜色相似性为参考准则进行聚合的，通过计算相邻区域的颜色直方图距离来判断是否要进行合并。这种只考虑了颜色信息的合并方式显然存在着一定的误差性，比如对于具有相似颜色分布的不同对象或者具有渐变颜色分布的同一对象等情况不能正确地进行聚合。

针对这个问题，本文提出了一种基于颜色相似性和纹理相似性的聚合准则，除了原算法中考虑的颜色直方图距离之外，增加计算区域的纹理特征信息。本文中采用了Gabor滤波［14］的方法来计算区域的纹理特征，对于任意一个不规则形状的多边形区域R，取得R的最小包围矩形并对其进行8×8的分块，计算每个分块中区域R所占的百分比ω，若ω大于50%则认为该分块为有效块，否则为无效块。对于所有的有效块采用Gabor小波变换提取纹理特征，并计算出整个区域R的纹理特征TR

式中:n为有效块的个数;ωi为每个有效块中R所占的比例;ti为每个有效块的纹理特征向量。在进行区域聚合时，分别计算每个区域的颜色直方图和纹理特征，综合考虑各区域之间的颜色距离和纹理距离来对区域进行聚合。

3 实验结果与分析

本文中在NUS－WIDE数据集［15］中随机选择了多幅具有明显目标和语义内容的彩色图像，共有100张图像，用本文中提出的改进后的JSEG分割算法与原算法进行分割实验和比较，在所有的实验中都采用同样的参数以保证分割效果的可比性。图3是部分图像的分割结果比较。图3a为原算法的分割结果，图3b为改进后的分割结果，从图中可以看出改进后的算法有效减少了原算法中的过分割现象，提高了分割的准确性。例如图中的天空包含了不同的渐变的颜色，原算法中把它分割成了多个不同区域，而改进后的算法则充分考虑到了颜色信息和纹理信息，将其分割成为一个较为完整的区域，比较符合人眼的目标分类感知，适用于图像语义分析中对区域的分割要求。另外还可以看出对比第一幅图像的分割结果，改进后的算法完整地将左边的树分割出来，提高了图像分割的准确性。

图3 分割结果图

4 结论

本文针对JSEG算法在图像分割中的过分割问题，通过改变种子点的选择方式和合并准则，改善区域聚合准则来抑制过分割现象。首先利用像素点的局部J值信息、颜色信息和纹理信息来定义像素之间的综合邻域相似度，以此自动选取像素中具有生长能力的种子点，具有较强的鲁棒性。其次在区域聚合中增加考虑区域的纹理信息，结合纹理信息和颜色信息来判断是否要进行区域合并，有效减少了原算法中的过分割现象。从实验结果中也可看出，本文中改进后的分割结果比较符合对图像进行语义分析的标准，能够很好地应用在基于目标区域的图像检索、语义分析、目标识别等领域。下一步的工作将考虑增加图像区域的边缘特征作为区域的聚合准则，以便得到更好的区域分割效果。

:

［1］高隽，谢昭，张骏，等.图像语义分析与理解综述［J］.模式识别与人工智能，2010（23）:191－202.

［2］章毓晋.图像分割［M］.北京:科学出版社，2001.

［3］康家银.一种改进的顾及像素空间信息的FCM聚类算法［J］.仪器仪表学报，2009（1）:208－212.

［4］赵晨炜.基于模糊聚类的彩色图像分割方法的研究［D］.武汉:武汉理工大学，2012.

［5］赵钦佩，姚莉秀，程建，等.基于颜色信息与区域生长的图像分割新算法［J］.上海交通大学学报，2007（5）:802－806.

［6］陆明俊，王润生.基于MRF模型的可靠的图像分割［J］.电子学报，1999（2）:87－89.

［7］应伟勤，李元香，徐星，等.基于图模型的图像分割并行算法研究与实现［J］.模式识别与人工智能，2007（4）:571－576.

［8］DENG Y N，MANJUNATH B S.Unsupervised segmentation of color－texture regions in images and video［J］.IEEE Transactions on Pattern Analysis and Machine Intelligence，2001，23（8）:1－27.

［9］宋海玉.自动图像标注及标注改善算法的研究［D］.济南:山东大学，2012.

［10］冯晓毅，王西博，王蕾，等.基于改进JSEG算法的高分辨率遥感图像分割方法［J］.计算机科学，2012，39（8）:284－287.

［11］DENG Y，KENNEY C，MOORE M S，et al.Peer group filtering and perceptual color image quantization［J］.IEEE Transactions on Image Processing，1999，10（2）:21－24.

［12］DING Jundi，MA Runing，CHEN Songcan，et al.A scale－based connected coherence tree algorithm for image segmentation［J］.IEEE Transactions on Image Processing，2008，17（2）:204－216.

［13］OJALA T，PIETIKAINEN M，MAENPAA T.Multiresolution gray－scale and rotationinvariant texture classification with local binary patterns［J］.IEEE Trans.PAMI，2002，24（7）:971－987.

［14］MANJUNATH B S，MA W Y.Texture features for browsing and retrieval of image data［J］.IEEE Trans.Pattern Analysis and Machine Intelligence，1996，18（8）:837－842.

［15］CHUA T S，TANG J，HONG R，et al.NUS－WIDE:a real－world web image database from national university of Singapore［EB/OL］.［2013－03－05］.http://www.datatang.com/data/15482.

Segmentation for Image Semantic Analysis Based on Improved JSEG Algorithm

ZHOU Yun，ZHANG Ying，JI Ping

（School of Computer Science ＆ Information，Hefei University of Technology，Hefei 230009，China）

JSEG algorithm is a classic image segmentation algorithm which is used in image processing widely，but the over－segmentation problem is so severely that this algorithm isn’t suitable for Image Semantic Analysis.Two improvements to solve this issue are proposed.One is improved the initial seed point selection method，the other is consider the information of texture feature in the region merging process.The experiments on large amounts of images show that the proposed method reduces the over－segmentation phenomenon effective and conforms to the requirements of image semantic analysis.

image semantic analysis;JSEG algorithm;region growing;region merging

TN919.8

A

周 云（1990— ），女，硕士生，主研图像处理与分析，多媒体信息处理，图像标注;

张 滢（1989— ），硕士生，主研视频编码，运动目标检测与跟踪，DSP技术;

纪 平（1975— ），女，讲师，主要研究方向为多媒体信息处理。

责任编辑:任健男

2013－05－05