改进的SLIC超像素彩色图像分割方法

裴高阳，张荣国，胡 静，刘小君

（1.太原科技大学计算机科学与技术学院，太原030024；2.合肥工业大学机械与汽车工程学院，合肥230009）



改进的SLIC超像素彩色图像分割方法

裴高阳1，张荣国1，胡 静1，刘小君2

（1.太原科技大学计算机科学与技术学院，太原030024；2.合肥工业大学机械与汽车工程学院，合肥230009）

摘 要：简单线性迭代聚类（SLIC）方法需要人为设定图像分割时所需超像素的数目，这样设定值容易过大或过小，不能保证待分割图像处理的要求。针对该问题，对SLIC超像素分割方法进行了改进，提出利用图像的颜色信息，对所要处理图像的横坐标和纵坐标进行随机扫描，然后分析扫描线像素的颜色信息，从而得到图像所需要的超像素数目。仿真实验表明，该方法可以获得图像所需要的相对合适的超像素数目，用这些超像素对图像进行分割，能达到较理想的分割效果。

关键词：SLIC；超像素；图像分割

随着数字图像处理技术的不断发展和进步，其研究成果已经被广泛的应用到了许多领域之中。其中，图像分割［1］作为数字图像处理中的一个基本问题，是图像理解的重要组成部分。在传统图像分割的方法中，是以像素为基本处理对象的，并没有考虑到像素之间的空间和组织关系，但是随着技术的不断发展，所要分割图像的尺寸变得越来越大，导致算法的处理效率过低。2003年，Ren等人［2］第一次提出了超像素的概念，所谓的超像素，就是指由许多相似的相邻像素点所组成的图像块。超像素分割就是指将像素聚合成超像素图像块的过程。根据像素间特征的相似性进行分组从而产生超像素，可以有效的降低所要处理的信息的规模，也为后续的图像处理过程减小了复杂度。

超像素分割算法一般可以分为两大类：一类是基于图论的算法，另一类则是基于梯度上升的算法［3］。其中，基于图论的分割方法是一种全局性的分割方法。目前已有的基于图论的超像素分割方法主要包括：Normalized cuts算法［4］、Superpixel lattices算法［5］、Compact superpixels和Constant-intensity superpixels两种超像素分割算法［6］、基于熵率的ERS算法［7］、SEEDS算法［8］以及结构敏感的超像素分割算法［9］等。基于梯度上升的分割方法包括：watersheds方法［10］、MeanShift方法［11］、Quick-shift方法［12］、Turbopixels方法［13］以及SLIC（simple linear iterative clustering）方法［14］等。

近些年来，国内外的研究者对超像素进行了大量的科学研究，超像素不仅在图像分割领域中得到了广泛的应用，还被应用到了包括骨架提取、人体姿态估计、目标跟踪、目标识别等计算机视觉的研究领域之中［15］。如在文献［16］中，首先运用SLIC超像素分割算法对图像进行初始化，然后将分割后的每个超像素作为节点从而实现了图的分割，这样做使分割过程变得简单而且更容易处理。在文献［17］中，使用了SLIC超像素分割方法对像素数量巨大的3D图像进行分割，这样有效的降低了算法复杂度并且还减少了算法对内存的要求，明显的提高了算法的性能。在目标跟踪的研究中，文献［18］中提出了一种新的目标跟踪算法，该算法利用超像素来提取物体的结构信息，能较好地处理目标跟踪中的一些问题，如形变、闭塞和遮挡等。在文献［19］中，提出一种运用超像素对物轮廓形状进行提取的方法。超像素分割算法的研究目前已经取得了很丰硕的成果。

文献［20-21］对目前已有的各种生成超像素的方法进行了分析和比较，得出的结论是SLIC超像素分割算法是目前最优的方法之一，并且在伯克利标准数据库中的实验表明，SLIC方法与其他方法相比在产生相似或者更好的分割结果时，效率有了大幅度的提高。但是此方法中有这样一个问题：需要人为的设定图像分割时所需要的超像素数目，可是在人为设定超像素数目的时候，无法判断图像所需要的合适的超像素个数，这样设定的值就很容易过大或者过小，不能保证设定的值就是图像在分割时所要求的相对来说最合适的值。如果所设定的超像素数目过小会导致图像的分割结果不够准确，不能达到超像素分割图像的目的；如果所设定的超像素数目过大就没有能体现出超像素分割的优势，则会造成图像分割时在运算时间和存储空间上不必要的浪费。因此，如何根据图像信息自动确定图像分割时所需的超像素数目就变的很重要。

针对SLIC超像素分割方法中存在的问题，对其进行了改进，提出了一种改进的SLIC超像素彩色图像分割方法，该方法利用图像的颜色信息，对所要处理的图像进行随机扫描，然后通过分析扫描线里的颜色信息，从而可以确定图像所需要的相对合适的超像素数目，获得分割结果，并进行了仿真实验。

1 SLIC方法基本原理

Achanta等人在2010年提出了基于颜色和空间距离的简单线性迭代聚类算法SLIC.该方法是通过对传统的K均值聚类算法进行改进从而生成超像素的。在算法一开始，需要先初始化超像素中心点，假设图像有N个像素点，该方法将图像预分割为K个相同尺寸的超像素，那么每一个超像素的大小就为N/ K，并且各个超像素中心点的距离就近似的表示为.将各超像素中心点的移动范围设定为3×3的窗口，在此范围内移动到其梯度值最小的地方，这样可以避免它出现在图像的边缘位置，给后续聚类过程造成不必要的干扰。图像梯度的计算公式是：

其中，I（x，y）为颜色向量1ab在（x，y）位置上的值。同时考虑了颜色信息和强度信息。

然后对图像的每一个像素点都分别计算与其距离最近的超像素中心点的相似程度，并将最相似超像素中心点的标签赋值给该像素，对这一过程不断迭代直至收敛得到最终结果。

2 改进的SLIC方法

然而，在上述SLIC方法中，需要人为的设定图像分割时所需超像素的数目，这样做会对分割结果造成很大的影响。针对SLIC超像素分割方法中存在的问题，提出利用图像的颜色信息自动确定其所需超像素的数目。当要处理的图像很大时，其颜色信息很多，如果对其整体进行扫描，就会占用过多不必要的运行时间和存储空间，所以假设图像大小为M×N，只随机扫描图像的M/ e行或者N/ e列，e是用来控制所需颜色信息数量的平衡参数，e取值越大，所要扫描的像素信息越少，e取值越小，所要扫描的像素信息就越多，经过实验验证，这里取e = 10时，可得到较满意的结果。

在图像处理领域中，分析彩色图像一般是在RGB模式下进行的，但是RGB颜色空间并不直观，从RGB值中很难判断该值所表示的颜色，并且，RGB颜色空间与人眼感知存在很大的差异。HSV颜色空间反映了人眼视觉观察彩色的方式，同时也有利于图像处理［22］，所以将扫描所得的图像像素信息从RGB模式转化为HSV模式。设Cmax等于（R，G，B）中的最大值，Cmin等于（R，G，B）中的最小值，计算HSV空间中的（H，S，V）值，其中，H∈［0，360］，S，V∈［0，1］，计算公式为：

真彩色图像的颜色一般非常多，其直方图矢量的维数就会非常多。如果先对HSV空间进行适当的量化，然后再计算直方图，则计算量就会少得多。根据人体视觉对颜色的感知特性，本研究将H，S，V三个分量按照人的颜色感知进行非等间隔量化。H的取值范围为［0，360］，S的取值范围为［0，1］，V的取值范围为［0，1］.参考文献［23］，根据人的视觉分辨能力，色彩的不同范围和主观颜色感知进行量化，笔者把色调H量化为16级，饱和度S和亮度V分别量化为4级。然后，将3个颜色分量合并为一维特征矢量L：

这样，H，S，V三个分量在一维矢量上分布开来。L的取值范围为［0，1，…，255］，计算L获得256 bin一维直方图。

然后统计L中相同值出现的次数，并将其存放到一个一维数组T中。然后，对一维数组T中各值从小到大进行排序，求它们的平均值ave，选取T中大于ave的最小值作为图像所需超像素的数目。

像素点与超像素中心点的相似度衡量关系为：

其中，dlab和dxy分别为像素点之间的颜色差异和空间距离，Di为所求的相似度，s为超像素中心点的间距，m是用来控制超像素紧密度的平衡参数。

SLIC算法在对每个超像素种子点聚类的时候并不是在整个图像中进行搜索，而是只在以它为中心的2S×2S区域内搜索像素点的，这样可以提高算法的运算速度，如图1所示。

图1 搜索范围对比Fig.1 Search scope contrast

最后采用邻近合并策略消除孤立的小尺寸超像素，加强连通性，从而保证了算法最终具有较好的结果。表1为改进的SLIC算法步骤。

表1 改进的SLIC算法步骤Tab.1 The improved SLIC algorithm steps

通过上述方法，可以得到图像需要的比较合理的超像素数目，并且求图像所需超像素数目的运行时间非常短，占用的内存空间小，这样后续的超像素图像分割就可以达到比较理想的结果，大大节省了图像分割中在时间和存储成本上不必要的浪费。

3 实验结果与分析

为了验证本文提出的方法，本节使用了大小不同的自然彩色图像进行实验。

对图3横向随机扫描后得到的扫描线像素点进行计算，求得一维特征向量L中相同值出现的次数如图2所示，将其平均值ave = 226.588 2大于ave的像素数最小值246作为该图像所需超像素的数目。

在表2中，分别显示了10组值，是对图3（a），图4（a），图5（a），以及图6（a）进行横向随机扫描时求得的所需超像素数目和纵向随机扫描时求得的所需超像素数目。可以看到，求得的值比较稳定。

图2 特征向量L中各值分布图Fig.2 Value distribution of feature vector L

表2 横向扫描和纵向扫描所得超像素数目结果对比Tab.2 Vertical and horizontal scanning results contrast

图3的尺寸为321×481，进行10组实验求得的超像素数目在228～270之间，偏差在正常范围内。当超像素数目为150时的分割结果如图3（b），可以看到，小男孩的左耳和右边耳朵上面以及鞋子都没有分割好，所以当超像素数目取值低于该范围时不能达到良好的分割结果。当超像素数目为246时对其进行分割，可以达到满意的分割效果，如图3（c），图中人物的轮廓以及鞋子等细节部分也分割的很好。

图4的尺寸为1024×768，进行10组实验求得的超像素数目在753～861之间，偏差在正常范围内。当超像素数目为600时分割结果如图4（b），可以看到，乌龟的边缘位置与背景没有完全分割开，所以当超像素数目取值低于该范围时不能达到良好的分割结果。当超像素数目为790时对其进行分割，可以达到满意的分割效果，如图4（c），图中乌龟以及各条小鱼均被较好的分割出来。

图5的尺寸为640×480，进行10组实验求得的超像素数目在1030～1357之间，偏差在正常范围内。当超像素数目为800时分割结果如图5（b），可以看到，大象的象牙并没有被完整的分割出来，所以当超像素数目取值低于该范围时不能达到良好的分割结果。当超像素数目为1205时对其进行分割，可以达到满意的分割结果，如图5（c）.

图6的尺寸为960×1469，进行10组实验求得的超像素数目在2481～2853之间，偏差在正常范围内。当超像素数目为2000时分割结果如图6（b），可以看到，猩猩的头部边缘以及手部边缘没有和背景完全分割开，所以当超像素数目取值低于该范围时不能达到良好的分割结果。当超像素数目为2608时对其进行分割，可以达到满意的分割结果，如图6（c）.

图3 小男孩分割结果对比Fig.3 Boy segmentation results contrast

经过实验验证，如果超像素数目比求得的值过小则不能达到满意的分割结果。

图4 海龟分割结果对比Fig.4 Turtles segmentation results contrast

图5 大象分割结果对比Fig.5 Elephants segmentation results contrast

图6 狒狒分割结果对比Fig.6 Baboon segmentation results contrast

表3 程序处理时间比较Tab.3 Application processing time

图7 边界命中率对比Fig.7 Boundary accuracy contrast

如表3所示，虽然在超像素数目相同的时候改进的程序运行时间较多，但是当超像素数目继续增大的时候原程序的运行时间还在增加，但是边界命中率并没有明显的增长。本文所提方法是自动确定图像所需超像素的数目然后进行超像素图像分割的，运行一次就可以得到较满意的结果，无需向原方法那样尝试多次才能确定图像所需合适的超像素数目，节省了时间，提高了效率。

如下图7所示，图7（a）为对图3分别以不同超像素数目进行分割实验，并与手动分割的图像比较边界命中率。在图7（a）的统计结果中可以看到，超像素数目在200到300之间时边界命中率已经非常高，当超像素数目超过300时边界命中率趋向于平稳。图7（a）中所示的曲线结果和上述实验所求得的超像素数目区间相似。图7（b）为对图4分别以不同超像素数目进行分割实验，并与手动分割的图像比较边界命中率。在图7（b）的统计结果中可以看到，超像素数目在700到1 000之间时边界命中率已经非常高，当超像素数目超过1 000时边界命中率趋向于平稳。图7（b）中所示的曲线结果和上述实验所求得的超像素数目区间相似。图7（c）为对图5分别以不同超像素数目进行分割实验，并与手动分割的图像比较边界命中率。在图7（c）的统计结果中可以看到，超像素数目在1 000到1 400之间时边界命中率已经非常高，当超像素数目超过1 400时边界命中率趋向于平稳。图7（c）中所示的曲线结果和上述实验所求得的超像素数目区间相似。图7（d）为对图6分别以不同超像素数目进行分割实验，并与手动分割的图像比较边界命中率。在图7（d）的统计结果中可以看到，超像素数目在2 500到3 500之间时边界命中率已经非常高，当超像素数目超过3 500时边界命中率趋向于平稳。图7（d）中所示的曲线结果和上述实验所求得的超像素数目区间相似。并且对大量的图像进行实验后，可以得到相似的结果。

4 结论

SLIC分割方法是目前先进的超像素图像分割方法，但是其需要人工设定图像所需超像素的数目，这样就会带来很多不必要的麻烦，所以提出了一种基于颜色信息自动获取图像所需超像素数目的方法。经过实验验证，提出的方法可以得到较合适的值，并且实现简单，运行速度快。下一步将在超像素分割的基础上进行图像合并的研究，从而完成对图像中目标信息的提取等工作。

参考文献：

［1］ 林开颜，吴军辉，徐立鸿.彩色图像分割方法综述［J］.中国图象图形学报，2005，10（1）：1-10.

［2］ REN X，MALIK J.Learning a classification model for segmentation［C］∥Proceedings of the IEEE International Conference on Computer Vision.Washington DC，USA：IEEE，2003：10-17.

［3］ 王春瑶，陈俊周，李炜.超像素分割算法研究综述［J］.计算机应用研究，2014，31（1）：6-12.

［4］ SHI J，MALIK J.Normalized cuts and image segmentation［J］.IEEE Transactions on Pattern Analysis and Machine Intelligence，2000，22（8）：888-905.

［5］ MOORE A P，PRINCE S，WARRELL J，et al.Superpixel lattices［C］∥Proceedings of IEEE Conference on Computer Vision and Pattern Recognition.Washington DC，USA：IEEE，2008：1-8.

［6］ VEKSLER O，BOYKOV Y，MEHRANI P.Superpixels and supervoxels in an energy optimization framework［M］.Computer Vision.Berlin：Springer-Verlag，2010：211-224.

［7］ LIU M Y，TUZEL O，RAMALINGAM S，et al.Entropy rate superpixel segmentation［C］∥Proceedings of IEEE Conference on Computer Vision and Pattern Recognition.Washington DC，USA：IEEE，2011：2097-2104.

［8］ BERGH M V D，BOIX X，ROIG G，et al.SEEDS：Superpixels extracted via energy-driven sampling［M］.Computer Vision.Berlin：Springer-Verlag，2012：13-26.

［9］ WANG P，ZENG G，GAN R，et al.Structure-sensitive superpixels via geodesic distance［J］.International Journal of Computer Vision，2013，103（1）：1-21.

［10］ VINCENT L，SOILLE P.Watersheds in digital spaces：an efficient algorithm based on immersion simulations［J］.IEEE Trans on Pattern Analysis and Machine Intelligence，1991，13（6）：583-598.

［11］ COMANICIU D，MEER P.Mean shift：a robust approach toward feature space analysis［J］.IEEE Transactions on Pattern Analysis and Machine Intelligence，2002，24（5）：603-619.

［12］ VEDALDI A，SOATTO S.Quick shift and kernel methods for mode seeking［M］.Computer Vision.Berlin：Springer-Verlag，2008：705-718.

［13］ LEVINSHTEIN A，STERE A，KUTULAKOS K N，et al.Turbopixels：fast superpixels using geometric flows［J］.IEEE Transactions on Pattern Analysis and Machine Intelligence，2009，31（12）：2290-2297.

［14］ ACHANTA R，SHAJI A，SMITH K，et al.Slic superpixels［R］.Lausanne，Vaud，Switzerland：Swiss Federal Institute of Technology，2010.

［15］ 任美美，张荣国，胡静，等.融入光度信息图割的图像轮廓提取方法［J］.太原科技大学学报，2015，36（2）：103-107.

［16］ LUCCHI A，SMITH K，ACHANTA R，et al.A fully automated approach to segmentation of irregularly shaped cellular structures in EM images［M］.Medical Image Computing and Computer-Assisted Intervention.Springer Berlin Heidelberg，2010：463-471.

［17］ LUCCHI A，SMITH K.Supervoxel-based segmentation of mitochondria in EM image stacks with learned shape features［J］.IEEE Transactions on Medical Imaging，2012，31（2）：474-486.

［18］ WANG S，LU H，YANG F，et al.Superpixel tracking［C］∥IEEE International Conference on Computer Vision（ICCV），Barcelona，Spain，2011：1323-1330.

［19］ 张荣国，刘小君，董磊，等.物体轮廓形状超像素图割快速提取方法［J］.模式识别与人工智能，2015，28（4），344-353.

［20］ ACHANTA R，SHAJI A，SMITH K，et al.SLIC superpixels compared to state-of-the-art superpixel methods［J］.IEEE Transactions on Pattern Analysis and Machine Intelligence，2012，34（11）：2274-2282.

［21］ 宋熙煜，周利莉，李中国，等.图像分割中的超像素方法研究综述［J］.中国图象图形学报，2015，20（5）：599-608.

［22］ 杨红颖，吴俊峰，于永健，等.一种基于HSV空间的彩色边缘图像检测方法［J］.中国图象图形学报，2008，13（10）：2035-2038.

［23］ 姜兰池，沈国强，张国煊.基于HSV分块颜色直方图的图像检索算法［J］.机电工程，2009，26（11）：54-57.

Improved SLIC Superpixel Color Image Segmentation Method

PEI Gao-yang1，ZHANG Rong-guo1，Hu Jing1，LIU Xiao-jun2

（1.School of Computer Science and Technology，Taiyuan University of Science and Technology，
Taiyuan 030024，China；2.School of Mechanical and Automotive Engineering，Hefei University of Technology，Hefei 230009，China）

Key words：SLIC，superpixel，image segmentation

Abstract：In the Simple Linear Iterative Clustering（SLIC）method，the number of superpixel needs to be set manually.So this number can not be very accurate.We can not ensure this value is the most appropriate one comparatively.This article brings out a modified way to solve the above problem.To get the number of superpixel，the color information of picture can be used to scan some lines randomly and analyze the segmentation situation of similar color in pixel line.The simulation experiment shows that this method can help us get the appropriate comparatively number of superpixel.

中图分类号：TP391

文献标志码：A

doi：10.3969/ j.issn.1673 -2057.2016.03.002

文章编号：1673 -2057（2016）03 -0168 -08

收稿日期：2015-09-09

基金项目：国家自然科学基金（51375132）；山西省自然科学基金（2013011017）；晋城市科技局科技攻关（201501004 -5）

作者简介：裴高阳（1990 -），女，硕士研究生，主要研究方向为计算机辅助设计与图形学；通信作者：张荣国，教授，E-mail：rg_ zh@163.com