基于边缘信息的RGB-D图像超像素分割算法

胡斌 张泽均

摘  要： 针对简单线性聚类算法（SLIC）中需要初始预设超像素个数和大量重复聚类计算的问题，提出一种基于边缘信息的RGB-D图像超像素分割算法。利用各向异性高斯核提取彩色图像中边缘强度信息，在此之上，自适应地提取图像的初始聚类中心。仅对位于图像边缘附近的像素点进行重新聚类标记计算，这种策略在保证聚类准确的同时，大大降低了重新聚类计算的复杂度。同时，本文提出一种基于边缘信息的距离度量准则来度量两个像素点之间的空间距离。在公开的图像数据集上的实验结果表明，相比其他几种算法，本文算法的分割结果更能反应出场景中物体的轮廓信息，而且算法效率更高。

关键词： RGB-D图像； 超像素分割； 各向异性高斯核； 聚类中心点

中图分类号：TP391          文献标识码：A     文章编号：1006-8228（2023）09-111-04

RGB-D image superpixel segmentation algorithm based on edge information

Hu Bin， Zhang Zejun

（School of Physics and Electronic Information Engineering， Zhejiang Normal University， Jinhua， Zhejiang 321004， China）

Abstract： Aiming at the problem of initial preset number of superpixel and repeating calculation in the simple linear iterative clustering algorithm （SLIC）， an RGB-D image superpixel segmentation algorithm based on edge information is proposed. The edge mapping map is obtained by edge detector over the color image using anisotropic Gaussian kernel filters， based on which the initial clustering center can be obtained. Only the pixels around the edges need to recalculate their label， which significantly reduces the complexity of recalculating label value while ensuring the accuracy of clustering. Meanwhile， an index based on edge information is proposed to measure the spatial distance between two pixels. Experimental results on public datasets show that the proposed method obtains better results in contour information of objects and has higher efficiency in computation than some other methods.

Key words： RGB-D image; superpixel segmentation; anisotropic Gaussian kernel; cluster center

0 引言

在計算机视觉和图像处理领域，图像的边缘轮廓代表其形状信息，它通常是图像和视频的目标识别、目标跟踪和三维重建[1]的基石。图像边缘既表示图像中的区域，又含有图像特征暗示，而特征暗示的检测需要依赖边缘检测算子的实现。

经典的边缘检测算子可以划分为两类，一类是基于一阶微分算法的边缘检测算子，也称为梯度算子 如Roberts算子[2]、Prewitt算子[3]和Sobel算子[4]，该类算子将灰度图像与微分滤波器卷积寻找边缘信息；另一类是基于二阶微分算法的边缘检测算子如Laplacian算子[5]、Marr算子[5]和Canny算子[6]。在这些边缘检测算子中，检测效果最好的是Canny算子。

目前，在图像轮廓检测中通常引入各向异性高斯核函数及其方向导数[7-8]。在文献[7]中提出结合各向同性高斯核函数以及各向异性高斯核函数，检测性能效果较好，但是该方法的检测结果中还是存在很多虚假的轮廓信息。而文献[8]在此基础上进行改进，将各向异性高斯核函数在用于灰度图像延伸至彩色图像，从而可以获得更好的边缘检测结果。

在本文中，对象轮廓检测采用彩色图像，目的是提取出图像中高质量的区域边缘轮廓信息，而提取边缘映射图是引入了多尺度各向异性高斯核方向导数滤波器并且利用加权组合的方式来完成。

1 SLIC超像素分割算法问题分析

图像的超像素分割算法，是把图像分割成很多小的区域，每个区域内部的像素点均来自同一物体。图像的超像素分割算法主要分为两大类：基于图结构的分割算法和基于聚类的分割算法[9]。基于图结构的分割算法思想是，先将图像表示成一个无向图，然后将无向图分割成很多子图，每一个子图对应图像中的一个区域。基于聚类的超像素分割算法思想是，先在图像中初始化聚类中心，然后不断迭代地将图像中每一个像素点进行标记从而完成超像素分割。

SLIC图像超像素分割算法[10]其实是一种基于K均值聚类[11]的超像素分割算法，该算法主要分为两个步骤：①将图像分割成K个矩形区域，将中心像素点3×3邻域内梯度极小值确定为聚类中心；②不断迭代图像中每一个像素点，完成超像素分割，与传统的K均值聚类算法不同之处在于，该算法将全局搜索范围限制在局部范围内，这样就会降低算法的时间复杂度。文献[11]提出一种距离计算方法，该方法引入了深度图像中三维点云信息来完成超像素分割，有效的解决了在RGB-D图像中两个区域颜色相似但在不同位置分割成同一个区域这一问题。但是该方法不能正确的分割室内空间中不同墙面，这些墙面有着相同的颜色但是其方向上的差异非常大。还有学者在SLIC算法上进行一定的改进[12-13]。

本文针对SLIC图像超像素分割算法中进行图像分割的初始需要，对超像素的个数进行预设，以及在迭代聚类过程中，图像中所有像素点均需要重复计算与聚类中心的距离值这两个问题进行研究，提出了基于边缘信息聚类的RGB-D图像超像素分割算法，该算法主要的思想是根据图像自身特性自适应构建初始化聚类中心，利用图像局部性，降低重复计算像素点标记的次数。

2 边缘信息提取

2.1 各向异性高斯核以及导数滤波器

各向异性高斯核函数[14]是将高斯核函数在x（y）轴上做一定的比例ρ的压缩，再将各向异性高斯函数旋转一定的角度[θ]，就可以得到一组不同方向的各向异性高斯核函数，各向异性高斯核公式如下：

[gσ，ρ，θx=12πσ2exp-12σ2xTRθρ200ρ2Rθx]

[Rθ=cosθsinθsinθcosθ]  ⑴

其中，[ρ]为核函数的各向异性因子，[σ]为尺度因子，[x=xyT]是平面坐标，[Rθ]是旋转矩阵。相比于各向同性高斯核函数，它对图像噪声的平滑作用只取决于滤波器的尺寸因子[σ]的大小。尺寸因子越大，图像对噪声的抑制能力就越强，但是会使得边缘检测精度和分辨率降低；反之，当尺寸因子越小，边缘检测精度和分辨率相对提高，但是对图像中的噪声抑制就比较差，会检测出错误的边缘信息。并且各向异性高斯核函数对方向变化有着更强的敏感度，可以更好地捕捉方向变化的情况。

2.2 图像边缘轮廓检测算法

图像边缘轮廓检测算法主要是提取出彩色图像中的边缘信息，算法上采用的是大小不同的尺寸因子[σ]的高斯核方向导数滤波器来构造边缘强度映射图（ESM）。首先利用大尺度的高斯核方向导数滤波器抑制图像中的噪声，同时利用小尺度高斯核方向导数滤波器提取图像中边缘细节信息，将这两个不同尺寸的高斯核方向导数滤波器与原始图像进行卷积运算，从而提取原始图像在各个方向上的边缘信息；最后将两个高斯核方向导数滤波器在各个方向上获取到的变化信息结合，就构成了本文所用的边缘强度映射图（ESM）。

[ESMx=argmaxθgσ，ρ，θxIx]  ⑵

其中，[]表示卷积运算，[Ix]是原始图像。式⑵表示在同一方向上，使用两个大小尺寸不同的高斯核方向导数滤波器对原始图像进行卷积运算，接着将它们进行乘积运算，由此得出原始图像在这一方向上的边缘强度映射ESM，最后取所有方向上最大的边缘强度就可以得到最终的边缘强度映射ESM。

3 聚类算法

3.1 自适应初始聚类算法

自适应初始聚类算法流程如图1所示，它是根据图像自身的复杂度来确定需要分割的超像素个数，首先对边缘映射图ESM进行阈值化处理，将边缘强度小于这个阈值的像素点都置为零，大于这个阈值的像素点则保持不变。接着对小于这个阈值的区域进行连通区域标记。然后将大的连通区域均匀地分割成小的正方形区域，即获得图像的初始聚类中心区域。

3.2 局部像素点聚类算法

在初始聚类图像中存在四类像素点如图2所示：聚类中心点、完全聚类点、不完全聚类点和非聚类点。其中，聚类中心点和完全聚类点是不需要重新计算标记的，而不完全聚类点和非聚类点还需要重新计算标记。局部像素点聚类算法是对初始聚类图像中局部像素点进行重新标记。

在初始聚类图像中需要重新标记的像素点距离值计算公式如下：

[D"r，c，rc，cc=α∙dlab2+β∙drc2+γ∙d3D2∙1+dn]

[+λ∙Dgeor，c，rc，cc]  ⑶

其中，[r，c]表示需要重新标记的像素点，[rc，cc]表示聚类中心，[α、β、γ]和[λ]为可调参数。上式中，[dlab、drc、d3D]和[dn]分别表示像素点[r，c]和[rc，cc]之间的彩色差异、二维平面位置差异、三维空间坐标差异和法向量差异，[Dgeo]的计算公式如下：

[Dgeor，c，rc，cc=x，y∈Sr，c→rc，ccESMx，y]  ⑷

其中，[Sr，c→rc，cc]表示从需要重新标记的某一像素点[r，c]开始到聚类中心[rc，cc]结束直线连接上的所有的像素坐标集合，[Dgeo]表示这些像素点的边缘映射强度之和。

4 实验结果与分析

4.1 数据集

在实验中，本文采用的是NYUv2数据集[15]，它是公开的室内场景深度图像数据集，包含了卧室、办公室、厨房、书房、运动室等大量的室内场景，总计1449幅图像，其中的每一幅图像都有人工标记的真实分割结果，为该算法提供了很大的便利。

本文使用四种算法，即：本文算法、原始的SLIC超像素分割算法[10]、SLIC的改進算法（3D_SLIC）[11]和直接将原始的SLIC算法，应用到RGB-D图像数据构成的四维图像数据，该算法用4D_SLIC表示。

4.2 视觉效果分析

如图3所示为本文算法与原始的SLIC算法视觉比较结果。从视觉结果我们可以看出，本文算法结果更加符合室内场景的分割，从边缘分割精度上要优于原始的SLIC算法，场景中的物体分割会更加的整体，没有更多虚假边缘出现。

4.3 数值指标对比

在分割结果数值对比中，本文选用了三个数值指标[16]分别为：Boundary Recall（BR）指标、VI和GT Cover。第一个指标Boundary Recall（BR），它是度量超像素分割算法分割区域的边缘与真实分割结果的边缘定位匹配度，这个指标越大说明超像素分割算法获得边缘定位精度更高。第二个指标VI是从信息论的角度来度量超像素分割算法分割区域与真实分割结果区域之间的距离，这个指标越小说明分割结果与真实分割结果最接近，分割效果也就越好。第三个指标GT Cover是度量超像素分割算法分割区域与真实结果分割区域的覆盖程度，这个数值越大，说明算法分割结果区域与真实分割结果区域的覆盖程度越高，超像素分割算法的性能也就越好。

从表1中可以看出，本文提出的超像素分割算法的边缘定位能力优于SLIC[10]算法，但相比于其他两种算法效果要稍差一点。第二个指标VI可以看出，本文算法分割效果稍差于其他算法。第三个指标GT Cover可以看出本文算法与3D_SLIC[11]算法效果相当，优于SLIC[10]和4D_SLIC算法。

4.4 算法效率分析

⑴ 算法运行时间比较

在实验中本文对算法运行时间进行了测试，表2为100张图像的平均分割时间。从表中我们可以看出本文算法对比其他几种分割算法在时间上快了很多，其原因是图像中有许多大的区域内部像素点是不需要重新迭代聚类的，这是本文算法的最大优势所在。

⑵ 算法时间复杂度分析

从算法时间复杂度来分析，本文算法时间复杂度是O（m），其中m表示图像的边缘像素点数，对于一副图像来说，图像边缘像素点数大大低于整幅图像像素点数n，面积的像素n与线段的像素m是平方级的关系。本文对比其他几种算法的时间复杂度是O（n），也就是说，这几种算法的时间复杂度与整幅图像像素点数相关。因此，本文提出的算法时间复杂度O（m）远远小于其他几种算法时间复杂度O（n）。

5 结论

本文提出了一种基于边缘信息的RGB-D图像超像素分割算法，该算法主要的两个出发点是根据图像自身特性自适应构建初始化聚类中心和利用图像局部性，降低重復计算像素点标记的次数。首先利用各向异性高斯核滤波器将彩色图像转换成边缘映射图，然后把边缘映射图进行阈值化，自适应地构建聚类中心点，最后结合深度图像对需要重标记的像素点进行迭代聚类。实验结果表明，与其他几种算法相比，本文提出的算法在视觉效果和算法效率上都比其他几种算法好。下一步的研究方向是将该算法应用到实践项目中。

参考文献（References）：

[1] Hu Weiming，Zhou Xue，Li Wei，et al.Active contour-based

visual tracking by integrating colors， shapes， and motions[J]. IEEE Trans on Image Processing，2013，22（5）：1778-1792.

[2] Roberts L G.Machine perception of three-dimensional

solids[M].Cambridge：MIT Press，1965.

[3] Prewitt J M S.Object enhancement and extraction[M].New

York：Academic Press，1970.

[4] Sobel I E.Camera models and machine perception[D].Palo

AIto，Calif：Stanford University，1970.

[5] Marr D. and Hildreth E.Theory of edge detection[J].

Proceedings of the Royal Society of London，1980，207：187-217.

[6] Andreas K.and Mongi A.Detection and classification of

edges in color images[J].IEEE Signal Processing Magazine，2005，22（1）：64-73.

[7] Ehsan N.Rabab K.W.A new scheme for robust gradient

vector estimation in color images[J].IEEE trans. On image processing，2011，20（8）：2211-2220.

[8] Fu Ping Wang， Peng-Lang Shui.Noise-robust color edge

detector using gradient matrix and anisotropic Gaussian directional derivative matrix[J].Pattern Recognition，2016，52（2）：346-357.

[9] 朱凯俊.基于改进的FCM算法对图像分割的研究和应用[J].

重庆工商大学学报（自然科学版），2022，39（5）：24-33.

[10] Achanta R， Shaji A， Smith K， et al.SLIC superpixels

compared to state-of-the-art superpixel methods[J].IEEE transactions on pattern analysis and machine intelligence，2012，34（11）：2274-2282.

[11] Yang J， Gan Z， Li K， et al.Graph-based segmentation

for RGB-D data using 3-D geometry enhanced superpixels[J].IEEE transactions on cybernetics，2014，45（5）：927-940.

[12] 许晓东，张雷，焦小雪，等.基于改进的SLIC超像素分割算

法[J].电子制作，2023，31（2）：58-60，111.

[13] 陈莹莹，康艳，李文法，等.基于综合辨识信息的SLIC超像素

分割算法[J].高技术通讯，2021，31（8）：816-823.

[14] 李凯，张永生，童晓冲，等.基于各向异性和边缘强度修正

因子的边缘检测算法[J].计算机工程与科学，2021，43（7）：1256-1263.

[15] Silberman N，Hoiem D，Kohli P，et al.Indoor segmentation

and support inference from RGBD images[J].Proceedings of the 12th European conference on Computer Vision，2012：746-760.

[16] Arbelaez P，Maire M，Fowlkes C，et al.Contour detection

and hierarchical image segmentation[J]. IEEE transactionson pattern analysis and machine intelligence，2010，33（5）：898-916.