基于超像素分割及区域聚类的单主体图像感兴趣区域提取方法

贾永鑫

摘要：图像检索是在图像数据库中快速查找用户需求目标图像的有效方法。为了提高图像检索效率，针对单主体图像的感兴趣区域进行研究，提出了一种基于超像素分割与区域聚类相结合的图像感兴趣区域提取方法，首先对所给图像做灰度化处理，对灰度图像进行超像素分割，再对分割后的各超像素进行处理，形成超像素均值矩阵，最后对超像素均值矩阵进行聚类，提出感兴趣区域。此法可快速而精确地提取出图像的感兴趣区域，且相较于其他感兴趣区域提取方法，此算法在提取结果方面更优，感兴趣区域的提取结果更完整。

关键词：图像检索;超像素分割;单主体图像;区域聚类

中图分类号：TP391     文献标识码：A

文章编号：1009-3044（2022）22-0080-03

1 概述

图像检索[1]是在图像库中通过检索图像标注的文本或者内容特征，为用户提供相关图像资料检索服务的搜索技术。随着大数据时代的来临，图像数据呈指数增长。传统的基于图像全局处理的检索方法，处理海量数据的效率大大降低[2-3]。如何有效地提高图像检索的能力，加快检索效率，已成為当下图像检索研究的热点话题。

人类视觉通过快速扫描全局图像，注意力焦点会落在重点关注的目标区域，而后对这一区域投入更多注意力资源，以获取更多关注目标的细节信息，并抑制其他无用信息。针对此现象，一些学者提出了感兴趣区域的概念[4]，感兴趣区域首先使用在机器人研究领域，并取得较好发展。随后感兴趣区域便被引入图像检索领域，用于图像预处理。对感兴趣区域进行识别，忽略掉图像不感兴趣区域，只保留感兴趣的部分，便于更好地提取图像感兴趣区域的相关特征，提高图像检索的效率。

如何在一幅图像中快速准确地找到感兴趣区域，超像素分割（simple linear iterative clustering，SLIC） [5]方法有较为明显的优势。利用超像素分割方法可以将图像分割成一个个相对规则的超像素块，超像素块内部像素点特征相似，超像素块之间边界明显且连接紧密，之后利用聚类方法即可实现对图像感兴趣区域的提取。

近年来，许多国内外学者对利用超像素方法提取感兴趣区域进行了研究。姜全春等人[6]提出一种基于密度的聚类方法对超像素分割的结果进行聚类，提高感兴趣区域提取的准确性。郭伟等人[7]针对图像多个主体的分割问题提出一种基于超像素的DBSCAN[8]（Density-Based Spatial Clustering of Applications with Noise） 自适应图像感兴趣区域分割算法。刘洋等人[9]针对Grab Cut分割算法时间复杂度高且分割效果较差的问题提出了一种基于超像素的Grab Cut分割方法。苏建菖等人[10]针对传统的超像素聚类算法做图像分割时造成的欠分割现象进行研究，提出了一种基于超像素和k均值聚类算法相结合的图像感兴趣区域提取方法。目前由于图像内容的复杂性及感兴趣区域提取方法的不完善，使得感兴趣区区域提取效果欠佳，无法令人满意。

图像本身具有直观、生动的特点。从图像中主体数量的特点出发对图像进行划分，可以将图像分为无主体、单主体和多主体图像三类。例如图1～图3中，图1前后背景无明显的差异，因此没有明确的主体，属于无主体图像;图2中花朵相较于其他部分颜色较为突出，且主体轮廓边界明显，属于单主体图像;图3中马匹作为图像主体，但是在图像中多个位置都有分布，且较为分散，属于多主体图像。通常，用户主要的关注点就是图像的主体，主体也是我们要提取感兴趣区域的核心部分。

单主体图像主体明确，易于发现，主体像素点更为集中，与图像的背景色差较大，与多主体图像相比，更容易找出图像的感兴趣区域。鉴于此，本文仅针对单主体图像，研究感兴趣区域的提取方法。

2 基于超像素分割与区域聚类相结合的图像感兴趣区域提取方法

本文针对图像感兴趣区域提取不精确的问题，利用图像感兴趣区域的特点提出一种区域聚类方法，并将其与超像素分割方法结合，提出一种针对单主体图像的基于超像素及区域聚类相结合的图像感兴趣区域提取方法。具体流程如下：首先对读入的单主体图像进行超像素分割，形成超像素块;再对分割后的超像素块进行整合处理，将其转化成数字矩阵;然后利用区域聚类的方法对数字矩阵进行聚类;最后在聚类的结果中选出感兴趣区域部分，算法结构如图4所示。

算法思想：

从图像颜色特征的角度看，单主体图像的感兴趣区域部分与其他区域相比，色差较大，像素点相对集中，且与背景之间有明显的轮廓边界。针对图像感兴趣区域的这些特性，可以采用超像素分割方法将图像分成多个紧密且各自独立的小区域——超像素块。超像素块内部像素点特征相似，可用像素均值代替超像素块。超像素块之间边界明确，便于感兴趣区域与非感兴趣区域的区分。对处理后的超像素块通过合适的距离度量方法进行聚类，必定可以实现图像感兴趣区域的精确提取。

2.1 超像素分割

超像素分割将图像分成多个相对规则的如细胞状的超像素块，这些超像素块连接紧密，特征相对明显，超像素间的界限比较明确。在进行分割操作时，只需规定超像素的数量这一参数，相比其他分割方法，超像素分割更自动化，运算更高效。超像素分割后的超像素特征明显，自成一体，相比原图像维度大大减少，在进行聚类操作时，可减少大量计算，提高运算效率。

分割步骤如下：

假设图像[I]大小为[m*n]，像素点[x，y]相对应的灰度值为：

[px，y x=1，2，...m;y=1，2，...n]

（1） 初始化规则超像素。给定图像合适的中心点个数[k]，则初始化的规则超像素是边界长度为[s=m*nk]的正方形。

（2） 选取新的中心点。在给定中心点的[2s*2s]邻域内找到梯度值最小的像素点代替原先的中心点。

（3） 分配像素点。计算像素点与邻近中心点的距离，将所有像素点分配到最近的中心点所属的超像素中。

（4） 距离度量。计算像素点与中心点之间由[L，a，b]代表的颜色值特征及[x，y] 表示的空间特征两者组成的特征向量的距离。像素点属于与其距离最小的中心點。

（5） 算法迭代优化。重复步骤（2）-（4），直到中心点不再变化，分割完成。

2.2 超像素块处理

进行区域聚类之前，需要对超像素分割后的结果进行预处理。每一个超像素都有自己特有的标签，在1.1中每个像素点依照自身所属标签归属到相应的超像素中，完成了分类。对每一个超像素块计算其所有像素的均值，用像素均值代替超像素。再将所有的超像素均值按照该超像素所在原图像的位置进行排列，得到超像素均值矩阵[Mr*c; r=ms，c=ns]，即矩阵的每个位置对应超像素分割后的各超像素块，每个位置上的像素值对应各超像素块的像素均值。

2.3 区域聚类

区域聚类是通过聚类的思想将超像素均值矩阵[Mr*c]中像素值距离相近的点进行聚类，最后将聚类的结果组合并显示。通过对图像的感兴趣区域研究发现，感兴趣区域一般在图像的中心部分，且图像边角的四个区域不含有感兴趣区域。因此，可设置聚类个数为5，再对超像素均值矩阵[Mr*c]进行区域聚类。用超像素均值矩阵代替原图像进行聚类，不仅缩小了像素矩阵，计算量也大大减少，有效提升运算效率。

聚类步骤如下：

超像素块均值矩阵[Mr*c]的大小为[ms*ns]，像素点[x，y]对应的像素值为：

[Spx，yx=1，2，…ms;y=1，2，…ns]

（1） 初始化聚类中心。在图像的中心区域及四个边角合适大小的区域各自选定一个聚类中心[ckxk，yk]，[k=1，2，3，4，5]。

（2） 分配像素值点。遍历矩阵[Mr*c]中所有的点[Spx，y]，计算每个点与各聚类中心[ckxk，yk]的距离[dk]，构成向量[v]。将该点的空间坐标归属到与[v]的最小值[min_dk]相对应集合[Gk]中。

（3） 距离度量。定义聚类中心与矩阵中各点的距离[dk]为空间距离[ds]和颜色距离[dc]的加权和。空间距离和颜色距离分别如式（1） 和式（2） 所示：

[ ds=xi-Xk2+yi-Yk2] （1）

[ dc=pxi，yi-pXk，Yk2] （2）

同时，为避免不同特征距离之间单位的不统一，便于不同单位的指标进行计算和比较，需要对两种距离进行标准化。方法如下：

min-max标准化：线性变换公式如式（3） 所示：

[ d'=d-mindmaxd-mind] （3）

对于空间距离[ds]，最大值[maxds=r2+c2]，最小值[minds=0]。

对于像素距离[dc]，最大值[maxdc=255]，最小值[mindc=0]。

最终像素点与聚类中心的距离如式（4） 所示：

[ dk=ds'2+dc'2 =ds-mindsmaxds-minds2+dc-mindcmaxdc-mindc2] （4）

（4） 更新聚类中心。遍历所有点归到所属的集合[Gk]中。在每个集合中，将所有点的横纵坐标的均值取整，作为新的聚类中心的坐标，像素值为该坐标点在原超像素均值矩阵中所对应的像素值。

（5） 算法迭代。计算新聚类中心与原聚类中心的距离，当二者的距离小于预先设定的阈值T，说明聚类中心没有明显的变化，否则迭代步骤（2）-（4）。

2.4 提取感兴趣区域

比较2.3中5个集合聚类中心的位置，选取聚类中心在图像中心部位的集合。将该集合中各个坐标所对应的超像素块进行组合，其他的区域灰度值全都设为0，作为背景。最终组合得出的结果即为图像的感兴趣区域。

3 实验结果及分析

为了验证本文算法的有效性，选取经典数据库Corel-5k中的恐龙、狐狸、老虎、熊等背景复杂度不等的图像数据，利用基于局部阈值的分割方法、分水岭法、超像素分割+K-means及本文提出的算法对图像进行感兴趣区域提取，并对提取结果进行比较。提取过程都是在灰度图像中进行处理，结果如图5～图10所示：

以上提取结果图中，灰色部分为提取出的感兴趣区域，黑色部分为图像背景区域，通过对上述结果进行比较，可以得出以下结论：

（1） 基于局部阈值的分割方法无法确定图像的主体，易造成感兴趣区域提取错误、提取不完整等问题。

（2） 分水岭法相比较前一种方法，大致提取出了感兴趣区域，但是也存在主体不明确的问题，且最终的提取结果噪声较大，效果较差。

（3） 超像素分割与K-means相结合的方法能准确地找出图像主体的相对位置，大致提取出了感兴趣区域，但是对于背景比较复杂的图像，提取效果较差，容易出现欠分割的现象。

（4） 本文提出的基于超像素及区域聚类算法在准确找出图像主体的同时，既实现了超像素分割方法对图像的边缘特征的提取，又体现了聚类算法对图像整体的把握，极大程度上避免了图像的漏割，较为完整地提取出了感兴趣区域，且大大减少了干扰因素，使得提取结果符合预期。

4 结束语

为了更好地解决图像感兴趣区域的提取问题，本文对图像的感兴趣区域进行研究，提出了一种基于超像素分割与区域聚类相结合的针对单主体图像的感兴趣区域提取方法。算法使用超像素分割先将图像分割成超像素块，再对分割后的超像素块进行整合处理，通过区域聚类方法对处理后的超像素块进行聚类，得到最终结果。本文算法实用性强，无需人工操作，且相比较其他算法，提取结果更优，效率也更高。但是由于多主体图像的主体较为分散，不易准确查找，因此该算法对于多主体图像的提取效果不尽如人意，在提取过程中容易漏掉部分主体。因而在后续的工作中应继续研究，使得在提取多主体图像的感兴趣区域之前自动确定主体数目，且能保持精准提取。

参考文献：

[1] 王拓.基于内容的图像检索技术研究与应用[D].贵阳：贵州师范大学，2017.

[2] 田原嫄，谭庆昌.亚像素边缘定位算法过滤噪声的分析[J].东北电力大学学报，2016，36（5）：43-47.

[3] 胡建平，李玲，谢琪，等.一种新的航拍玻璃绝缘子图像分割方法[J].东北电力大学学报，2018，38（2）：87-92.

[4] 汪辉.图像分割及其感兴趣区域提取方法的研究[D].安庆：安庆师范大学，2017.

[5] 罗学刚，吕俊瑞，彭真明.超像素分割及评价的最新研究进展[J].激光与光电子学进展，2019，56（9）：53-63.

[6] 姜全春，王宁，李雷，等.一种新的基于超像素聚类的图像分割算法[J].软件，2019，40（6）：44-48.

[7] 郭伟，李红达，邢宇哲.基于SLIC的自适应多主体图像分割算法[J].计算机工程与科学，2018，40（8）：1459-1467.

[8] Mihael Ankerst， Markus M. Breunig， Hans-Peter Kriegel， and J?rg Sander. OPTICS： ordering points to identify the clustering structure[J]. Proceedings ACM SIGMOD international conference on Management of data， 1999， 28（2）： 49-60.

[9] 刘洋，周宁宁.基于SLIC的图像分割方法研究[J].计算机技术与发展，2019，29（1）：75-79.

[10] 苏建菖，马燕.基于超像素和K-means的图像分割算法[J].计算机时代，2019（2）：58-60，66.

【通联编辑：唐一东】