基于Grab Cut和区域生长的服装图像前景提取算法

陶彬娇， 陈 倩， 潘中良， 李 萍

(华南师范大学物理与电信工程学院， 广州 510006)

基于Grab Cut和区域生长的服装图像前景提取算法

陶彬娇， 陈 倩*， 潘中良， 李 萍

(华南师范大学物理与电信工程学院， 广州 510006)

针对Grab Cut算法应用于服装检索系统中服装图像的前景提取时所存在的交互式和复杂背景提取效果差问题，首先提出了一种全自动化的Grab Cut算法，以实现自动根据背景情况，对单一背景和复杂背景图像分别采用不同的方法生成初始矩形框并进行前景提取. 由于该算法仍存在欠分割或过分割现象,故将该算法与区域生长算法相结合，给出了一种结合区域生长的全自动化Grab Cut算法. 实验结果表明，无论对于单一背景还是复杂背景的图像，改进算法的前景提取效果都明显优于传统算法，不仅能准确获取服装前景区域，而且对于服装内部的过分割问题也有很大的改善.

前景提取； Grab Cut算法； 区域生长算法； 服装图像检索

Keywords： foreground extraction; Grab Cut algorithm; region growth algorithm; clothing image retrieval

前景提取是图像处理和图像分析的基础. 在基于内容的服装检索系统中，无论是基于哪种特征的检索，服装图像的前景提取都是其中一个重要的步骤，前景提取效果的好坏将在很大程度上影响最终的检索效果.

近年来，已有不少学者对Grab Cut算法提出了不同的改进方式,如:基于显著图的交互式Grab Cut改进算法[1]及基于感兴趣区域的Grab Cut算法[2]，这2种算法相对于传统的Grab Cut算法在处理速度和精确度上都有所提高，但是仍采用交互的方式，不适合实际应用中对批量图像进行处理；与显著性检测FT算法相结合，基于Grab Cut的自动图像分割算法[3]，该算法在背景复杂、显著性特征不明显的情况下效果不好；基于区域分割和像素级细化的服装图像前景提取算法[4]，该算法的不足之处是不适合那些姿势复杂或者没有人体姿势的服装图像；基于人类视觉模型的区域生长图像分割算法[5]，该算法在复杂背景下能提取出接近人眼视觉特性的前景，且执行效率较高，但只适用于灰度图像的分割.

本文将针对服装图像的前景提取展开研究，对Grab Cut算法用于服装前景提取时所存在的问题进行改进：针对交互式问题，首先提出一种全自动化的Grab Cut算法，以实现自动根据背景情况，对单一背景和复杂背景图像分别采用不同的方法生成初始矩形框并进行前景提取；针对全自动化的Grab Cut算法仍存在欠分割或过分割现象,将该算法与区域生长算法相结合，给出了一种结合区域生长的全自动化Grab Cut算法.

1 Grab Cut前景提取算法

1.1 算法思想

Grab Cut是一种交互式前景目标提取算法.所谓的交互是指用户需要勾画出一个包含整个目标对象的初始矩形框，把框外的像素设为背景，框内的像素设为不确定，经过多次迭代运算后，实现前景目标和背景的分割[6-8]. 该方法对用户提供的初始矩形框内外区域建立高斯混合模型，由此来提供初始分割的前景和背景种子点，经过一次分割之后进行高斯混合模型更新，再由此估计新的前景和背景种子点进行分割，如此迭代下去直至收敛为止.

Grab Cut算法对于前景和背景颜色反差较大的图像分割效果较好[9]. 大多数网络服装图像的前景和背景颜色差异明显，因此适合采用该算法提取服装前景. 本文利用区域生长算法[10]、JSEG(Joint Systems Engineering Group)算法[11]、Grab Cut算法、K聚类算法[12]和分水岭算法[13]分别对同一张服装图像进行前景提取，对比效果(图1)显示Grab Cut算法的前景提取效果最好. 因此，本文选用Grab Cut算法.

图1 前景提取效果对比

1.2 算法用于服装图像前景提取时存在的问题

Grab Cut算法在应用时仍然存在一些问题:

(1)Grab Cut算法的交互方式不适合服装图像的批量处理. 如1.1节所述，利用Grab Cut算法对每一幅图像进行前景提取时都需要人工标注初始矩形框，工作量很大，不适合服装检索系统中的批量服装处理.

(2)单一背景和复杂背景下的前景提取效果存在较大差异. 本文对单一背景和复杂背景图像的前景提取效果进行了对比实验，其中Grab Cut算法均采取固定比例和位置来生成初始矩形框. 实验结果表明，对于背景单一的服装图像可以采取固定比例和位置来生成初始矩形框，提取前景的效果比较好. 而对于背景复杂，特别是服装颜色与背景颜色非常接近的情况，用上面同样的方法进行前景提取的效果就不太理想. 因此，有必要对单一背景和复杂背景的图像分别采用不同的方案进行前景提取.

2 全自动化的Grab Cut算法

针对1.2节提到的2个问题，本文对Grab Cut算法进行改进，提出了一种对简单背景和复杂背景分别处理的全自动化的Grab Cut算法.

该算法的基本思想如下：首先，对服装图像的背景情况进行判断，将图像背景分为单一背景和复杂背景. 判断的依据是：比较图像4个角点的颜色特征，通常，复杂背景图像各角点颜色差异较大，而单一背景图像的各角点颜色几乎完全相同或十分接近. 本文采用以下步骤进行判断：第一步，提取图像左上、右上、左下和右下等4个角点的颜色特征；第二步，对每2个角点之间的颜色特征进行相似性度量，即：计算出4个角点两两之间的欧氏距离，共得到6个数据；第三步，统计出两点之间欧氏距离小于阈值5及小于阈值55的个数，若小于阈值5的个数大于1或者小于阈值55的个数为6，则判断该服装图像为单一背景，否则，判断为复杂背景.

然后，针对单一背景和复杂背景分别采用不同的方法生成Grab Cut算法所需的初始矩形框.

对于单一背景的服装图像，采用固定比例和位置来生成初始矩形框，初始矩形框的宽度(Width)为15 px、高度(Height)为15 px，矩形框的位置位于原图像的中心.

对于复杂背景的服装图像，采用区域生长算法生成初始矩形框，具体步骤如下：首先将图像均分为7×7块，分别提取4个边角与最中心小矩形的颜色直方图，计算出4个边角与中心矩形的颜色直方图之间的欧氏距离，从中选取最小的欧氏距离值作为区域生长的阈值. 然后，选取图像的中心点作为区域生长的初始种子点，向其邻域进行生长，具体为：将种子点与其八邻域点进行比较，若颜色差小于阈值则进行生长，生长点处的像素点作为服装图像的前景区域，标记为白色；反之，将不满足生长条件的点作为背景区域，标记为黑色. 当种子点生长完毕后获得X图像. 最后，将X图像的前景区域作为Grab Cut算法的初始矩形框.

对于单一背景和复杂背景的服装图像，分别采用上述2种方法获取初始矩形框，其后的步骤与传统Grab Cut算法一致.

3 结合区域生长的全自动化Grab Cut算法

第2节给出的全自动化的Grab Cut算法仍存在欠分割或过分割的现象：当服装前景与背景颜色较为接近时，往往会出现欠分割现象，不能准确地提取服装前景；当服装图像为复杂背景且服装花纹图案比较复杂时，往往会出现过分割现象，即对服装的内部区域造成过度分割，把服装的花纹和图案也当作是背景. 为改进该算法的欠分割和过分割问题，本文提出了一种结合区域生长的全自动化Grab Cut算法：该算法流程图如图2所示，主要步骤如下：

(1)对服装图像进行背景情况的判断，对于单一背景的图像，采用固定比例和位置生成Grab Cut算法所需的初始矩形框；对于复杂背景的图像，采用区域生长算法生成Grab Cut算法所需的初始矩形框.

图2 结合区域生长的全自动化Grab Cut算法流程图

Figure 2 The flow diagram of fully automated Grab Cut algorithm combined with region growing algorithm

(2)用Grab Cut算法初步提取前景，获得一个S图，即初步前景图，仅有黑白部分，白色为前景，黑色为背景.

(3)将S图作为待处理图像，对S图采用区域生长算法提取最外层的背景X图. 具体操作为：先选取生长点，为了确保生长的正确性，本文选取了8个生长点，分别是S图的边缘4个顶点和4条边的中点，假设图像的矩阵为M(x,y)，则8个生长点分别是(0,0)、(0,y/2)、(0,y-1)、(x/2,0)、(x-1,0)、(x/2,y-1)、(x-1,y-1)、(x-1,y/2). 接着，从这些生长点往内进行区域生长，具体为：当生长点所在的像素点为白色时不进行区域生长，因为该点属于前景，若生长点所在的像素点为黑色时，则进行区域生长. 最后，当种子点生长完毕，就获得了背景X图.

(4)将X图与原图进行与运算，从而获得最终的完整前景图.

4 实验结果与分析

本文用Java语言实现了一个基于结合区域生长的全自动Grab Cut算法、传统的Grab Cut算法、区域生长算法、JSEG算法等多种算法的服装图像前景提取软件，并对服装图库中的图像进行对比实验. 实验所用的图库包括单一背景、复杂背景和人物模特等不同背景的服装图像. 从实用的角度考虑，图库中的1 000多幅服装图像都是从天猫、京东等网站下载的. 本文从图库中共选取了72幅有代表性的服装图像进行测试，其中，单一背景的31幅、复杂背景的41幅. 分别采用本文的结合区域生长的全自动化Grab Cut算法和传统Grab Cut算法进行对比实验，实验结果如下.

4.1 单一背景的服装图像前景提取效果对比

由图3可见，对于单一背景的服装图像，如果前景颜色与背景色比较接近，用传统Grab Cut算法提取会出现欠分割现象，不能准确提取服装前景. 而采用结合区域生长的全自动化Grab Cut算法则能很好地解决这一问题，前景提取效果得到很大改善.

图3 单一背景的服装图像前景提取效果对比

Figure 3 Result comparison of foreground extraction for single clothing images

4.2 复杂背景的服装图像前景提取效果对比

由图4可见，对于复杂背景的服装图像，尤其是模特身上的服装，若采用传统的Grab Cut算法通常不能去除模特而准确提取出服装，如果背景较复杂，则欠分割现象比较严重. 若采用全自动化Grab Cut算法，虽然能较好地去除服装以外部分，但却产生过分割现象，尤其是花色和图案服装，服装内部花纹出现大量的过分割. 而结合区域生长的全自动化Grab Cut算法提取效果最佳，不仅能够去除模特准确获取服装区域，同时过分割现象也有很大改善.

实验结果表明：结合区域生长的全自动化Grab Cut算法的前景提取效果优于传统算法的有70幅(占97.2%)，2种算法前景提取效果持平的有2幅. 由此可见结合区域生长的全自动化Grab Cut算法的优越性.

4.3 算法运行效率对比

结合区域生长的全自动化Grab Cut算法和传统的Grab Cut算法的运行时间见表1，其中，运行时间为分别计算2种算法对所有简单背景图像和所有复杂背景图像的运行时间总和后取平均值.

图4 复杂背景的服装图像前景提取效果对比

算法运行时间/s简单背景复杂背景传统GrabCut算法0.89060.9623结合区域生长的全自动化GrabCut算法0.89211.4388

由表1可见，对于简单背景的图像，改进后算法的运行时间仅仅增加了0.168%，与改进前算法的运行时间几乎相当. 但对于复杂背景的图像，改进后算法的运行时间则增加了49.5%，运行效率有较明显的下降. 这主要是由于复杂背景图像在生成初始矩形框时比较耗费时间.

5 总结

本文将传统的交互式Grab Cut算法应用于服装图像的前景提取，发现传统算法在提取服装前景时存在2个问题：第一，交互方式不适合服装图像的批量处理；第二，复杂背景的提取效果较差. 针对这2个问题，本文提出了一种全自动化的Grab Cut算法，能够自动根据背景情况，对单一背景和复杂背景图像分别采用不同的方法生成初始矩形框，然后进行前景提取. 全自动化Grab Cut算法仍存在欠分割或过分割现象. 针对这一问题，本文又提出了一种结合区域生长的全自动化Grab Cut算法. 实验结果表明，无论是单一背景还是复杂背景，结合区域生长的全自动化Grab Cut算法的前景提取效果都明显优于传统算法，不仅能准确获取服装前景区域，而且对于服装内部的过分割问题也有很大的改善.

[1] KIM K S,YOON Y J,KANG M C,et al. An improved GrabCut using a saliency map[C]//Proceedings of the 3rd IEEE Global Conference on Consumer Electronics．Washington:IEEE,2015:317-318.

[2] HUA S,SHI P. GrabCut color image segmentation based on region of interest[C]//Proceedings of the 7th International Congress on Image and Signal Processing. Washington:IEEE,2014:392-396.

[3] HE Y R,SUN Y Q. An automatic image segmentation algorithm based on GrabCut[C]//Proceedings of the 6th International Conference on Wireless,Mobile and Multi-Media． Beijing,China:IET,2015:185-190.

[4] LIU Z R,WU X,ZHAO B,et al. Clothing extraction using region-based segmentation and pixel-level refinement[C]//Proceedings of the 2014 IEEE International Symposium on Multimedia. Washington:IEEE,2014:303-310.

[5] 谭洪波，侯志强，刘荣． 基于人类视觉模型的区域生长图像分割[J]． 中国图象图形学报，2010,15(9):1352-1356．

TAN H B,HOU Z Q,LIU R. Region growing image segmentation based on human visual model[J]. Journal of Image and Graphics,2010,15(9):1352-1356．

[6] KIM G,SIM J. Depth guided selection of adaptive region of interest for Grabcut-Based image segmentation[C]//Proceedings of 2016 Asia-Pacific Signal and Information Processing Association Annual Summit and Conference. Washington:IEEE,2016:1-4.

[7] BOYKOV Y,ISACK H,OLSSON C,et al. Volumetric bias in segmentation and reconstruction:secrets and solutions[C]//Proceedings of the IEEE International Conference on Computer Vision． Washington:IEEE,2015:1769-1777.

[8] JAYASUMANA S,HARTLEY R,SALZMANN M,et al. Kernel methods on Riemannian manifolds with Gaussian RBF kernels[J]. IEEE Transactions on Pattern Analysis and Machine Intelligence,2015,37(12):2464-2477.

[9] SANGUESA A A,JORGENSEN N K,LARSEN C A,et al. Initiating GrabCut by color difference for automatic foreground extraction of passport imagery[C]//Proceedings of the 6th International Conference on Image Processing Theory,Tools and Applications. Washington:IEEE,2016:1-6.

[10] HAPP P N,BENTES C,FEITOSA R Q,et al. A cloud computing strategy for region-growing segmentation[J]. IEEE Journal of Selected Topics in Applied Earth Observations and Remote Sensing,2016,9(12):5294-5303.

[11] KANG J,WANG L,CHEN F,et al. Identifying tree crown areas in undulating eucalyptus plantations using JSEG multi-scale segmentation and unmanned aerial vehicle near-infrared imagery[J]. International Journal of Remote Sensing,2017,38(8/9/10):2296-2312.

[12] TANG M,AYED I B,MARIN D,et al. Secrets of grabcut and kernel K-Means[C]//Proceedings of the 2015 IEEE International Conference on Computer Vision．Washington:IEEE,2015:1555-1563.

[13] KIRUTHIKAA R. An implementation of watershed based image segmentation algorithm using fpga processor[J]. International Journal of Science and Research,2013,2(12):399-402.

Foreground Extraction Algorithm Combined with Grab Cut and Region Growing for Clothing Image

TAO Binjiao, CHEN Qian*, PAN Zhongliang, LI Ping

(School of Physics & Telecommunication Engineering, South China Normal University, Guangzhou 510006, China)

Aiming at the problem of the interactive and complex background extraction effect of Grab Cut algorithm applied in the foreground retrieval of garment images in a garment retrieval system, a fully automated Grab Cut algorithm is proposed to adopt different methods to automatically generate the initial rectangle and then extract the foreground for single backgrounds and complex background images, depending on the background. As the algorithm still has under-segmentation and over-segmentation problems， a new fully automated Grab Cut algorithm combined with region growing algorithm is proposed. The results show that, the improved Grab Cut algorithm is superior to classical algorithms for both single background and complex background，and can not only accurately extract the foreground of clothing images, but also effectively reduce the over-segmentation within the images.

2017-03-24 《华南师范大学学报(自然科学版)》网址：http://journal.scnu.edu.cn/n

2014年广东省科技厅公益研究与能力建设专项资金(2014A040401076)

*通讯作者:陈倩,讲师,Email:rqjsrqjs@126.com.

TP391.41;TP751.1

A

1000-5463(2017)05-0115-05

【中文责编：庄晓琼 英文审校：肖菁】