一种结合视觉显著性与谱抠图的自然图像抠图方法

段廷燕 张中蔚

摘 要：结合显著性算法和谱抠图算法，提出了一种从图像中获取完整前景的方法。首先利用谱抠图算法将图像分为若干抠图成分，同时利用显著性算法得到显著图；然后根据显著图得到初始标注信息，将标注结果反馈给抠图算法；最后用枚举法计算抠图成分的最佳组合，得到抠图结果。人工可以对抠图结果进行实时修改和反馈。结果表明，结合显著图的标注信息和人工标注信息，只需简单的点选像素便可很快得到较好的抠图结果。

关键词：谱抠图 显著性 抠图成分 标注信息

中图分类号：TP391 文献标识码：A 文章编号：1003-9082（2019）03-000-02

引言

抠图技术的关键是如何精确地将一幅图像中前景和背景分离出来。利用该技术，可以产生各种各样、丰富多彩的图像。例如个人写真、婚纱摄影等，人们将自己拍摄出来的照片，使用抠图技术对照片进行处理，然后合成到另一个背景图像中，给我们的生活带来另一番视觉感受。但是，在对自然图像进行抠图时，图像中的有些前景或背景区域的边界部分可能非常细小，甚至有些可能细小到一个像素，如头发丝、叶子等。这些区域人工涂鸦标注极其困难，使得精确抠图实现难度增加。目前对结构复杂的自然图像抠图的效果并不理想，而且获取大量监督信息费时费力。因此，如何获得高质量的监督信息至关重要。

自然图像抠图的方法有很多，常见的有封闭式抠图[1]、贝叶斯抠图[2]、鲁棒抠图[3]等。这些方法计算抠图结果耗费时间很长，而且不能将结果实时反馈给用户。对于毛发等细节区域，涂鸦标注的方式对普通用户来说难度较大，进而会造成交互次数和耗时增加。想要得到理想抠图结果需要获取尽量多的标注信息，而像素级别的标注方式在增加样本量上并不是最好的选择。2008年由Levin等提出的谱抠图[4]法较好的解决了上面问题。谱抠图法通过构建拉普拉斯矩阵求出最小的Z个特征向量，再对这些向量进行线性变换得到个抠图成分，这部分运算可以作为预处理步骤，不占用用户的关注时间。计算好图像的抠图成分后，用户标注时只需点选或者涂鸦抠图成分中的任意像素即可标注整个成分。因而在细节区域的标注变得简单了，且可以很快获取大量标注样本。但该方法当抠图成分数目较大时，用户仍然有较大的标注工作量。

从生物特性上来讲，人类的视觉和感知系统会下意识的优先选择他们感知到的信息中最感兴趣的部分，显著区域是图像中最能引起用户兴趣、最能表现图像内容的区域[5]。换个角度说，多数情况下，显著性高的区域即为用户最感兴趣的区域（想要抠出的前景部分）。因此，视觉显著性可以为抠图算法直接提供样本信息，进一步减少用户的工作量。

本文在谱抠图基础上引入视觉显著性检测，通过计算抠图成分的显著性指标直接提供标注信息给抠图算法，获得初始抠图结果；然后，通过用户反馈进行结果实时修正和反馈。其中计算抠图成分和视觉显著性都可以预先进行，不占用用户关注时间。

一、模型介绍

对于一幅自然图像，首先用显著性算法得出显著性结果图并将其归一化到[0，1]区间，使用谱抠图法计算得到的抠图成分；然后根据显著图提供标注信息给抠图算法，并结合抠图成分计算得到标注成分图；最后根据枚举法计算抠图成分的最佳组合得到结果α图。如果对结果不满意，人工可以根据结果α图提示重复标注抠图成分直到得到满意的抠图结果为止。具体流程如图1所示：

1.计算抠图成分

在一般的抠图算法中，假设输入图像中的每个像素Ii是前景色Fi和背景色Bi的线性组合[6]，如公式（1）所示。到目前为止有很多抠图算法以公式（1）为基础。

二、实验结果与分析

实验环境：处理器：Intel（R） Xeon（R） CPU E5-2687W v3 @ 3.10 GHz（2处理器），内存：208G内存，系统：64位Windows操作系统，系统环境：Matlab R2016b。

1.抠图流程

选择原图（如图2（a）所示）进行处理，计算出显著图（如图2（b）所示）。根据预设的区间值对显著图进行标注得到标注结果图（如图2（c）所示），结合显著性标注结果和谱抠图算法得到初始α图（如图2（d）所示）。从初始α图中可以看出人物面部和衣领部位结果有偏差，选中这两个部位的抠图成分进行标注得到人工标注结果（如图2（e）所示）。将人工标注结果反馈给抠图算法得到最终结果α图（如图2（f）所示）。

从上面结果可以看出，用显著图对图像进行初始化可以得到很大部分的初始信息。得到的初始结果边缘部分已经处理完成，只需对中间几个成分进行标注。从结果来看，进行一次人工标注后，结果α图已经可以得到完整的抠图结果。

2.计算效率

为了计算运行效率，选择阿尔法数据库[8]中27幅低分辨率的图像进行处理。目前至少有50种抠图算法以该数据库的图像进行算法评估。在预先计算好图像的抠图成分和显著图的情况下，对阿尔法数据库中的图像处理时间进行统计。用户标注后结果反馈的平均响应时间如图3所示。

三、总结

首先用谱抠图算法计算出抠图成分，通过显著性算法得到显著图。然后使用显著图标注的信息计算第一次抠图结果。如果对结果不满意，根据第一次抠图结果选取错误区域进行人工标注。标注时只需点选抠图成分中一个像素点即可获取整个抠图成分的值，标注信息反馈给抠图算法计算出新的结果图。重复人工标注过程，直至得到令人满意的结果图。结果表明结合谱抠图和显著性方法进行抠图，能够有效减少人工标注信息的成本和时间。

参考文献

[1]Levin A，Lischinski D，Weiss Y.A closed-form solution to natural image matting[J].in IEEE Transactions on Pattern Analysis and Machine Intelligence，2008，30（2）：228-242.

[2]Chuangl Y Y，Curlessl B，Salesin D H，et al.A Bayesian Approach to Di-gital Matting[C].Computer Vision and Pattern Recognition，2001，2（1）：264--271.

[3]Wang J，Cohen M F.Optimized color sampling for robust matting[C].Co-mputer Vision and Pattern Recognition，2007：1-8.

[4]Levin A，Rav-Acha A，Lischinski D.Spectral matting [J].IEEE transactions onpattern analysis and machine intelligence，2008，30（10）：1699-1712.

[5]馬陈.基于无监督抠图模型的显著性区域提取算法研究[D].合肥工业大学，2014.

[6]Porter T，Duff T.Compositing digital images[C].ACM Siggraph Computer Graphics，1984，18（3）：253-259.

[7]Fu，H.，Cao，et al.Cluster-Based Co-Saliency Detection[J].IEEE Transactions on Image Processing，2013，22（10）：3766-3778.

[8]http：//www.alphamatting.com/

作者简介：段廷燕（1992—），女，贵州师范大学硕士研究生，研究方向：图像处理与应用。

张中蔚（1993—），男，云南大学硕士研究生，研究方向：图像分析与处理。

王安志（1986—），男，贵州师范大学讲师，研究方向：机器学习与计算机视觉。

苏彩霞（1983—），女，贵州师范大学讲师，研究方向：遥感图像处理。

范郁锋（1982—），男，贵州财经大学助教，研究方向：遥感图像计算机处理与解译。