视频序列中的一种微动目标提取与背景替换算法

安世全 文倩云 孟 琦

(重庆邮电大学计算机科学与技术学院 重庆 400065)



视频序列中的一种微动目标提取与背景替换算法

安世全 文倩云 孟 琦

(重庆邮电大学计算机科学与技术学院 重庆 400065)

为了实现视频图像中微动目标的背景替换，需要解决微动目标准确提取这一难题。首先利用Adaboost分类器训练肤色样本库，获得肤色与非肤色数据，并确定肤色的阈值范围，得到肤色检测二值图；然后将肤色检测二值图和Otsu分割的微动目标二值图融合得到微动目标序列图像的粗二值图；经过形态学、孔洞填充等处理过程得到完整的二值图模板，最后完成视频图像的背景替换。仿真实验表明，所提出的算法可以较好地分割出微动目标并实现背景替换。

Otsu Adaboost分类器 肤色阈值 形态学 背景替换

0 引 言

随着4G网络的普及，凭借座席系统支撑的某些客服服务，越来越希望能够通过视频给客户提供解说业务或业务推销等更加人性化和可信的服务。通过把原始视频的背景替换，不仅可以保护客服人员的工作环境及其隐私，还实现了视频图像背景的有效利用，增加了客服服务的可信度。因为视频图像中的前景较大，且没有明显的变化，故背景替换的主要问题演变成如何把微动目标实时从背景中准确地分割出来。原始视频图像经过图像分割[1]、形态学处理、背景替换等技术可实现视频序列图像的微动目标分割、背景替换。

在利用Otsu得到前景、背景的分割阈值获得视频图像微动目标二值图的基础上，为了解决微动目标肤色与背景颜色相似这一问题，本文提出结合Adaboost模型训练HSV空间下的肤色样本[2,3]，得到强分类器，确定肤色阈值范围，获取肤色检测的二值图；然后将两幅二值图融合得到微动目标粗二值图，使用形态学处理去除噪声，孔洞填充[4]等预处理得到完整的微动目标二值图，最后用需要的视频图像替换原始视频图像背景，得到合成的视频图像，具体算法流程如图1所示。

图1 算法流程

1 阈值选取

微动目标在视频图像中变化不大，图2中(a)、(b)、(c)是视频图像中的三类微动目标。由于微动目标几乎不动，所以背景相减法、帧差法、Codebook模型、混合Guassian模型[5]等传统方法很难将实时场景中的微动目标从视频图像中准确地分割出来。并且如前景与背景颜色相近、光照、噪声、阴影等，极其容易造成微动目标的误分割。

图2 微动目标

如前景与背景颜色相近、光照、噪声、阴影等，极其容易造成微动目标的误分割。

1.1 Otsu法阈值选取

1979年日本学者大津(Otsu)提出的Otsu法是一种广为应用的阈值选取方法[6]，但该方法只考虑了像素点的灰度信息。根据图像的一维直方图，把图像分为前景、背景两部分。对于图像f(x,y)，前景和背景的最大类间方差作为分割阈值，记作T。若f(x,y)

1.2 二维Otsu法阈值选取

二维Otsu法，利用原图像与其邻域平滑图像构建二维直方图。设图像f(x,y),1≤x≤M,1≤y≤N，灰度级为L，其邻域平滑图像g(x,y)，可以从每个像素点计算其n×n邻域的平均灰度值，其灰度级也为L。由此，构建图像二维直方图。同时，增加了计算的复杂性，也限制了二维Otsu法的使用。

1.3 肤色检测阈值选取

1995年Freund等人提出的Adaboost算法是一种迭代算法[7]，可以避免不必要的训练数据，而把重心放在关键的数据集上。Adaboost算法通过训练筛选出分类能力一般的弱分类器，然后使用加权方式把筛选后的分类器进行叠加，构成分类能力强的强分类器。

肤色是人脸显著特征之一。HSV[8]空间具有对亮度分量分开处理的特性，可以避免亮度带来的影响，故本文使用Adaboost算法对HSV空间的肤色样本库训练，得到肤色的阈值范围[9,10]。得到肤色区域检测二值图如图3所示，肤色检测算法流程如图4所示。

图3 肤色区域检测二值图

图4 肤色检测算法流程

1.4 K-means聚类结合肤色检测

瞿中等人提出了K-means聚类与肤色检测相结合的微动目标检测分割算法[11]，用K-means聚类分别对属于前景、背景的像素点进行分类。当选好背景类之后，找到背景点从而得到K-means聚类算法分类后的类别标识值，根据此标识值把背景区域用黑色像素点填充，非背景区域用白色像素点填充，最终获得微动目标二值图。由于K-means算法是迭代的聚类算法，因此分割处理运行时间相对较长。

2 微动目标分割

使用Otsu提取微动目标时，由于微动目标的肤色和背景颜色相近，会出现误分割，如图5所示将人脸、手等部位误检为背景。为了解决Otsu的弊端，本文将Otsu的一维直方图升到二维直方图，得到二维Otsu，但是视频图像处理的运行时间也随之成倍增长，而且大部分序列图像经过形态学、孔洞填充等处理后，仍不能获得完整的二值图模板，如图6所示。K-means聚类与肤色检测相结合的微动目标检测分割算法虽然可以完整提取微动目标，但是牺牲了系统的实时性。本文将Otsu阈值分割得到二值图和肤色阈值分割得到二值图相融合，不仅解决了微动目标肤色和背景颜色相似的问题，获取了完整二值图，还得到了较前两种微动目标提取方法实时性好的算法。

图5 Otsu分割二值图

图6 二维Otsu分割二值图

本文算法主要分为微动目标预分割、微动目标粗分割和微动目标二值图预处理及背景替换三大模块。

具体的算法步骤如下：

(1) 输入待替换背景的视频图像。

(2) 利用Otsu法计算前景、背景的最大类间方差，获得阈值T，若图像f(x,y)

(3) 建立肤色样本库，手动分割肤色，并将获得的肤色和非肤色数据由RGB空间转换到HSV空间，通过Adaboost算法模型对肤色这一特征进行提取、分类，并确定肤色分割阈值的范围，进而得到视频图像中微动目标肤色检测二值图。

(4) 结合步骤(2)、(3)判断，若fe(x,y)为白色像素点，或ff(x,y)为白色像素点，则fn(x,y)用白色像素点标记，如式(1)可获得微动目标粗分割的二值图。

(1)

其中，fe(x,y)是通过Otsu法获得的微动目标二值图，ff(x,y)是通过肤色阈值检测所获得的二值图,fn(x,y)是合成的微动目标粗二值图。

(5) 通过步骤(4)获得的微动目标粗二值图经过形态学处理、孔洞填充等预处理过程获得微动目标完整的视频图像二值图，并最终确定微动目标二值模板。

(6) 利用二值图模板的黑白信息分别获取替换背景视频图像和原始视频图像的信息，并对两者颜色信息进行融合，最终得到背景替换视频图像，如式(2)。

(2)

其中，f(x,y)是原始视频图像，是替换背景视频图像，ft(x,y)是背景替换后合成的新视频图像。

2.1 微动目标预分割

本文分别用Otsu法和肤色检测将待分割视频图像预分割，分别获取到视频图像中微动目标二值图和视频图像中肤色检测二值图，如图7中的(a)、(b)所示。

图7 微动目标预分割二值图

2.2 微动目标粗分割和预处理

通过微动目标预分割，结合式(1)，得到视频图像的微动目标二值图，因为这样的二值图存在一些噪声和空洞，如图8所示，故称为粗二值图。粗二值图像依旧影响图像中微动目标二值图的完整性。因此需用形态学处理和孔洞填充进一步完善微动目标二值图。

图8 微动目标粗二值图

具体的孔洞填充算法步骤：

(1) 将微动目标粗二值图进行形态学处理。

(2) 遍历当前图像，查找二值图模板的所有轮廓，获取轮廓边界的序列或数组。

(3) 通过步骤(2)所查找的轮廓，获取其感兴趣轮廓部分的起始点，计算表示轮廓部分和起始点连线所构成的封闭部分的面积，记为Area。

(4) 若封闭面积Area

(5) 若封闭面积Area≥Area-T，则进入下一个轮廓面积的计算，并且重复步骤(3)。

其中，Area-T是孔洞面积阈值，通过部分帧的图像轮廓面积获得最大Area，定义为Area-T。对图8执行这一步骤，便得到完整的微动目标二值图，如图9所示。

图9 微动目标人物模板

(6) 遍历结束。

2.3 背景替换

在获得的微动目标人物二值图模板中，白色像素点和黑色像素点分别表示视频图像前景、背景。将白色区域对应的原始视频图像与黑色区域对应的待替换背景视频图像合成，便完成了背景替换，如图10所示。

图10 背景替换

3 仿真实验结果及分析

本文实验视频是在自然状态下采集。图11是三种算法对视频图像随机抽取的17帧(第180帧、第200帧，…，第500帧)对微动目标分割处理运行时间的比较。纵轴为微动目标分割处理运行时间，单位ms，横轴是随机抽取的帧数。其中算法1是二维Otsu，算法2是K-means结合肤色检测，算法3是本文算法。由图11知，本文算法运行处理时间快于K-means结合肤色检测算法，并且快于二维Otsu算法十几倍。

图11 三种算法分割处理运行时间比较

表1是二维Otsu、K-means结合肤色检测、本文算法、专业人士绘画得到的微动目标序列图像二值图白色像素点的统计个数。根据表1像素点的统计个数，可依次获得三种算法对微动目标提取的准确率，如图12所示。分别用二维Otsu的准确率P、K-means结合肤色检测的准确率Q和本文算法的准确率R量化评估本文算法。P、Q、R分别定义为：

(3)

其中，Ne是二维Otsu微动目标白色像素点的统计个数, Nk是K-means结合肤色检测微动目标白色像素点的统计个数，Nr是本文算法微动目标白色像素点的统计个数,Nt是通过专业人员提取的微动目标白色像素点的统计个数。随机抽取实验视频图像中的17帧(帧号Num：180，200，…，500)进行计算，其结果如表1所示。

表1 三种微动目标提取完整性量化分析

从表1的三种微动目标提取完整性量化分析表可获知三种算法提取像素点平均依次为5428、5851、5996，最接近完整的微动目标6123。

图12是根据式(3)计算得到二维Otsu、K-means结合肤色检测算法以及本文算法的P、Q、R值的折线图，可更直观地看到本文所提算法的准确率较高。实验结果证明，本文算法在实时提取微动目标过程中具有更高的准确率。

图12 三种算法提取微动目标准确率比较

4 结 语

本文采用Otsu与肤色检测相结合的方法，解决了肤色与背景颜色相近的问题。通过实验验证，本文算法不仅有效地获取了微动目标的二值图，还可以以较高的准确率提取微动目标，并最终较好地完成了微动目标的背景替换。下一步工作研究复杂背景替换。

[1] Liu S,Gao D,Yin F.Infrared image segmentation method based on 2D histogram shape modification and optimal objective function[J].Journal of Systems Engineering and Electronics,2013,24(3):528-536.

[2] Luo G,Yang S,Tian G,et al.Learning Human Actions by Combining Global Dynamics and Local Appearance[J].Pattern Analysis and Machine Intelligence,IEEE Transactions on,2014,36(36):2466-2482.

[3] 瞿中,张亢,乔高元.MB-LBP特征提取和粒子滤波相结合的运动目标检测与跟踪算法研究[J].计算机科学,2013,40(8):304-307.

[4] Lin S,Ruimin H,Rui Z.Depth similarity enhanced image summarization algorithm for hole-filling in depth image-based rendering[J].Communications,China,2014,11(11):60-68.

[5] 吴桐,王玲.基于帧差分块的混合高斯背景模型[J].计算机工程与应用,2014,50(23):176-180.

[6] Otsu N.A threshold selection method from gray-level histogram[J].IEEE Trans.System. Man and Cyhernetics,1979,9(1):62-66.

[7] Li Z,Wang W,Liu X,et al.An efficient multi-threshold AdaBoost approach to detecting faces in images[J].Multimedia Tools and Applications,2015,74(3):885-901.

[8] 任磊,赖惠成,陈钦政,等.基于改进K均值聚类与HSV模型的棉花分割算法[J].计算机工程与设计,2013,34(5):1772-1776.

[9] Chatrath J,Gupta P,Ahuja P,et al.Real time human face detection and tracking[C]//International Conference on Signal Processing and Integrated Networks.IEEE,2014:705-710.

[10] Lee Y H,Kim B,Kim Y.AAM-based emotion recognition using variance of facial feature points on mobile video stream[J].Computer Systems Science and Engineering,2014,29(6):423-428.

[11] 瞿中,马庆伟,张庆庆.多线程下的视频微动目标检测与提取算法研究[J].计算机科学,2012,39(4):265-268.

AN ALGORITHM OF MICRO MOVING TARGET EXTRACTION AND BACKGROUND REPLACEMENT IN VIDEO SEQUENCES

An Shiquan Wen Qianyun Meng Qi

(CollegeofComputerScienceandTechnology,ChongqingUniversityofPostsandTelecommunications,Chongqing400065,China)

In order to realise the background replacement of micro moving targets in video images, there has the need to solve the problem of accurate micro moving targets extraction. In the paper we first use Adaboost classifier to train skin colour sample database to obtain the data of skin colour and non-skin colour, and determine the threshold range of skin colour, as well as get the binary image of skin colour detection. Then we fuse the binary images of skin colour detection and the binary images of micro moving targets segmented by Otsu to get the rough binary image of image sequence of micro moving targets. After that, we obtain the complete binary image templates through the treatment processes of morphology and holes filling, and at last accomplish the background replacement of video image. Simulation experiments show that the proposed algorithm can well segment the micro moving targets and realise background replacement.

Otsu Adaboost classifier Threshold of skin colour Morphology Background replacement

2015-09-08。重庆市教委科学技术研究项目(KJ140 2001)；重庆市科委基础与前沿项目(cstc2014jcyjA1347)；重庆市高校优秀成果转化项目(KJZH14219)。安世全，教授，主研领域：数字图像处理，信息与计算理论。文倩云，硕士生。孟琦，硕士生。

TP391.41

A

10.3969/j.issn.1000-386x.2016.11.026