基于集成学习思想的深度图像遮挡边界检测方法

张世辉， 庞云冲

（1.燕山大学信息科学与工程学院，河北秦皇岛 066004；

2.河北省计算机虚拟技术与系统集成重点实验室，河北秦皇岛 066004）

基于集成学习思想的深度图像遮挡边界检测方法

张世辉1，2， 庞云冲1

（1.燕山大学信息科学与工程学院，河北秦皇岛 066004；

2.河北省计算机虚拟技术与系统集成重点实验室，河北秦皇岛 066004）

针对现有深度图像遮挡检测方法不能有效地检测出深度信息变化不明显的遮挡边界点的状况，提出了8邻域总深度差特征和最大面积特征，并定义了计算方法。在此基础上，提出一种新的基于集成学习思想的深度图像遮挡边界检测方法，该方法结合所提新特征及现有遮挡相关特征训练基于决策树的AdaBoost分类器，完成对深度图像中遮挡边界点及非遮挡边界点的分类，实现对深度图像中遮挡边界的检测。实验结果表明，同已有方法相比，所提方法具有较高的准确性和较好的普适性。

计量学；遮挡边界检测；集成学习；深度图像；8邻域总深度差特征；最大面积特征；AdaBoost

1 引 言

遮挡现象既是一种几何现象，又是一种光学现象。在大多数视觉研究领域，如视觉测量、场景重建、目标跟踪、自动装配等领域都会涉及到遮挡现象。如果视觉系统无法采取正确的措施处理遮挡现象，大多数视觉技术将会因此失效甚至出错。可见，遮挡问题的研究对大部分视觉技术的发展具有重要的基础作用，受到了视觉领域研究者们的广泛关注［1～3］。目前，已有的遮挡检测方法大多针对彩色图像展开研究［4～7］。由于深度图像中的可用信息相对较少，故针对深度图像的遮挡检测方法的研究和成果也较少。文献［8～12］试图从视觉目标的深度图像信息入手研究遮挡情况下特定视觉任务的处理办法，但并未给出明确的遮挡检测方法。文献［13～16］提出了明确的基于深度图像的遮挡边界检测方法。这些方法均较好地实现了深度图像中物体遮挡边界的检测，但在准确性和普适性方面仍有待提高。本文提出一种结合所提新特征利用基于决策树的AdaBoost分类器检测深度图像中遮挡边界的方法。实验结果表明，同已有方法相比，所提方法具有较高的准确性和较好的普适性。

2 方法概述

2.1 深度图像及物体遮挡边界

深度图像中每个像素点的值对应该像素点的深度值，故深度图像能直接反应出物体表面的三维几何信息。物体遮挡边界是指物体由于空间构造、观测角度不同等原因引起遮挡的情况下遮挡前景与被遮挡部分之间的分界线。在深度图像中，遮挡边界是由若干个连续的遮挡边界点构成，且遮挡边界点均为遮挡前景上的像素点。

2.2 总体方法

本文基于机器学习中分类器集成的思想检测深度图像中物体的遮挡边界，流程如图1所示。

图1 遮挡检测方法流程图

3遮挡边界检测方法

本文把深度图像中物体遮挡边界的检测作为一个有监督的二分类问题，可表示为

式中：fi为深度图像中像素点i的联合特征向量，l为联合特征向量的长度，s为样本的数目。Ci＝1表示像素点i是遮挡边界点，Ci＝0表示像素点i是非遮挡边界点，Rl为R的l维空间向量。

目前，基于深度图像的遮挡相关特征有平均曲率特征［13］、平均深度差特征［14，15］、最大深度差特征和夹角特征［16］。本文结合现有特征，进一步分析了深度图像中遮挡边界点及其邻域点深度值的关系，提出了8邻域总深度差特征和最大面积特征。同时，针对遮挡边界的检测问题，本文基于机器学习中集成学习的思想，提出了基于决策树的AdaBoost分类器实现遮挡边界检测的方法。下面分别针对现有遮挡相关特征、所提新特征及遮挡边界检测方法进行阐述。

3.1 现有遮挡相关特征分析

现有4种遮挡相关特征中，平均曲率特征描述物体的微分几何特性，平均深度差特征和最大深度差特征分别针对不同情况，在不同程度上描述了深度图像中遮挡边界点与其8邻域内非遮挡边界点的深度值阶跃特性，而夹角特征则显示了其几何角度特性。因而，此4种特征从不同方面为判断深度图像中的遮挡边界点和非遮挡边界点提供了依据。但是有时单纯依靠这4种特征，不能很好地检测深度图像中所有情况下的遮挡边界点。因此，提出了8邻域总深度差特征和最大面积特征，以增强针对深度图像中各类目标物体的遮挡边界检测效果。

3.2 本文提出的遮挡相关特征

平均深度差特征和最大深度差特征虽然均在一定程度上反映了遮挡边界点与其邻域点存在深度值阶跃这一特性，但是在一些情况下，物体的遮挡边界点与其邻域点只存在很小的深度值阶跃，仅仅利用平均深度差特征和最大深度差特征不能检测出这类遮挡边界点。因此，针对这类不能检测出的遮挡边界点，提出了8邻域总深度差特征，深度图像中某一像素点的8邻域总深度差特征是指该像素点与其8个邻域内各像素点的深度值之差的总和，该点的8邻域总深度差特征值越大，其越有可能是遮挡边界点。记深度图像I中任一像素点p（i，j）的深度值为d（i，j），则其对应的8邻域总深度差特征定义为

当遮挡边界点与其8邻域非遮挡边界点深度值阶跃较为明显的情况下，本文所提8邻域总深度差特征同平均深度差特征和最大深度差特征一样，均能很好地反映出这一阶跃特性。更重要的是，与平均深度差特征和最大深度差特征相比，在遮挡边界点与其8邻域非遮挡边界点深度值阶跃不明显的情况下，8邻域总深度差特征由于计算了所有深度差之和，使得其特征更明显，更具区分性。

平均深度差特征、最大深度差特征和8邻域总深度差特征均反映了深度图像中像素点与其8邻域像素点的深度值阶跃特性，但有时由于观测角度的偏斜，图像中遮挡边界点与其邻域点的深度值阶跃不明显，以前的遮挡检测方法又无法检测出这类遮挡边界点。经分析发现，虽然此类遮挡边界点与其邻域点深度值阶跃不明显，但是在实际三维空间中，其与邻域点的距离较大。因此，针对这类不容易检测出的遮挡边界点，本文提出了最大面积特征，如图2所示，像素点a的最大面积特征定义为△abici（i＝1，…，8）面积中的最大值。该点的特征值越大，则其越有可能是遮挡边界点。记深度图像I中任一像素点p在实际三维空间的坐标分别为x（i，j）、y（i，j）、z（i，j），则其对应的最大面积特征定义为

图2 最大面积特征计算方法示意图

3.3 基于集成学习思想的遮挡边界检测方法

基于现有4种遮挡相关特征（平均曲率特征、平均深度差特征、最大深度差特征、夹角特征）和所提两种新特征（8邻域总深度差特征、最大面积特征）进行遮挡检测。为了更好地检测深度图像中的遮挡边界，利用基于集成学习思想的AdaBoost分类器作为深度图像中遮挡边界检测的分类器。

4 实验与结果分析

4.1 实验环境及数据集

采用Stuttgart Range Image Database［17］中大小为400像素×400像素的深度图像进行遮挡边界检测实验。实验硬件环境为CPU Intel（R）Pentium（R）G2020 2.90GHz，内存4.0G。采用C＋＋语言编程实现对深度图像中遮挡边界的检测。

4.2 训练样本确定及遮挡检测分类器模型参数设置

Stuttgart Range Image Database中目标物体种类较多，考虑到部分图像不存在遮挡现象，选取50幅存在遮挡现象的深度图像作为实验数据集，通过手工标记的方式得到了每幅深度图像对应的Ground Truth。然后再从已选取的50幅图像中确定出5幅具有代表性的图像用于训练，其余45幅图像用于测试。5幅用于训练的深度图像及Ground Truth，见图3。在此基础上，将这5幅深度图像中的所有遮挡边界点（共3 368像素点）作为正样本点。然后，按照正负样本约1∶2的比例（实验值），采用简单随机抽样的方法从这5幅深度图像中随机选取了6922个非遮挡边界点作为负样本点。最后，通过计算得到正负样本点带有类别标签的联合特征向量，形成了训练所需的正负样本集。基于确定出的训练样本集，通过实验得知，在使用本文所用6种遮挡相关特征时，当单棵决策树的最大深度为15，基分类器即决策树的个数为50时，分类器总体性能最好。

图3 用于训练的深度图像及其Ground Truth

4.3 实验结果及分析

为了验证本文所提特征更易检测出深度图像中深度值阶跃不明显的遮挡边界点，采用不同检测方法分别基于现有特征、基于本文所提特征联合现有特征训练得到不同的分类器，并将不同分类器的检测结果进行了对比。对比结果如图4所示（图4第2行图像是对图4第1行各图的局部放大）。由图4可以看出，无论是文献［16］方法还是本文方法，增加本文所提特征后，某些基于现有特征检测不出的遮挡边界点已经可以正确检测出。

图4 不同遮挡检测方法基于不同特征的实验结果比较

表1给出了图4结果的查全率和查准率。通过表1可以看出，无论利用哪种遮挡检测方法，增加本文所提特征后，在查准率基本不变的情况下，遮挡检测的查全率均有较大幅度的提升，某些基于现有特征检测不出的遮挡边界点已经可以正确检测出。

表1 不同方法基于不同特征的查全率和查准率

图5给出了本文方法与研究深度图像遮挡边界检测的文献［16］方法部分实验的对比结果。由图5比较分析可知：文献［16］方法在Knot的弯曲处存在一些误检；而本文方法在Knot的弯曲处的误检像素点数明显减少。文献［16］方法和本文方法对视觉目标Plane的检测效果均较好。同样是针对视觉目标Plane，但由于观测角度的不同，文献［16］方法在机身边缘部分存在许多误检的像素点；而本文方法在机身边缘部分仅有极少误检的像素点。另外，针对机尾的深度值阶跃不明显的像素点，文献［16］方法未能检测出来，而本文方法能检测出来。文献［16］方法对视觉目标Bunny眼睛和耳朵部位深度值阶跃不明显的遮挡边界点的检测不完全，从而导致遮挡边界的连续性不好；而本文方法不仅检测出了Bunny眼睛和耳朵部位深度值阶跃不明显的遮挡边界点，且遮挡边界的连续性较好。由于视觉目标Mole头顶处遮挡边界点的深度值阶跃并不明显，故文献［16］方法未能完全检测出这些遮挡边界点；而本文方法则完全检测出了Mole头顶处的遮挡边界点，并且形成了连续完整的遮挡边界。

表2给出了图5中各深度图像分别利用文献［16］方法和本文方法所对应的查全率和查准率。本文方法在测试数据集上的平均查全率和平均查准率比研究深度图像遮挡边界检测的文献［16］方法均有较大提升。

表2 2种遮挡检测方法的查全率和查准率（%）

图5 不同遮挡边界检测方法的实验结果比较

5 结 论

提出一种基于集成学习思想，利用所提新特征结合现有遮挡相关特征检测深度图像中遮挡边界的方法。其主要贡献为：提出了8邻域总深度差特征和最大面积特征，丰富了深度图像中用于检测遮挡的特征种类；一种新的基于集成学习思想的遮挡边界检测方法，该方法利用AdaBoost分类器解决深度图像的遮挡检测问题。同已有方法相比，所提方法具有较高的准确性和较好的普适性。

［1］ Stein A，Hebert M.Occlusion boundaries from motion：Low-level detection and mid-level reasoning［J］.International Journal of Computer Vision，2009，82（3）：325－357.

［2］ Hoiem D，Efros A，Hebert M.Recovering occlusion boundaries from an image［J］.International Journal of Computer Vision，2011，91（3）：328－346.

［3］ 蒋剑峰，姜招喜，柴国忠，等.螺纹影像法测量中投影遮挡问题的研究［J］.计量技术，2012，（10）：29－33.

［4］ Alvarez L，Deriche R，Papadopoulo T.Symmetrical dense optical flow estimation with occlusions detection［J］.International Journal of Computer Vision，2007，75（3）：371－385.

［5］ He X，Yuille A.Occlusion boundary detection using pseudo-depth［C］／／Proceedings of the European Conference on Computer Vision，Heidelberg，Germany：Springer Verlag，2010，539－552.

［6］ Humayun A，Aodha OM，Brostow G J.Learning to find occlusion regions［C］／／Proceedings of the IEEE Computer Society Conference on Computer Vision and Pattern Recognition，Piscataway，USA：IEEE，2011，2161－2168.

［7］ Chen D，Yuan Z，Zhang G，et al.Detecting occlusion boundaries via saliency network［C］／／Proceedings of International Conference on Pattern Recognition，Tsukuba，Piscataway，USA：IEEE，2012，2569－2572.

［8］ Park JC，Kim SM，Lee K H.3D mesh construction from depth imageswith occlusion［C］／／Lecture Notes in Computer Science，Heidelberg，Germany：Springer Verlag，2006，770－778.

［9］ Merchan P，Vazquez A S，Salamanca S.3D scene analysis from a single range image through occlusion graphs［J］.Pattern Recognition Letters，2008，29（8）：1105－1116.

［10］ Jang IY，Cho JH，Seo M K，etal.Depth image based 3D humanmodeling resolving self-occlusion［C］／／ACM SIGGRAPH Posters，New York，USA：ACM，2008，105.

［11］ Liu Y.Automatic range image registration in the Markov chain［J］.IEEE Transactions on Pattern Analysis and Machine Intelligence，2010，32（1）：12－29.

［12］ Jang IY，Cho JH，Lee K H.3D humanmodeling from a single depth image dealing with self-occlusion［J］.Multimedia Tools and Applications，2012，58（1）：267－288.

［13］ 张世辉，张煜婕，孔令富.一种基于深度图像的自遮挡检测方法［J］.小型微型计算机系统，2010，31（5）：964－968.

［14］ 张世辉，张煜婕，孔令富.结合深度图像和最佳分割阈值迭代的自遮挡检测算法［J］.高技术通讯，2010，20（7）：754－757.

［15］ Zhang S，Gao F，Kong L.A self-occlusion detection approach based on range image of vision object［J］.ICIC Express Letters，2011，5（6）：2041－2046.

［16］ Zhang S，Liu J.A self-occlusion detection approach based on depth image using SVM［J］.International Journal of Advanced Robotic Systems，2012，9（12）：230：1－8.

［17］ Hetzel G，Leibe B，Levi P，et al.3D object recognition from range images using local feature histograms［C］／／Proceedings of the IEEEComputer Society Conference on Computer Vision and Pattern Recognition，Piscataway，USA：IEEE，2001，II394－II399.

Occlusion Boundary Detection Method for Depth Image Based on Ensemble Learning

ZHANG Shi-hui1，2， PANG Yun-chong1
（1.School of Information Science and Engineering，Yanshan University，Qinhuangdao，Hebei066004，China；
2.The Key Lab for Computer Virtual Tech and Sys Integration of Hebei Province，Qinhuangdao，Hebei066004，China）

The existing occlusion detectionmethod for depth image can not effectively detect the occlusion boundary pointwith less obvious depth change，this status should be changed.The eightneighborhood total depth difference feature and maximal area feature are proposed firstly，and then the calculationmethods for these two new features are defined.On this basis，a new occlusion detection approach based on ensemble learning is proposed，which combines the proposed features and existing occlusion related features to train the decision tree-based AdaBoost classifier to classify the pixel of depth image into occlusion boundary point or non-occlusion boundary point.The experimental results show that，compared with the existingmethods，the proposed approach has higher accuracy and better universality.

Metrology；Occlusion boundary detection；Ensemble learning；Depth image；Eight neighborhood total depth difference feature；Maximal area feature；AdaBoost

TB96

A

1000-1158（2014）06-0569-05

10．3969／j．issn．1000-1158．2014．06．10

2014-04-29；

2014-06-30

国家自然科学基金（61379065）；河北省自然科学基金（F2014203119）

张世辉（1973－），男，河北赞皇人，燕山大学教授，博士，主要从事视觉信息处理方面的研究。sshhzz＠ysu.edu.cn