基于HLBP特征的运动阴影检测方法

文凌艳，尹 东



基于HLBP特征的运动阴影检测方法

文凌艳1,2，尹 东1,2

( 1. 中国科学技术大学信息科学技术学院，合肥 230027；2. 中国科学院电磁空间信息重点实验室，合肥 230027 )

视频运动检测中，运动阴影常被误检为运动目标。针对这一问题，提出了一种利用哈尔型特性局部二元模式(HLBP)检测运动阴影的方法。首先，提取每个检测到的运动像素及其对应背景像素的HLBP特征向量。其次，使用曼哈顿距离度量HLBP纹理差异，获得纹理差异图。最后，利用最大类间方差算法(Ostu算法)对纹理差异图进行二值化处理，得到消除运动阴影后的目标结果。实验表明，该方法在多种室内外场景中能实时且有效地检测出运动阴影，具有较强的实用性。

运动阴影检测；哈尔型特性局部二元模式；纹理差异；图像分割

0 引 言

运动阴影检测是计算机视觉领域非常重要的研究方向，它在运动目标跟踪、识别等应用中起着至关重要的作用。运动的目标遮挡光线后产生运动阴影，它与运动目标具有相同的运动属性，使得检测到的运动目标中往往伴随着运动阴影，这会带来目标连合、目标形状改变等问题。因此，为了更好地提取出运动目标，需要对运动阴影进行检测并消除。

国内外的专家和学者在运动阴影检测领域进行了大量的研究。Sanin A[1]等人将阴影检测的方法按照使用特征分为：基于色度的方法、基于物理特性的方法、基于几何特性的方法以及基于纹理特征的方法。基于色度的方法假设阴影与其对应的背景色度一致，但亮度变小，选择合适的颜色空间将色度和亮度分离是这类方法的关键。Cucchiara R[2]等人利用HSV颜色空间，使色度和亮度相互独立。此外，使用YUV[3]、c1c2c3[4]等颜色空间的方法也被提出。这类方法计算简单，易于实现，但易受噪声影响，对参数的选择比较敏感，并在低饱和度下效果不理想。基于物理特性的方法以一些物理模型为基础，Shafer S A[5]提出的模型以及文献[6]提出的BIDR模型使用较多。文献[7]基于BIDR模型提出一种颜色特征，建立混合高斯模型(Gaussian Mixture Model，GMM)计算后验概率进行判断。此类方法相比于基于色度的方法检测结果更加准确，但当运动目标和背景色度相似时效果不好。基于几何特性的方法采用假设：在有光源、物体形状等信息的情况下，阴影的方向、尺寸甚至形状都可预测。这类方法由于假设较多，使其应用场景受限，但优点是不需要准确估计参考背景。基于纹理特征的方法假设阴影和相应背景区域的纹理相似，通过度量区域纹理的相关性可检测出运动阴影。相关学者提出了基于归一化交叉相关系数[8]、梯度相关性[9]、正交变换[10]等的方法。该类方法对光照变化鲁棒，并且不依赖于色度信息，但是由于涉及到邻域计算，耗时较长。

基于上述问题，本文提出了一种基于HLBP纹理特征的运动阴影检测方法，即利用阴影及其背景纹理相似的特点，在灰度图像上提取HLBP特征，分割纹理差异图像，检测出运动阴影后提取运动目标。

1 HLBP特征

1.1 基本原理

周书仁等人在文献[11]中提出了一种基于Haar特性的局部二元模式(Local Binary Patterns，LBP)纹理特征，它同时具有LBP计算快速、简单以及Haar特征对纹理描述全面的优点。图1显示了以像素为中心的5×5窗口的8组HLBP编码模型，模型中标记的数字1、0、-1表示权重。

图1 HLBP的8组编码模型

，

值的选取会影响纹理图像的精细程度，若值过大，将会丢失许多纹理细节，需要根据不同的处理对象进行实验选择合适的阈值。

1.2 特征描述

在实际操作中通常先对图像进行分块，计算各区块像素的HLBP特征并统计直方图，再串联各区块的直方图向量，获得图像的HLBP特征向量。具体形式如下所示：

在生成特征向量的过程中，涉及到图像分块的尺度、计算单个像素HLBP特征值的窗口以及Haar窗口的设置，文献[11]中对这三部分进行了具体说明，并给出了特征计算的示例，本文在此不再累述。

2 本文方法

本文算法建立在已完成运动检测的基础上，公开测试数据集提供了运动区域图像及相应的参考背景图像。据此，设计了对运动区域检测阴影并提取运动目标的方法，处理流程如图2所示。

图2 算法流程图

2.1 HLBP特征提取

在1.2中HLBP特征是通过对图像分块，将各个区块的直方图向量串联得到。显然，这样计算比较复杂，且涉及到阈值的选取问题，而往往检测到的运动区域并不是规则的形状，会给图像分块带来不便。针对这些问题，本文对HLBP特征的提取进行了改进。

首先将检测的运动区域图像转化为灰度图，对于已经检测到的位置为的运动像素及其对应的背景像素，分别提取8维特征向量和，具体形式如下所示：

(4)

改进的HLBP特征提取不需要对图像进行分块，直接计算各运动区域像素的特征向量，简化了操作，并将各模板与图像窗口进行点积的结果作为各个维度的特征值，避免了对阈值的选取。同时还具有LBP特征的亮度不变性，消除了光照变化对纹理特征提取的影响。

2.2 HLBP差异计算

根据大量实验，本文采用曼哈顿距离度量特征向量间差异：

得到的数值越大，表示纹理差异越大；反之，纹理相似程度越高。

由于得到的结果取值会超过255，因此需要对结果进行归一化，以便显示纹理差异图像。以公开测试数据集Room第295帧为例，得到纹理差异图像如图3(d)所示。由图3可知，HLBP纹理差异图中灰度值较大的像素主要集中在运动目标上，充分体现了运动阴影与其背景纹理相似这一特点。

2.3 运动区域图像分割

由2.2，采用Ostu算法[12]对纹理差异图像进行二值化处理。由于纹理差异图经过归一化后取值范围为[0，1]，因此需要对区间进行划分，令=1/256，将[0，1]划分为256个小区间作为直方图各个区间的取值范围，即[0，/2)、[/2，3/2)、…、[511/2，1]，每个区间的代表值为0、、2、…、1，用于均值的计算，再根据最大化类间方差原则选择阈值进行二值化。接着对二值图像使用膨胀、腐蚀等形态学操作获得最终的结果。图3(e)显示了分割结果。

1.认知是涉及身体的，也即不能脱离具体的身体。正因为人类有特定的身体机构，才决定了人类特有的认知和思维方式［3］。另外，Gallagher（2005）认为，身体在认知活动中发挥作用与身体图式（body schema）和身体意象（bodyimage）有关［4］，身体图式是身体的感觉——运动能力系统，而身体意象是身体知觉的伪像，不管是低水平的认知还是包括判断、隐喻等在内的高水平认知都通过身体图式和身体意象系统的功能来实现［5］。显然，在认知过程中，身体是不可或缺的。

图3 运动区域及其背景的HLBP纹理差异

3 实验结果与分析

选择公开测试数据集Hallway、Room、Campus以及校园内某段监控视频(Surveillance Video)对本文方法进行测试与验证，如表1所示。其中公开测试数据集包括了运动区域图像、背景图像以及标记图像，校园监控视频采用CodeBook[13]算法，使用前30帧图像构建背景模型，再进行运动检测。

表1 测试视频介绍

文献[1]实现了基于色度[2]、几何特性[14]、物理特性[7]、小区域纹理[15]以及大区域纹理[9]的阴影检测方法。本文采用公开网站(http://arma.sourceforge.net/shadows/)上这五种算法的源代码进行测试，再与本文方法进行比较。

3.1 定量分析

表2 不同方法η、ξ、θ值和运行时间

由评价指标结果可以看出，基于色度的方法对Campus这种饱和度较低的场景效果较差，阴影区分率很低，因为当饱和度偏低时，红绿蓝三个分量几乎相等，难以确定精确的颜色，导致色调信息不稳定且不可靠，并且饱和度值偏低更易满足该方法对阴影在饱和度方面的约束条件，使部分目标像素被误检为阴影；基于几何特性的方法假设阴影与目标的方向不同，对于Hallway、Room这种阴影与目标方向相近的场景大量阴影被误检为目标，阴影检测率低；基于物理特性的方法由于还是局限于光谱信息，所以当目标与背景光谱性质接近时检测效果较差，例如Campus中部分目标区域被误检为阴影，导致其阴影区分率很低；基于小区域纹理的方法对于邻域纹理较平坦的像素检测结果不理想，例如Campus和Room中一些图像的部分区域纹理不明显，导致误检；基于大区域纹理的方法较前四种方法效果最好，该方法使用了色度和梯度特征，由于Campus中部分图像的目标及背景区域的梯度较平坦，使得Campus的评价指标相对较低；本文方法在这3个数据集上取得较好的效果，评价指标的平均值优于基于大区域纹理的方法。对于Campus的阴影检测率相对较低，主要原因是其部分图像中运动目标与背景的纹理都比较简单，例如图5中Campus的原始图像，行人的衣服及相应的地面区域纹理都较平坦，使得二者在HLBP纹理差异图中灰度值较低，自动选择的分割阈值会较小，二值化后将一些阴影误检为目标，并且由于目标较小，经过形态学膨胀处理后也会造成一些误差。在运算速度上，本文方法快于基于物理特性和小区域纹理的方法，接近于基于大区域纹理的方法，慢于基于色度和几何特性的方法，但是基本上能达到实时处理的要求。

3.2 定性分析

定量、定性分析分别是对检测结果的客观和主观评价。图4、图5分别显示了前5种方法和本文方法在公开测试数据集以及校园监控上的部分实验结果：灰色代表阴影，白色代表目标。图5中原始图像分别来自Campus、Hallway和Room数据集。

图4 本文方法与其他方法比较(Ⅰ)

图5 本文方法与其他方法比较(Ⅱ)

4 结 论

本文将基于Haar特性的LBP纹理特征用于运动阴影的检测，避免了对阈值参数的设置，增强了实用性。通过实验表明，本文算法对运动阴影的检测效果较好，能较完整地提取运动目标，并达到了实时性要求。未来可进一步研究目标与背景纹理都较简单或相似的场景，使得算法具有更广泛的适用性。同时，可将运动检测与阴影去除结合起来，便于进行运动目标跟踪及异常行为分析等。

参考文献：

[1] Sanin A，Sanderson C，Lovell B C. Shadow detection：a survey and comparative evaluation of recent methods [J]. Pattern Recognition(S0031-3203)，2012，45(4)：1684-1695.

[2] Cucchiara R，Grana C，Piccardi M，. Detecting moving objects，ghosts，and shadows in video streams [J].IEEE Transactions on Pattern Analysis and Machine Intelligence(S0162-8828)，2003，25(10)：1337-1342.

[3] CHEN Chunting，SU Chungyen，KAO Wenchung. An enhanced segmentation on vision-based shadow removal for vehicle detection [C]// Proceedings of International Conference on Green Circuits and Systems，Shanghai，China，June 21-23，2010：679-682.

[4] Salvador E，Cavallaro A，Ebrahimi T. Cast shadow segmentation using invariant color features [J]. Computer Vision and Image Understanding(S1077-3142)，2004，95(2)：238–259.

[5] Shafer S A. Using color to separate reflection components [J]. Color Research & Applications(S1520-6378)，1985，10(4)：210–218.

[6] Maxwell B，Friedhoff R，Smith C. A bi-illuminant dichromatic reflection model for understanding images [C]// Proceedings of IEEE International Conference on Computer Vision and Pattern Recognition，Anchorage，AK，June 23-28，2008：1-8.

[7] HUANG Jiabin，CHEN Chusong. Moving cast shadow detection using physics-based features [C]// Proceedings of IEEE International Conference on Computer Vision and Pattern Recognition，Miami F L，USA，June 20-25，2009：2310–2317.

[8] TIAN Yingli，LU Max，Hampapur A. Robust and efficient foreground analysis for real-time video surveillance [C]// IEEE Computer Science Conference on Computer Vision and Pattern Recognition，Los Alamitos，USA，June 20-25，2005： 1182–1187.

[9] Sanin A，Sanderson C，Lovell B C. Improves shadow removal for robust person tracking in surveillance scenarios [C]// Proceedings of International Conference on Pattern Recognition，Istanbul，Turkey，Aug 23-26，2010：23-26.

[10] ZHANG Wei，FANG Xiangzhou，XU Yi. Detection of moving cast shadows using image orthogonal transform [C]// Proceedings of International Conference on Pattern Recognition，Hong Kong，China，Aug 20-24，2006：626–629.

[11] 周书仁，殷建平. 基于Haar特性的LBP纹理特征[J]. 软件学报，2013，24(8)：1909-1926.

ZHOU Shuren，YIN Jianping. LBP Texture Feature Based on Haar Characteristics [J]. Journal of Software，2013，24(8)：1909-1926.

[12] Ostu N. A Threshold Selection Method from Gray-Level Histograms [J]. IEEE Transactions on Systems，Man，and Cybernetics(S0018-9472)，1979，9(1)：62-66.

[13] Kim K，Chalidabhongse T H，Harwood D，. Back ground modeling and subtraction by codebook construction [C]// Proceedings of IEEE International Conference on Image Processing，Singapore，Oct 24-27，2004：3061-3064.

[14] Hsieh Jun-Wei，HU Wenfong，CHANG Chia-jung，. Shadow elimination for effective moving object detection by Gaussian shadow modeling [J]. Image and Vision Computing(S0262-8856)，2003，21(6)：505-516.

[15] Leone A，Distante C. Shadow detection for moving objects based on texture analysis [J]. Pattern Recognition(S0031-3203)，2007，40(4)：1222-1233.

[16] Prati A，Mikic I，Trivedi M，. Detecting moving shadows：algorithms and evaluation [J]. IEEE Transactions on Pattern Analysis and Machine Intelligence(S0162-8828)，2003，25(7)：918-923.

Moving Shadow Detection Approach Based on HLBP Feature

WEN Lingyan1,2，YIN Dong1,2

( 1. School of Information Science Technology, USTC, Hefei 230027, China; 2. Key Laboratory of Electromagnetic Space Information of CAS, Hefei 230027, China )

In video motion detection, moving shadow is often mistakenly detected as moving objects. In order to solve this problem, a moving shadow detection method is presented, which uses Haar Local Binary Pattern (HLBP) to detect shadow. Firstly, HLBP feature of detected moving regions and corresponding regions in the background is extracted. Secondly, it uses Manhattan Distance to measure the difference of HLBP feature between the two regions to get a map about texture difference. Finally, Ostu algorithm is employed to segment texture difference map to get a mask of moving objects, and then moving objects are extracted. The experimental results show that the proposed method can effectively detect moving shadow in some outdoor and indoor scenes in real time.

moving shadow detection; Haar local binary pattern; texture difference; image segmentation

1003-501X(2016)10-0084-06

TP391

A

10.3969/j.issn.1003-501X.2016.10.014

2015-11-13；

2016-03-07

安徽省科技厅项目“海量人脸图像快速检索云服务平台及应用示范”。

文凌艳(1992-)，女(汉族)，湖南常德人。硕士研究生，主要研究工作是图像处理。E-mail: windyhn@mail.ustc.edu.cn。

尹东(1965-)，男(汉族)，江西莲花人。硕士，副教授，主要研究工作是智能信息处理、图像处理。