基于低秩矩阵分解的运动目标检测①

黄 霞, 许海霞, 莫 言

(湘潭大学 信息工程学院, 湘潭 411105)

基于低秩矩阵分解的运动目标检测①

黄 霞, 许海霞, 莫 言

(湘潭大学 信息工程学院, 湘潭 411105)

运动目标检测是视频监控任务的基础问题之一, 针对灰度信息, 目标检测存在的阴影识别能力差、检测精度低等问题, 提出在HSV颜色空间下基于低秩矩阵分解的运动目标检测算法. 首先将获取的RGB图像转为HSV颜色空间分量, 分别对H、S、V通道构建低秩观测量, 进行低秩矩阵优化分解, 分离出不同颜色通道的前景和背景分量; 组合 H、S、V通道分量的前景图像, 得到粗略的运动目标区域; 再采用HSV颜色阴影去除去除前景图像中的阴影; 最后经噪声去除和空洞的填充, 检测得到准确的前景运动目标. 实验验证表明, 与其它方法相比, 能够有效地提高运动目标检测的准确度.

智能视频监控; 运动目标检测; 低秩矩阵分解; HSV颜色空间

近几年, 智能视频监控逐渐成为备受学者们关注的研究热点, 运动目标检测作为视频监控中的关键部分, 同时受到学者们的热捧, 越来越多的方法用于对运动目标的检测. 运动目标检测是从图像序列中获得目标的运动信息, 并将其从图像提取出来, 其是智能监控系统中目标分类、跟踪及行为理解等后续处理的基础. 目前常用的运动目标检测方法有光流法、帧差法和背景减除法等, 其中背景减除法得到了广泛的应用. 背景减除法[1-3]的核心思想是将当前获得的图片与得到的背景图像相减, 得到差分图像, 然后通过设置阀值来判定差分图像的像素状态, 如果像素点的值小于阀值则该像素被认为是背景区域, 否则认为是感兴趣的运动目标区, 如混合高斯模型法[4-8]通过建立多个高斯模型来判定像素点属于前景还是背景, 其方法在一定程度上能够准确的获得运动目标信息, 然而, 此类方法需要训练相关的图像序列预先构造背景模型,从而限制了其在视频分析自动化中的应用.

近年, Wright[9]等人提出鲁棒主成分析(Robust Principal Component Analysis, RPCA, 又称低秩矩阵分解)并将此理论应用到运动目标检测领域. 由于监控视频具有摄像头的位置是固定不变的特点, 因此采集到的视频中背景信息是相对稳定的, 而移动的车辆在视频的每一帧中存在很大的变动, 可将监控视频的每一帧图像像素值组成一个列向量并排列成一个矩阵, 利用低秩矩阵恢复算法对其进行分解, 将会对稳定的背景(对应低秩部分)和运动的物体(对应稀疏部分)进行分离. 文献[10]基于低秩矩阵分解原理提出一种新颖的显著运动目标检测方法, 其数据M矩阵由视频的每一帧图像的相同位置的行(列)组成, 通过低秩矩阵分解目标函数求解, 获得每帧图像行(列)低秩部分和行(列)稀疏部分, 再对每帧图像的行稀疏部分和列稀疏部分进行组合, 得到初步的显著目标, 利用自适应阀值法和噪声去除方法, 获得最终的目标. 此方法在不同的视频场景取得了较好的效果, 对低分辨率环境和噪声具有较好的鲁棒性. 然而当基于灰度值建立背景时, RPCA算法对运动目标的阴影识别能力很差, 运动目标检测的精确度低, 为后续的视频分析带来了困难.

本文针对在灰度信息情况下, RPCA算法对阴影识别能力差问题, 利用颜色信息对运动目标进行检测.考虑到RGB颜色空间与人眼感知的差异很大, 且由于阴暗区域比亮区域的像素差别具有更高的不稳定性,使其在阴暗区域的颜色比较效果不好, 而HSV颜色空间符合人视觉神经观察模型, 为此本文将图像从RGB空间转换到HSV空间, 在HSV颜色空间下通过低秩矩阵恢复对背景进行建模, 提取运动目标, 提出在HSV颜色空间下基于低秩矩阵恢复的运动目标检测算法.

实验表明改进后的方法能够取得更加准确的前景分割特性, 对噪声干扰表现出良好的鲁棒性. 同时RGB颜色空间对运动目标的阴影识别能力很差, 在HSV颜色空间却能很好的识别, 可以有效地检测出阴影区域.

1 HSV颜色空间

彩色数字图像可由多种色彩空间模型来表示[11],常用的表现彩色图像的颜色空间有RGB、HSV、YCbCr颜色空间等. 目前, 通过视频采集设备获取的视频大多数是RGB颜色模式, 因此在对视频序列帧进行运动目标检测算法的研究大多数直接采用各个像素点的RGB值或者灰度值, 但RGB模型是通过红(R)、绿(G)、蓝(B)3种色光作适当混合引起电磁光谱上所有任意颜色的感知, 故在RGB模型中R、G、B三个分量都包含了亮度信息, 它们之间存在着很大的相关性, 从而不利于运动目标的检测和分割, 且其颜色表示方式不适于人的视觉感知习惯, 在这方面HSV颜色模式则更有优势. 在HSV颜色空间中, 其色度(H)表示不同的颜色, 饱和度(S)表示颜色的深浅; 亮度(V)表示颜色的明暗程度, 3个分量独立不相关. HSV颜色空间相对于RGB颜色空间能够较好地解决强光照射、阴影和遮蔽或纹理带来的物体表面颜色不匀等问题.

在传统的RGB模型转换到HSV模型中, 由于各自的自身特性, 使得在转换过程中H分量出现奇异值和不稳定点, 本文采用文献[12] 中RGB到HSV空间修正后的色彩转换公式:

图1为采用传统方法转换的结果与修正公式后转换的结果. 图1(b)为利用传统方法转换后的HSV图,图1(c)为利用式(1)转换后的HSV图, 比较图1(b)和图1(c)两帧图像, 可以看出利用修正公式转换后的HSV图像没有存在不稳定点.

图1 传统方法与修正公式后转换的HSV图

2 RPCA理论

经典的PCA(Principal Component Analysis)是一种特征提取和分析中数据降维的方法, 将高维的数据投影到低维线性子空间中并对其进行估计. 假设数据矩阵M可表示为M=L+E, 其中矩阵L表示矩阵M的低秩成分, 矩阵E表示噪声干扰, 矩阵L和E未知,且矩阵E中的所有元素都服从独立同分布的高斯分布, 经典的PCA通过求解下式寻求最优的秩k来估计L:

其中,k是目标子空间的维度,表示矩阵的2范数, 即M中奇异值的最大值. 经典PCA只有当E较小时才能求得最优解, 而实际数据M矩阵往往被大量的干扰数据覆盖, 此时, 经典PCA方法无法达到令人满意的效果.

为了解决经典PCA的缺点, candes[13]等人提出RPCA模型, 该模型通过矩阵的低秩与稀疏性约束,能够从稀疏的显著误差中恢复出低秩的矩阵, 此时,求解低秩矩阵L的问题可优化成如下模型问题:

其中,rank(L)表示矩阵L的秩,||E||0是矩阵的l0范数, 即矩阵E中非零元素的个数, 目标函数中的两项都是非线性非凸的, 上述问题是一个NP-hard问题. Candes将上述模型松弛到如下凸优化问题:

其中,||L||*代表矩阵L的核范数, 即为其矩阵奇异值之和.||E||1是矩阵E的l1范数, 即E中所有元素绝对值之和.λ为控制稀疏矩阵E权值参数. 此优化问题可通过迭代阀值算法(iterative thresholding, IT)[13,15]、加速近端梯度算法(accelerated proximal gradient, APG)[14]、对偶方法[14,15]和不精确拉格朗日乘子法(inexact augmented Lagrange multipliers, IALM)[15,16]求解. 即使观测矩阵M中的数据被大量干扰信息的破坏,通过求解(4)式仍能得到比较理想的结果(L,E).

3 基于矩阵分解的运动目标检测

由于利用灰度信息, 对运动目标的阴影识别能力很差, 运动目标检测的精确度低, 本文利用颜色信息运用低秩矩阵分解检测运动目标, 提出在HSV颜色空间下基于RPCA的运动目标检测算法, 具体目标检测原理如图2所示,过程描述如下:

1) 视频的获取以及颜色空间的转换

由监控系统获取RGB图像序列, 首先根据公式(1)将RGB图像序列转化为HSV图像序列, 整个视频数据可以看成是4维的, 通过按照3个颜色通道表示可以得到3个3维数据, 把整个视频流看作是H、S、V三个颜色通道的视频流, 此时可以看作是对多个二维矩阵进行计算, 大大地降低了存储空间同时提高了计算效率.

2) 背景图像与前景图像的分离

根据低秩矩阵恢复理论, 观测到的数据可以分解为两个成分, 一个具有低秩性, 一个具有稀疏性. 由于背景比较稳定, 故其背景像素值组成的矩阵具有低秩性, 而运动目标在视频中是运动的且分布范围比较小, 故运动目标像素值组成的矩阵具有稀疏特性. 前景目标检测步骤如下:

Step1: 低秩观测量矩阵的构成. 分别对视频流中的H、S、V颜色通道的图像序列进行处理. 首先提取H颜色通道图像序列帧H1,H2,L,Hf, 并将各帧图像向量化, 组成低秩观测矩阵

MH∈RMN×f, 其中f是图像帧数, 图像的大小为M×N. 同理, 对S颜色通道图像序列S1,S2,L,Sf和V颜色通道图像序列V1,V2,L,Vf中的各帧图像向量化, 得到S颜色通道的低秩观测矩阵和V颜色通道的低秩观测矩阵

Step2: 根据RPCA优化模型, 得到的低秩观测量满足下式:

其中,x∈{H,S,V}, 采用IALM[15]对观测矩阵低秩优化分解,得到H颜色通道的低秩矩阵LH和稀疏矩阵EH, S颜色通道的低秩矩阵LS和稀疏矩阵ES, V颜色通道的低秩矩阵LV和稀疏矩阵EV.

Step3: 对低秩矩阵LH中的第n列去向量化,n={1,2Lf}, 得到图像序列中第n帧的背景图像, 对稀疏矩阵EH中的第n列去向量化, 得到图像序列中第n帧的前景图像, 对所有的列去向量化最终得到H颜色通道的背景图像序列和前景图像序列. 同理, 对S颜色通道的低秩矩阵LS、稀疏矩阵ES和V颜色通道的低秩矩阵LV、稀疏矩阵EV去向量化, 得到S颜色通道的背景图像序列, 前景图像序得到V颜色通道的背景图像序列, 前景图像序

图2 基于低秩矩阵分解的运动目标检测算法原理

Step4: 组合H、S、V 三分量的背景部分得到HSV空间下第n帧图像的背景图像其中n=1,2,Lf; 组合H、S、V 三分量的前景部分得到HSV空间下第n帧图像的前景图像然后对值求和处理, 得到初步的前景图像Maskn:

3) HSV阴影检测

光具有直线传播特性, 当光源在入射方向上受到车的遮挡时, 在汽车的另一侧将产生阴影, 因此在绝大多数交通视频场景下都存在着阴影.

阴影与物体具有运动一致性, 这使得背景差减法和去噪处理均不能将运动物体和阴影分离开, 阴影区域往往被误检为前景, 从而造成车体外观以及形状的扭曲, 车体之间粘贴, 不利于分割和识别.

根据前面得到的H、S、V颜色通道的背景图像, 本文利用HSV颜色空间分别对初步的前景图像Maskn进行阴影检测及去除. 在检测图像阴影区域时, 阴影比对应背景点的亮度变暗, 而色度和饱和度基本保持不变, 即阴影覆盖区域与背景区域相比较, 区域像素的V(亮度)值降低, H(色度)值和S(饱和度)值变化小.本文采用 Cucchiara R[17,18]等人提出基于HSV空间的阴影检测算法, 其判别函数如(7)所示.

其中, 下标I表示当前帧, 下标B表示背景模型, H、S、V表示在HSV颜色空间下的各个组成分量,α和β是亮度的阈值;Ts和Th分别是饱和度和色相的阈值.其检测结果由SW表示, 1表示该像素点是阴影点, 0表示该像素点是目标点.

4) 噪声去除和空洞的填充

在室外监控视频中, 由于树枝的摇晃以及摄像头的抖动等情况的存在, 故背景往往是动态的, 使检测的前景图像中存在细小的干扰噪声, 针对前景图像的噪声, 本文首先对得到前景图像进行二值化, 阀值的选取采用最大类间方法(Otsu), 使用类间方差最大的分割意味着错分概率最小, 且该方法计算简单、受图像变化影响较小[19]. 在前景目标检测图像中还存在一些面积较小的检测物, 可通过设置前景目标面积阀值去除掉. 由于目标中间区域常常与背景相似, 在低秩矩阵分解过程中, 目标区域在一定程度上存在内部空洞, 为此, 本文进一步对前景中的目标进行数学形态学处理, 可基本完成空洞的填充, 从而达到最终运动目标提取效果.

4 实验与结果分析

采用实际交通视频数据, 对本文方法进行实验验证, 实验运行平台为matlab R2010b, CPU为Inter® Pentium® CPU G3220, 3.00GH, 4GB内存, Windows7系统的台式机, 取三段交通视频序列进行实验, 视频序列的具体描述如下:

视频1: 为高速公路上的交通视频序列, 序列帧大小为240×320, 其背景相对比较平稳, 运动的车辆有较明显的阴影. 实验中选取400帧作为测试序列.

视频2: 为郊区的交通视频序列, 序列帧大小为120×160, 道路的右侧有树木和青草, 有轻微的晃动,实验中选取400帧作为测试序列.

视频3: 为高速公路上的交通视频序列, 序列帧大小为240×200, 道路的右侧有树木, 由于光照导致树木的阴影倒映在道路上. 实验中选取400帧作为测试序列.

把视频流中的RGB图像转换成HSV图像, 分别对H、S、V三个颜色通道的图像序列的低秩观测矩阵进行优化分解, 可得每帧图像HSV空间下的前景图像Imgn和背景图像Backn, 再对HSV空间下的前景图像中的H、S、V三个分量进行绝对值求和处理的到初步的前景图像Maskn. 为了提高运动目标的精确度,本文对初步背景图像Maskn进行阴影去除, 根据文献[17],式(7)中的参数取值为:α=0.4,β=0.6,Ts=0.1,Th=0.5,然后对前景图像进行阀值分割, 噪声去除和形态学处理可得最终结果. 将本文方法的结果与GMM[6]、文献[10]的结果进行比较, 各算法在上述3种场景下的实验结果如图3～5所示.

图3 视频1中图像运动目标检测的对比实验结果

图3 采用GMM方法、基于灰度信息的RPCA方法以及本文的方法对交通视频1场景进行运动车辆目标检测, 在高速公路上, 由于受到光照的影响, 行驶的车辆存在面积较大的阴影, 检测到的目标容易出现粘连的现象, 造成检测不准确, 精确度低, GMM方法和基于灰色信息的RPCA方法未能对阴影进行去除,针对存在阴影的情况, 本文提出在HSV颜色空间下的前景和背景的同时分离, 利用基于HSV颜色空间阴影检测方法去除阴影, 得精确度高的检测结果.

图4 视频2中图像运动目标检测的对比实验结果

图4采用GMM方法、基于灰度信息的RPCA方法以及本文的方法对交通视频2场景进行运动车辆目标检测, 道路一侧的树叶和绿化带的植物有轻微的晃动, 受到光照的不均匀, 背景像素值波动大, 不稳定, GMM方法和基于灰度信息的PRCA方法的结果中存在干扰的小目标区域, 本文提出的方法能够去除小目标区域, 具有较好的鲁棒性.

图5 视频3中图像运动目标检测的对比实验结果

图5 采用GMM方法、基于灰度信息的RPCA方法以及本文的方法对交通视频3场景进行运动车辆目标检测, 道路的右侧为树木, 其阴影投在道路上, 左侧为绿化带, GMM方法未能排除树木和绿化带的干扰,基于灰度信息的PRCA方法未能完整检测车距离较远的运动目标, 出现目标区域漏检和空洞的现象, 本文提出在颜色空间下的运动目标检测, 图像包含的信息丰富, 可以完整的检测到远距离的车辆, 且能够去除干扰信息.

从图3～5中可以看出, 本文基于HSV颜色空间,应用低秩矩阵分解原理, 可精确的检测出运动目标,同时通过HSV颜色空间阴影检测和去除, 有效地去除了阴影的干扰. 实验表明, 本文方法能够更好的适应复杂的环境, 具有较好的鲁棒性, 检测到的目标精确度更高, 能够有效地去除阴影, 去除动态背景所产生的干扰, 以及光照带来的小目标区域干扰等, 具有较高的精确度和较好的鲁棒性.

5 结语

针对灰度信息, 对阴影识别差、检测精度低的问题, 本文提出在HSV颜色空间下, 基于低秩矩阵分解的运动目标提取方法, 分别对H、S、V颜色通道的视频流组成的观测矩阵进行低秩矩阵分解, 得到背景部分, 及前景部分; 再进一步对前景图像利用HSV颜色信息有效去除阴影, 以及空洞填充, 噪声去除. 本方法优于文献[10]提出的混合高斯模型方法, 且在不需要事先学习和人工干预的情况下, 能够精确地提出运动目标区域, 具有较好的鲁棒性和自适应性.

1 Bouwmans T, El Baf F, Vachon B. Statistical background modeling for foreground detection: A survey. Handbook of Pattern Recognition and Computer Vision, 2010, 4(2): 181–189.

2 Cristani M, Farenzena M, Bloisi D, et al. Background subtraction for automated multisensor surveillance: A comprehensive review. EURASIP Journal on Advances in Signal Processing, 2010, 2010: 43.

3 Elhabian SY, El-Sayed KM, Ahmed SH. Moving object detection in spatial domain using background removal techniques-state-of-art. Recent Patents on Computer Science, 2008, 1(1): 32–54.

4 Stauffer C, Grimson WEL. Adaptive background mixture models for real-time tracking. 1999. IEEE Computer Society Conference on Computer Vision and Pattern Recognition. IEEE. 1999, 2.

5 Lee DS. Effective Gaussian mixture learning for video background subtraction. IEEE Trans. on Pattern Analysis and Machine Intelligence, 2005, 27(5): 827–832.

6 Zivkovic Z. Improved adaptive Gaussian mixture model for background subtraction Proc. of the 17th International Conference on Pattern Recognition, 2004. ICPR 2004. IEEE. 2004, 2. 28–31.

7 Sheikh Y, Shah M. Bayesian modeling of dynamic scenes for object detection. IEEE Trans. on Pattern Analysis andMachine Intelligence, 2005, 27(11): 1778–1792.

8 Zivkovic Z, van der Heijden F. Efficient adaptive density estimation per image pixel for the task of background subtraction. Pattern Recognition Letters, 2006, 27(7): 773–780.

9 Wright J, Ganesh A, Rao S, et al. Robust principal component analysis: Exact recovery of corrupted low-rank matrices via convex optimization. Advances in Neural Information Processing Systems. 2009. 2080–2088.

10 Xue Y, Guo X, Cao X. Motion saliency detection using low-rank and sparse decomposition. 2012 IEEE International Conference on Acoustics, Speech and Signal Processing (ICASSP). IEEE. 2012. 1485–1488.

11 阮秋琦.数字图像处理学.北京:电子工业出版社,2007.

12 石美红,申亮,龙世忠,等.从RGB到HSV色彩空间转换公式的修正.纺织高校基础科学学报,2008,21(3):351–356.

13 Candès EJ, Li X, Ma Y, et al. Robust principal component analysis. Journal of the ACM (JACM),2011,58(3): 11 .

14 Lin Z, Ganesh A, Wright J, et al. Fast convex optimization algorithms for exact recovery of a corrupted low-rank matrix. Computational Advances in Multi-Sensor Adaptive Processing (CAMSA- P), 2009, 61.

15 史加荣,郑秀云,魏宗田,等.低秩矩阵恢复算法综述.计算机应用研究,2013,30(6):1601–1605.

16 Yuan X, Yang J. Sparse and low rank matrix decomposition via alternating direction method. Pacific Journal of Optimization, 2009, 9(1).

17 Cucchiara R, Grana C, Piccardi M, et al. Detecting moving objects, ghosts, and shadows in video streams. IEEE Trans. on Pattern Analysis and Machine Intelligence, 2003, 25(10): 1337–1342.

18 Cucchiara R, Grana C, Piccardi M, et al. Improving shadow suppression in moving object detection with HSV color information. 2001 IEEE Proc. of Intelligent Transportation Systems. IEEE. 2001. 334–339.

19 王红茹,季鸣.一种新型的实效运动目标检测方法.计算机系统应用,2015,24(12):208–214.

Moving Objects Detection Based on Low-Rank Matrix Decomposition

HUANG Xia, XU Hai-Xia, MO Yan
(College of Information Engineering, Xiangtan University, Xiangtan 411105, China)

Moving objects detection is one of fundamental tasks of video surveillance. Specific to the poor identification capability and low accuracy to shadow in gray information, this paper proposes a novel moving objects detection method based on the combination of Low-Rank Matrix decomposition and HSV color information. Firstly, we convert the images from RGB space to HSV space, construct observation matrix for H, S, V channels, respectively, and optimize the observation matrix through Low-Rank Matrix decomposition to obtain H, S, V channel’s foreground component and background component; combing H, S, V channels foreground component in order to get roughly moving object district. Secondly, the moving shadow should be detected and eliminated from the foreground image, after combining H, S, V channels component to get the row processing foreground objects and the column processing foreground objects, the row processing foreground image and the column processing foreground image are combined to obtain the moving objects image. Finally, by morphological processing and connectivity detection to eliminate the noise, the accurate foreground moving objects can be obtained. The experimental results demonstrate that the proposed method is much better than others in increasing accuracy of moving objects detection.

intelligent video surveillance; moving objects detection; low-rank matrix decomposition; HSV color space

湖南省自然科学基金(14JJ6014)

2016-03-23;收到修改稿时间:2016-05-16

10.15888/j.cnki.csa.005585