一种基于全景视觉的运动目标检测方法

张忠民，李颖晶，贾艳丽

(哈尔滨工程大学信息与通信工程学院，黑龙江哈尔滨 150001)

一种基于全景视觉的运动目标检测方法

张忠民，李颖晶，贾艳丽

(哈尔滨工程大学信息与通信工程学院，黑龙江哈尔滨 150001)

针对基于全景视觉系统采集的图像序列中运动目标检测的方法进行了研究，采用三帧差法和混合高斯模型相融合的算法对运动目标进行检测。不但解决了三帧差法无法检测出全部目标信息的缺点，而且还避免了背景减除法容易出现两个目标的假现象，在背景颜色和目标颜色相近时检测效果较好。实验表明，该算法能准确检测出运动目标，具有较好的实时性。

目标检测;全景视觉;帧差法;背景减除;数学形态学

全景视觉［1］及运动目标检测是计算机视觉领域的研究重点，这两项技术的结合能为其提供广泛的应用前景。全景视觉传感器特点是能获取水平方向360°、垂直方向240°范围内场景的高清晰图像，解决传统视觉传感器只能观测局部信息的不足。

序列图像中的运动目标检测作为视频监控领域中基本的一步，目的是从视频流中提取出感兴趣的运动区域，为运动目标的识别、跟踪等后续处理打下基础。目前常用的运动目标检测方法有3种:帧间差分法、背景减除法［2］和光流法。帧间差分法是将连续两帧进行差分，提取出运动目标的信息，优点是对动态环境有良好的适应性，缺点是不能完全提取目标的所有信息，在运动物体内部容易产生空洞;背景减除法是目前运动目标分割中常用的一种方法，利用当前图像与背景图像的差分来检测运动区域，最核心的步骤就是背景建模及更新，常用的方法有普通背景差分法和高斯背景模型法等，能够提取完整的特征点，但对于动态场景的变化，如光线、天气等条件的干扰较敏感;光流是图像亮度模式的视在运动，可以通过计算位移向量光流场来初始化目标的轮廓，从而使基于轮廓的跟踪算法有效地检测和跟踪目标。光流法的缺点就是计算量非常大，且抗噪性能差，需要硬件支持。

文中基于上述方法的优缺点，用三帧差和混合高斯模型［3－4］相融合的方法对全景视觉运动目标进行检测，实时更新背景，改进了单个算法的缺点，解决了前一帧做背景时背景差分法有两个目标出现的缺点，使其优势互补。

1 运动目标检测

1.1 三帧差法

文中采用双曲面折反射全景成像系统，经过双曲面反射镜的反射得到的全景图像如图1所示，可看出全景图像是扭曲的，不符合人眼的观察，因此柱面展开［5］为符合人眼观察的图像，如图2所示。

传统两帧差分法检测结果除包括运动对象本身外，被运动对象遮挡的部分和背景噪声也会被检测出来。因此，想要使原始图像运动轮廓与时间差分图像的运动区域高度相关，采用三帧差分法［6］效果更好。

采集全景视觉柱面展开后一段视频序列的图像，设在 t时刻，I(x，y，t)表示当前帧图像(x，y)像素处的灰度值，其前后相邻的两帧图像的灰度值分别用I(x，y，t－1)和 I(x，y，t+1)表示。t时刻相邻两帧灰度值的二值化结果为

其中，th1是灰度的阈值;St，t－1(x，y，t)表示当前帧I(x，y，t)和前一帧 I(x，y，t－1)差分后的二值化运动区域;St，t+1(x，y，t)表示当前帧 I(x，y，t)和后一帧I(x，y，t+1)差分后的二值化的运动区域，利用阈值th1对St，t－1(x，y，t)和 St，t+1(x，y，t)运动区域，可有效抑制噪声，提取运动信息，然后将两帧灰度差相融合得到

截取全景展开视频序列中的第101帧，102帧和103帧分别做两帧差和三帧差的运动目标检测，图3是前两帧差结果，图4是三帧差结果，可看出两帧差法检测的运动目标轮廓明显大于图4中三帧差法检测的运动目标轮廓，这部分就是由于遮挡而将背景区域误认为是运动的前景区域，两帧差法会把这部分背景也检测出来，而三帧差法效果较好，同时也可抑制随机噪声的影响。

1.2 混合高斯模型

1.2.1 图像混合高斯模型的建立

已知在视频序列中，图像中的每一个像素都可以用一个或多个高斯分布近似表示，混合高斯模型不仅对背景建模而且也对前景建模。设到t时刻前，对像素(x0，y0)定义分布模型{X1，…，Xt}={I(x0，y0，i)∶1≤i≤t}，该像素的所有值用k个高斯模型近似，观察到的当前像素值的概率是

其中，k是混合高斯模型中高斯分布的个数，通常取在3 ～ 5 之间;μk，t和∑k，t分别为t时刻k个高斯模型的均值和协方差;ωk，t是 t时刻 k个高斯模型的权值，，其大小反映用该高斯模型表示当前像素值的可靠程度;η是高斯概率密度函数［7］，定义为

1.2.2 背景更新

通常认为权值 ωk，t较大而方差 σk，t较小的高斯模型是匹配背景的模型。混合模型的参数要随每帧图像的输入不断更新，更新前要看是否满足条件，和混合模型中的某个模型是否匹配，如果

时，则当前像素值与模型匹配，则更新背景模型参数。更新公式为

式中，α为权值更新率;ρ为均值更新率。更新完各个参数后，需重新计算各个优先级及排列。

1.2.3 背景估计

第二步进行后已经重新按优先级调整了高斯分布的排列顺序，然后取前B个模型作为背景模型。

其中，T是上文中提到的阈值，如果T选择的比较小，背景模型会被认为是单峰的，相反，背景模型会被认为是多峰的。图5为高斯混合模型训练视频得到的背景图像，可看到混合高斯模型的优点是背景中没有前景目标，从而减少检测的误差度。

图5 混合高斯模型得到的背景图像

1.2.4 前景提取

通过前B个高斯分布建立的背景模型及阈值T的选定选出背景的最匹配分布，按照优先级次序将Xt与各高斯分布逐一匹配，如果Xt没有与表示背景分布的高斯分布匹配，则判定该点为前景点，否则为背景点。

2 改进算法

第一步 通过三帧差法快速的检测出运动目标，提高算法灵敏度，得到当前帧在视频序列中运动目标所在区域记为S(x，y，t)。其中，三帧差法的阈值选取采用Otsu算法对所得的帧差图像进行自适应阈值分割，获得二值化图像从而得到前景目标，在复杂环境中Otsu算法比固定阈值适应性强。

第二步 对当前帧进行混合高斯建模，首先判断输入的视频序列是否是第一帧，如是可初始化混合高斯模型的参数，如不是则直接更新模型，之后用当前图像中的每个像素点与混合高斯模型匹配，阈值T，α权值更新率和ρ均值更新率根据环境选择不同的值，文中T=7，α选择较小的值，α=0.005，均值更新率选择较大，β=0.015，如果匹配，求得由混合高斯模型法得到的运动目标前景记 D(x，y，t)。

第三步 前景图像做相与运算求得新的前景目标，设为R(x，y，t)，则检测得到的运动目标计算公式

运算求得新的前景目标，设为 R(x，y，t)，则检测得到的运动目标计算公式

具体流程如图6所示。

图6 算法流程

最后对得到的前景做形态学处理。因为算法求得的运动目标，通过与运算减少了部分噪声但仍有孤立噪声点，所以用中值滤波［8］方法去除噪声点，使噪声得到抑制，文中采用领域内模板的中值滤波［8］法进行中值滤波。由于得到的目标图像中还有小毛刺和小空洞，采用先腐蚀后膨胀的方法对图像进行处理，也就是开运算。腐蚀是一种消除边界点，使边界向内部收缩的过程，可以消除小且无意义的物体。膨胀是将与物体接触的所有背景点合并到该物体中，使边界向外部扩张的过程，填补物体中的空洞。

3 实验结果

分别采集两段视频序列，第一组为全景视频序列，像素大小为1 024×768，柱面展开的图像序列为1 200×300，实验环境为室内。第二组为非全景视觉的视频序列实验，通过两种不同视频序列的实验结果，验证其算法的有效性。文中算法都是在Windows XP系统下，基于Microsoft Visual C++6.0软件仿真实现。图7为视频一、二的一帧。

文中混合高斯模型参数选取为:T=7，α=0.005，β=0.015。通过验证算法的有效性，视频序列中的前景目标穿一个颜色和背景中桌子的底下颜色相近的裤子。从图8(a)和图8(d)看出，背景减除法的检测结果，图8(a)明显看出会有两个目标，人体的下半身检测不出来，目标检测不完整;图8(b)和图8(e)为混合高斯模型法，目标检测部分完整，但噪声较大;图8(c)和图8(f)利用文中算法准确检测出了运动目标，目标完整，与三帧差法相与后噪声明显减少。

4 结束语

提出一种基于全景视觉系统的运动目标的检测方法，用三帧差法和混合高斯模型法相融合的算法。改进了三帧差法只能检测目标轮廓，背景减除法出现两个目标，当目标颜色与背景颜色相近时混合高斯模型法检测不完整等缺点，通过实验对比验证了算法的有效性及正确性。文中算法在防空装甲车中得到应用。

［1］甄景蕾.基于全景视觉的运动目标检测与跟踪方法研究［D］.哈尔滨:哈尔滨工程大学，2008.

［2］左国辉，王金刚，靳晓辉.运动检测算法［J］.电子测量技术，2005(6):48－49.

［3］SAUFFER C，GRIMSON W E L.Learning patterns of activity using real－ time tracking［J］.IEEE Transcins on Pattern A-nalysis and Machine Intellience，2000(8):747 －757.

［4］STAUFFER C，GRIMSON W.Adaptive background mixer models for real－ time tracking［C］.Cambridge，United Kingdom:Proceedings of the 17th International Conference on Pattern Recognition，2004(2):28 －31.

［5］凌云峰，朱齐丹，吴自新.全景视觉图像柱面理论展开算法实现及其改进［J］.应用科技，2006，33(9):4 －6.

［6］KAMEDA Y，MINOH M.A human motion estimation method using 3－successive video frames［C］.Proceedings of international conference on virtual systems and multi－ media，1996:135－140.

［7］ZIVKOVIE Z.Improved adaptive Gaussian mixture model for background subtraction［C］.Cambridge，United Kingdom:Proceedings of the 17th International Conference on Pattern Recognition，2004(2):28 －31.

［8］何斌，马天宇.Visual C++数字图像处理［M］.2版.北京:人民邮电出版社，2002.

A Method of Moving Target Detection Based on Omni-directional Vision

ZHANG Zhongmin，LI Yingjing，JIA Yanli
(School of Information and Communication Engineering，Harbin Engineering University，Harbin 150001，China)

This essay proposes a method of moving target detection based on omni-directional vision，which detects a moving target by using the three frame difference and the mixture Gaussian model.Not only can it overcome the weakness of the three frame difference model that it fails detect all information of the target，but also it can avoid the false phenomenon of two objectives emerging by the background subtraction method.The effect is much better when the background color is close to the target color.Experimental results show that the proposed method can detect moving objects accurately in real time.

target detection;omni-directional vision;frame difference;background subtraction;mathematical morphology

TP391.41

A

1007－7820(2012)06－006－04

2011-12-30

张忠民(1972—)，男，副教授。研究方向:现代数字通信系统，数字信号处理。李颖晶(1985—)，女，硕士研究生。研究方向:基于全景视觉的运动目标检测跟踪。贾艳丽(1986—)，女，硕士研究生。研究方向:视频检测与跟踪。