基于自适应复杂场景的背景建模方法

郭治成，党建武*，金 静

(1. 兰州交通大学 电子与信息工程学院，兰州 730070；2. 甘肃省人工智能与图形图像处理工程研究中心，兰州 730070)

运动目标检测通过快速、完整地获取视频序列中的运动物体，为检测目标[1]、跟踪目标[2]和分析理解目标行为[3]等算法提供研究基础，是计算机视觉处理的研究热点和难点之一，在智能监控、智慧城市等诸多场景都有广泛的应用.国内外学者提出了许多目标检测的算法，其中主要有帧间差分法[4]、LK光流法[5]和基于背景差分方法[6-7]等.帧差法通过时间序列上相邻帧或连续几帧之间差分运算获取前景目标，算法运算快、实时性较强，但检测结果容易出现空洞，无法提取目标完整的内部信息.LK光流法源自光流场，通过计算各像素点在不同帧之间位移矢量特征的差异得到前景目标，目标获取较为完整，但计算量大、复杂度较高，无法满足实时性.背景差分法是运动目标检测最为常用的方法，利用已知帧构建和更新稳定的背景模型，将背景模型与检测帧做差分并检测前景目标，算法复杂度较低，能够较为准确提取目标.

背景差分法的检测性能取决于稳健的背景模型，背景模型的初始化和更新算法决定算法性能.国内外很多学者深入研究了如何建立稳健高效的背景模型[8-10]，主要分为以单高斯背景模型SGM(semi-global matching,SGM)、混合高斯背景模型GMM(gaussian mixture model,GMM)[11]等为代表的参数化方法和以码本模型CodeBook[12]、像素自适应分割模型PBAS(pixel-based adaptive segmentervisual,PBAS)[13]、ViBe(visual background extractor)[14]等为代表的非参数化方法.混合高斯背景模型采用多个高斯分布描述像素变化，能够较好的处理多峰分布的背景，但调整阈值难度较高，计算复杂度高，无法达到实时性.CodeBook为图像序列中每个像素建立码本结构，每个码本中又包含多个码字，处理局部区域时间周期性起伏效果较好，复杂度不高，但内存消耗量大，更新码字后易造成目标检测错误，无法自适应检测复杂背景.PBAS引入控制论思想和背景复杂程度度量方法，处理复杂背景有较好的效果，但判断前景阈值和计算更新率复杂度较高，处理速度慢，实时性较差.Barnich提出ViBe算法依据像素邻域空间内的相关特性用一帧将背景模型初始化，更新采用随机策略调整背景模型，计算复杂度低，实时性较强，但易产生ghost区域，固定阈值导致召回率较低，检测结果中易产生孔洞.

目前在背景动态变化程度较大时大多数背景建模算法(如：CodeBook、ViBe等)检测效果不够理想，提取前景目标和识别正确背景往往引起误匹配，出现大量的假前景，鲁棒性较差.有些算法在背景动态变化程度较大时表现出较好的检测效果(如：GMM、PBAS等)，但算法复杂度高、计算量大、实时性差.本文提出一种基于自适应复杂场景的背景建模算法，采集视频前5帧图像快速初始化背景模型，通过后续帧获取像素的分布特征更新背景模型，降低噪声和边缘像素对模型的影响，改善初始化易造成ghost现象的问题，提出自适应离散系数，降低在复杂场景中提取前景目标的难度，减少了目标空洞和假目标，表现出较强的鲁棒性，算法计算复杂度低，能够快速完成目标的检测.

1 基于自适应复杂场景的背景建模方法

本文算法采集视频前5帧图像初始化背景模型，通过后续帧中像素分布特征和自适应离散系数更新背景模型，其由工作原理、模型初始化以及更新模型策略三方面组成.

1.1 背景模型工作原理

观测视频序列同位置像素值在时间轴上可构成一个F(xi)={x1,x2,…,xt}序列，其中：xi代表视频一帧中一个像素；i和t为时间；F(xi)为xi的像素值.本文算法为视频序列同位置像素建立背景样本模型M(xi)={P(xi),B(xi),V(xi)}，其中：P(xi)={p1,p2,…,pN}为xi处背景样本集，pi为第i个样本像素值，N为样本个数；B(xi)={b}为前一帧xi-1是否是背景，若是b=0,若不是b=1；V(xi)={v}为xi像素离散系数.

模型工作原理是背景样本模型M(xi)作为边界判别前景像素(foreground)和背景像素(background)，M(xi)包含了所有背景像素值及特征，背景像素值分布在M(xi)内部，通过式(1)判断t时刻输入F(xt)是否为背景像素.

(1)

1.2 模型初始化

一帧图像中像素在灰度级上的值与其邻域像素灰度值相关性较强，如图1(a)所示，视频在连续5帧中选取两个3×3区域为A(中心坐标(183,120)，位于视频中间靠下侧)和B(中心坐标(165,38)，位于视频中间靠左下侧)，像素灰度值在A、B两个区域内变化如图1(b)所示.从图1(b)可以看出:A区域中心像素与邻域像素相关性较强，为平滑区域；B为边界区域，中心像素与邻域像素变化幅度较大，但中心像素与大部分邻域像素相关性较强，可在背景模型初采样时建立像素邻域和中心像素的集合.

初始化背景模型采集前5帧图像，取t时刻像素{xt|t=1,2,…,5}的3×3邻域像素构成备选集合S(xi)，选取S(xi)中N个满足式(5)的像素值为P(xt)初始样本集.

S(xi)={F(xt),F′(xt)|t=1,2,…,5},i=1,2,…,45,

(2)

fi=count(S(xi)),

(3)

m=median(F(xt)),t=1,2,…,5,

(4)

pi={xi∈S(xi)|max(fi)∩min(xi-m)},i=1,2,…,N.

(5)

其中：F′(xt)为xt邻域像素值；fi为像素在视频中出现频率，利用背景像素的高频率特性可有效去除噪声对模型的影响；m为F(xt)中值.以m为特征筛选像素，减少了邻域中边缘像素的影响，提高了算法的稳健性；N为样本个数，一般选取10～20之间；初始化前一帧状态默认为背景B(xi)={b=0}；初始化离散系数Vf(xi)={F(xt)|t=6}.

图1 像素邻域相关性Fig.1 Pixel domain correlation

视频中背景一般由背景动态变化范围分为两类：简单背景(见图2(a)A区域，中心坐标(61，64)，位于视频中间靠左侧)和复杂背景(见图2(a)B区域，中心坐标(115，160)，位于视频中间靠下侧)，选取视频连续50帧，F(A)、F(B)为A、B中心点像素值，F(A)、F(B)变化如图2(b)所示.

图2 背景动态变化Fig.2 Dynamic changes in background

区域A为简单背景，像素值相对集中，动态变化范围小，容易判断前景目标.区域B为复杂背景，像素值动态变化复杂，检测目标难度较大，不易用像素值描述复杂背景动态变化程度，因此建立模型离散系数V(xi)={v}，满足式(7)衡量背景动态变化程度.

(6)

(7)

1.3 更新模型策略

视频背景不是一成不变，会随着光线、遗留物体、停滞目标等因素而变化，背景模型的策略应能够使模型适应这种变化，以提高判断前背景目标的准确性.

模型更新策略如下：

步骤1：F(xt)未被分类，计算集合{P(xi)∪F(xt),i=1,2,…,N}的离散系数V(xt).

步骤2：判断K值(见式(8))，若K=0，执行步骤3；若K=1，执行步骤4.

k={(V(xt)<δ)⊕B(xt)}.

(8)

步骤3：若F(xt)和V(xt+1)满足式(9)(其中：ε,γ为常数)，则F(xt)为背景，执行步骤5；否则F(xt)为前景，执行步骤6.

(vt<δ)∧(count(|F(xt)-P(xi)|>ε)>γ).

(9)

步骤4：输入F(xt+1)，计算{P(xi)∪F(xt+1),i=1,2,…,N}的离散系数V(xt+1)，若F(xt+1)和V(xt+1)满足式(9),则F(xt)为背景，执行步骤5；否则F(xt)为前景，执行步骤6.

步骤6：B(xi)=1,若连续80帧该位置像素都为前景，则判断该点为遗留物体或目标停止运动，用F(xt+i)(i=0,1,…,4)初始化M(xi).其中，F(xt+1)

为F(xt)相邻帧，利用目标在前后帧中具较强的相关性，可有效减少目标空洞和噪声对检测目标的影响.

2 仿真实验及结果分析

2.1 对比试验

为检验本文所提出的背景建模算法的适应性和有效性，软件用VC++和Opencv编程实现,实验参考了实际工程环境，配置硬件环境采用处理器为Intel Core i5 2.9 GHz，内存为16 GB.对比算法选取文献[12]中的CodeBook算法、文献[11]中的MOG算法、文献[13]中的PBAS算法和文献[14]中的ViBe算法.

实验对象选取MicrosoftWallflower paper和CDNet2014两个数据集中的Bootstrap、TimeOfDay、WavingTrees、highway、canoe和fountain02 6种场景测试算法，其中：fountain02单帧分辨率为432×288；canoe、highway单帧分辨率为320×240；Bootstrap、TimeOfDay和WavingTrees单帧分辨率为160×120；CodeBook建模帧数为30帧，MOG建模帧数为20帧.仿真结果如图3所示，其中：Origian为视频源；Ground Truth为实际前景；Proposed为本文算法处理结果.

2.2 定量分析

为了对算法做更加精确地定量分析，从处理速度和准确性两方面做对比试验以评价本文算法的性能.

图3 五种算法结果对比Fig.3 Comparison of the five algorithms processing results

处理速度为5种算法平均建模时间(modeling time，MT)和对单帧处理的平均时间(handling time，HT)，算法消耗时间见表1.本文算法背景模型初始化只采集视频连续5帧图像，耗时较短，单帧处理速度相对其他算法较快，具有实时处理视频的能力.

采用Yi W等在CDnet 2014[15]上提出的三组指标对算法进行准确性评估，包括召回率(recall,RE)、准确率(precision,PR)和误检百分比(precentage of wrong classifications,PWC).

(10)

(11)

(12)

其中:TP为前景中正确检测的点;TN为前景中错误检测的点;FP为背景中正确检测的点;FN为背景中错误检测的点.

表1 5种算法处理速度对比

普通场景实验数据highway、WavingTrees、Bootstrap和TimeOfDay等实验结果见表2.canoe和fountain02为复杂场景，包括动态水面、人工喷泉等复杂背景,实验结果见表3.由图3可以看出，本文算法前景目标提取较其他算法完整度较高，识别背景错误率较低，假前景较少，在复杂背景环境下前景目标识别度也较高.从表2、3定量分析可以看出，本文算法准确率、召回率和误检百分比也优于其他算法，在复杂场景下有较强的鲁棒性.

表2 普通场景

表3 复杂场景

3 结论

本文提出一种基于自适应复杂场景的背景建模方法，算法复杂度低，建模速度快，对低帧率视频处理实时性强，改善了初始化易造成ghost现象的问题，减少了噪声和边缘像素对模型的影响.模型用自适应离散系数，降低了在复杂场景中提取前景目标的难度.实验对多组数据进行测试，测试结果表明本算法相对于其他算法在处理速度和准确性上具有一定的优势，在复杂场景中提取目标较完整，减少了由背景像素值大幅度变化产生的假前景，具有较强的适应性和鲁棒性.实验结果图像没有经过后期处理，检测目标出现局部缺失和孔洞，后期需要采用形态学等算法进行改进.