基于误差补偿的复杂场景下背景建模方法

秦明　陆耀　邸慧军　吕峰

基于误差补偿的复杂场景下背景建模方法

秦明1，2陆耀1，2邸慧军1，2吕峰1，2

在基于子空间学习的背景建模方法中，利用背景信息对前景误差进行补偿有助于建立准确的背景模型.然而，当动态背景（摇曳的树枝、波动的水面等）和复杂前景等干扰因素存在时，补偿过程的准确性和稳定性会受到一定的影响.针对这些问题，本文提出了一种基于误差补偿的增量子空间背景建模方法.该方法可以实现复杂场景下的背景建模.首先，本文在误差补偿的过程中考虑了前景的空间连续性约束，在补偿前景信息的同时减少了动态背景的干扰，提高了背景建模的准确性.其次，本文将误差估计过程归结为一个凸优化问题，并根据不同的应用场合设计了相应的精确求解算法和快速求解方法.再次，本文设计了一种基于Alpha通道的误差补偿策略，提高了算法对复杂前景的抗干扰能力.最后，本文构建了不依赖于子空间模型的背景模板，减少了由前景信息反馈引起的背景更新失效，提高了算法的鲁棒性.多项对比实验表明，本文算法在干扰因素存在的情况下仍然可以实现对背景的准确建模，表现出较强的抗扰性和鲁棒性.

背景建模，抗干扰的误差补偿，空间连续性，Alpha通道，中值模板

引用格式秦明，陆耀，邸慧军，吕峰.基于误差补偿的复杂场景下背景建模方法.自动化学报，2016，42（9）：1356-1366

对视频中的背景信息进行有效建模是视频分析领域（如目标跟踪、步态识别、视频摘要及压缩等）重要的研究内容［1-3］.近年来，摄像头逐渐被应用到各种复杂场景中，对背景建模算法的准确性和抗干扰性提出了更高的要求.

传统的背景建模方法［4-5］通常对每个像素点进行单独建模.近年来，为了充分利用图像的空间相关性，基于子空间学习的背景建模算法［6-16］被广泛提出，并取得了较好的效果.本文主要关注基于子空间学习的背景建模方法.该方法大体上可以分为以下三种类型.

基于鲁棒主成分分析（Principal component analysis，PCA）的背景建模方法［6-7］通常先构建一个包含多个图像帧的矩阵（矩阵中的每一列代表一个向量化的图像帧），然后通过低秩分解算法将该矩阵分解为低秩的背景矩阵和稀疏的前景矩阵.这类算法通常可以取得较好的前景检测效果.但是，鲁棒PCA方法通常以批量的方式进行数据处理，这在一定程度上限制了其应用范围.

基于背景基选择的背景建模方法［8-10］通常直接选择不包含前景的视频帧来构建背景基矩阵，并通过线性回归实现背景估计和前景检测.这类算法较好地保留了背景信息的细节，并在一定程度上实现了增量的前景检测.不过，当前景干扰频繁出现时，背景基的选择是一个难点问题［11］.

基于子空间正交基的背景建模方法［12-14］利用子空间基向量（如PCA中的特征向量）来构建背景基矩阵，并通过子空间投影来进行背景重构.这类方法通常具备增量前景检测的能力，并且对背景变化的适应性较强.不过，当图像帧中的前景信号较强时，该方法可能会将前景信息建模到背景模型中，影响背景建模的准确性［16］.为了解决这个问题，一些基于前景误差补偿的子空间背景建模方法［15-16］被提出.这类方法一般先利用已有的背景模型获得一个当前帧的误差估计，然后通过设定阈值来对每个像素点进行前景/背景分类.随后，该类方法将前景点的像素值替换为背景模板（一般来自于背景模型，如PCA方法中的均值图像）中相应位置的值，从而实现前景误差的背景信息补偿.这种基于单点信息的分类补偿策略在补偿前景信息的同时保留了当前帧的背景信息，减少了前景信息对背景更新过程的干扰，在普通场景下取得了较好的前景检测效果.但是，在一些干扰较大的复杂场景下，该策略可能存在如下问题：

首先，基于单点误差信息的前景点/背景点判定过程没有考虑到前景的空间连续性，这可能导致一些误差较大的动态背景点（如波动的水面、风中的树叶、自动扶梯等）被判定为前景点，进而被背景模板中的信息所误补偿，影响背景建模的准确性.

其次，基于误差阈值的前景/背景二分类补偿算法在误差阈值附近较为敏感，对背景模板的准确性要求较高，鲁棒性相对较差.在一些前景频繁出现的场景下（如商场、机场等人流量相对较大的地点），前景信息可能会被引入到背景模型中.这部分前景信息会影响到前景误差估计的准确性，从而导致基于误差阈值的前景/背景分类出现偏差.在这种情况下，背景模板中的前景信息会被错误地应用于补偿过程，导致背景模型中的前景信号被错误地加强.这种前景信息的正反馈可能会在补偿过程中不断出现，影响前景检测的准确性.

针对上述问题，本文提出了一种新的基于误差补偿的增量PCA背景建模方法，该方法可以实现复杂场景下的前景检测.本方法首先在误差估计过程中引入了前景的空间连续性约束，提高了对动态背景的区分能力.其次，本文将前景误差估计过程归结为一个凸优化问题，并分别针对不同的应用场合设计了相应的精确求解算法和快速求解方法.随后，本文提出了一种基于Alpha通道的平滑补偿策略，增强了算法的鲁棒性.最后，本文设计了不依赖于子空间背景模型的补偿模板，阻断了前景信息的正反馈通道.本文提出的算法框图如图1所示.

本文的主要贡献可归纳如下：

1）将前景的空间连续性约束引入到前景误差补偿过程中，实现了对动态背景和前景的有效区分.

2）本文将误差估计过程归结为一个凸优化问题，并根据不同的应用场合设计了相应的精确求解算法和快速求解方法.

3）在补偿过程中，设计了一种基于Alpha通道的平滑补偿策略.这种补偿方式减少了对误差阈值的依赖，增强了对误差干扰的适应性.

4）构建了不依赖于子空间模型的补偿模板，减少了前景信息正反馈的产生，提高了补偿算法的鲁棒性.

本文的剩余部分组织如下.第1节介绍了基本的增量PCA背景建模方法和基于单点信息的误差补偿策略.第2节详细介绍了提出的误差补偿方法和相应的前景检测算法.第3节展示了多个对比实验的结果，并进行了相关讨论.第4节得出了最后结论.

1　增量PCA背景建模与基于单点信息的误差补偿算法

基于增量PCA的背景建模方法［12，14-15］已经被广泛应用于前景检测领域.为了解决该类方法中存在的前景干扰问题，一些基于单点信息的误差补偿策略［15-16］被提出，并取得了较好的效果.本节主要介绍基本的增量PCA背景建模方法和相应的基于单点误差的补偿策略.

1.1基于增量PCA的背景建模方法

对于一个总计T帧的视频序列，如果用列向量ot∈Rd（d为向量的维度）表示视频的第t帧图像，用bt表示相应的背景图像，用ft表示相应的前景图像，那么图像ot可以表示为：

图1　基于抗干扰误差补偿的背景建模算法流程示意图Fig.1The flow chart of the proposed robust error compensation based background modeling method

考虑到前景的稀疏性［8-9］，基于增量PCA的前景检测可以被描述为如下的目标优化问题：

其中，||·||1是1范数约束.这个目标优化问题可以通过交替优化的策略进行求解，具体方式如下：

其中，µ，y是增广拉格朗日方法的参数，||·||F是F范数约束，〈·〉是内积符号.式中，第一、二项是数据约束项（下文将用来表示），第三项是稀疏约束项（下文将用ES（ft）来表示）.这个优化问题可以用下面的算法进行求解：

其中，k是迭代次数，soft（α，β）=max（α-β，0）-max（-α-β，0）是软阈值函数（Soft-thresholding function）［18］，ρ（ρ＞1）是增广拉格朗日算法的参数，前景f的初始值

2）当ft，xt已知时，背景模型，Ut的更新可以用增量PCA算法［19］实现.在不考虑误差补偿的情况下，背景模型的更新通常使用原始视频帧ot进行［19］.

1.2基于单点信息的分类误差补偿策略

前一小节介绍了直接利用视频帧ot进行增量PCA更新的背景建模方法.在这种方法中，视频帧ot中存在的前景可能会影响背景模型的准确构建［16］.基于单点信息的误差补偿算法可以在一定程度上解决这一问题.

基于单点信息的误差补偿算法主要包括两个步骤：首先，利用在式（3）中获得的误差估计ft对视频帧ot中的像素点进行前景/背景分类；然后，用背景模板中的背景信息代替ot中相应的前景信息.具体操作如下.

对于视频帧ot中的第i个像素点oti，判断其属于前景还是背景可以通过设定误差阈值F实现：

其中，lti=1表示像素点oti被判定为前景点，lti=0表示oti被判定为背景点.

随后，用背景子空间均值信息替代前景点信息，并获得补偿后的图像ˆot：

其中，⊙是点乘符号，lt=［lt1，lt2，···，ltd］是由式（5）得到的前景/背景分类标识向量.

最后，将补偿后的图像ˆot用于第1.1节中的背景更新环节.这个误差补偿过程可以在一定程度上避免将前景信息引入到背景模型中.

2　基于空间连续性约束的抗干扰误差补偿

第1节介绍的基于单点信息的分类误差补偿策略在一般情况下是有效的.但是，当动态背景或者复杂前景（如频繁出现的前景）出现时，这种补偿方法可能存在如下问题：

首先，根据单点误差信息进行前景/背景分类可能会导致某些动态背景点被误判为前景点，并被错误地进行补偿.在这种情况下，动态背景信息将无法被准确地建模到背景模型中.图2第二行展示了动态背景存在时采用单点误差信息进行前景/背景分类的结果.由图可知，动态背景很容易被误判为前景.

图2　前景的空间连续性约束Fig.2The spatial continuity constraint on foreground

图3　前景信息的正反馈问题Fig.3The positive feedback of foreground information

其次，当前景干扰较大时（如图3第一行所示，场景中前景频繁出现），部分前景信息可能会被建模到背景模型中，从而引起前景/背景二分类的偏差（如图3第三行和第四行中白色圆圈位置所示，前景误差和背景估计均出现偏差）.这种分类偏差将会导致背景模板中的前景信息被错误地应用于补偿过程.在这种情况下，背景模板中的前景信息会得到错误地加强，并可能持续驻留在背景模板中（见图3第二行图像，从第300帧到第900帧，白色圆圈位置的前景始终存在于背景模板中），影响背景模型的正确更新.

为了解决复杂场景下的背景建模问题，本节提出了一种基于空间连续性约束的抗干扰误差补偿方法.针对上文提到的第一个问题，设计了一种基于空间连续性约束的前景误差估计过程，并针对不同的应用场合设计了相应的快速求解算法和精确求解算法.针对第二个问题，提出了基于Alpha通道的平滑补偿策略，并设计了不依赖于子空间模型的背景模板.

2.1基于空间连续性约束的误差估计

在空间上，动态背景通常呈现出分散分布的特性，而前景一般是连续分布的.因此，本文通过引入空间连续性约束来区分前景点和动态背景点，以减少对动态背景的误补偿.

本文用总变分（Total variation）［20］来实现对前景的空间连续性约束.加入总变分约束后，前景误差估计可以描述为如下的目标优化问题：

式（7）是一个凸优化问题，可以采用交替方向乘子法（Alternating direction method of multipliers，ADMM）［17］进行迭代求解：

文献［17］给出了这类问题的详细解法.

第二步，利用软阈值函数［18］计算的精确解

上述算法可以求得式（7）的精确解.但是，该算法的迭代时间相对较长，可能不适用于有实时性要求的场合.因此，本文设计了一种求解式（7）的快速近似算法，可以满足实时性要求.快速算法的求解思路如下：

式（7）用总变分项实现了对前景的连续性约束.作为一种邻域约束，总变分约束可以认为是非局部（Non-local）约束［22］的一种特殊形式.因此，式（7）中的总变分项ETV（ft）可以被如下的非局部项（Non-local term）ENL（ft）所替代：

其中，Ni是图像中第i个像素点的邻域点集合.当邻域集合Ni=｛i+1｝时，非局部约束等价于总变分约束.

通过引入非局部项ENL（ft）和前景误差辅助变量，式（7）中的优化问题可以转化为：

式（12）中的第二步优化可以看作是对空间域中值滤波过程的近似［22］，其目的是获得空间上平滑的误差估计.因此，这一步也可以用中值滤波算法进行近似求解.式（12）中的第一步优化是让误差的稀疏估计ft尽量接近平滑解.这一步的求解方法与式（3）类似［17］.为了进一步提高算法效率，也可以考虑将式（12）中第一步优化获得的稀疏估计ft与中值滤波得到的平滑估计进行加权平均，以得到近似的前景误差估计

上文介绍的快速算法求解速度较快，但求解精度一般.因此，可以考虑将快速算法的解作为精确求解算法的迭代初始值.这种求解策略可以在一定程度上提高精确算法的求解速度.

图2第三行展示了考虑空间连续性约束后的前景误差估计结果（阈值二值化后的结果）.通过与图2第二行对比可知，加入空间连续性约束有助于区分动态背景点和前景点.

由式（12）所得到的前景误差估计不仅为后面的误差补偿过程提供了信息支撑，也可以直接用来得到当前帧的掩膜结果Maskt：

其中，Maskti是掩膜向量Maskt第i维的值，F1是前景检测阈值.

2.2基于Alpha通道的平滑补偿策略

基于误差阈值的前景点/背景点分类策略如图4（a）所示.当误差fti小于阈值F，点oti被判定为前景，反之则被判断为背景.这种二值化的分类策略对阈值的依赖程度较大.在阈值附近，一个轻微的干扰就可能引起分类错误.

图4　二值分类函数与保留距离信息的分类策略Fig.4Comparison between binary classification function and distance information preservation based classification strategy

当前景干扰较大时，前景信息可能被更新到背景模型中.这时，由阈值敏感性所引起的分类偏差会使得背景模型中的前景信息被错误地应用于补偿过程，从而强化前景信息在背景模型中的存在.这个强化过程是个正反馈的过程，所以前景信息可能较长时间驻留在背景模板中，影响前景检测的准确性.如果可以降低分类过程的阈值敏感性，就可以在一定程度上减少正反馈过程的发生.

仔细观察图4（a）可以发现，二值化的分类过程采用了一种将连续误差信息转化为离散分类信息的策略.这种分类策略只关注误差相对于阈值的方向，而忽略了两者之间的距离信息.因此，当误差与阈值之间距离较大时，分类对扰动信息不敏感.当误差与阈值之间的距离较小时，分类对扰动非常敏感.

基于上述观察，如果我们将阈值附近的距离信息在分类过程中加以保留，并将其引入到补偿过程中，就可以减轻分类过程的阈值敏感性，增强算法的抗干扰性.

依据这一思路，在阈值点附近，我们可以用连续的分类函数代替图中的间断分类函数，从而在一定程度上保留阈值附近的距离信息（如图4（b）所示）.本文用Sigmoid非线性变换来实现距离信息的保留.此外，我们借鉴抠图（Image matting）［23］中的补偿方式，较好地利用了距离信息，实现了对图像的平滑补偿.本文提出的补偿过程介绍如下：

首先，对从第2.1节获得的前景误差fti进行阈值分类，并进行下列线性变换：

其中，gti是变换后的误差结果，s是缩放系数.这个线性变换将区间［0，F］内的误差缩放到区间［-s，0］中，并将在区间［F，255］内的误差缩放到区间［0，s］中.

然后，对线性变换后的结果gti进行Sigmoid非线性变换，获得包含距离信息的分类结果hti：

由于hti中包含了距离信息，式（6）中的误差补偿方式已经无法直接进行应用，因此，我们设计了一种新的补偿方式.

前景/背景分类问题与抠图问题［23］存在着较为密切的联系：两者都需要进行物体的区分和提取.从抠图的角度看，分类信息hti∈（0，1）类似于Alpha通道的值，可以看作是点oti中前景成分所占的比例［23］.由于基于Alpha通道的对象提取通常可以提供比较平滑的结果，我们将这一思路借鉴到误差补偿过程中，提出了如下的误差补偿方式：

2.3不依赖于子空间模型的背景模板构建

在第2.2节中提到，当前景干扰较大时，前景信息的正反馈过程可能会干扰背景模型的更新.图5中的三条虚线简单描述了这个前景信息的正反馈回路.在这个回路中，背景均值模板既为补偿环节提供背景信息，同时又受到子空间更新环节的影响.换句话说，均值模板连接了误差补偿环节和背景更新环节，在客观上为正反馈回路的形成提供了条件.

图5　前景信息的正反馈回路Fig.5The positive feedback loop of foreground information

因此，如果我们可以构建不依赖于子空间模型的背景模板，就可以切断均值模板中前景信息向补偿环节的传递，从而破坏信息的正反馈回路（图5中虚线上的黑叉代表该条线路被切断）.依据这一思路，本文提出了一种基于时域中值信息的背景模板构建方法.

在离群点（Outlier）存在的情况下，中值估计通常比均值估计更准确.在视频序列中，同一个空间位置上不同帧的像素值可以看作是对该位置图像信息的时间域采样.对位置相同的采样点来说，大部分点体现了背景信息，少部分点（可以看作是离群点）体现了前景信息.因此，我们可以对图像上每个空间点的采样信息进行时间域的中值估计，并将估计值合成为一幅背景中值图像.这个中值图像可以作为补偿过程的背景模板.背景中值图像的详细计算过程如下：

首先，我们定义一个可以储存q帧视频图像的缓冲区OM=｛oM1，oM2，···，oMq｝，其中oMi（i∈｛1，2，···，q｝，Mi∈｛1，2，···，T｝）是原始视频图像.

随后，我们令缓冲区每隔p帧进行一次视频帧更新（每次只更新一个视频帧）.缓冲区的更新采取先进先出的策略，最早被存入的视频帧将最先被替代.为了避免前景出现在缓冲区中多个视频帧的同一位置，p值不宜过小.

其中，median（·）是取中值函数.此时，误差补偿过程变为：

由式（17）得到的背景模板不依赖于子空间模型，因此在较大程度上预防了前景信息正反馈的发生.此外，由于中值估计受离群点（前景信息）的影响较少，可以提供更准确的背景估计，因此提高了前景检测算法的准确性.

图3最后两行分别展示了由本文算法计算得到的前景和背景估计的结果.由图可知，与基于阈值的二分类补偿算法（图3第三、四行）相比，本文提出的补偿算法在较大程度上减少了前景信息的正反馈.

3　实验结果及分析

为了验证算法性能，本节在多个包含动态背景和复杂前景的测试视频［24］（Bootstrap视频、Campus视频、Curtain视频、Escalator视频、Fountain视频、ShoppingMall视频、WaterSurface视频和Hall视频）上进行了算法测试，验证了本文算法各个组成部分的有效性.此外，我们将本文算法与DPGMM算法［25］、RPCA算法［6］、GoDec算法［7］、GRASTA算法［13］、LRFSO算法［10］、RFDSA算法［20］和DECOLOR算法［26］等主流方法进行了实验对比.

在下面的所有实验中，本文算法均设置了相同的参数.在前景误差估计环节，为了强调前景的空间连续性，选择较大的参数λ=5.掩膜阈值设为F1=25（与LRFSO［10］算法相同）.在Alpha通道补偿环节，误差阈值也设为F=25.为了充分利用Sigmoid函数的平坦区域，缩放系数选为s=6.在背景中值模板构建环节，为了减轻计算负担，选择较小的缓冲区q=3和较大的更新间隔p.图6展示了不同的p取值对算法平均性能的影响.可以看出，当p值大于15时，算法在测试视频上的平均F-score得分分布在区间［0.6812，0.6865］内.因此，p的取值对算法性能影响较小.根据图6，本文设定更新间隔p=27.

本文选用F-score作为算法性能的定量评价标准.F-score是在前景检测领域被广泛应用的评价方法［10，12，20］，其计算公式如下：

其中，Recall是召回率，Precision是准确率.

图6　背景模板更新间隔p对算法平均性能的影响Fig.6The average F-score performance with respect to different parameter p

3.1对算法三个组成部分的有效性分析

本文提出的补偿算法主要包括基于空间连续性约束的误差估计、基于Alpha通道的补偿策略和背景模板构建等三个环节.为了分别验证这三个环节的有效性，本文设置了四组不同的实验，并将对应的算法分别应用于测试视频.在这些视频中，Bootstrap、Escalator、ShoppingMall和Hall视频包含频繁出现的复杂前景，Campus、Curtain、Escalator、Fountain和WaterSurface视频包含不同类型的动态背景.四组实验的设置如下.

实验1：基于单点稀疏性约束的前景误差估计；基于阈值二分类的误差补偿策略；以背景均值作为背景模板.

实验2：基于空间连续性约束的前景误差估计；基于阈值二分类的误差补偿策略；以背景均值作为背景模板.

实验3：基于空间连续性约束的前景误差估计；基于Alpha通道的误差补偿策略；以背景均值作为背景模板.

实验4：基于空间连续性约束的前景误差估计；基于通道的误差补偿策略；以背景中值作为背景模板.

实验1是基准实验，采用了第1.2节中介绍的误差补偿方法.在实验1的基础上，后三组实验分别按次序添加本算法的三个主要环节.具体实验结果如图7所示（其中，横坐标从左到右分别代表Bootstrap视频、Campus视频、Curtain视频、Escalator视频、Fountain视频、ShoppingMall视频、WaterSurface视频和Hall视频）.对比实验1和实验2的结果可知，空间连续性约束的引入明显提高了算法在视频Campus、Escalator和Fountain（这些视频包含动态背景）上的性能.此外，实验2、实验3和实验4的结果对比表明，基于Alpha通道的误差补偿策略和背景中值模板的构建分别提升了前景检测算法在视频Bootstrap、ShoppingMall和Hall（这些视频包含复杂前景）上的性能.图7的最后一组柱状图反映了四组实验在全部测试视频上的平均性能对比.综合来看，本文算法的三个组成部分有效提高了算法的平均性能.

图7　本文算法的三个主要组成部分的有效性展示Fig.7The effectiveness of the main three components in the proposed algorithm

除上述结果外，图2和图3还展示了一些定性的实验结果.图2展示了添加空间连续性约束前后的前景估计效果对比，图3中展示了添加Alpha通道补偿策略和中值模板前后的前景检测效果对比.可以看出，图2和图3中展示的结果进一步验证了这三个组成部分的有效性.

3.2与其他算法的对比实验

我们将本文算法与DPGMM算法［25］、RPCA算法［6］、GoDec算法［7］、GRASTA算法［13］、LRFSO算法［10］、RFDSA算法［20］和DECOLOR算法［26］等主流前景检测方法进行了实验对比.这些算法的F-score得分如表1所示.表1的倒数第二列和倒数第一列分别给出了本文提出的快速求解算法（如式（8）所示）和精确求解算法（如式（12）所示）的性能得分.

为了公平对比，所有参与对比实验的程序均下载自文章作者网站，且未做任何修改.此外，我们借鉴LRFSO算法的思路［10］，将每个算法的掩膜阈值都设为25.

由表1可知，在八个测试视频中，本文提出的精确求解算法（表1中用Ours（accurate）表示）得到了五个最高分和两个第二高分，并且得到了最高的平均分（表1最后一行展示了所有算法的平均分）.本文提出的快速求解算法（表1中用Ours（fast）表示）的性能与DPGMM算法接近，在所有算法中处于中等偏上位置.

在表1的最后一列，我们还展示了所有算法的运行速度（由于DPGMM算法提供的是C++代码，而其他算法都提供了Matlab代码，公平起见，表1中没有列出DPGMM算法的运行速度）.由表1可知，本文提出的快速求解算法的运行速度是35.34帧每秒，可以在一定程度上满足实时性要求.本文提出的精确求解算法的运算速度略高于RFDSA算法，但可以实现较高的准确度.本文提出的两种求解算法分别适用于不同的应用场合.此外，与DECOLOR算法和RFDSA算法相比，本文算法可以实现增量的背景建模与更新，因此适用范围更广.综合来看，本文算法具有一定的优越性.

表1　本文算法与其他算法的F-score得分（%）Table 1The F-score results（%）of the proposed method and the other methods

图8　不同前景检测算法的前景掩膜结果Fig.8The foreground masks obtained from different foreground detection algorithms

除了表1中提供的定量实验结果外，我们还在图8中展示了由不同前景检测算法得到的前景掩膜图像.图8中，左起第一列是输入图像，第二列到第十一列分别是真值（Ground truth）图像、DPGMM算法结果、RPCA算法结果、GoDec算法结果、GRASTA算法结果、LRFSO算法结果、RFDSA算法结果、DECOLOR算法结果、本文的快速算法结果和本文的精确算法结果.

图8的前四行分别展示了不同的前景检测算法在Campus、Curtain、Fountain和WaterSurface这四个包含动态背景的测试视频上获得的掩膜图像.可以看出，动态背景对RPCA算法、GoDec算法和GRASTA算法的影响较大.LRFSO算法、RFDSA算法、DECOLOR算法和本文算法对动态背景均表现出了较强的适应能力.比较而言，本文算法由于采用了误差补偿过程，并且可以自适应地对背景子空间进行增量更新，因此对动态背景的识别能力更强.

图8的第五行至第七行分别展示了不同算法在Bootstrap、ShoppingMall和Hall这三个包含复杂前景的测试视频上获得的掩膜图像.可以看出，DPGMM算法出现了一些漏检.RPCA算法和GoDec算法性能类似，都出现了部分散点状误检.LRFSO和DECOLOR算法将某些分散的前景连成一片，造成一些误检.GRASTA算法在ShoppingMall测试视频上出现了漏检（最左侧的人没有检出）.相比较而言，在复杂前景存在的情况下，本文算法的检测结果更接近于真值.

图8的最后一行展示了不同算法在Escalator测试视频上获得的掩膜图像.这个测试视频同时包含动态背景与复杂前景，因此具有较高的挑战性.可以看出，本文提出的快速算法存在一定的误检，但是精确算法可以较好地区分动态背景与前景.

定量实验与定性分析表明，在存在动态背景和复杂前景的场景下，本文算法具备较强的抗干扰能力，可以实现准确的背景建模.

4　结论

本文提出了一种基于误差补偿的增量PCA背景建模方法，该方法可以实现复杂场景下的前景检测.首先，本文将前景的空间连续性约束引入至前景误差估计环节，有效地区分了动态背景和前景.其次，本文将前景误差估计过程归结为一个凸优化过程，并针对不同的应用场合分别设计了精确求解算法和快速优化方法.随后，本文设计了一种基于Alpha通道的平滑补偿策略，减少了补偿过程的阈值敏感性，增强了算法对前景干扰的适应性.最后，本文构建了不依赖于子空间模型的中值背景模板，在一定程度上破坏了前景信息的正反馈通道，增强了补偿算法的鲁棒性.大量实验表明，本文提出的两种算法较好地协调了准确度与运行速度的矛盾，可以实现复杂场景（包括动态背景和复杂前景）下的增量背景估计和前景检测.在未来的研究工作中，我们考虑将更多的图像特征（如颜色、纹理等）和多尺度的方法融入到我们的算法框架中，并将致力于研究运动场景下的背景建模方法，以不断拓展本文算法的应用领域.

References

1 Huo Dong-Hai，Yang Dan，Zhang Xiao-Hong，Hong Ming-Jian.Principal component analysis based codebook background modeling algorithm.Acta Automatica Sinica，2012，38（4）：591-600（霍东海，杨丹，张小洪，洪明坚.一种基于主成分分析的Codebook背景建模算法.自动化学报，2012，38（4）：591-600）

2 Chu Jun，Yang Fan，Zhang Gui-Mei，Wang Ling-Feng.A stepwise background subtraction by fusion spatio-temporal information.Acta Automatica Sinica，2014，40（4）：731-743（储王君，杨樊，张桂梅，汪凌峰.一种分步的融合时空信息的背景建模.自动化学报，2014，40（4）：731-743）

3 Wang Yong-Zhong，Liang Yan，Pan Quan，Cheng Yong-Mei，Zhao Chun-Hui.Spatiotemporal background modeling based on adaptive mixture of Gaussians.Acta Automatica Sinica，2009，35（4）：371-378（王永忠，梁彦，潘泉，程咏梅，赵春晖.基于自适应混合高斯模型的时空背景建模.自动化学报，2009，35（4）：371-378）

4 Stauffer C，Grimson W E L.Adaptive background mixture models for real-time tracking.In：Proceedings of the 14th IEEE Conference on Computer Vision and Pattern Recognition.Fort Collins，USA：IEEE，1999.246-252

5 Elgammal A M，Harwood D，Davis L S.Non-parametric model for background subtraction.In：Proceedings of the 6th European Conference on Computer Vision.Dublin，Ireland：Springer-Verlag，2000.751-767

6 Cand´es E，Li X D，Ma Y，Wright J.Robust principal component analysis？Journal of the ACM，2011，58（3）：Article No.11

7 Zhou T Y，Tao D C.GoDec：randomized low-rank&sparse matrix decomposition in noisy case.In：Proceedings of the 28th International Conference on Machine Learning.Bellevue，USA：ACM，2011.33-40

8 Dikmen M，Huang T S.Robust estimation of foreground in surveillance videos by sparse error estimation.In：Proceedings of the 19th International Conference on Pattern Recognition.Tampa，USA：IEEE，2008.1-4

9 Xue G J，Song L，Sun J，Wu M.Foreground estimation based on robust linear regression model.In：Proceedings of the 18th International Conference on Image Processing. Brussels，Belgium：IEEE，2011.3269-3272

10 Xue G J，Song L，Sun J.Foreground estimation based on linear regression model with fused sparsity on outliers.IEEE Transactions on Circuits and Systems for Video Technology，2013，23（8）：1346-1357

11 Qin M，Lu Y，Di H J，Huang W.Background basis selection from multiple clustering on local neighborhood structure. In：Proceedings of the 2015 IEEE International Conference on Multimedia and Expo.Torino，Italy：IEEE，2015.1-6

12 Seo J W，Kim S D.Recursive on-line（2D）2PCA and its application to long-term background subtraction.IEEE Transactions on Multimedia，2014，16（8）：2333-2344

13 He J，Balzano L，Szlam A.Incremental gradient on the Grassmannian for online foreground and background separation in subsampled video.In：Proceedings of the 2012 IEEE Conference on Computer Vision and Pattern Recognition.Providence，USA：IEEE，2012.1568-1575

14 Wang L，Wang M，Wen M，Zhuo Q，Wang W Y.Background subtraction using incremental subspace learning.In：Proceedings of the 2007 IEEE International Conference on Image Processing.San Antonio，USA：IEEE，2007.V-45-V-48

15 Jiang Jian-Guo，Jin Yu-Long，Qi Mei-Bin，Zhan Shu.Moving target detection in natural scene based on sparse representation of residuals.Acta Electronica Sinica，2015，43（9）：1738-1744（蒋建国，金玉龙，齐美彬，詹曙.基于稀疏表达残差的自然场景运动目标检测.电子学报，2015，43（9）：1738-1744）

16 Xu Z F，Gu I Y H，Shi P F.Recursive error-compensated dynamic eigenbackground learning and adaptive background subtraction in video.Optical Engineering，2008，47（5）：525-534

17 Boyd S，Parikh N，Chu E，Peleato B，Eckstein J.Distributed optimization and statistical learning via the alternating direction method of multipliers.Foundations and Trends®in Machine Learning，2011，3（1）：1-122

18 Donoho D L.De-noising by soft-thresholding.IEEE Transactions on Information Theory，1995，41（3）：613-627

19 Ross D A，Lim J，Lin R-S，Yang M H.Incremental learning for robust visual tracking.International Journal of Computer Vision，2008，77（1-3）：125-141

20 Guo X J，Wang X G，Yang L，Cao X C，Ma Y.Robust foreground detection using smoothness and arbitrariness constraints.In：Proceedings of the 13th European Conference on Computer Vision.Zurich，Switzerland：Springer，2014. 535-550

21 Wang L C，You Y，Lian H.A simple and efficient algorithm for fused LASSO signal approximator with convex loss function.Computational Statistics，2013，28（4）：1699-1714

22 Sun D Q，Roth S，Black M J.A quantitative analysis of current practices in optical flow estimation and the principles behind them.International Journal of Computer Vision，2014，106（2）：115-137

23 Porter T，Duff T.Compositing digital images.In：Proceedings of the 11th Annual Conference on Computer Graphics and Interactive Techniques.Minneapolis，USA：ACM，1984. 253-259

24 Li L Y，Huang W M，Gu I Y H，Tian Q.Statistical modeling of complex backgrounds for foreground object detection.IEEE Transactions on Image Processing，2004，13（11）：1459-1472

25 Haines T S F，Tao X.Background subtraction with Dirichlet process mixture models.IEEE Transactions on Pattern Analysis and Machine Intelligence，2014，36（4）：670-683

26 Zhou X W，Yang C，Yu W C.Moving object detection by detecting contiguous outliers in the low-rank representation. IEEE Transactions on Pattern Analysis and Machine Intelligence，2013，35（3）：597-610

秦明北京理工大学计算机学院博士研究生.主要研究方向为前景检测与动作识别.

E-mail：050689@bit.edu.cn

（QIN MingPh.D.candidate at the School of Computer Science，Beijing Institute of Technology.His research interest covers foreground detection and action recognition.）

陆耀北京理工大学计算机学院教授.主要研究方向为神经网络，图像和信号处理，模式识别.本文通信作者.

E-mail：vis_yl@bit.edu.cn

（LU YaoProfessor at the School of Computer Science，Beijing Institute of Technology.His research interest covers neural network，image and signal processing and pattern recognition.Corresponding author of this paper.）

邸慧军北京理工大学计算机学院讲师.主要研究方向为计算机视觉，模式识别，机器学习.

E-mail：ajon@bit.edu.cn

（DI Hui-JunLecturer at the School of Computer Science，Beijing Institute of Technology.His research interest covers computer vision，pattern recognition and machine learning.）

吕峰北京理工大学计算机学院博士研究生.主要研究方向为目标跟踪与动作识别.

E-mail：lvfeng@bit.edu.cn

（LV FengPh.D.candidate at the School of Computer Science，Beijing Institute of Technology.His research interest covers object tracking and action recognition.）

An Error Compensation Based Background Modeling Method for Complex Scenarios

QIN Ming1，2LU Yao1，2DI Hui-Jun1，2LV Feng1，2

Compensating foreground error with background information usually helps to build an accurate background model for the subspace learning based background modeling method.However，dynamic background（swaying tree or waving water surface）and complex foreground signal may have bad influences on the compensation process.To solve the problem，we propose an error compensation based incremental subspace method for background modeling，which aims to build an accurate background model in complex scenarios.First，we bring a spatial continuity constraint to the foreground error estimation process，which helps to preserve more dynamic background information and increase the accuracy of the background model.Second，we formulate the foreground estimation task into a convex optimization problem，and design an accurate optimization algorithm and a fast optimization algorithm，respectively for different applications.Third，an alpha-mating based error compensation strategy is designed，which increases the anti-interference performance of our algorithm.At last，a median background template which does not rely on background model is constructed，which increases the robustness of our algorithm.Multiple experiments show that the proposed method is able to model background accurately even in complex scenarios，demonstrating the anti-interference performance and the robustness of our method.

Background modeling，anti-interference error compensation，spatial continuity，alpha-mating，median template

Manuscript December 18，2015；accepted April 20，2016

10.16383/j.aas.2016.c150857

Qin Ming，Lu Yao，Di Hui-Jun，Lv Feng.An error compensation based background modeling method for complex scenarios.Acta Automatica Sinica，2016，42（9）：1356-1366

2015-12-18录用日期2016-04-20

国家自然科学基金（61273273，61175096，61271374），高等学校博士学科点专项科研基金（2012110110034），北京市教委共建项目资助

Supported by National Natural Science Foundation of China（61273273，61175096，61271374），Research Fund for the Doctoral Program of Higher Education of China（2012110110034），and Specialized Fund for Joint Building Project of Beijing Municipal Education Commission

本文责任编委桑农

Recommended by Associate Editor SANG Nong

1.北京理工大学计算机学院北京1000812.智能信息技术北京市重点实验室北京100081

1.School of Computer Science，Beijing Institute of Technology，Beijing 1000812.Beijing Laboratory of Intelligent Information Technology，Beijing 100081