基于双三帧差分的运动显著前景区域目标提取

赵红卫

(桂林电子科技大学，广西 桂林 541004)

1 引言

现阶段随着社会信息的快速发展，人们在实际生活中对信息安全的要求也越来越高，因此信息智能监控在科技实验中走向了人们的日常生活，并且得到了广泛应用。运动目标提取[1，2]是目前该领域中对视频流研究的主要课题之一，经过提取后的目标精准度对后续步骤有着直观的影响。这是图像跟踪识别系统中的较为重要的一步，同样也是从视频图像中将运动区域进行提取的过程。在此过程中，运动前景区域[3]分割效率的高低，对后期提取处理工作有着至关重要的影响，因为在后期处理过程中对图像运动区域像素要求较高，因此对图像分割效果有着严谨的限制条件。

鲁春[4]等人提出了一种聚类分析算法与改进LK光流法相结合提取手段，首先对图像序列进行采样和预处理，并利用LK光流法计算得出相邻帧图像的光流场，然后再利用最近邻聚类算法对得到的光流场进行处理，进而提取出图像中的运动目标，最后使用Matlab软件得出。该算法能够有效提取目标，但在提取的过程中存在目标轮廓信息不稳定、计算过程复杂等问题。高林[5]等人提出利用光流法改进传统三帧算法，并与背景差分法结合的运动目标提取算法，在一定程度上将二者进行了融合，并且在此基础上对其图像目标进行提取。该算法在融合的基础上对前景图像进行目标提取，虽然可以完成目标的提取，但是存在失误率高的缺点。

随着现阶段图像提取技术的快速发展，传统方法虽然可以完成图像提取处理，但其计算过程复杂且不能确保提取结果的精准度，基于此，本文提出了基于双三帧差分的运动显著前景区域目标提取方法，在三帧差分算法的基础上，拓展出双帧差分法和多帧差分法，也就是双三帧差分算法，利用两帧或多帧差分图像的并集重新恢复图像轮廓，从而解决传统提取方法存在的缺陷。

2 双三帧差分算法分析

传统三帧差分算法是经过两次差分处理后获得二值图像，并根据结果来对其前景图像进行提取的一种算法，具体描述内容是轮廓在该图像中的重合部分。该算法的实际操作步骤是在固定时间段内，对前景目标图像进行连续两次提取，然后分别将每次提取结果进行并集处理。因为在提取的过程中，杂波或噪声具有一定的随机性，所以就需要减少噪声、杂波的产生。与此同时通过运算得到目标轮廓交集，可以实现对运动边缘的提取，则会得出与实际前景图像轮廓更为接近的结果，这样就能完全避免在提取过程中出现重影的失误情况。但因为影响是随机的，算法也可能会造成目标轮廓信息丢失，而导致轮廓断裂。

所以为了避免这种情况的发生，同时又能保留运算方法的优势，本文提出双三帧差分法，该方法是在提取过程中，选取出连续的两帧做三帧差分运算，为了比对获得的二值图像[6]进行逻辑运算，在计算后对前景图像轮廓边缘做适用扩展，同时将经过计算获取的重要目标信息进行有效存储。双三帧差分算法主要是在三帧差分基础上，适度的扩展出另一个二值化轮廓图，然后在此基础上将两个前景图像进行目标重合，这样就可以弥补单三帧差分算法造成的轮廓提取不完整的缺陷。

并且在运用传统方法提取时，需要让两帧的前景图像在规定时间内同时采样，获取结果中必然有轮廓重合部分，因为在提取过程中，图像目标轮廓都是在同一情况下的两个目标，根据上述提取结果便可以了解到这两个目标轮廓不仅可以各自独立，轮廓信息还具有良好的互补性。基于该方法的基本思想，就可以根据提取的实际要求，来对连续的图像进行采样，其中要求图像之间的并集不能为空集，因此可以提取出同时拥有多种信息的目标运动轮廓。对多帧连续图像进行采样后，会进行相对连续的多次差分计算，根据计算结果进行基于理论的逻辑运算，便可以对图像进行修复、扩展。

此处将以连续的四帧图像为例，根据上述对双三帧算法运算逻辑的分析，具体的函数描述便如下所示：

假设连续的四帧图像序列的灰度分别为：fk(x，y)、fk-1(x，y)、fk-2(x，y)、fk-3(x，y)，将fk(x，y)和fk-1(x，y)进行差分处理，在得到处理结果后就会得到相对应的差分图像Dk(x，y)，并且在此基础上会根据其阀值T1分割的结果，进一步获取出二值化图像Rk(x，y)，再将fk-1(x，y)和fk-2(x，y)差分后得出的差分图像Dk-1(x，y)进行阀值T2分割，得到二值图像Rk-1(x，y)，将fk-2(x，y)和fk-3(x，y)进行差分，得出的差分图像Dk-2(x，y)，并运用阀值T3的分割值进行处理，得到对应二值化图像Rk-2(x，y)，详细计算公式为

(1)

(2)

(3)

(4)

根据上式，将两幅二值图像Rk(x，y)和Rk-2(x，y)分别与Rk-1(x，y)进行针对性运算。此处记运算后的二值图像分别是Jk(x，y)、Jk-1(x，y)，则有

Jk(x，y)=Rk(x，y)⊗Rk-1(x，y)

(5)

Jk-1(x，y)=Rk-2(x，y)⊗Rk-1(x，y)

(6)

根据上述可以得知经过运算提取出来的二值化图像前景图像轮廓，在一定程度上二者信息轮廓具有一定重合性的。为了可以弥补三帧差分算法造成的前景图像轮廓断裂情况，将Jk(x，y)和Jk-1(x，y)进行运算，并且在一定基础上采取运算结果的并集，将其定义为Fk(x，y)，则有

Fk(x，y)=Jk(x，y)⊕Jk-1(x，y)

={(x，y)|Jk(x，y)∪Jk-1(x，y)}

(7)

上式就是在三帧差分的基础上双三帧差分算法的最后计算结果。同理根据上述四帧范例算法便可以构建出五帧图像，改进后的双三帧差分算法如图1所示。根据上述情况便可知，在实际中所运用的的图像帧数[7]越多，这其中包括的信息量就随之越多。

图1 连续五帧图像的双三帧差分的运算结构

3 运动显著前景区域目标提取

3.1 运动目标边缘提取

在一个连续的视频流中收集某一段时间内的序列图像，此处假设f(x，y，t)代表t时间段内的帧数，f(x，y，t-1)则代表t时间段内的前一帧，那么双三帧差分法运算过程可以写为：

1)首先需要对连续的两帧进行差分，差分式可以写出：

Dt(x，y)=|f(x，y，t)-f(x，y，t-1)|

(8)

2)根据上式，将运用其结果来进行相对的阈值化，那么就可以得到对应的二值结果：

(9)

3.1.1 运动目标检索

在某段视频序列中，假设将f(x，y，t)描述为某段时间内的当前帧数，那么其中相邻的两帧就可以分别用f(x，y，t-1)和f(x，y，t+1)来进行表示，那么双三帧差分法的步骤就如下所示：

步骤一：将对应的差分图像Dt(x，y)：Dt(x，y)=|Pt(x，y)-Pt-1(x，y)|

⊗|Pt-1(x，y)-Pt(x，y)|进行计算；

步骤二：根据上述式(8)来获取出阈值化后的二值结果。

3.1.2 边缘提取Canny算法

在一般情况下常见的边缘提取算法有Canny[8]、Roberts[9]、Sobel以及Kirsch算法[10]等，其中Roberts算法虽然可以对图像进行边缘提取，但同时也存在不确定性较高的问题，并且该算法具有边缘提取不完整、定位不准确的缺点；Sobel算法是一种根据图像灰度调节的方法，该算法运用于噪声多的图像较好；Kirsch是一种针对性算法，该算法主要用于渐变灰度的图像中。上述方法全部都是局域窗口[11]的梯度算法，在提取过程中对噪声具有较高的敏感度，让后期的处理过程具有明显的特性，而所运用的Canny算法可以确保在对目标前景图像提取过程中不受噪声的影响，使提取过程更具真实性并可提取出微弱边缘[12]，让目标的轮廓信息更为完整。

3.2 基于双三帧差分的运动目标提取

与传统的帧间差分算法相比，传统的三帧差分算法可以在一定程度上改善帧间计算复杂的问题，并且在此基础上可以增加提取结果的精准度。在提取的过程中，三帧差分和帧间差分之间具有某些相似的本质，例如：等同的噪声抑制效果、一样的相邻帧间差值。因为在选取帧间差值时就会因目标运动的整体速度不一致，而造成计算结果存在失误的空集，所以结合三帧差分算法的特点以及本身运动的环境，提出基于双三帧差分算法的运动目标的提取。

运动目标提取的具体步骤为：

1)分别针对目前帧f(x，y，t)以及前一帧f(x，y，t-1)、后一帧f(x，y，t+1)进行去噪；

2)对f(x，y，t)，f(x，y，t-1)，f(x，y，t+1)，分别进行差分处理，在处理后得到对应的差分图像D1(x，y，t)，D2(x，y，t)，D3(x，y，t)；

3)对差分结果D1(x，y，t)，D2(x，y，t)，D3(x，y，t)进行阈值二值化处理；

4)在一定基础上对二值化后的结果进行运算，再根据运算的结果就可以得出阈值化结果B(x，y，t)；

5)针对上述B(x，y，t)阈值化图像结果进行部分区域填充；

6)对去噪后的目前帧f(x，y，t)进行Canny算子边缘提取，通过提取就会得出目前帧图像的物体边缘框架；

7)将在6)中获取出的目前帧图像的边缘框架与5)中区域填充结果相结合计算出运动目标的边界；

8)完成运动前景的目标提取。

4 仿真研究

为了验证所提方法的目标提取性能，进行一次仿真对比实验。实验的仿真环境为：仿真软件为Matlab software 2015b，运用C++语言进行算法编程。采用正态分布曲线对方法的去噪效果进行评价。

提取环境为某个室内球场，实验图片是根据相机在一个固定的角度进行拍摄而得到，相机基本采样帧率不是很高，并且在录取视频的过程中会有较大的噪声影响，室内的光照不均匀且具有随机性。实际实验中的人员一直在进行持续性运动，这样在提取的过程中才可能提取出人和球，具体的提取轮廓如图2示。

图2 需提取图像

上图2是两帧分别需要提取的连续图像，以该图像为基础进行目标提取实验。

4.1 提取精确度对比

根据上述获得的实验图片，分别进行第一个三帧差分提取、第二个三帧差分提取与双三帧差分算法提取出，提取结果分别如图3、4、5所示。

图3 第一个三帧差分提取的轮廓

根据上述可以看出，图3是一组经过两次三帧差分提取的目标轮廓图，同样根据图4也可以得知上述经过两次三帧差分提取的目标轮廓并不是很完整，具有轮廓断裂等情况，从目标图像本身来看，这两帧图像具有局部的重合部分。图5则给出了运用所提方法提取出来的目标轮廓信息结果，根据轮廓图可以明显的看出运用所提方法提取出的轮廓信息具有较高的完整性，大到整体轮廓、小到细微的足球轮廓，其中图像后期的处理效果也比较干净，与传统的三帧差分相比，所提方法的提取质量具有明显优势。

图4 第二个三帧差分提取的轮廓

图5 双三帧差分算法提取出的轮廓

4.2 去噪效果对比

为了进一步验证提出方法的有效性，以目标去噪效果为指标，进行对比实验，对比结果如图6所示。

图6 去噪效果对比

从图6中可以看出，在对相同的运动目标轮廓进行提取的过程中，所提方法的去噪结果较为理想，在经过去噪后信号噪声在正态分布曲线附近小幅度波动。而其它两种对比方法的信号噪声波动范围较大，且偏离正态分布曲线，严重影响最终的提取结果。因此，充分证明所提方法具有较高的去噪效果。

5 结论

针对传统三帧差分算法存在的重影、目标轮廓断裂问题，提出了基于双三帧差分的运动显著前景区域目标提取方法，该方法在三帧差分算法原理的基础上，适度的扩展出另一个二值化轮廓图，在此基础上将两个前景图像进行目标重合，完成目标融合后进行Canny边缘提取，获取出边界轮廓从而实现运动目标的提取。仿真结果证明，与传统方法相比，所提方法的提取结果具有较高的准确性，且具有较好的去噪效果。