基于运动检测的非连续时域视频辨识方法研究

魏 然，李 毅，李平凡，龚 标，黄 钢

（公安部交通管理科学研究所 道路交通安全重点实验室，江苏 无锡214151）

随着数字媒体技术的快速发展，监控视频已经在金融、教育、安防、道路交通等领域中得到了广泛应用。数字媒体取证（digital media forensics）正成为信息安全领域的新兴研究热点[1]。然而，由于监控设备硬件条件、视频传输/存储/处理环境、人为篡改等诸多因素影响，监控视频缺帧、跳帧、重复帧、时间有误等视频时域不连续的现象广泛存在，使得基于监控视频无法准确计算视频帧率、确定事件准确时间、精确计算监控目标的运动速度，严重影响了数字媒体取证的可信度。尽管通过人工对视频进行逐帧分析可实现非连续时域视频的辨识，但此类方法依赖经验、效率较低，无法满足当前工作需求。因此，开展非连续时域视频自动辨识方法的研究变得日益迫切和重要。

目前非连续时域视频辨识方法可分为基于视频属性和视频内容两类[2]，基于视频属性的辨识方法主要依据嵌入视频的数字水印、签名等特定信号与视频码流、码率等视频编码信息进行对比[3]；基于视频内容的方法无需嵌入特定信息，主要依据视频中运动目标的运动规律分析判断视频时域连续性，因此实用性更强。基于视频内容的运动检测算法的大量成果可应用于非连续时域视频的检测，目前主流的运动检测算法有粒子滤波（PF）、目标匹配法、卡尔曼滤波（kalman）、及均值偏移（mean shift）[4-5]、光流周期[6-7]、背景差分[8]等，但基于视频内容的运动检测算法对环境，场景中的遮挡、光线等背景变化和噪声等影响很敏感[9]，提高运动检测算法的精度与适用范围是该领域的研究热点[10-12]。如何利用运动检测算法评价运动目标的运动连续性，并选择合适的评价指标辨识非连续时域视频仍是运动检测应用于数字媒体取证的难点。

本文针对非连续时域视频，引入基于视频内容的运动检测算法，提出非连续时域视频的评价指标，研究非连续时域视频的辨识方法流程，并开展不同算法对检测结果的差异

1 基于视频内容的运动检测算法

1.1 基于光流的运动检测

“光流”（optical flow algorithm）指空间运动物体在观测成像面上的像素运动的速度[13]，基于光流的运动检测算法的基本原理[14]是对图像中的像素点赋予速度矢量，当目标运动时，其速度矢量必然强于背景的速度矢量，当差异超过阈值时即可检测出运动目标的结构与位置[15]。光流法需假设视频图像中的亮度恒定，此时像素点（x，y）在t时刻的灰度值I（x，y，t）满足基本光流约束方程：

其泰勒级数展开形式为：

根据公式（2）可得到光流的基本方程：

式中，u、v即是该像素点沿x、y方向的光流，通过公式（3）可计算视频图像中的像素点光流矢量IOF（i），实现对目标的运动检测。光流法要求视频中亮度恒定[7]，但在实际应用中，通常监控视频的亮度会因为来往车辆发生变化，特别是夜晚或场景较大的路口监控视频中，环境光照的变化都不可避免，将影响光流法运动检测的准确性。

1.2 基于背景差分的运动检测

背景差分法（background difference algorithm）适用于背景固定条件下监控视频中的运动检测，由于其算法简单、无需事先获取运动目标结构信息，在运动目标检测领域有广泛应用[16]。如图1所示，背景差分法的原理是通过对待检帧与背景帧之间的灰度值进行差分，从而判断运动目标所在的区域[17]。

图1 背景差分法原理示意图

设待检帧的灰度值为I（i），以视频的N+1帧图像灰度值的均值为背景模板[18]：

待检帧与背景帧进行差分时的阈值化处理，需满足：

式中，T为检测阈值，其取值由背景帧的灰度直方图确定[19]。背景差分法能较好地避免环境光照对运动目标的干扰，但该算法对距离较远的目标或运动速度较低的目标不敏感，在检测宏观或较大场景区域内的运动物体时误检率高。

2 非连续时域视频辨识方法研究

利用光流法、背景差分等运动检测算法可获得监控视频中目标的运动轨迹和观测成像面上的运动速率，根据检测目标运动轨迹或速率的连续与否，可判断监控视频的时域连续性。本章将探讨基于运动检测算法的非连续时域视频评价指标与检测方法。

2.1 基于运动检测的非连续时域视频评价指标

为了研究基于运动检测的非连续时域视频评价指标，选取2个路口监控视频进行分析。以监控画面中由右向左移动的小型轿车为运动检测对象，其中案例1为非连续时域视频，案例2为连续时域视频，选择的监控视频均为夜晚环境，可检验各检测算法对视频中环境光照变化的适应性。

对监控视频解帧后，以视频画面中小型轿车前大灯后角点为“特征点”，人工逐帧记录特征点在画面中的位置。如图2A所示，案例1中小型轿车特征点的运动轨迹不连续，例如第3、4帧之间，第6、7帧之间，第12、13帧之间的运动轨迹间隔存在不均匀的现象；如图2B所示，案列2中的小型轿车特征点的运动轨迹间隔均匀。通过对案例1与案例2中小型轿车特征点运动轨迹的对比，可判断案例1中视频存在缺帧、跳帧现象。为量化非连续时域视频评价指标，现对案例1与案例2中小型轿车特征点的运动轨迹进一步分析。

图2 连续时域视频与非连续时域视频对比

如图3A所示，逐帧记录两段监控视频中小型轿车特征点运动轨迹的像素距离（相邻帧中两特征点间的像素数量），案例1、案例2中帧间特征点像素距离均有阶跃现象，且像素距离将受运动检测目标在视频中的位置与运动方向的影响，当运动检测目标远离视频画面时，其特征点轨迹的像素距离将逐渐变小；同时，当运动目标的速度发生变化后，其特征点轨迹的像素距离也会随之改变。因此受到以上因素的干扰，通过像素距离无法判断视频时域连续性。

为了排除检测目标在视频中的位置与运动方向的影响，使用像素距离变化率R（i）作为辨识非连续时域视频的评价指标，像素距离变化率R（i）表示为：

如图3B所示，案例1监控视频的帧序列出现缺帧、跳帧现象时，像素距离的变化不均匀，此时小型轿车的特征点像素距离变化率大于1；案例2中的小型轿车的特征点像素距离变化率幅值较小，且R（i）均小于 0.1。

由于在连续时域视频中，如检测目标的像素距离变化率大于1，其运动速度将呈指数级变化，此类物体在实际场景中很少出现。因此选择特征点像素距离变化率阈值为1，当视频中的运动目标特征点素距离变化率幅值大于1时，可判断该视频为非连续时域视频。

图3 非连续时域视频评价指标对比

综上，以监控视频特征点像素距离变化率作为评价指标（R（i）=1为阈值），能避免运动检测目标在视频中的位置、运动速度与运动方向对检测的影响，从而准确判断视频的时域是否连续。

2.2 融合背景差分与光流法的非连续时域视频检测方法

通过人工逐帧记录特征点的位置，并利用像素距离变化率评价视频时域连续性具有较高的识别精度，但辨识效率不高。为了高效准确地对非连续时域视频进行检测，本节将探讨融合背景差分与光流法的非连续时域视频检测方法（background difference and optical flow method， BDOF），如图 4所示，主要步骤如下：

图4 BDOF检测方法流程图

2.2.1 截取视频的运动目标检测区域

根据待检视频特点，截取视频画面中运动目标的检测区域，避免有多个运动物体穿过检测区域干扰检测区域内的光流场，同时也可以减少光流场的计算区域，提高BDOF方法的检测效率。

2.2.2 背景差分法

对截取的视频进行逐帧分解，获取背景帧与帧序列；根据视频光照环境选择合适的阈值TT，利用公式（2）、（3）分法别对第 i帧、第 i+1 帧和第 i+2 帧与背景帧进行差分。

2.2.3 光流法

利用公式（1）、（2）、（3），对差分后的第 i帧 BD（i）、第 i+1 帧 BD（i+1）和第 i+2 帧 BD（i+2）进行计算，获取第 i帧光流 IOF（i）和第 i+1 帧光流 IOF（i+1）。

2.2.4 判断视频时域连续性

为了排除检测目标在视频中的位置、运动方向和运动速度的影响，选择光流变化率ROF作为视频时域连续性的评价指标，利用公式（6）计算视频中相邻帧的光流变化率，如帧序列中存在相邻帧光流变化率大于1的现象，则可判断该视频时域不连续。

3 BDOF检测方法结果验证分析

为了检验BDOF方法的有效性，本章将针对实际案例，研究BDOF方法与光流法在辨识非连续时域视频的差异性，并利用公开视频数据库对检验BDOF方法进行试验，验证BDOF方法的监测准确性进。

3.1 不同算法检测结果对比分析

分别利用BDOF方法和光流法对案例1、案例2视频的时域连续性进行辨识，如图5A所示，对视频解帧后，由于场景内光照的影响，使用光流法得到的光流场无法与目标车辆的运动场有效区分；如图5B所示，使用BDOF方法对案例1视频进行解帧和背景差分后，有效筛除了视频图像中的背景环境，仅显示目标车辆在运动中的特征点，在此基础上得到的光流场能较好反应车辆的运动属性。

图5 案例1视频帧间光流场不同算法对比

由于视频中光照变化的影响，直接使用光流法无法区分目标车辆的运动场与光流法，光流法无法对视频的时域连续性进行有效辨识，如图6A所示，案例1、案例2视频的光流变化率均大于1，由于光流场受到严重影响，直接使用光流法，检测结果无法准确区分案例1和案例2的时域连续性。如图6B所示，使用BDOF方法能有效辨识视频时域的连续性，案例2视频的光流变化率均小于1。

图6 光流法与BDOF方法检测结果对比

综上，BDOF方法结合了背景差分法与光流法的优势，能有效避免视频场景中光照对运动目标检测的影响，并能高效地对视频时域的连续性进行自动检测。

3.2 BDOF检测方法验证研究

为了验证BDOF方法对视频时域连续性的检测精度，如表1所示，选择 LIMU、CDNET、AVSS和CVRR等公开视频数据库中的6个典型交通路口监控视频对BDOF方法进行检验试验，选择公交车站、交叉路口、高速公路等常见交通环境，考虑清晨、夜晚等光照较差的环境，同时视频中的各类车辆运动方向、速度不同。

根据BDOF方法流程，截取视频画面中运动目标的检测区域（见图7中黄色方框），计算检测区域内的光流变化率。经检验，序号1视频和序号6视频时域不连续。

图7 典型路口监控视频及其运动检测区域

表1 不同视频时域连续性检测结果统计

图8 利用BDOF方法下不同视频的光流变化率

如图8A所示，序号1视频的光流变化率曲线中有阶跃现象，且其峰值大于100，远超过阈值1，经人工复检确认，该视频的1061帧与1062帧重复，因此这两帧之间的光流为0，与其他相邻帧的光流存在较大的区别，符合BDOF方法的检测结果；如图8F所示，序号6视频的帧序列中光流变化率多处超过阈值1，经人工复检确认，该视频有丢帧现象。其余视频的光流变化率曲线峰值均小于1，经人工检测，其余视频的时域均连续，与BDOF方法的检测结果相同。

通过公开视频数据库的验证试验，BDOF方法有较为稳定的检测精度，通过输出视频帧序列的光流变化率曲线，能准确辨识视频时域连续性。但该方法因基于光流法，目前存在一定的局限性，如在限定的帧序列中有运动目标穿过检测区域，会造成检测区域内的光流场不稳定，影响检测精度；其次BDOF方法适用于交通、道路、机场、港口等较大场景监控视频的检测，当检测区域内运动目标的运动轨迹过于复杂时，光流场也会变得不稳定，影响该方法的检测精度。在接下来的工作中应继续优化提升BDOF方法的检测精度和检测效率。

4 结论

本文研究了基于视频内容的运动检测算法在辨识非连续时域视频中的应用，提出了非连续时域视频的评价指标，探讨了不同算法的检测精度与效率，主要结论如下：

（1）以特征点像素距离变化率、光流变化率为视频时域连续性的评价指标能避免运动检测目标在视频中的位置与运动方向对检测的影响，从而准确判断视频时域的连续性；

（2）本文提出的融合背景差分与光流法的非连续时域视频检测方法（BDOF）结合了背景差分法与光流法的优点，能有效避免视频场景光照变化的影响，实现对视频时域连续性的高效辨识。

（3）本文提出非连续时域视频的评价指标与辨识方法可在视频时域分析、视频篡改检测、数字媒体取证等技术领域推广应用。