基于帧间差分与背景消减的视频摘要算法研究

辛 浩，李玲玲（淮北职业技术学院 计算机系，安徽 淮北 235000）

基于帧间差分与背景消减的视频摘要算法研究

辛 浩，李玲玲
（淮北职业技术学院 计算机系，安徽 淮北 235000）

为克服帧间差分法只适合于帧像素变化较大的视频检测及背景消减法只适合于固定背景模型的视频检测的缺点，提出一种新的基于帧间差分与背景消减的视频摘要算法，这种算法首先对前后两帧的帧图像像素进行检测，若无显著运动对象，则继续进行背景模型对比检测.实验结果表明，该算法能够快速、精准地对运动显著及不显著的视频进行摘要提取，浓缩事件精华，较高地还原视频关键信息内容.

视频摘要；运动检测；帧间差分；背景消减

0 引言

近年来，随着多媒体技术的发展，人们越来越认识到视频摘要和检索在多媒体内容处理的重要性，尤其是在长时间的监控视频方面能够发挥重要作用，视频摘要［1］技术涉及多种学科领域，包括通信、视频处理、心理感知、模式识别科学等，国内外许多学者和实验室开始研究自动、半自动的摘要视频生成方法.因此，在理论上有很大的研究意义，在实际应用上也有广阔的应用前景，已成为国内外研究的热门话题［2］. 目前，已有的视频摘要技术算法有很多，Acha［3］提出使用均值滤波的方式设计视频摘要框架；Vu［4］提出视频场景模型分割的方法.之后人们又先后提出基于光流信息的视频摘要算法、基于聚类的视频摘要算法等.这些算法应用到具体的智能视频监控中至今还不能满足所有需求［5］.因此，从海量的视频信息里快速有效地提取可靠信息仍是人们迫切需要解决的问题.

1 常用运动目标检测方法

视频摘要中的一个重要研究内容就是运动目标的检测方法，其效果不仅关系到摘要算法的精确度，也为运动物体运动轨迹的追踪及后期的运动轨迹场景的还原起到决定性的作用.运动目标检测法有很多种，常用的有帧间差分法、背景消减法［6］等.

1.1 帧间差分法

帧间差分法［7］就是靠检测帧与帧之间的差别来进行运动检测的方法.其基本原理［8］是把时间段分成若干帧，每帧都有对应的图像序列，通过直接比较前后相邻的帧所对应的序列图像的像素点有无变化来确定有没有运动的目标.假设帧为ft,t∈(1,2,…,T)，σ为阈值，当ft-ft-1≥σ时，则表示帧间像素点变化较大，帧间有运动目标的产生.帧被标记为新的关键帧保存下来.当ft-ft-1≤σ时，则表示帧间像素点变化较小，帧间没有运动目标的产生，此帧被当作无用帧丢弃.

此算法中σ的取值起到关键性的作用［9］.在同一光线背景下，σ的值过大会造成只能检测大幅度的运动目标，而忽略精细运动的检测；σ的取值过小，又会造成无法去除图像中的干扰噪声，使得检测结果不准确.如果在背景光线复杂的情况下，阈值σ的选取可以设定为局部阈值与全局阈值，这是因为背景的光照强度相差太大，摄像头所处环境不同，为了能够更好地确定噪音的范围，提高运动目标的精确度而选择设定的.

帧间差分法是视频摘要技术中常用的运动目标检测法，其优点是实现起来简单方便，缺点是使用帧间差分法并不能精确完整地检测出运动目标.σ的选取对于检测结果的影响太大，对于细小的缓慢的运动很难判断出运动区域，而大范围的运动又很难做到精细；光照强度因素影响也较大，因而使用同一个σ值是不可取的［10］.

1.2 背景消减法

背景消减法的使用是建立在背景对比思想上的.其原理是把当前帧的图像与设定的背景模型对比，如果当前帧的图像与背景对比小于设定阈值τ，则认为当前帧的图像与设定的背景参考模型基本吻合，则该帧无运动对象.如果当前帧的图像与设定的背景参考模型比较变化较大，则认为有运动对象的出现［11］.

背景环境变化较小的视频监控适合于使用背景消减法提取运动轨迹［12］，所以，对于摄像头固定不变的视频尤其适用背景消减法.但是当摄像头能转动或多个摄像头采集的多种背景视频就不适合于使用背景消减法.

2 基于帧间差分与背景消减的视频摘要算法

帧间差分法实现简单，适合于帧图像像素变化较大的视频检索，但是误差较大；背景消减法适用背景模型相对固定的场景，不适合对背景变化较大的视频检索，所以，根据视频监控的实际需求，把帧间差分法与背景消减法相结合，提出一种新的基于帧间差分与背景消减的视频摘要算法.

2.1 算法思想

基于帧间差分与背景消减的视频摘要算法是把经典的帧间差分检测法与背景消减检测法相结合.其基本思想是：设t时刻所对应的帧图像为fp(t)，则上一时刻所对应的帧图像为fp(t-1)，首先直接比较fp(t)与fp(t-1)的像素点差值，若fp(t)-fp(t-1)≥σ，可以认为该时刻有运动目标引起图像像素点变化，则把此刻帧标注为关键帧；否则认为前后两帧的像素点变化极小，需要进行背景消减判断.设t时刻所对应的背景参考模型为fn(t)，若fp(t)-fn(t)≥τ，可以认为当前时刻的图像与背景参考模型有一定的差别，因而有运动对象的产生，则标注关键帧，更新背景参考模型.

其中，σ与τ为设定的阈值，σ与τ的选择关系到视频摘要算法的精确度，σ与τ的取值过高会使得算法对于场景的细小变化难以捕捉，降低算法的灵敏度；但是σ与τ过低，又会使算法难以消除噪声的干扰，降低算法的精确度.

2.2 算法描述

（1）直接比较前后相邻的帧所对应的序列图像的像素点，假设t时刻对应的帧图像为fp(t),t∈(1,2,…,T)，σ为阈值，计算fp(t)-fp(t-1)

（2）if（fp(t)-fp(t-1)≥σ）

｛使用fp(x,y,t,t-1)=1标注关键帧列入序列；用count对已经标注的关键帧序列进行统计计数；对统计标注好的关键帧序列用冒泡排序法标明下标；对统计好的关键帧重新排序及帧视频更新｝

（3）else if（fp(t)-fn(t)≥τ）

｛使用fp(x,y,t,t-1)=1标注关键帧列入序列；统计计数并对关键帧序列用冒泡排序法标明下标；对统计好的关键帧重新排序及帧视频更新；用fn(t)=fp(t)更新背景参考模型｝

（4）else

检测是否达到视频最后一帧，若不是最后一帧，则t=t+1，重新进入帧像素的检测.

2.3 算法流程图

基于帧间差分与背景消减的视频摘要算法通过帧图像的检测，进行标注显著运动帧，通过背景检测进行不显著运动帧的标注，具体算法流程如图1所示.

图1 算法流程

3 实验结果与分析

为了验证基于帧间差分与背景消减的视频摘要算法的有效性，在Vc++的研发环境下，使用该算法开发了“基于帧间差分与背景差分的视频摘要系统”软件，该软件的界面如图2所示.

图2 视频检索软件界面

3.1 实验方法

使用一台PC，使用已经开发的“基于帧间差分与背景消减的视频摘要算法”的系统软件对一段使用手机拍摄的背景有微弱变化的51 s的源监控视频进行视频摘要，该源视频中的运动对象处于较弱的光线下，且源视频中的运动对象前期的运动较微弱不显著，后期有明显的走动过程，即运动显著.具体实验步骤为：

（1）首先点击“加载视频”按钮导入视频，然后选择源视频文件，对源视频进行摘要检索，在打开的对话框中选择运动方法为“二者结合”，如图3所示.

图3 视频摘要设置

（2）点击确定，系统软件会自动对所加载视频进行“帧间差分与背景消减的视频摘要算法”的视频摘要检测.

（3）导出摘要视频，另存为“video（摘要视频）.avi”

（4）比较源视频与摘要视频，如图4和图5所示.

图4 源视频文件

图5 摘要视频文件

3.2 实验结果分析

比较图4和图5发现，源视频总时间段为51 s，摘要后总时间为29 s；源视频中1～13 s、27～35 s无运动对象，摘要视频中一直有运动对象.比较源视频内容与摘要视频内容，发现摘要视频是把源视频的1～13 s和27～35 s认为无运动对象，自动剔除；而对源视频中的14～26 s和36～51 s的视频内容自动检测认为有较明显的运动对象存在，标注关键帧进行摘要提取，重新整合为有效的摘要视频，具体数据如表1所示.

表1 源视频与摘要视频数据

该实验验证了基于帧间差分与背景消减的视频摘要算法的有效性，能够在背景模型晃动及较暗的外界光线的干扰因素影响下，精确地对视频中不显著运动对象自动检测，而后进行摘要提取，剔除无价值的信息，浓缩精华，高度地还原了视频的有效价值.

4 结束语

本文提出的基于帧间差分与背景消减的视频摘要算法，克服了传统运动对象检测算法的缺点，在不受外界光线的影响下，既能够检测运动物体显著的场景，也能检测微弱运动变化的场景，标注出关键帧，再对关键帧进行排序整合成有效的摘要视频，高精度地还原了源视频的有效信息.

［1］岳周龙.基于多目标跟踪的监控视频摘要系统［D］.合肥：合肥工业大学，2016.

［2］杨建全，梁华，王成友.视频监控技术的发展与现状［J］.现代电子技术，2006,29（21）：84-88.

［3］ACHA R，PRITCH Y，PELEG S.Making a long video short：dynamic video synopsis［C］//2006 IEEE Computer Society Con⁃ference on Computer Vision and Pattern Recognition v1，New York，2006：435-441.

［4］VU V，BREMOND F，THONNAT M.Automatic video interpretation：a recognition algorithm for temporal scenarios based on pre-compiled scenario models［C］//Proceeding of International Conference on Computer Vision Systems，2003.

［5］BOIMAN O，IRANI M.Detecting irregularities in images and in video［C］//ICCV，Beijing，2005.

［6］解晓萌.复杂背景下运动目标检测和识别关键技术研究［D］.广州：华南理工大学，2012.

［7］屈晶晶，辛云宏.连续帧间差分与背景差分相融合的运动目标检测方法［J］.光子学报，2014，43（7）：213-220.

［8］祝晓斌.面向智能视频监控的异常检测与摘要技术［M］.北京：知识产权出版社，2015：126-129.

［9］汪国强，盖琪琳，于怀勇，等.基于背景差分法的视频目标检测算法研究［J］.黑龙江大学工程学报，2014（4）：64-67.

［10］朱志辉.基于视频摘要生成技术的研究［J］.微电子学与计算机，2006，23（2）：76-78.

［11］代科学，李国辉，涂丹，等.监控视频运动目标检测减背景技术的研究现状和展望［J］.中国图象图形学报，2006，11 （7）：919-922.

［12］张小建，徐慧.基于视频处理的运动车辆检测算法的研究［J］.液晶与显示，2012，27（1）：108-112.

A New Video Summarization Algorithm Based on Frame Difference and Background Subtraction Methods

XIN Hao，LI Lingling
（Department of Computing，Huaibei Vocational and Technical College，235000，Huaibei，Anhui，China）

Traditionally,frame difference method is only suitable to detect videos with huge difference between the pixels of frames while background subtraction method can only be used to detect videos with fixed back⁃grounds.To address such issues，in this work，a new video summarization algorithm combining both frame dif⁃ference method and background subtraction method is proposed.First，when detecting the videos，the pixels of two adjacent frames will be detected.If no moving object is detected，background models will be further compared and detected.Experiments show that this new algorithm has good performance to summarize both moving and stationary videos.It can not only fast but also accurately extract the key information of the detect⁃ed videos.

video summarization；motion detection；frame difference；background subtraction

TP 391.4

A

2095-0691（2017）02-0064-05

2017-03-30

安徽省淮北市科技攻关计划项目（20140209）；安徽省自然科学研究重点项目（KJ2016A653）

辛 浩（1982— ），男，安徽淮北人，讲师，研究方向：计算机软件开发及应用.