基于语义的关键帧的提取

包头医学院计算机科学与技术系 唐思源

基于语义的关键帧的提取

包头医学院计算机科学与技术系 唐思源

关键帧反映了一段视频图像的主要内容，提取关键帧信息对观察者意义重大。本文在总结了风光片特点及用户注意力的基础上，利用镜头类型和运动矢量特征表现了用户关注的焦点，提出了一种基于语义的关键帧提取方法。首先根据P帧运动矢量的幅度和夹角，判断镜头运动的类型；然后分别根据平移运动速度、持续时间及运动矢量的分布等特征提取关键帧。实验证明使用该方法提取的关键帧能较好地反映用户的关注焦点和视频镜头的内容。

关键帧；风光片；用户注意力

1 引言

在收集视频图像的时候，不是所有视频信息都是用户需要的，一些关键的图像信息对整个视频内容起到解释说明作用，从视频图像中提取某一张视频图片，我们称为关键帧，一个关键帧通常可以反映图像帧的主要内容。所以，对视频图像中关键帧的提取也是观察者们研究的热点，因为，本文应用基于语义的方法来提取视频图像中的关键帧。

在国内及国外提取关键帧的方法有很多，但在提取的时候，首先要判断视频的类型，根据类型的不同，可以选择基于镜头边界提取关键帧[1]，基于图像信息提取关键帧[2]，基于运动分析提取关键帧[3]，基于MPEG压缩流的宏块统计特性提取关键帧[4]等。这些方法都有各自的优点，同时在不同类型的视频中，由于采用的拍摄手法、表现内容的方式，以及用户关注焦点的不同，提取关键帧的方法也应该不同。例如在故事片中，存在大物体的运动时用户关注的焦点是该物体，而在风光片中，即使存在大物体运动，用户关注的焦点仍然是背景。如何将用户关注的焦点与关键帧提取联合起来，已经成为当前的研究重点。

2 镜头运动

2.1 镜头运动的类型

镜头的运动可以分为无运动，大物体运动和摄像头运动等三种[5]。无运动是指一个镜头的前景和背景都没有大的变换；大物体运动是指镜头中存在大物体，并且该物体的运动幅度比较大；摄像头运动是指镜头的全局运动发生有规律的变换，镜头的背景变化比较大。在风光片中，摄像头运动模式主要包括摄像头的平移运动和推拉运动。

（1）推拉运动：拍摄者可以通过推近和拉远相机的焦距来观察所拍摄的场景，如果镜头的焦距推近，可以更清晰的观察近距离的场景，仔细的拍摄物体的运动情况，如果想观察更全面的场景，可以拉远镜头焦距，观察更多的物体运动情况，不管是推近还是拉远，每一帧的运动速度和运动矢量都相差无几。

（2）平移运动：当观看全景时，往往采用平移镜头，其中主要的运动方向时左右摇动和上下摇动。当镜头为平移运动时，每一帧的运动速度和运动矢量就有很大差别，根据移动的方向，运动矢量的值也不同，可以通过该值来判断平移的距离及平移多少最适合观察。

（3）大物体运动：在拍摄场景中有大运动对象出现时，例如参观的人群。为了更全面和清晰的拍摄大运动物体，要通过相邻来决定镜头移动的情况，通过镜头重复采集画面，把大运动物体的镜头画面叠加，计算出相邻MB的运动矢量的值，来判断镜头移动的情况，采集视频帧，能更有效的拍摄大物体的运动情况。

3 关键帧的提取

我们根据镜头的运动类型和镜头持续的时间，使用不同的方法提取关键帧[6]。

（1）当镜头运动为无运动时，表明镜头中视频帧的内容几乎没有变化。此时只需要提取一个关键帧，为了计算简单，就选取每个镜头的第一帧为关键帧。

（2）当镜头运动为平移运动时，关键帧提取方法为：首先计算平移运动的速度，平移速度的定义为两个I帧之间宏块的移动位数；然后根据平移速度和镜头的持续时间，确定选取的I帧，再根据镜头的运动方向，将选取的I帧进行合并生成新的图像。该新图像为关键帧。

（3）当镜头运动为推拉运动时，关键帧提取方法为：分别选取第一帧，中间帧和最末帧。

（4）当镜头运动为大物体运动时，镜头的关键帧提取方法为：根据运动矢量的分布，选取背景尽可能多的帧为关键帧。

4 实验结果

为了检测算法的效果，我们从风光片中抽取了运动不同的视频序列进行测试，该视频序列的帧大小是576× 704。我们首先对这些视频序列检测镜头边界，然后根据P帧的运动矢量判断镜头运动类型，在此基础上提取了关键帧。下面给出了部分实验的结果。图1（a）是一个镜头的所有I帧，该镜头存在一个从下向上摇动。其运动速度为I帧之间具有3个宏块的移动距离，持续时间为19个I帧，所得到的关键帧如图1(b)所示。同理，图2表明了存在左右摇动时，从镜头提取到的关键帧。图3表明了存在推拉运动时，分别选取近景、中景和远景三个帧作为关键帧的例子。图4（a）是在介绍尼罗河上的一座桥，图中的人和船只是陪衬，因此选择了图4（b）作为关键帧。实验证明使用该方法提取的关键帧能较好地反映视频镜头的内容。

图1 摄像头上下摇动

图2 摄像头左右摇动

图3 摄像头推拉运动

图4 大物体运动

5 结论

文中针对纪录片的特点和用户关注的焦点，提出了一种基于语义的关键帧提取方法[7]。在平移运动时，提取的关键帧不是某几个帧，而是把不同内容的帧进行合并，用一幅图表示完整的内容。在大物体运动时，不是提取多个关键帧，而是提取背景尽可能多的帧为关键帧。实验证明使用该方法提取的关键帧能较好地反映视频镜头的内容。

[1]A．Nagasaka L．Tanaka,Automatic video indexing and full video search for object appearances,in Visual Database System 1992．

[2]H．Zhang, J．Wu,D．Zhong and S．W．Smoliar, an integrated system for content based video retrieval and browsing, Pattern Recognition,vol．30 no．4, pp． 643-658,1997

[3]W．Wolf, key frame selection by motion analysis, in Proc．IEEE Int．Conf． Acoust,Speech, and Signal Proc．,1996

[4]P．O．Gresle T．S．Huang,Gisting of video documents:A key frames selection algorithm using relative activity measure, in The 2nd Int． Conf．On Visual information System,1997．