论利用结构分析法进行视频检索

2010-12-02李海玉

潍坊工程职业学院学报 2010年2期

关键词：关键帧层次化分析法

李海玉

(潍坊教育学院山工机电工程学院,山东青州 262500)

论利用结构分析法进行视频检索

李海玉

(潍坊教育学院山工机电工程学院,山东青州 262500)

在原有的检索技术的基础上,提出一种基于关键帧技术的结构分析法对视频信息进行检索,并根据结果分析提出了其应用前景。

视频检索;关键帧;结构分析法

1 研究背景

随着网上资源的剧增,人们检索资料越来越麻烦。现在大部分网站提供的检索方法主要是搜索引擎,在搜索引擎处输入要搜索的文字描述,查找所需要的内容,即文字检索。面对日渐庞大的图像、视频多媒体信息,仅仅依靠搜索引擎来检索是不现实的。为了提高视频的检索速度和效率,科学家们不断研究新的方法来适应飞速发展的视频检索技术的需要。本文将先对传统的几种检索方法进行简要的说明,分析其局限性,并提出利用结构分析法进行视频检索的方法。

1.1 基于文本的图片检索

最初的检索方法是先为图片库里的每幅图片进行注解,用户查询时,提交一个文本,文本的内容就是对要查询的图片的详细说明。这种方法在初期视频库的内容较少时基本可以满足用户的要求。但是随着视频库容量的增加,光靠文字说明图片和视频的特征是很不现实的,而且在检索的时候很难准确地找到所需要的材料。要检索一段特定的视频 (如世界杯的精彩进球镜头),仅仅利用文字特征进行描述就显得力不从心了。在此基础上,人们想到了是否可以根据图片或视频本身的特征进行检索。

1.2 基于内容的图片检索

内容主要包括图像的颜色、形状和纹理。

1.2.1 颜色特征是图像最直观、最明显的特征,一般采用直方图来描述基于颜色特征的检索。但颜色特征不能反映图像的空间特征,有很大局限性。

1.2.2 采用基于形状特征进行检索的时候,用户可以通过勾画图像的形状或轮廓,从图像库中检索形状相似的图像。利用这种方法也会产生一些误差。如查找意大利的地图,结果可能会搜索到一双靴子的图形。

大学生心理健康档案，记录大学生个体在社会适应过程和在校学习生活过程中的心理活动状态及其发展、变化情况。建设大学生心理健康档案建设途经有多种，但主要的有以下几种。

1.2.3 图像还可以看成是不同纹理区域的组合,纹理描述的难点在于它与物体的形状有密切的关系,需要考虑粗糙性、方向性和对比性三种特征。

1.3 对视频信息的检索

视频信息在时间上是连续的,画面是运动的,视频检索要求在大量的视频数据中找到所需的视频片段,而视频信号和很多参数有关,信息量大,因此视频检索非常困难。现在的视频信号检索,主要是运用基于内容的多特征的检索方法,用户在检索的时候,提供给系统想要查找的视频的一些特点,如镜头的主色调、镜头的运动特点等,计算机根据这些特点查找出相应的视频素材。

针对以上检索方法的局限性,本文提出了一种新的方法,即用结构分析法对视频信号进行检索。为了改变多媒体数据浏览和检索的这种状态,必须将无序的多媒体数据有序化(即先对所有的视频帧进行聚类,得到视频的分层结构,把视频信号的单元按照从大到小的顺序进行有序的排列),让用户能随时检索到想要的多媒体数据,让多媒体信息能自动地适应环境,快速地检索,并在网上迅速、可靠地传送,从而提高检索的效率和速率。

2 关键帧技术

关键帧就是用于描述一段视频的关键图像,它反映了视频的主要内容,因此被称为关键帧或代表帧。在基于内容的视频检索中,关键帧可以作为静态图像处理,也可以用于视频浏览,以决定用户要查找的基本内容。由于一般情况下,一个镜头的持续时间较短,而且镜头内的视觉特征基本保持不变,因此用关键帧来表示一个镜头更有意义。视频的关键帧可以用一组镜头的关键帧来表示,也可以将视频中所有镜头的关键帧的统计直方图取平均,选择与该平均直方图最接近的镜头关键帧做为视频关键帧。

3 结构分析法

由于视频的时态特性和层次化结构,浏览也是层次化进行的,这样可以适当减少浏览的内容。浏览的一般方法是将视频的所有镜头代表帧按顺序排列在屏幕上。但一段具有完整故事情节的视频包含许多镜头。如一段15分钟的影片一般要包含几百个镜头,一部电影有1个至2个小时,则可能包含上千个以至更多的镜头。如果将所有镜头的关键帧顺序排列在屏幕上,浏览将会费时费力,由此提出用层次化的浏览方式。首先初步定位查找的视频内容,浏览视频段的内容;二是对于某段视频内容,浏览它的场景代表帧;三是浏览场景下的镜头代表帧。这样,就可以逐步缩小浏览范围,而不至于一开始就在众多的镜头关键帧中寻找。

假设一个包含很多电影的视频库,首先可以按照电影的拍摄年代、基本类型(如武打片、言情片、战争片等)等加以分类,对于具体的类型,就可以按照层次化分析。

(1)视频层：是指视频库中相互独立的视频基本单元,如电影视频库中的一部片子等。视频层将视频库中的每一段视频用一个典型图像帧来表示,类似于电影广告中的宣传片,再配合视频标题如电影名称来表现。

(2)场景层：是指视频层下的一个完整的故事单元,场景层可以通过场景关键帧小图标来表现。

(3)镜头层：是用于浏览的最小单位,关键帧反映了一个镜头的内容,一般用镜头关键帧小图标来表现。

每一层的一个单元可用小图标形式显示在屏幕上供用户浏览。用户首先粗略地浏览视频层,确定是否有想要的视频。如果有,则进一步浏览该层下的具体的场景层,然后可从场景中浏览镜头关键帧层以及整个镜头的内容,以用来最后决定该镜头或关键帧所表示的内容是否是其所需要的视频。这种层次化的浏览方式可用图1来表示。

图1 顺序的层次化

4 流程图、计算机模拟结果及分析

4.1 流程图

为了把视频段结构化,设计流程图见图2：

图2 计算机模拟的部分流程图

4.2 模拟结果显示

本文在进行实验模拟时采用的是《平安事务所》的视频片段,共有16个帧画面,4个镜头,3个场景,对该段视频进行结构分析,并对每个镜头和场景提取关键帧并进行分层显示该视频段的结构,可以得到以下的显示结果,如图3所示。

图3 分层显示视频段的关键帧的视频结构图

4.3 结果分析

当采用本文提出的方法检索视频素材时,要想得到第九幅画面,只要从三个场景层中找到相应的关键帧,就可方便快捷地从视频库中找到所需要的视频帧。如果采用逐帧查找的方法,就需要对16幅画面分别进行提取特征,然后再和想要的画面进行比较。如果用户还想从该素材库中查找另外一个持枪的镜头,如第五帧,由于该素材库己经建立了从上而下的视频层次化结构,因此可以直接从场景层中找到该镜头的关键帧,迅速找到所需的画面,大大提高了检索的速度和效率。通过实验可以得到,利用结构分析法进行检索时,查准率一般可达90%以上,检索效率也大有提高。