基于关键帧的教学视频检索系统设计

黄兰英，张凯兵，叶从欢

(湖北工程学院 计算机与信息科学学院, 湖北 孝感 432000)

基于关键帧的教学视频检索系统设计

黄兰英，张凯兵，叶从欢

(湖北工程学院 计算机与信息科学学院, 湖北 孝感 432000)

针对目前教学视频检索系统的不足, 设计并实现了一种基于关键帧的教学视频检索系统。同时，介绍了该系统采用的关键技术, 并对系统进行了测试和验证。实验结果表明，本系统能满足应用要求。

关键帧检索；颜色特征；相似度；教学视频

随着多媒体技术和网络技术的迅猛发展，高等院校大量教学视频不断涌现，教学视频的有效管理与再利用的效率不高，常用的教学视频资源的检索采用基于关键词或文本的检索方式(如通过制作节目标题或制作时间以及拍摄地点等字段进行检索)。由于教学视频是非结构化的，教学视频内容丰富，基于关键词或文本的检索方法已不能满足用户对视频资源的检索要求。对海量教学视频资源进行建库、组织，从而快速、有效地检索需要的视频资源,成为教学视频资源利用中迫切需要解决的问题[1-2]。

本文在文献[3-5]的基础上，设计了一个基于关键帧的教学视频检索系统，该系统采用基于互信息量的关键帧抽取方法，采用颜色信息作为关键帧特征，并通过简化的直方图距离进行相似性计算。在查询检索时，提供了结合关键字和关键帧的视频检索手段。

1 教学视频检索系统的总体架构

本文设计的基于关键帧的教学视频检索系统主要由视频关键帧处理子模块、数据库和视频检索子模块组成，系统结构如图1所示。

图1 教学视频检索系统

在视频关键帧处理子模块中，运用镜头检测、关键帧抽取、特征提取等技术对视频数据进行预处理,并建立视频特征索引；视频检索子模块采用基于关键字和基于关键帧相结合的方法来描述用户的检索，该模块主要完成视频特征索引、特征相似度计算与匹配，并根据相似度进行结果排序后提交给用户；数据库中的视频特征库主要包括内容特征(底层特征)和视频外部信息特征(高层特征)，其中视频外部信息的描述采用了手工标注和自动标注。系统的整个查询过程是：用户提出查询条件(如关键字、关键帧的图例或特征)→系统根据用户输入的条件，通过索引，与特征库中的特征进行相似度匹配→定位到具有相似特征的原始视频数据库(或关键帧库) →返回查询结果→完成查询或进行下一轮查询。

2 系统主要组成部分的设计与实现

2.1视频关键帧抽取

关键帧是用于描述一个镜头的关键图像帧，它反映了一个镜头的主要内容, 是建立视频索引的基础，关键帧的使用可以大大减少教学视频索引的数据量，提高检索速度和传输速度，节省存储空间[4,6-7]。关键帧提取首先通过镜头边界检测技术将视频流分成不同的镜头后，然后通过相应的算法从每个镜头中提取一幅或多幅关键帧，对于描述镜头的内容起到决定性的作用。因此,对于基于内容特征的教学视频检索，其核心是关键帧的提取，直接影响到检索系统性能的优劣[4,6-7]。典型关键帧的提取法有:(1)基于镜头边界的方法。该方法实现起来比较简单，关键帧的数量都是确定的(1帧或2帧)，但是效果不稳定[4,6]。(2)基于视觉内容的方法。该方法可以根据镜头内容的变化程度选择相应数目的关键帧，但所选取的帧不一定具有代表意义，容易选取过多的关键帧[4,6]。(3)基于运动分析的方法。这种方法根据镜头的内容选择相应数目的关键帧，实现起来难度和工作量都比较大[4,6，8]。(4)基于聚类的方法。该方法中关键帧数由类别数决定，而类别数又取决于指定的阈值，阈值的选取对关键帧的提取结果影响较大，且计算复杂度比较大[4,6,9]。

针对上述关键帧抽取的特点，本文在基于文献[7-8]和[10]方法的基础上，采用了一种基于互信息量的关键帧提取方法，该方法的主要思想是: 以连续两帧中的互信息量来衡量两帧图像之间的相似程度，并结合聚类方法，根据视频镜头序列的具体特点，为每个视频镜头提取出一个或多个关键帧。

给定图像A和B，互信息量定义为：

I(A，B)=H(A)+H(B)-H(A,B)

(1)

由式(1)可知互信息量I(A，B)表示两帧相互包含对方的信息量，其中,H(A)和H(B)分别为视频帧A和B的熵,H(A,B)为二者的联合熵。当I(A，B)=0时，意味着A，B相互独立，I(A，B)值越大，表明两图像的相似性程度越高。对于相邻的连续两帧, 分别独立的计算其RGB三个分量的互信息量。由公式(1)可知, 相邻图像帧t,t+1在R分量上的互信息量可以表示为:

图2 教学视频片段的关键帧抽取

(2)

则图像t,t+1 之间总的互信息量可表示为:

(3)

其中pA(a)和pB(b)分别表示视频帧A和B中概率密度分布,则pAB(a,b)表示视频帧A,B的联合概率密度分布。

关键帧提取算法思想如下：

1)获取的视频相邻帧间的互信息量I(t,t+1)；

2)初始化阈值threshold1划分类,即相邻帧互信息量I(t,t+1)I(t，t+1)I(t,t+1)< threshold1，则开始新的类；

3)计算每个类的平均互信息量；

4)根据阈值threshold2归并类；

5)选择各类中互信息量最接近该类的平均互信息量的帧作为候选关键帧。

如图2所示是教学视频片段采用互信息量抽取关键帧的结果情况(视频素材是从教学视频库随机选取)。

本文针对互信息量关键帧抽取法的性能进行了测试(见表1)，表1中实验数据有故事片断、新闻片断、科教片断、动画片断等，视频格式为MPEG和AVI。

表1 实验测试结果

表1的测试结果表明，利用该关键帧提取法提取的关键帧能较好地表示教学视频内容，数据处理计算量小,但方法的不足之处在于阈值threshold2的选取需要经过人工调试。本文设计的阈值threshold2=0.4。

2.2特征提取

一般视频中的帧图像特征包括基于文本的特征(如关键字、注释等)和视觉特征(如色彩、纹理、形状、对象表面等)两类，本文的特征提取主要是对关键帧的颜色视觉特征提取，并将提取的特征存入特征数据库，供用户查询检索；检索时依据示例视频帧的特征和数据库中的视频特征相比较，在设定的相似度内搜索出所有符合条件的视频。本系统采用的是颜色特征和RGB模型， 其中颜色直方图统计如公式(4)：

H(k) =nk/N，k= 0,1,……,L-1

(4)

其中k代表帧图像的特征取值，L是颜色取值范围，nk是帧图像中具有特征值为k的像素的个数，N是帧图像像素的总数。这样计算得到的颜色直方图就是一个K维的特征向量,对帧图像中所有像素的颜色取值所作的统计[3-4,6]。

2.3基于关键帧的检索

视频被抽象为关键帧后，教学视频的查询就变成按照某种特征的相似度来检索视频数据库中与查询描述相似的关键帧或视频；在视频检索子模块中,本文采用了基于关键字和基于关键帧相结合的方法来描述用户的检索要求。该子系统包括用户查询模块和相似性匹配模块。基于关键字或文本的检索方法采用关键字或文本的精确匹配，而基于关键帧的检索则通过计算查询关键帧图像(视频摘要)和候选图像(视频库)之间在视觉特征上的相似度进行匹配[3-4]。相似性匹配采用公式(5)中的欧氏距离来衡量帧特征之间的相似度[3-4,6]。

d2(x,y)=(x1-y1)2+(x2-y2)2+…+(xn-yn)2=(x-y)T(x-y)

(5)

其中x和y为图像特征向量，n是特征向量的维数。

用户查询模块根据用户的查询条件，由系统完成视频特征与用户提交的特征的相似度进行特征匹配，并根据相似度进行结果排序后提交给用户，如检索到关键帧，用户就可以利用播放器来观看它所代表的视频片断。

图3显示的是检索出相似视频的部分搜索结果(截图了前4个相似视频，显示的结果按照相似度由大到小排列，检索结果包括视频的相似度、视频大小、视频格式等)。

3 小结

本文设计了一个基于关键帧的教学视频检索测试系统,该系统由前、后台程序构成；前台分别采用ACCESS和ASP(Active Server Pages)编写，后台用Visual C++来完成,负责对视频进行结构化、提取关键帧和特征，并存入数据库；在提取视频的内容特征时,系统把每段视频的若干关键帧生成一个视频摘要存放在数据库中；在检索结果显示界面,把相应的摘要视频提供给用户浏览。实验结果表明，教学视频系统的采用关键帧的检索较为准确，能够满足应用要求；不足之处是实验数据毕竟有限，所设定的关键帧抽取阈值没有经过海量数据的验证，因此不能对视频动态细节进行精确表述，系统的可靠性有待进一步提高。

图3 基于关键帧的部分视频检索结果

[1] 冯运生.基于内容的视频检索技术及教学应用研究[D].新乡:河南师范大学,2008.

[2] 刘俊晓,孟祥增.视频的内容分析与检索技术及其教学应用[J].现代远距离教育，2006(5):24-26.

[3] 郭威.基于内容的视频检索中关键帧提取方法的研究及实验系统的开发[D].吉林:吉林大学, 2003.

[4] 季春.视频检索中关键帧抽取方法的研究[D].南京:南京理工大学,2005.

[5] 柯和平. 基于内容检索的视频数据库系统研究[J].计算机与数字工程, 2007(5):69-72.

[6] 杨华芬,郑欢鸣. 基于内容的视频关键帧提取技术研究[J].福建电脑,2010(5):49-52.

[7] Huang L Y, Ye C H. Application of mutual information key frame extraction method in the teaching video retrieval[C]//Proceedings of International Conference on Multimedia Technology, 2011.

[8] 黄兰英.一种基于互信息量的关键帧提取方法[J].孝感学院学报,2008(3):54-56.

[9] 潘晓英,王昊. 一种基于核聚类的关键帧提取方法[J].微机发展,2005(3):29-31.

[10] 陈赞,杨卫英，张正军.基于互信息量的关键帧全局优化提取方法[J].电视技术,2011(7): 6-28.

(责任编辑：张凯兵)

ResearchandImplementationofTeachingVideoRetrievalSystemBasedonKeyFrame

Huang Lanying, Zhang Kaibing, Ye Conghuan

(SchoolofComputerandInformationScience,HubeiEngineeringUniversity,Xiaogan,Hubei432000,China)

Considering the limitation of the existing teaching video retrieval systems, this paper develops and implements a teaching video retrieval systems which is based upon the detection of key frames. In addition, it introduces the key technologies of the system, tests and validates the performance of the system. Experimental results showed that the developed system could meet the requirements of applications.

key frame retrieval；color feature；similarity；teaching video

TP391.41

A

2095-4824(2013)06-0052-04

2013-10-09

湖北省教育厅项目(B20122604,Q20132705)

黄兰英(1973- ),女,湖北孝感人,湖北工程学院计算机与信息科学学院副教授，硕士。

张凯兵(1975- )，男，湖北孝感人，湖北工程学院计算机与信息科学学院教师，博士。