基于车辆特征的关键帧提取方法研究

王正玉,李 勃,张明辉,欧玉荣（昆明理工大学 信息工程与自动化学院，云南 昆明650051）

随着网络和多媒体技术的飞速发展，视频得到了广泛应用，其数量迅速增加。为了方便对这些数据进行有效的索引和管理，视频检索技术得到广泛的研究,其中，就需采用有效的镜头分割和关键帧技术。利用关键帧技术对视频数据库进行有效的快速查询、检索和浏览，可以大大减轻工作量。

关键帧是镜头中最重要、最具代表性的图像帧，它反映了一个镜头的主要内容。针对关键帧这些特点，关键帧的提取有两个基本要求[1]：一方面必须反映镜头中的主要事件，即描述要尽可能准确和完整；另一方面要求数据量小，即计算不能太复杂。当前一般采用的关键帧选取原则较为保守，即“宁错勿少”，这样在保证完整地描述一个镜头内容的同时造成了大量的冗余。为解决这一问题，本文针对交通监控视频中相关车辆的检索，提出一种基于车辆自身特征的关键帧提取方法，此算法有效地避免了冗余。

1 常用的主流关键帧提取方法

目前的关键帧提取方法依据是否基于压缩域可分为非压缩域和压缩域方法，依关键帧来源可分为关键帧重组和关键帧提取，其中，关键帧提取是目前主流方法。典型的关键帧提取算法主要分为四类：(1)基于镜头边界提取关键帧[1]，该方法将镜头的首帧和尾帧作为镜头的关键帧，简单易行，关键帧数目确定,但是效果不稳定。(2)根据相邻帧间的距离提取关键帧。若距离大于某个预先设定的阈值，则产生一个新关键帧。该方法较为灵活，但只对相邻帧进行距离计算。容易漏检，且对于重复画面多的镜头容易产生冗余。(3)基于运动分析的方法，例如WOLF[2]的光流法，分析计算镜头中的运动量，在其局部最小值处选取关键帧，反映了视频数据的静止，该方法所需计算量较大，时间效率降低，WOLF方法中的局部最小值也不一定准确。(4)基于聚类法提取关键帧，其基本思想是首先从一个初始化的聚类出发，将样本集中的每个元素分配给某个聚类，以达到系统或用户的要求，这种方法效果较好，但是比较复杂，实现起来有一定的困难，而且计算量较大。

2 改进的针对于车辆检索的关键帧提取方法

改进的针对于车辆检索的关键帧提取方法的主要思想如下。

(1)在镜头分割完毕的基础上，选取镜头的第一帧、中间帧和最后一帧作为候选关键帧。

(2)对选取的关键帧进行简单的预处理操作，如图像平滑等。由于通过CCD摄像头采集视频图像的过程中容易受到摄像头、视频采集卡、天气、人为干扰、车辆的颠簸抖动等因素的影响，图像中往往会出现一些不规则的随机噪声。采用适当的方法降噪，可以明显提高对运动车辆的检测率和识别率。例如，本文采用中值滤波[3]处理图像后，可以有效地去除不规则的噪声点,如图1所示。

(3)物体的形状特征对物体的识别有重要作用[4]，本算法采用对校正后的图像进行圆检测[5]方式，识别带有车辆的图像。

对于圆检测，本算法首先想到的是利用圆的几何性质:圆周上任意两条不平行弦的中垂线相交点即为圆心,每次同时选取不在同一条直线上的 3个点 (x1，y1)、(x2，y2)和 (x3，y3)来确定一个圆，圆心坐标可由这 3个点的坐标获得。原理如下：

①用S代表所截取的待检测的图像中的所有边缘点的集合。从S中随机选取不在同一条直线上的3个像素点确定一个圆。本文通过减少随机采样点数来解决这个问题。考虑到一个边缘点的八邻域像素，如果边缘点数目少于3个，认为这个点就是无效采样点。设随机采样的前 两个 点为 s1（x1，y1）、s2（x2，y2），且使 s1s2≥T，其中T为一个设定的阈值。s3（x3，y3）则从 s1s2中垂线的一端去搜索，这样做是为了减少待检测圆的搜索次数。

② 由 s1（x1，y1）、s2（x2，y2）和 s3（x3，y3）这 三 点 确 定 的候选圆的圆心(a1，a2)与半径r为：

③ 确定完候选圆以后，任取一个特征点 si(xi，yi)，该点到圆心的距离与侯选圆半径r的差值为:

设 δ为判别点到圆靠近程度的阈值，若 dd＜δ，则 si点在这个圆上。下一步就是对在这个圆上的边缘点进行累计计算。

为了减少计算量，考虑到圆必定在其外接正方形之内，所以不必对外接正方形之外的那些像素进行计算，可以减少大量的计算时间。取边缘厚度为一个较小数t，对于边缘点 s 中的点 si(xi,yi),若满足 xi＞a1+r+t、xi＜a1-rt、yi＞a2+r+t或 yi＜a2-r-t中任意一个，则不必计算该点到圆心的距离di，而是继续对下一个边缘点进行计算判定。假设初始化计数器为M，集合中最少点数为m，S中的点数为n，真实圆的阈值为 Mmin，边缘厚度为t。检测到的真实圆的个数为j，并初始j=0。该算法的具体描述如图2所示,实现的结果如图3所示。

3 实验结果与分析

为了检测本算法的效果，分别设计了4组测试实验，每组所涉及的含有车辆关键帧与不含有车辆关键帧数量各不相同，呈递增状。其中，每组实验中所用的含有车辆关键帧里，尽量选用具有不同车型车辆的关键帧作为测试用例，以达到涵盖各种情况的目的。实验结果如表1所示。

表1 实验结果数据

实验结果表明，将本算法应用在交通视频中有关车辆的关键帧提取方面错误率低、冗余度小且遗漏程度很低。本算法针对车辆自身特征对带有车辆帧的提取达到了令人较满意的效果。本算法中还可以灵活地加入车辆的其他特征(如车牌等)，以取得更好的效果。

为了解决交通视频中有关车辆的关键帧提取问题，本文提出了一种基于车辆自身特征的关键帧提取方法，即基于圆检测的车辆关键帧提取法。实验结果表明该方法切实可行。由于实验中选用的车辆图片以正侧面为主，与现实中任意方位角的车辆相比，还只是较特殊的一类，若要实现任意方位角的车辆帧提取，还要添加一些其他车辆特征，或者实现对图片中车辆倾斜角的矫正等，以达到显示图中车辆正侧面的效果。要使此算法具有普遍性，还需要继续深入研究。

[1]季春.视频检索中关键帧抽取方法的研究[D].南京:南京理工大学，2005.

[2]WOLF W.Key frame selection by motion analysis[C].IEEE Proceedings of International Confenence Acoust，Speech，and Sigal Proc，1996.

[3]王耀南，李树涛,毛建旭，等.计算机图像处理与识别技术[M].北京:高等教育出版社,2003.

[4]王立国.支持向量机多类目标分类器的结构简化研究[J].中国图象图形学报，2005，10(5)：571-574.

[5]XU L，OJA E， KULTANEN P.A new curve detec tion method：randomized Hough transform(RHT)[J].Pattem Recognition Letters，1990，II(5)：33l-338.