基于主颜色和纹理特征的TS模型匹配方法*

冯自星,覃团发，岳晓峰，陈跃波

(广西大学 计算机与电子信息学院，广西 南宁530004)

随着视频处理技术的日益成熟，越来越多的视频匹配技术，充分应用于在医学、电视广播系统等领域，极大改善了数据库中多媒体视频的大量重复现象，为网络数据库的绿色化提供了技术支持[1]。由于视频数据量相当大,因此对匹配过程中的具体指标有相当严格的要求。

近年来，针对视频识别的算法层出不穷，但大致都是单纯基于运动特征或是单纯基于内容的识别方法。对于视频中存在的若干部分的非纹理帧的现象,参考文献[2]提出一个有效的视频帧登记策略，并设计修改了两帧强度的匹配算法。该算法具有良好的性能，可处理包含若干部分非纹理帧的视频。但是使用估计值造成运算结果中存在大量误差。对于视频处理的实时性，参考文献[3]提出一种方法，能快速匹配长视频流，或者在长视频流中快速找到一个相对较短的视频序列。该方法解决了视频匹配的实时性问题，但对于视频的配准率仍有所欠缺。参考文献[4]则把每幅图像预先划分成纹理和非纹理区域,这种方法针对不同纹理区域采取相应的措施，增加了整个过程的效率，提高整体性能,不足之处在于只能匹配内容相近的视频,无法确定是否为同一视频。

本文提出一种基于主颜色和纹理特征的TS（Telescopic Shot）模型匹配方法，该方法忠实于视频的内容，利用视频关键帧的主颜色和纹理特征来进行部分视频帧的图像匹配。采用TS改进模型描述各个镜头与视频处理算法的对应关系,提高了视频图像匹配的效率，同时也对相近视频和同一视频进行了分类处理。

1 颜色特征与纹理特征

颜色特征是图像匹配的基本依据，提取颜色特征的方法主要有主颜色的直方图、颜色矩、颜色集等。比较常用的是颜色的直方图方法，该方法主要针对全局颜色的数量特征进行统计，得到颜色的直方图，并反映出颜色的统计分布和基本色调。颜色直方图包含某种颜色的频率，抛弃了该色素所在的空间位置，因此计算量更少。

纹理特征是一个图像匹配很好的方法，它不依赖于图像的颜色和亮度。常见的纹理特征提取方法是灰度共生矩阵纹理特征提取以及基于小波变换的特征提取，灰度共生矩阵主要是把图像的灰度值通过计算转化成纹理特征。小波变化则是对时间以及频率进行局域性的变换，具有分析多分辨率的特点。

2 TS模型算法

TS模型适合镜头切换速度比较快、数量比较多的视频。算法采用依次的镜头匹配实现其可伸缩性的特点。对于已经完成的N个镜头匹配，判定是否有决定性匹配，若没有则对下一镜头进行匹配，直至完全匹配为止。其算法的计算量很小，目的就是判定目标视频与源视频是否为同一视频。

3 TS改进模型描述

对于网络数据库中的海量视频，算法复杂度是算法处理的难点。对于一些毫不相关的视频内容，可以采用一个简单的算法进行识别和过滤，避免浪费数据处理的时间。为此，针对TS模型算法，本文提出了改进算法，图1所示为对视频的关键帧进行粗、细匹配相结合的比对。

对视频所作的第一步处理是进行视频镜头分割，每一个镜头提取关键帧，对该关键帧和目标视频的首镜头关键帧进行图像匹配，然后依次对后继镜头进行关键帧匹配，如图2所示。

4 TS改进模型的匹配算法实现

4.1 镜头分割

镜头检测算法在镜头分割技术中的地位很重要，对于传统的镜头算法，最难以描述的就是视频镜头切换较快而且无规律,如NBA中的比赛录像，前后镜头内容变化量很大。对于这种视频，采用参考文献[5]提出的镜头边界检测算法进行分割。

通过对视频中各帧图像的灰度强度的熵信息进行运算分析，找到信息变化量巨大的帧，选取为镜头的边界帧。设X是一个离散的随机变量，Ax表示一系列事件{y1,y2,…,yn}，Px表示相关概率。

图3所示为通过镜头检测处理得到的各帧的熵变化。实验证明，采用此方法得到切割镜头的查准率达到97.8%，查全率达到99.3%。

4.2 关键帧的选取

关键帧的选取有多种算法，通常将镜头首帧作为关键帧及将变化量大的帧作为镜头的关键帧等。本实验采用二者相结合的方法来确定关键帧，既在处理过程中减少了视频内容的冗余量，也为后面的粗匹配做良好的准备。

4.3 特征提取

提取颜色特征首先将RGB空间转化为HIS空间（Hue、Saturation、Intensity），其中 H 代表色调，S 代表色饱和度，I代表亮度。将3个颜色分量表示成一维矢量，再计算其直方图作为颜色特征，然后返回颜色直方图特征向量。

纹理特征提取方法是基于灰度共生矩阵纹理特征提取，所用图像灰度级均为256。将各颜色分量转化为灰度，为了减少计算量，对原始图像灰度级压缩，将Gray量化成16级，计算4个共生矩阵 P,取距离为1，角度分别为 0°、45°、90°、135°。对于每个固定的值，Markov 随机场都可以简化为一阶的马尔可夫过程,即马尔可夫链。

如果{Xt|t=1,2,…}是马尔可夫链，则随机变量Xt满足马尔可夫性质：

最后对共生矩阵归一化，对共生矩阵计算能量、熵、惯性矩及相关4个纹理参数，求出能量、熵、惯性矩及相关的均值和标准差作为最终的八维纹理特征[6]。

4.4 视频粗匹配

(1)提取压缩视频的关键帧(此时关键帧选取为镜头第一帧），对数据源目标视频首帧进行图像匹配，对关键帧的相似度进行比对。

(2)若相似度＞80%，则认为该视频和源视频处于同一视频情景内，继续进行操作，转接到细匹配。

(3)若相似度＜80%，则继续对后继镜头头帧进行匹配，转到步骤(2)。

(4)匹配结束，返回失败提示。

4.5 视频细匹配

运用TS模型进行视频的细匹配。将首镜头的关键帧所提取的内容信息（即主颜色以及纹理特征）进行匹配，若相似度＞80%，则认为该镜头匹配，继续将第二个镜头所得到的关键帧进行图像匹配，以此类推，直至达到镜头数量的阈值为止，此阈值为自适应阈值。根据经验值，在镜头总数＞200时，一般在总镜头数量的二分之一为宜，然后通过比对剩余镜头数量即可得到细匹配的效果。若镜头数很小，则自动执行至终镜头。在得到源视频和目标视频匹配的同时，可以将匹配的帧数放宽到源视频帧数的90%，最后得到的视频即为源视频的相近视频，并对匹配视频和相近视频做统一分类。通过这样的顺序匹配，配合TS模型的自动伸缩性阈值，既可以减少视频的运算量，又可以保证基于内容匹配的精确度。

5 实验结果与分析

本实验选用360个完全不同类型的长短视频进行多次匹配，包括大量的、变化巨大的广告视频以及NBA比赛视频等，镜头数量在160～2 500不等。

通过实验证明，基于主颜色和纹理特征的图像匹配应用到视频匹配中，提高了视频匹配的查准率和查全率。相对于基于运动特征的视频匹配,提高了约20%，如图4所示。其中曲线y1表示结合主颜色和纹理特征的TS模型匹配算法，曲线y2表示单纯主颜色的视频匹配，曲线y3表示单纯纹理特征的算法，曲线y4表示传统的基于运动特征的视频匹配。从实验结果可以看出，本文算法得到的查全率明显优于传统的基于运动特征的算法，比基于单一特征的算法更为精确。另外，由于应用TS模型算法大大降低了计算量，从计算复杂度方面衡量，本文算法比其他三种算法降低约45%。

本文提出一种基于主颜色和纹理特征的视频匹配方法，不但将基于内容的图像匹配应用到视频中来，提高了视频内容的查全率和查准率，而且应用TS模型改进算法，更有效地降低了视频处理的计算量。本文算法较传统的基于运动特征的视频匹配算法精确率明显提高；较基于内容的视频匹配算法，精确度更高，计算量也降低高达45%，通过大量的实验验证，具有一定的通用性。

[1]陈秀新,贾克斌,邓智玭.融合时序特征和关键帧的视频检索方法[J].电视技术，2011， 35（03）：21-24.

[2]JIANCHAO Y.Alignment of non-texture video frames using kalman filter[C].IET Computer Vision,Jan,2011：77-85.

[3]PRIBULA O,POHANKA J,et al.Real-time video sequences matching using the spatiotemporal fingerprint[C].IEEE Mediter-ranean Electrotechnical Conference,2010.

[4]ABDOLLAHIAN G，BIRINCI M,et al.A region-dependent image matching method for image and video annotation[C].IEEE International Workshop on Content-Based Multimedia Indexing,2011.

[5]BABER J,AFZULPURKAR N,et al.Shot boundary detection from videos using entropy and local descriptor[C].IEEE International Conference on Digital Signal Processing,2011.

[6]薄华,马缚龙.图像纹理的灰度共生矩阵计算问题的分析[J].电子学报， 2006，34(1)：155-158.