基于关键帧颜色和纹理特征的视频拷贝检测

2012-03-15陈秀新贾克斌魏世昂

电视技术 2012年15期

陈秀新，贾克斌，魏世昂

(1.北京工商大学计算机与信息工程学院，北京100048;2.北京工业大学电子信息与控制工程学院，北京100124)

随着数字视频采集设备的普及以及宽带网络的发展，海量的数字视频正在产生与传播。网络视频内容飞速膨胀，对人们的生活和娱乐方式产生了重要的影响，对数字视频的版权保护也提出了新的挑战。网络上的视频可方便地进行复制和传播，对其版权进行有效的保护迫在眉睫。因此，近年来，包括视频拷贝检测在内的基于内容的视频检索技术成为多媒体信息处理领域和模式识别领域的学者们研究的热点。从2001年开始，美国NIST(National Institute of Standards and Technology)每年都主办针对大规模视频检索的国际评测会议，即TRECVid，视频拷贝检测是该会议中的一项重要评测内容［1］。

近年来，视频拷贝检测技术取得了一定的进展，但还有很多问题有待解决。文献［2］提出了基于图的拷贝检测，文献［3］提出了基于局部线性嵌入的视频拷贝检测方法，但都没有充分利用视频的颜色特征。关键帧的颜色特征在关键帧内容表达上具有至关重要的作用，也是基于内容的图像和视频检索中使用最多的特征之一。颜色直方图因为固有的平移、旋转和缩放不变性得到了广泛的应用。最准确的颜色直方图是针对图像的RGB真彩色进行统计，但这种方法计算量太大。另外，图像在存储、传输、处理过程中，难免会有颜色值的轻微变化，上述方法对这种变化非常敏感，因此不适用于视频拷贝检测应用。由于HSV颜色空间能较好地反映人眼对色彩的感知和鉴别能力，同时又能够方便地同RGB颜色空间进行转换，现在很多的方法都把图像转换到HSV颜色空间，然后对H，S和V 3个分量分别进行量化，从而减少颜色数量，且对颜色的轻微变化具有了一定的稳健性，如文献［4］和［5］。但这种量化方法使得量化边界附近的颜色值对颜色变化仍然非常敏感。另外，文献［6］提出了融合曲波变换和颜色直方图的图像检索方法，其颜色量化方法将三维颜色值转换为一维信息，导致图像颜色信息有较大的损失，势必影响最终的检索结果。此外，纹理也是关键帧的重要特征之一，灰度共生矩阵就是一种通过灰度的空间相关特性来描述纹理的常用方法［7］。

针对以上问题，本文在HSV颜色空间各分量量化基础上，通过求相邻量化区间直方图值的和，构造了一种三维颜色量化直方图，有效增强了算法对于颜色微变的稳健性;同时，提出了用于匹配的三维直方图相交方法。为了进一步提高视频拷贝检测的准确度，有效过滤不相关的视频，使用灰度共生矩阵的角二阶矩和熵来进行进一步检测。

1 算法原理

首先，将视频中具有相似内容的图像帧划分到一个子片段中，并在每个子片段中提取一个关键帧。然后，分别提取关键帧的颜色特征和纹理特征，通过关键帧颜色和纹理特征的匹配来检测到具有相同内容的视频片段。

1.1 视频子片段划分和关键帧提取

通常来说，视频是由若干个镜头经过后期处理，穿插在一起构成的。在一段视频中，经常会有若干个镜头具有相似的画面，如果用镜头分割方法，这些画面会被分成多个镜头，从而会出现多个关键帧，这无疑会增加后续关键帧处理的计算量。因此，本文将具有相似内容的帧划分到一个子片段中，从每个子片段中提取一个关键帧，从而大大减少了关键帧的数量。

子片段按照文献［8］所述方法进行划分。简要介绍如下：

首先，将视频中的所有帧按照2×2的方式分成4个相同大小的子块，并计算每个子块的灰度均值。然后，将对应子块灰度均值差小于阈值的子块数目大于等于2的帧划分到一个子片段。划分完毕后，将帧数小于5的子片段和其相邻的子片段合并。

关键帧的选取采用直方图最近邻法。分别计算每个子片段中视频帧的平均直方图，选取直方图和平均直方图最接近的帧作为关键帧。

1.2 视频关键帧颜色特征提取与匹配

在颜色量化过程中，选择合适的量化颜色数目和量化方法是其中的关键。一般来说，量化颜色数目越多，量化后的图像对颜色的分辨能力就越强，但是量化颜色的数目过多不仅会增加计算的复杂度，也会对颜色的微变过于敏感。对于基于内容的视频拷贝检测来说，使用过于精细的颜色矢量量化方法不一定能够提高检测效果。在某些应用中，视频处理过程会造成关键帧颜色的轻微变化，这种情况下容易造成视频的漏检。而量化颜色数目过少会将差别较大的颜色量化成一种颜色，从而降低检索的准确率。

根据人眼对不同颜色敏感度的不同，本节采用(16∶4∶4)非均匀量化方案对HSV颜色空间的关键帧进行量化，即将H分量量化成16个值，S和V分量分别量化成4个值。与之对应的量化后的色调、饱和度和亮度值分别为

量化后可以获得16×4×4即256种颜色。

量化后的关键帧HSV颜色空间中的H分量有16个离散值，S分量和V分量分别有4个离散值，因此，定义一个16×4×4大小的数组T，统计每种颜色的像素数占总像素数的比例。T中的每个元素定义为

式中：T(i，j，k)表示关键帧的像素点中H分量为其量化值第i个值、S分量值为其量化值第j个值以及V分量值为其量化值第k个值的像素点数占总像素点的比例;Ni，j，k为满足上述颜色值的像素点数目;M为关键帧中的像素点总数。

上述的颜色量化方法是一种硬划分，这种量化方法的量化边界是分明的。而实际上颜色在颜色空间的分布具有连续性和相似性，那么就会造成：在量化边界两侧附近，感知上相似的颜色可能被量化到不同的量化区域;而感知上不相似的颜色可能会被量化到同一量化区域内。当关键帧中某点的颜色值位于量化的边界处时，将其划分为某一区域有时会与人眼的主观感受有差别，并且，当图像收到干扰时，容易产生量化值的改变。

为了降低量化误差的影响，提高后续视频拷贝检测的准确率，考虑到位于量化边界处的像素不管是划分到前一个量化区域还是划分到后一个量化区域，两个量化区域像素点总和不变，因此，可将三维颜色直方图沿H分量方向将相邻的两个值相加，将相加的和作为新的三维颜色直方图进行后续的直方图匹配。即关键帧的三维颜色直方图为

F的大小也为16×4×4，其值代表了关键帧量化后相临颜色分量的像素点个数和在关键帧总像素中所占的比例。

为了提高颜色表示的准确度并使其能够抵抗旋转及缩放变换，本文将关键帧按照图1所示方法进行分块，将图像分成3个子块。

图1 一幅关键帧分块后的结果图

图1中两个圆的圆心均为图像的中心点，分块1包含中间小圆内的像素，分块2包含两个圆中间的圆环区域，分块1和分块2之外的部分为分块3。两个圆的半径R1和R2分别为

分块后分别提取各个子块的三维量化颜色直方图，有

式中：n=［1，2，3］，分别表示图像的3 个子块;Nn，i，j，k表示第n个分块的像素点中H分量为其量化值第i个值、S分量值为其量化值第j个值以及V分量值为其量化值第k个值的像素点数;Mn为第n个分块中的像素点总数。

设样例视频的一幅关键帧图像为Q，待匹配视频的一幅关键帧图像为D，其3个分块的三维颜色直方图分别为FnQ和 FnD，n=［1，2，3］。定义如下的三维直方图相交法来计算两幅关键帧内容的相似程度S(Q，D)。

S(Q，D)的取值范围为(0～1)，两幅关键帧越相似，其值越大，对于两幅完全相同的关键帧，其值为1。当S(Q，D)大于设定的阈值时，认为两幅关键帧是匹配的。为了提高算法的查全率，本文选取的阈值为0.5。

将样例视频和待匹配视频的关键帧用式(7)进行一一对比，如果相匹配的关键帧数目是两个视频中关键帧较少者的2/3，则认为两段视频是匹配的;否则，认为两段视频具有不同的内容。

1.3 关键帧纹理特征提取与匹配

使用1.2节所述的方法进行视频拷贝检测时，发现仍然有少量不相关的视频被检索出来，为了进一步提高算法的准确度，采用灰度共生矩阵的角二阶矩和熵来进一步过滤不相关的视频。

灰度共生矩阵是表示图像纹理的常用方法之一，它的基本原理为：从图像中灰度值为i的像素(x，y)出发，统计与其距离为d、灰度值为j的像素对(x+a，y+b)同时出现的概率 p(i，j，d，θ) ，计算公式为

式中：θ为生成方向，通常情况下取0°，45°，90°和135°这4个方向;，本文中取d=4。

灰度共生矩阵的角二阶矩通过矩阵中各元素的平方和来计算，有时也称为能量。它表示图像纹理灰度变化的均匀性，是灰度分布均匀程度以及纹理粗细程度的度量。如果矩阵中的元素值相近，角二阶距就小，表示纹理细致，反之，则表示纹理粗糙。角二阶矩的定义为

灰度共生矩阵的熵是图像中信息量的度量，代表图像纹理的复杂程度。当图像中没有任何纹理时，其熵为0;图像中的纹理越多，则熵的值就越大。也就是说，当共生矩阵中的元素近似相等时，其熵较大。在熵的计算过程中可能会出现 p(i，j，d，θ)=0 ，这种情况下，本文取对应的 p(i，j，d，θ)lg p(i，j，d，θ)=0 来处理

关键帧纹理特征的匹配采用欧氏距离法，当距离小于设定的阈值时，认为两幅关键帧是匹配的。

2 实验结果

实验数据集为自采集的视频，通过电视采集卡采集电视视频90段，其中包括纪实片、新闻和广告各20段，另外包括30段电视剧片段，视频分辨率均为320×240。对每段原始视频用视频编辑软件进行编辑，包括颜色微调、加入高斯噪声、视频片段之间随机组合等，最终得到315段视频。单个视频的长度在6～30 s之间，采用PAL制式(25帧/秒)，即单个视频帧数为150～750。实验所使用的计算机配置为：Intel Core 2 Duo CPU 2.4 GHz，1 Gbyte 内存。

分别用实验数据集中的每段视频作为样例视频进行检索测试，本文方法的测试结果如表1所示。