基于自动确定特征点数的镜头分割方法

李国和， 刘佃兴， 臧金晓， 吴卫江

（中国石油大学（北京）地球物理与信息工程学院，北京 102249；中国石油大学（北京）油气数据挖掘北京市重点实验室，北京 102249；

石大兆信数字身份管理与物联网技术研究院，北京 100029）

基于自动确定特征点数的镜头分割方法

李国和， 刘佃兴， 臧金晓， 吴卫江

（中国石油大学（北京）地球物理与信息工程学院，北京 102249；中国石油大学（北京）油气数据挖掘北京市重点实验室，北京 102249；

石大兆信数字身份管理与物联网技术研究院，北京 100029）

镜头分割对实现基于图像内容的视频检索具有重要作用。为了提高视频镜头分割的效果，采用Harris算子进行像素点的能量评估，并抑制伪特征点。通过图像帧分块和边缘检测，获取最小化特征点集，并使特征点分布相对均匀合理，然后根据特征点计算图像帧统计量，进一步形成图像帧的特征向量。在此基础上，结合图像帧渐变检测和闪光检测实现镜头分割方法，取得很好镜头分割效果。

Harris算子；特征提取；闪光检测；渐变检测；镜头分割

视频镜头分割是基于镜头变化的分割方法，也是关键帧提取、场景聚类和基于内容检索等的基础之一[1]。镜头变化检测方法可分为镜头突变（切变）检测和镜头渐变检测[2]。镜头突变主要是摄像机的停机或镜头的切换。镜头渐变主要在两个镜头之间加入淡入淡出等编辑效果。

目前已有的镜头分割算法包括像素比较方法、似然比较方法[3]、基于直方图比较方法等基础算法[3]，以及在基础算法上改进的算法，这些镜头分割算法主要是选取图像帧的底层特征并构成特征向量，用相邻两帧的特征向量差与固定阈值比较，从而判断是否发生了镜头变化。由于视频中编辑方法多变，固定阈值无法完全界定视频内容的复杂变换，底层特征提取复杂程度不仅导致镜头分割算法中计算复杂度大，而且不易适应表示图像帧变化[2]。

无论视频如何编辑，当视频发生镜头变化时，相邻图像帧中对应的像素点会发生较明显的变化，用少量具有代表性的像素点构成特征向量不仅保留了图像帧重要特征信息，而且有效地减少了数据量和运算量，同时又反映不同镜头的变化。本文结合像素点之间变化构成自动调整的阈值，同时引入镜头渐变检测和闪光灯检测，实现了一种自动确定特征点和镜头检测阈值的镜头分割方法，有效增强了抗干扰和提高了镜头分割的准确率。

1 基于Harris的像素点评估

图像中对象边沿弯曲度最大的点或者图像亮度变化剧烈的点（即特征点），对图像的识别具有重要作用。由于Harris特征点对图像旋转、图像亮度线性变换及噪声具有不变的特性[4]，所以，通过Harris算子对图像中像素点进行评估，以便进一步确定特征点。

选取高斯窗为检测窗口，计算窗口平均能量（即像素灰度值）变化。采用Harris算子进行像素点平均能量的评估。Harris算子的表达式：

其中，pix(x, y)为窗口中心坐标，u , v为偏移量，为高斯窗口函数，I (x , y)为像素点pix(x, y)的灰度，I(x+u, y +v)为像素点pix(x+u, y+v)的灰度。

由泰勒公式展开：

其中，Ix和Iy为灰度函数I对x和y的一阶灰度偏导数。

由式（1）和式（2）可得：

对于局部微小的移动量[u , v]，得到近似表达式：

而[Ixu+Iyv]2=Ixu +Iyv +2IxIyuv

得到：

其中，

由M的特征值λ1和λ2定义特征点的响应函数为：

其中， det( M )=λ1λ2， trace (M )=λ1+λ2。

一般情况，k∈[0.04,0.06]。以R(pix) 为像素点pix(x, y)的评估灰度值，反映像素点成为特征点的可能性。

2 镜头分割方法

数字视频中，时间连续、内容相似的图像帧构成镜头，由一个或多个镜头构成一个完整的视频。视频文档为有序图像帧的集合 Video= {Framei|i=1, 2, …, n}，其中n为视频图像帧的总数。

2.1 统计量计算

第i帧Framei可由灰度直方图Hi标识，即Hi=<>为特征向量，其中hk为灰度值为k的特征点数(k=0, 1,…, 255)，其特征点集大小mi。以下为有关图像帧的统计量：

1） 帧间差

其中，δ 和τ 为比例系数。

2） 灰度直方图平均变化率

其中，s为镜头的起始帧位置。

3） 特征点集规模平均变化率

其中，s为镜头的起始帧位置。

2.2 特征点集的提取

通过图像分割策略，避免图像不同而直方图一样的情况，又可避免特征点积聚[5]，并以图像帧中对象边缘数作为确定特征点数量的重要参数，实现特征点的自动提取，具体算法如下：

1） 图像分块：设图像Frame，图像块Blocki（i=1,2,…m, m 为图像分块数），且∀i , j ,i ≠j ,Blocki∈， Blockj∈，

Frame.L/Blocki.li=Frame.W/Blocki.w（i即图像和分块成长宽都比例）；

2） 对象边缘数量确定：Canny[6]边缘检测确定Blocki的边缘数

2.3 闪光检测[7]

视频中常有闪光出现。含有闪光的图像帧其前后帧相差都不大。当图像帧含有闪光时，特征点数趋近于零。对当前图像帧Framei进行闪光检测：

当|Framei|≈0，并且其他情况，FlashTest(Framei, l)=False。其中，s为当前镜头的起始位置，l=1,2,…, n-i。

FlashTest(Framei，l)为True（真）时，Framei到为含闪光的视频帧。

2.4 镜头渐变检测

淡入、淡出和溶解等镜头渐变都存在一个画面中物体的轮廓和对比等变淡或消失的过程，该过程中所有帧的特征点数和特征点的灰度值变化缓慢。对当前帧 Framei进行镜头渐变检测GradientTest(Framei)：

当|mi-1-mi|≈0，并且时，GradientTest(Framei)=True；当其他情况时，GradientTest(Framei)=False。其中，n为直方图维数。GradientTest(Framei)为 True（真）时，表明Framei处于当前镜头的渐变过程中。

2.5 镜头分割过程

根据提取的图像帧特征点进行统计量计算，并对图像帧进行闪光检测和渐变检测，滤除闪光帧和渐变帧，确定潜在的镜头突变位置，实现镜头分割，具体过程如下：

Divide(Video, δ, τ) //输入视频文档和参数

{j=1; //第1个镜头

i=2; //第2帧

For each Framei∈Video //每一图像帧

{if（FlashTes（tFramei,k）==True）i=i+k；//跳过闪光视频

if (i>=n) { ShotEdge[j]=n； break；} //视频结束

if（GradualTest(Framei) ==True）

//阈值计算

ShotEdge[j++]=i；//镜头结束帧位置

}

Return ShotEdge；//镜头所有分割位置

}

3 实验结果分析

下面通过实验及其对比，说明本文镜头分割方法的有效性。

3.1 实验条件

实验条件为Pentium Dual E2180 2.00GHZ的CPU、1.0Gbit RAM的微机，采用OpenCV实现镜头分割算法。试验参数≤ 1.16，α =2.5，δ =4.1，τ =0.075，图像分块取2*2。

图1 Harris特征点提取

图2 本文特征点提取

3.2 特征点提取效果

在镜头分割中，对视频每一帧都要进行特征点集的提取。如图1采用Harris算法提取的特征点；图2 采用本文的特征提取方法提取的特征点。从图中可以看出，本文特征提取方法获取较少特征点，并使特征点分布更加均匀。

3.3 镜头分割效果度量

镜头分割的效果度量标准有查全率和查准率：

1） 查全率=正确检测数/（正确检测数+漏检数）；

2） 查准率=正确检测数/（正确检测数+误检数）。

3.4 镜头分割效果对比

本文镜头分割的实验数据均从优酷网上下载视频文档。本实验视频是随机抽取各种视频进行实验。为了验证本文算法的有效性，选用文献[8]和文献[9]作为实验对比。本文实验的结果如表1所示，文献[8]的实验结果如表2所示，文献[9]的实验结果如表3所示。

表1 基于自动确定特征点数的镜头分割

表2 规范化灰度分布帧差算法

表3 一种基于直方图的切变镜头自动检测算法

从表1、表2及表3中可以看出，本文的方法具有较好的查全率，对于不同类型的视频有较好的稳定性。“法国香水广告”中有一定数量的闪光灯，并有镜头移动的现象，使其检测过程中有一些误检。“FX组合宋茜广告”是一个黑白视频，检测过程中，特征点的变化较剧烈，对镜头检测造成很大干扰。总体来说，本文镜头分割方法对网络视频可以进行有效的镜头分割。

4 结 论

为了提高视频文档进行镜头分割效果，通过Harris函数对像素点进行能量评估，有效利用其高斯特性，对像素点进行平滑降噪，从而确保特征点大多数分布在对象边缘位置，并且过滤多数伪特征点。为了避免特征点选取在图像帧中分布不均，进一步采用图像分块，使得提取的特征点分布更加均匀有效。通过边沿检测算法确定对象的边缘数，决定所有图像块的特征点数，达到提取的特征点集最小化，并使得图像帧特征点数及其各种统计量更加真实表示图像帧，从而充分保留原始图像内容信息。在镜头分割算法中，增加图像帧渐变检测和闪光灯检测，提高镜头分割的效果。本文镜头分割算法只采用特征点及其统计信息，下一步研究多特征融合技术，以提高镜头的查准率和查全率。

[1] 刘政凯, 汤晓鸥. 视频检索中镜头分割方法综述[J].计算机工程与应用, 2002, 38(23): 84-87.

[2] 孙利涛, 杨 雷. 视频镜头分割技术综述[J]. 山东轻工业学院学报, 2007, (3): 36-39.

[3] 刘 群, 江 伟, 吴 渝. 采用多特征融合的镜头边界检测方法[J]. 计算机工程与应用, 2010, 46(13): 171-174.

[4] 王旭光, 王志衡, 吴福朝. Harris相关与特征匹配[J].模式识别与人工智能, 2009, (4): 505-513.

[5] 卜庆凯, 胡爱群. 一种新的镜头边界检测和静态视频摘要提取方法[J]. 东南大学形学报, 2007, 37(4): 559-564.

[6] 段瑞玲, 李庆祥, 李玉和. 图像边缘检测方法研究综述[J]. 光学技术, 2005, 31(3): 415-419.

[7] 孙季丰, 李颖雄. 视频镜头自动分割的若干方法[J].华南理工大学学报, 2003, 31(8): 10-14.

[8] 沈博超, 周 军. 视频突变检测的规范化灰度分布帧差方法[J]. 计算机工程, 2009, 35(3): 242-244.

[9] 刘 典, 刘文萍. 一种基于直方图的切变镜头自动检测算法[J]. 北方工业大学学报, 2007, 19(3): 16-20.

Approach to Shot Segmentation Based on Automatic Decision of Feature-Point Number

Li Guohe, Liu Dianxing, Zang Jinxiao, Wu Weijiang
( 1. College of Geophysics and Information Engineering, China University of Petroleum, Beijing 102249, China; 2. Beijing Key Lab of Data Mining for Petroleum Data, China University of Petroleum, Beijing 102249, China; 3. PanPass Institute of Digital Identification Management and Internet of Things, Beijing 100029, China )

Shot segmentation is very important for video retrieval based on image content. In order to improve the performance of shot segmentation, Harris operator is adopted to evaluate the energy of image pix, and exclude pseudo feature points. By means of partition of frame in the video into blocks and edge detection of the blocks, the minimal feature-point set is obtained and the feature points are made relatively well-distributed. And then according to the feature points, statistical quantity of frame in video is computed to construct feature vector to express the frame. Based on above, along with gradual transition detection and flash detection of frame, a method of shot segmentation is presented. Experiments of shot segmentation are efficient.

Harris operator; feature extraction; flash detection; gradual transition detection; shot segmentation

TP 391.41

A

2095-302X (2013)03-0095-05

2012-09-02；定稿日期：2012-10-28

国家高新技术研究发展计划资助项目（2009AA062802）；国家自然科学基金资助项目（60473125）；中国石油（CNPC）石油科技中青年创新基金资助项目（05E7013）；国家重大专项子课题资助项目（G5800-08-ZS-WX）

李国和（1965-），男，福建平和人，教授，博士，博士生导师，主要研究方向为人工智能,知识发现，数据可视化。E-mail：ligh@cup.edu.cn

刘佃兴（1985-），男，河南濮阳人，硕士研究生，主要研究方向为知识发现。E-mail：rtying@163.com臧金晓（1986-），男，山东泰安人，硕士研究生，主要研究方向为知识发现。E-mail：zangjinxiao@126.com吴卫江（1971-），男，河北唐山人，副教授，博士生，主要研究领域为人工智能，知识发现。E-mail：allan1226@163.com