弱运动场景下的镜头分割方法

袁静 殷亚萍

（1 防灾科技学院灾害信息工程系河北廊坊065201）

（2 河北省胸科医院信息处河北石家庄050041）

1 引言

视频分析是计算机视觉的热点研究领域之一，其任务是协助人们分析视频场景中发生了哪些事情以及事情的发生程度。视频分析技术的应用领域非常广泛，目前主要涉及的应用领域包括智能交通、智能安防、视频检索等等。在视频分析中通常情况下都会存在镜头的切换，切换镜头会带来运动场和颜色信息的变化，这对视频分析造成了很大的影响，所以在视频分析之前往往需要将视频的镜头切换，进行检测并进行分类，所涉及的数据是采集的钢结构在燃烧实验下变形运动的视频数据。在对该数据进行分析的时候，由于存在了镜头方向的变化，则需要首先提取不同镜头方向的视频内容，然后再做视频分析。

2 镜头分类的主要方法

目前镜头分类的方法主要有以下几类：①基于灰度的镜头分割方法：直接灰度差方法[1]，通过计算总的帧差，当帧差大于某一设定阈值，则存在镜头突变；判定存在镜头突变，对之前的方法进行了改进，该方法只计算帧灰度差大于某一阈值；提出先用3X 3 平滑滤波，然后再计算帧差；②基于边缘的镜头分割方法[2]：通过计算每帧图像的边缘的数量进行帧差比较，该方法适用于稳健运动的视频，但是计算复杂；③基于彩色直方图的分割方法[3]：X 检验直方图差法; 直方图最小帧差法；平均彩色法；④MPEG 视频的镜头分割方法：利用DCT 系数的相关性和预测矢量的统计特性进行镜头分类；利用方差和预测的统计特性进行镜头分割；利用运动预测的统计特性进行镜头分类；利用了DC 帧差进行镜头分割；利用了DC 系数的统计检测进行镜头分类[4]；⑤基于统计的镜头分割：用k- means 算法进行镜头分割；用C- 聚类进行镜头分割；树形分类器的自适应镜头分割等[5]。

3 镜头分割框架

镜头分割方法：首先将图像进行去噪处理，以减少噪声的干扰，传统的方法是高斯平滑处理算法；再次计算帧间差值，并进行归一化处理得Fv；若Fv 高于某个阈值Tm，则继续其光流信息，当该值高于某个阈值Th 时，则判定该帧为镜头边界。镜头分割框架如图1 所示。

图1 镜头分割框架

4 算法原理以及实现

4.1 直方图帧差法

直方图帧差法原理如下：设h1，h2分别为相邻两帧图像的灰度直方图；计算h1与h2之间的差值，并进行归一化处理。其数学模型描述如下,其中2N 为图像中像素的数量。

4.2 光流法

光流是图像运动的一种表达方式，可以看作是空间物体表面的亮度随着运动变化在视觉传感器的成像平面上的表达。光流的研究是利用图像序列中的像素强度数据的时域变化和相关性来确定各自像素位置的“运动”[6]，即研究图像灰度在时间上的变化与景象中物体结构及其运动的关系，如图2 所示，其基本假设是体素和图像像素守恒，即假设一个物体的颜色在前后两帧没有巨大而明显的变化。基于这个思路，可以得到图像约束方程。

图2 光流的几何模型

假设物体在时刻t 时位于（x,y）点，在t+△t 时刻位于点，则可以得到下式：

可得：

进一步得出结论：

假定u，v 在局部邻域内是不变的，则其计算模型如图3 所示[8]。

图3 光流的计算模型

图3 中的方程可以描述为

此时，在求式（7）中的解，转化为下列优化问题：

由于其为超定方程，所以采用的最小二乘的方法求其优化解。

进一步求得最优解为：

其中：

其中从公式4.10 中可以看出当像素点在边缘点和相同物体内的时候，由于该式存在值0 特征值，所以其光流信息丢失。而当像素点是属于较强的纹理区时，其变化显示物体或人在向某一方向运动。

5 实验分析

实验数据来自项目的采集数据，时间：2 h，帧率：12 帧/s，镜头切换6 次，准确镜头分割为6 次。实验过程由3 步组成：首先将视频进行高斯去噪，然后计算其直方图帧间差，当帧间差高于某个阈值时，计算其光流信息，统计每帧图像中归一化的光流运动信息。

6 结束语

提出的基于光流计算和直方图帧间方差的镜头分割方法，借助了镜头变化中的运动信息和灰度信息的剧烈变化，实验结果证明，该方法能够有效的滤除直接由光流法或帧间方差法进行镜头分割而产生的虚假分割边界，适用于弱运动的视频场景，但阈值的选择和图像特性有关，自适应的阈值选择和降低时间复杂度是下一步工作的重点。

[1]M JSwain，D H Ballard．Color indexing[J]．Int J Comput Vis，1993,26(4)：461- 470.

[2]MRNaphade．R Mehrotra．A M Ferm an et a1．A High- performance Shot boundary Detection Algorithm Using Multiple Cues[C]．In：Proc of Int Conf on Image Processing，1998(1)：884- 887.

[3]Zhang H，Kankanhalli A，Smoliar S W．Automatic partitioning of fullmotion video[J]．Multimedia System，1999(1)：10- 28.

[4]BL Yeo，B Liu．A unified approach to tempo ral segmentation of motion JPEG and MPEG compressed video[C]．In：Proc 2 Int ConfMultimedia Computing and Systems，1995：81- 83.

[5]B Gunsel，A M ferm an，A M Tekalp．Video Indexing Through Integration of Syntactic and Semantic Features[C]．In：Proc of W orkshop on Applications of Computer Vision，Sarasota，FL，1996：90- 95.

[6]F Arm an．A Hsu．M Y Chiu．Feature management for large video databases[C]．In：Proc IS&T／SPIE Cont Storage and Retrieval for Image and Video Databases I，1993；SPIE 1908：2- 12.

[7]H J Zhang．Video parsing using compressed data[C]．In：Proc SPIE Symp Electronic Imaging Science and technology：Image and Video Proc essing II，1994：142- 149.

[8]陈震.图像序列光流计算技术及应用[M].电子工业出版社，2012.