实时超高清电影模式检测算法及其实现

李润祥，孙 军，高志勇，陈 立

（上海交通大学 图像通信与信息处理上海市重点实验室，上海 200240）

实时超高清电影模式检测算法及其实现

李润祥，孙 军，高志勇，陈 立

（上海交通大学 图像通信与信息处理上海市重点实验室，上海 200240）

为了解决当帧率上变换算法遇见超高清电影模式序列时，由于重复帧导致运动矢量场无法收敛到真实轨迹，设计了一种高效率的电影模式检测与实现的方法。将视频图像进行分块不规则采样，对各个子块进行像素直方图统计，根据统计结果来进行电影模式处理，最后经过FPGA硬件验证及RC综合。实验结果证明，该算法设计在实时处理50/60 Hz超高清序列大数据流量时仅需很小的存储器资源，并且可以快捷准确地对电影模式进行实时检测处理，特别是局部运动的序列检测。

分块；不规则采样；大数据量

近年来，消费者大众追求高品质视觉享受的市场需求和视频处理技术快速发展的客观条件共同促进了超高清电视产业的飞速发展。然而现今传输系统带宽的约束，超高清电视视频流只能以较低的速率传输。与此同时，超高清显示设备的刷新频率又有较大的提升，视频播放帧率低于屏幕刷新率，这一失配直接导致图像出现停顿、模糊、拖影等现象，造成视觉效果不佳。因此视频帧率上变换技术必然成为重要的视频后处理方式，能有效提升显示视频的帧率，在高刷新率的显示屏上提高视频的主观质量。

受限于实现复杂度，目前帧率上变换设备多采用基于有限数目运动候选矢量的方法，此类方法的矢量场经过若干帧后趋于收敛[1]。电影在电视里播放时，通常采用3∶2或2∶2重复帧技术，此技术通过添加一定的重复帧使得满足电视帧率要求。当对这种电影模式进行FRC时，添加的重复帧导致运动矢量场不断重新归零，从而无法收敛到真实的运动轨迹。因此需要对视频流进行实时检测，以便在发现电影模式信号时及时进行特殊处理。对满足一定播放帧率的超高清视频进行实时检测，首先需要解决的是算法在实现上必须满足30 Hz/50 Hz/60 Hz超高清视频流的处理速度；其次必须考虑算法在实现后所耗费的资源大小；最后必须在以上条件下有较高的检测正确率[2]。

传统常见的电影模式检测方法通常包括两种：第一种比较前后两帧像素绝对差判定[3]，第二种直方图统计[4-5]。前者至少预存取两帧的数据量，再前后进行绝对差值，统计绝对差和与阈值进行比较。这种方式的电影模式检测准确度高，但存储量和计算量非常大不适合硬件实现；相反地，直方图统计方法相对存储量较小，它把所有数据按照灰度范围进行直方图统计计数，有效地减少了存储数据量，但是由于直方图统计通常只能反映全局统计信息，其检测的准确率很低，尤其对于局部运动或小速率运动更是难以检测出来。因此，寻求一种超高清序列下低复杂度、低存储资源、高检测率的电影模式检测方法非常必要。本文算法设计正是基于这样的背景下，解决以上问题的最佳实现处理方法。

1 电影模式检测算法

1.1 算法设计架构

本文采用一种对图像进行不规则采样和分块直方图统计像素信息的方式，巧妙地达到了既大大减少数据存储量同时又增强算法的灵敏度的目的。算法流程如图1所示。

图1 电影模式检测算法流程

如图1所示，电影模式检测算法包括以下步骤：

1）将序列中的每一帧图像划分成多个图像子块，每个子块对应一个直方图统计；

2）图像子块进行不规则采样，选择特定像素进行直方图统计；

3）计算两帧对应各图像子块的直方图绝对值差和，根据此值判断是否为重复帧；

4）根据重复帧出现的模式推断出序列是否为电影模式。

1.2 图像分块、不规则采样算法

图像概要采样如图2所示，分辨率为3 840×2 160。其中黑色代表有效的采样像素点，对图像进行分块直方图统计，宽、高平均分为6等份共6×6个子块，图中方框代表一个子块，每个子块的尺寸则为640×360。其中采用图像分块技术对算法性能进行分析。

对整帧图像进行36等分，及做36个独立的直方图统计表，每个直方图统计表只和前后相邻帧的对应位置的分块像素值有关联。这种方式与传统的全局直方图统计的优点如图3所示。

图2 3 840×2 160图像概要采样方式

图3 分块直方图统计

当序列出现小物体局部运动时，如图3所示分为1、2、3、4子块直方图单独统计，小球从1移动到4，采用分块直方图统计的方式进行图像运动的检测。相邻的直方图统计分块没有数据之间的联系，最终统计各个直方图数值绝对值差和，会检测到双倍小物体像素值显示前后两帧图像之间的误差。因此，分块方式能有效检测出小物体运动的情况。

下面对基于分块直方图的不规则采样方式进行详细分析，每个子块的采样方式如图4所示。

图4 640×360子块概要采样方式

相邻的子块之间采用相同的采样方式，然而各个子块内部又再分4块采样区，相邻采样区的采样率和采样方式却不相同，采用不规则采样技术对算法性能进行分析。

当对整幅图像进行如图4所示大小的子块进行分块以后，进一步对子块进行如图4所示的不规则采样，及各个分块中两两相邻的采样区进行不规则采样。这样的做法与传统均匀采样方式有明显的优势，非常适用在物体的小范围运动情形下，如图5所示。

当前后帧图像中有物体在子块内局部运动时，如图5所示小球晃动，若采用传统分块直方图均匀采样方式，显然根据采样得到的直方图统计数据几乎检测不出运动结果。但是，若采用不规则采样方式进行检测，如图中物体小范围运动，球体某部分必将跨越采样率多和采样率少的区域。由于采样数据量的不同，最终表现在分块直方图统计中的效果便是明显的差异。因此基于分块直方图统计不规则采样方式的算法能准确地检测出物体小范围运动的情况。

图5 不规则采样图

正是由于这种图像分块非均匀采样，使得在采样量减少的情况下检测率依然很高。

1.3 算法实现结构资源分析

以下说明电影模式检测硬件架构及实现过程。

如图6所示，本文算法电影模式检测包括控制、存储器、判断三大模块。

1）控制模块：对视频流数据进行选择控制，允许通入的像素进行分块直方图统计；根据像素所在的灰度级计算存储器的访问地址；并产生相应的读写使能及片选信号。

2）存储器模块：用于存储连续两帧图像子块的像素直方图，以及它们的直方图差。

3）判断模块：用于计算直方图差总和，并和预定的非零阈值作比较，并产生二值信号；并根据连续的二值模式规律判断该序列是否为电影模式以及所述电影模式的类型。当连续相互符合的次数达到进入阈值时，判断进入电影模式；否则跳出电影模式，进入正常的电视模式。

图6 电影模式检测算法硬件框图

现使用60 Hz帧率超高清视频源，仅对灰度值采样。分析本文算法实时实现的性能和所占用资源。

由于采用以上不规则采样方式，并且考虑到设计时钟频率控制在稳定区域，可采用在以上采样方式下再进行均匀间隔3像素采样，不影响算法效果。

基于上述实现方式，由公式可知，算法根据视频数据流实际处理有效像素的频率是

式中：fclk是算法实际需要处理像素的频率；fvideo为输入视频的帧率此处为60 Hz，Width和Height为输入视频的分辨率，此处分别为3 840和2 160；α为进入视频的采样格式，此处只采样亮度值故为1；β为对输入数据的间隔采样率，此处为1/4。

由式（1）可知处理有效像素的频率为124.4 MHz。每帧图像所采样的有效数据占总量的1/8。若用寄存器全部存取，将依然耗费很大资源。然而相对于寄存器存储，使用RAM存储相同数据使用面积仅为1/6。为进一步减少占用资源，设计如图6所示的RAM存储器模块存储数据，使用2片block RAM做存储，面积大为减少。不过使用block RAM做存储后所带来的问题：单口入单口出的block RAM，每处理一个有效像素首先需要从RAM中读出对应位置的直方图统计值，进行加1或减1后再写入到对应的RAM位置共需要耗费4个时钟，在原来频率上扩大4倍。频率过高将严重影响RAM正常的读取。采取如图7所示方式，使用有效数据拼接的方法对数据进行处理，可有效地解决时钟问题，使处理有效像素频率降为248.8 MHz。

图7 有效像素拼凑成RAM地址过程

由此可见，此算法在处理超大数据流量时可以使用最少的资源占用最少的面积。

2 设计实现及结果

本文算法选取4K、YUV（只取Y分量）、10 bit格式共50个测试序列，其中包含电影模式和非电影模式，作为实验输入序列。考虑算法在实现上的复杂度和可行性，故选取复杂度低的算法进行对比，分别实现基于全局直方图统计算法[4]、基于前后帧像素（SAD）检测算法[3]，还有分块直方图统计算法[5]的性能比较。

2.1 不同算法的检测率比较

分析表1，前后帧SAD算法的检测率最高，由于存储了至少2帧数据故占用资源也最多且计算量最大。全局直方图算法跟分块直方图算法把像素信息进行分段计数后统计，资源降低，然而对处理小运动物体和小范围运动物体检测率太低，都不适合做实时超高清序列检测。相对比本文的算法设计利用不规则分块采样方式，在传统算法基础上既减少了总体采样像素值，同时增强了算法检测的灵敏度。虽检测率比前后帧SAD稍有不足，可占用资源最少且复杂度不大，满足实时超高清序列检测的要求。

表1 不同算法性能比较

另外阈值的设定与信道传输的信噪比有关，通信信道质量越高，信噪比越高，阈值越低，检测率越高。

2.2 RC综合及硬件验证

以下是对本文算法详细的性能分析：实验采用cadence公司软件RC工具在65 nm工艺下，设置时钟约束为300 MHz，经过综合后所占用的资源消耗如表2所示。

表2 ISE 14.4综合布线Utilization Summary结果

如表2所示，综合后资源共使用561 175 μm2约0.56 mm2面积。由以上报表可知，算法综合实现后耗费很少资源。由1.3节分析所知，在使用帧率为60 Hz超高清视频序列作为视频源，时钟需求是248.8 MHz。本次实验时钟约束设为300 MHz，综合后Timing Report中Timing slack为1 ns，表示满足300 MHz时钟约束，由此可见本文算法实现后完全满足248.8 MHz时钟约束。得出以下结论：本文算法在资源和时钟频率都满足要求的情况下，可以高效地实时检测30 Hz/ 50 Hz/60 Hz超高清电影模式序列。

3 小结

本文采用一种图像分块直方图、不规则采样检测算法分析前后两帧图像的像素信息，高效地实时检测出电影模式序列。图像分块且不规则采样的策略保证本算法对局部运动或小运动敏感，准确率高。并且采用2片Single-port RAM来存取信息值，使算法在处理高速视频流数据时既有很高的成功检测率且占用最少的逻辑资源。

[1]DE H G，BIEZEN P W A C，HUIJGEN H，et al.True-motion esti⁃mation with 3-D recursive search block matching[J].IEEE Trans.Circuits and Systems for Video Technology，1993，3（5）：368-379.

[2]陈远峥.一种应用于实时FRC中的淡入淡出检测算法[J].电视技术，2014，38（11）：24-27.

[3] 刘强，陈涛.电影模式视频信号检测方法:中国，200810306453 [P].2011-01-12.

[4] 克维克，乔利，格莫德.用于检测电影模式或摄像机模式的方法:中国，200910252679[P].2010-06-23.

[5] KANG S-J，YOO S，KIM Y H.Scene change detection using multiple histogram，for motion-compensated frame rate up conver⁃sion[J].Journal of Display Technology，2012，8（3）：121-126.

责任编辑：闫雯雯

Algorithm and Implementation of UHDTV Film Mode Detection for Real-time

LI Runxiang,SUN Jun,GAO Zhiyong,CHEN Li
（Image Communication and Network Technology Institute,Shanghai Jiaotong Unversity,Shanghai 200240,China）

In order to solve the problem of motion vector field unable to converge to the real movement trace,as repeated frames, when meet a sequence of UHD film mode in the algorithm of the frame rate conversion,the high efficient way of implementation and design of film mode detection is designed in this paper.The video sequences are divided into many blocks,which are irregular sampling,for each block through building pixels histogram to perform film mode detection,then the film mode function to be triggered according to the film mode detection results.Meanwhile,the verification and implementation are also processed based on FPGA and RC.The results prove that the algorithm of design has very small storage resources,and can accurately verify the film mode,when it process big data,such as 50/60 Hz UHDTV,especially for the sequential of local movement.

blocks;irregular sampling;big data

TN949.198

A

10.16280/j.videoe.2015.08.010

2014-10-15

【本文献信息】李润祥，孙军，高志勇，等.实时超高清电影模式检测算法及其实现[J].电视技术，2015，39（8）.

国家自然科学基金项目（61133009）