用于电视系统中的图像清晰度测量算法及实现

2015-05-05方宏俊施海鹏

电视技术 2015年17期

方宏俊，施海鹏，宋利

(1. 上海交通大学图像通信与网络传输研究所，上海 200233；2. 美芯盟电子科技(上海)有限公司，上海 200000；3. 上海高清数字科技产业有限公司，上海 200000)

方宏俊1,2，施海鹏1,3，宋利1

介绍了数字电视中用于增强图像画质的一种清晰度测量的方法，该方法使用图像中的频率信息、细节信息和局部图像的动态范围来判断当前输入的图像是一幅真实的高清图像，还是在信号传输过程中被放大成高清信号的伪高清图像信号。从而利用得出的清晰度测量结果对真实高清图像信号和伪高清图像信号进行不同的清晰度和对比度调整。该方法的设计应用填补了数字电视图像后处理中对于原始信号检测的一个空白。介绍了该方法的基本原理和具体实现的算法，并讨论了该算法的硬件实现方案和代价。

数字电视；清晰度；对比度；画质增强

图像清晰度和对比度控制是当今数字电视中增强图像画质的重要手段。然而作为数字电视输入的高清信号往往有些是在传输过程中被放大成高清信号的伪高清图像信号，例如使用DVD、机顶盒等播放设备进行格式放大的高清视频信号等等。如果不去区分真实的高清视频信号和伪高清视频信号，使用相同的清晰度和对比度控制强度得到的图像画质效果是完全不同的。

这是因为真实的高清视频信号图像中的高频成分和细节丰富，而在传输过程中被放大成高清信号的伪高清图像信号由于经过了画面的放大，所包含的高频成分和细节信息明显下降。对于清晰度控制而言，实际上是根据图像内容的频率区域进行增强，真实高清信号的高频成分多，而伪高清信号的高频成分少，对他们使用相同的频率范围去增强无法得到相同的清晰度增强的效果。对于对比度增强而言，对比度增强是让图像中的亮度范围向两极拓展，即让黑的更黑，白的更白，从而能表现出暗场或亮场中的细节信息。对于图像中的亮度变化的区域来说，对比度增强使得这种亮度变化的过度沿变陡。因此真实的高清信号亮度变化的边沿非常明确，在局部范围内找出亮度的范围也相对确定。但是对于被放大成高清信号的伪高清信号而言，由于在缩放过程中将亮度变化的边沿进行了延展，因此这个亮度变化的边沿就变得相对平缓，在局部范围内也很难精确地找出最亮和最暗的亮度区间。所以对比度的增强效果会形成明显的差异。

正因为此，本文介绍了一种根据图像内容频谱分析的清晰度测量方法(Sharpness Meter)。该方法的主要特点是可以对输入的视频信号的内容进行预先分析，从而动态的控制清晰度处理和对比度增强等画质提升的手段。该方法着重提出一种测量手段以区分真实的高清视频信号(true HD)和被放大产生的高清视频信号(up sampled HD)。

1 基本原理及具体算法

1.1 基本原理

图像清晰度测量方法的基本原理是依据输入的高清视频信号的内容中亮度分量上的频谱分布[1]来区分该高清视频信号属于真实的高清视频信号还是经过预放大的伪高清视频信号。其主要手段是通过在水平和垂直两个方向上的不同的频率响应滤波器来获得该图像上的整体的频谱分布信息。

该方法的测量结果包括以下3项：图像内容中最高的响应频率(这是用于清晰度控制的主要指标，也是分析该图像属于真实高清信号或者伪高清信号的重要表征之一)；图像内容内部的局部动态范围(这是用于对比度增强的主要指标)，以及每帧的细节统计数据(这与图像内容中最高的响应频率关系紧密，它用于统计分析图像中高频细节的程度，该结果既可以用于分析该图像属于真实高清信号或者伪高清信号的重要表征，也可以作为其他图像增强动态控制算法的重要参考指标)。

1.2 频率测量

由于图像清晰度测量模块在信号处理流程中是独立于清晰度处理模块之外的独立模块，所以其包含了几组可以设置的滤波器组合。本文以2组可以独立控制的滤波器为例进行说明，其输出的结果可以有多种组合方式可供选择。

本文中所介绍的滤波器按照频率响应函数可以分为以下几类：

一阶滤波器(高通滤波)

Η1(Z)=1-Z-1

(1)

一阶宽滤波器(带通滤波)

Η1w(Z)=Z1-Z-1

(2)

以上是2个一阶滤波器，它们在硬件设计上属于同一组滤波设计，二者的区别是滤波所选择的像素点的宽度范围不同，所以式(2)所述的滤波器增加了“wide”加以表征。对于下面列举的二阶滤波器也是如此。

二阶滤波器(高通滤波)

Η2(Z)=-0.5×Z2+1-0.5×Z-2

(3)

二阶宽滤波器(带通滤波)

Η2w(Z)=-0.5×Z2+1-0.5×Z-2

(4)

从滤波器的系数上来看，一阶普通滤波器(Order 1 filter)的滤波系数为：[-1 1]×1/2；一阶宽滤波器(Order 1 filter wide)的滤波系数为：[-1 0 1]×1/2；二阶普通滤波器(Order 2 filter)的滤波系数为：[-1 2 -1]×1/4；二阶宽滤波器(Order 2 filter wide)的滤波系数为：[-1 0 2 0 -1]×1/4。

这4组滤波器经过归一化并线性缩放后，其滤波器频率特征响应曲线如图1所示。

图1 滤波器特征曲线

滤波器设计为一阶滤波和二阶滤波的目的是为了用一阶滤波响应去保护一些二阶滤波响应所覆盖不到的脉冲响应。从实际应用的意义上说，特别是对于很多真实的高清视频信号中，一些细节的宽度过窄，也就是说其频率超出了二阶宽滤波器的频率响应(Order 2 filter wide)的覆盖范围。这会导致在滤波器的输出端出现双峰特性。为了避免这种双峰效应的产生，使用一阶滤波器加以限制。

因此，在设计中将滤波器的组合方式分为以下几种

(5)

(6)

(7)

(8)

这里列举了2组可能的组合方式，其中为了保护二阶滤波，一阶普通滤波器和一阶宽滤波器都可以被使用。虽然从数学上看一阶宽滤波器的滤波范围并不比一阶普通滤波器长，但是从滤波器的系数上看，一阶宽滤波器不会产生双峰脉冲效应。

从滤波器的特征曲线上来看，所有的宽滤波器(Order 1 or 2 filter wide)都在1/4采样频率(1/4fs)后开始下降。但这并不意味着在实际应用中，当图像中的清晰度频率大于1/4采样频率(1/4fs)时，将会输出一个较小的测量结果。因为图像中的高频成分已经被普通滤波器(Order 1 and 2 filter)所测得，所以对于一幅普通的高清图片来说宽滤波器所测量的范围主要是从1/4采样频率(1/4fs)直到宽滤波器的右边沿。

从全局视角来看这些滤波器(包含普通滤波器和宽滤波器)。对于高通滤波响应而言，在0至1/2采样频率(1/2fs)之间，一阶普通滤波的响应曲线比二阶普通滤波的响应曲线测量的范围更广；而对于带通滤波响应而言，在0～1/4采样频率(1/4fs)，二阶宽滤波器的带通范围比一阶宽滤波响应的带通范围收的更紧。因此将一阶和二阶滤波的响应在0～1/4采样频率(1/4fs)之间取一个合适的中间值，可以在测量结果上得到更为线性的结果。

作为这些一阶和二阶滤波组合的一个补充，如式(9)所列的一个独立的一阶滤波组合也可供选择

(9)

1.3 图像细节统计

图像清晰度测量仅仅依靠频率响应测量得出的图像频谱范围的最大值(也就是图像中最高频率)是不够的，因此另外一个测量指标也被引入其中，这就是统计这幅图像中处于该最高频率有多少像素点，从而来判断这幅图像属于真实高清信号的程度，即可能性。这就是前面所述的图像细节统计功能。它统计了处于图像中最高频率的像素点的差值的绝对值，并且将这些差值的绝对值累加起来作为输出的指标。

用于图像细节统计的滤波响应也是可以加以选择的，但是被选择的滤波响应必须和频率响应测量所选择的滤波器组合保持完全一致。

1.4 局部区域动态范围的测量

局部区域动态范围的测量被作为频率测量和细节统计之外的又一重要输出指标，该指标的主要作用是供对比度增强提供依据，该动态范围测量的主要方法是测量相邻的9个像素点的最大值和最小值的差异。

该局部区域动态范围的测量结果是能捕捉到无论何时图像的最高频率发生增加，也就是说动态范围的测量结果和图像中最高频率峰值的出现密切相关。

2 清晰度测量算法设计

2.1 具体实现的算法设计框图

上面所述的算法，以水平方向为例，其频率测量和细节统计部分结构框图如图2所示。对于垂直方向的实现和水平方向一致，但是基于硬件实现成本的考虑，仅仅存储4行数据作为计算样本。

图2 具体实现的算法框图(以水平方向为例)

2.2 控制参数设置

2.2.1 测量窗口

频率测量功能必须设定一个用于测量的矩形窗口，这样做的目的是为了避免一些图像的外框或者实际图像以外的噪声被混入进图像中一并进行测量，而导致频率测量的失误。因此这个窗口的大小和位置是该功能的控制参数之一。

2.2.2 滤波模式选择

该算法中包含了多种滤波模式可供选择，如图2中所示的变量meas_mode可以用来选择使用一阶、二阶单独或者组合滤波方式，或者使用如式(9)所示的一个独立的一阶滤波组合。具体可以参考1.2节所述。

如果该变量meas_mode等于0，按照图2所示，共有4中滤波模式可控选择。对于水平和垂直方向，所有这些滤波模式都可以独立进行选择。

以一个真实的高清视频信号为例，一般仅使用一阶普通滤波器和二阶普通滤波器来实现，其输出为一阶滤波结果和受保护的二阶的滤波结果的平均值(如图3中“Av-O2ProtO1”所示)。则其中的控制参数设置为：order 1 width=0,order 2 width=0,filterselect=2。其输出的平均滤波响应曲线如图3所示。

图3 平均滤波响应曲线(高清信号)

以一个被经过放大的伪高清视频信号为例，一般仅使用一阶宽滤波器和二阶宽滤波器来实现，其输出为一阶滤波结果和受保护的二阶的滤波结果的平均值(如图4中“Av-O2ProtO1”所示)。则其中的控制参数设置为：order 1 width=1,order 2 width=1,filterselect=2。其输出的平均滤波响应曲线如图4所示。

图4 平均滤波响应曲线(伪高清信号)

3 实验验证

本方法通过对同一幅图像经过播放设备反复缩放之后，进行了大量的仿真对比实验。不仅测量了信号发生器产生的图像[2-3]的检测效果，对实际电视播放的场景也进行了大量的检验。本文以一幅原始信号为480i的被放大为1 080i的伪高清视频信号，和一幅原始分辨率为1 080i的高清信号为例进行对比，原始测试图片如图5所示。

图5 测试图片

以水平方向的检测为例，伪高清图像和真实高清图像的运算结果对比如表1所示。同样，对于垂直方向和色彩丰富的图像而言，也达到了较为精准的清晰度检测结果。

表1 实验对比结果(以水平方向为例)

输入图像信号格式原始图像信号格式清晰度检测结果最高频率响应最大局部动态范围细节统计数据低频段/像素中频段/像素高频段/像素中高频段占比/%测量结果1080i480i029fs1081035240054001伪高清1080i1080i046fs213932640156609234011真高清

4 结论

在上述的针对真实高清信号和经过放大的高清视频信号的例子中，使用平均的方法会比单纯使用某一阶原始的滤波器具有更好的线性特性。再次提示，这些宽滤波器(Order 1 and 2 filter wide)如图4所示，其频率响应曲线都在1/4采样频率(1/4fs)后开始下降。但这并不意味这在实际应用中，当图像中的清晰度频率大于1/4采样频率(1/4fs)时，将会输出一个较小的测量结果。因为图像中的高频成分已经被普通滤波器(Order 1 and 2 filter)测量，所以对于一幅普通的图片来说宽滤波器所测量的范围主要是从1/4采样频率(1/4fs)直到宽滤波器的右边沿。

当然对于普通滤波器和宽滤波器还有很多其它组合方式，就以本文中所述的滤波器来说，使用filterselect参数一共可以有至多12种组合方式。而且也可以使用软件手段[4]交替或者任意组合滤波器也是可行的，这样的话组合方式可以扩展到无限多。

对于图像局部动态范围的测量也是在水平和垂直方向上独立去实现的，因此相应的最终输出的图像局部动态范围的结果也被分为了水平和垂直两个方向。

综上所述，基于这种图像清晰度测量的结果，可以将真实高清视频信号和传输过程中缩放产生的伪高清视频信号区分开来，并从测量结果中得到了图像内容中的频率分布的范围和局部动态范围，以此为清晰度控制和对比度增强等画质提升手段提供依据。测量结果中的细节信息，一方面可以作为判断高清视频信号真伪性的依据，最重要的是可以为其他图像画质动态控制手段[5]提供指标依据。该方法的设计应用填补了数字电视图像后处理中对于原始信号检测的一个空白，使得数字电视图像增强功能模块可以更加有的放矢的发挥作用。

[1] 宫峰勋. 彩色电视接收机图像清晰度分析[J].电视技术, 2001,25(11):69-70.

[2] 李春涛, 唐强, 王立,等.像素比例校正及其在生成清晰度测试图中的应用 [J].电视技术, 2003，27(12):91-93.

[3] 李桂苓, 李秀敏, 赵希. 数字电视图像清晰度[J].电视技术, 2005,29(12):80-83.

[4] 方宏俊. 一种动态调整图像画质的方法：中国，ZL200710 0732809[P]. 2007-02-08.

[5] 方宏俊. 一种基于人的视觉特性提升显示图像的画质水平的方法：中国，ZL2007100737319[P]. 2007-03-28.

责任编辑：时雯

收稿日期：2015-01-12

Algorithm and Implementation of Sharpness Meter in Digital Video Processing of TV System

FANG Hongjun1,2，SHI Haipeng1,3，SONG Li1

(1.InstituteofImageCommunicationandNetworkEngineering,ShanghaiJiaoTongUniversity，Shanghai200233，China； 2.SigmaDesignsTechnology(Shanghai)Co.,Ltd.，Shanghai200000，China；3.ShanghaiHighDefinitionTechnologyIndustrialCo.,Ltd.，Shanghai200000，China)

A new method of picture quality enhancement in digital TV which is named Sharpness Meter is introduced. For correct handling of sharpness and contrast improvement functions according to the video content, it is essential to analyze the video content properly upfront. The image’s frequency information, detail information and local dynamic range info are used for detect the input picture is a true HD signal or an up-sampled HD signal. After briefly introducing the basic principal and algorithm of this method, the hardware implementation and simulation result also be proposed.

DTV; sharpness; contrast; picture quality enhancement

2015-01-28

国家自然科学基金项目(61221001)

TN949.17

10.16280/j.videoe.2015.17.003

【本文献信息】方宏俊，施海鹏，宋利.用于电视系统中的图像清晰度测量算法及实现[J].电视技术,2015，39(17).