上下变换对视频图像质量的影响*

杨跃华，孟 放，姜秀华

（中国传媒大学 信息工程学院，北京 100024）

1 引言

上下变换是实现高标清素材格式转换的主要方法之一，而这种变换不可避免地会引起图像质量的下降。目前，常用的图像质量评价方法可分为主观评价和客观评价两大类：1）主观评价结果具有较高的可靠性，但该评价体系对环境因素、观看条件以及观看人员等要求较严格，且试验的可重复性较差；2）客观评价算法的测量指标具有客观性，同时具有操作过程可重复等诸多优点。但客观评价算法至今仍处于研发阶段，其评价结果与人眼视觉感知也还存在一定的差异[1]。

在电视节目制播过程中，有时需要进行一次或多次上下变换来完成对指定素材的处理。对于这种变换所引起的图像质量下降，笔者提出从图像信息熵和边缘能量两个角度对损伤情况进行客观评价，并通过试验测量多次变换下的视频图像质量损伤来验证算法的可靠性。

2 高标清图像的上下变换

本次试验所需的素材是通过苹果非编软件Final Cut Pro 6及AJA采集卡获取的。高标清上下变换信号简易流程图如图1所示[2]。

2.1 上变换模式

图1 上下变换信号简易流程图

标清SD上变换到HD主要有3种变换模式[3]（如图2所示）：1）镶边模式中，画面左右两边镶上了两条黑边（见图2b）；2）信箱模式中，画面上下两边会丢失一部分内容（见图2c）；3）拉伸模式中，画面横向被拉伸，产生变形，但原画面内容被完整保留（见图2d）。

2.2 下变换模式

高清HD下变换到SD主要也有3种变换模式[3]（如图3所示）：1）切边模式中，画面左右两边丢失一部分内容（见图3b）；2）信箱模式中，画面上下两边加黑边，但内容完整，比例正常（见图3c）；3）压缩模式中，画面横向被压缩，产生变形，但内容完整（见图3d）。

2.3 多次变换模式

上下变换过程中所采用的拉伸模式（图2d）和压缩模式（图3d）会造成图像内容的明显变形，因此在实际电视节目制播过程中一般很少采用这两种模式。

在原始素材为高清或标清格式下，两次变换后，高清经切边模式下变换再经镶边模式上变换（见图4a）或者标清经镶边模式上变换再经切边模式下变换 （见图4b）后的图像对画面的破坏最小，是笔者所考虑的多次变换模式。图4中的边框确定了画面在变换前后内容基本相似的部分，也是本文第4节算法设计中所定义的“有效区域”。

3 图像质量客观评价指标

在进行上下变换处理的过程中，滤波、采样、颜色空间变换等处理会对图像质量造成一定的损伤。图像模糊是高标清上下变换过程中最常见的现象之一，表明图像边缘细节减少，丢失了一些图像内容信息，在客观指标上可用亮度熵、色度熵及图像边缘能量等参数来衡量。

3.1 图像信息熵

对于一帧图像，亮度熵和色度熵代表该帧图像所含亮度、色度的平均信息量。其值越大，说明图像各亮度级、色度级出现概率相近，图像亮度、颜色层次丰富。

在计算图像信息熵时，考虑了亮度熵和色度熵这两个信息，旨在减少对亮度熵或色度熵单个指标的依赖

式中：p（x）代表亮度值或者色度值为x时出现的概率大小。信息熵定义为

U熵（HU）和V熵（HV）统称为色度熵。对一幅图像而言，影响图像信息熵最大的因素为亮度熵（HL），其集中反映出图像灰度的丰富程度，即灰度层次越丰富，则图像的信息熵越大。色度熵反映出图像颜色的丰富程度，图像颜色层次越丰富，则图像的信息熵就越大。U熵、V熵和亮度熵对评价结果的影响并不相同，试验中以0.25，0.25，0.5分别对其加权得到信息熵。

3.2 图像边缘能量

边缘能量[4]反映了图像所含细节的多少，是衡量图像品质优劣的标准之一。在上下变换过程中，会因高频信息的丢失而造成图像边缘模糊、清晰度下降等。通过比较变换前后图像边缘能量的差异，可分析上下变换对图像质量的影响。试验中，采用Sobel算子提取图像边缘信息，图像及对应的边缘图如图5所示。性，能更好地反映出一幅图像的特征。熵定义为

对于图像边缘的提取，首先定义2个正交方向上的边缘能量提取模板

式（3）和式（4）分别表示 0°和 90°方向的边缘能量提取模板。用E1和E2这两个模板，分别对一幅图像进行卷积处理，图像上每点像素对应的边缘值e（x，y）如

图像的平均边缘能量记为E，即

式中：H，W分别代表图像的宽和高。图像边缘能量反映边缘的丰富程度。图像质量越好、边缘越清晰、信息越丰富，则边缘信号能量值越大；反之，图像质量较差、边缘较模糊、所包含的信息少，则其边缘能量值较小。树枝序列在经两次变换后，其边缘信息减少，如图5所示。

4 试验结果及分析

在试验中选取树枝（Branch）、花（Flower）两个高清序列以及树枝（Branch）、花（Flower）两个标清序列，原始序列内容如图6所示。

依据从信息熵和边缘能量角度对多次变换后的高标清图像质量损伤进行评价的整体性思路，试验过程设计如图7所示。

图7 试验流程图

为保证参数对比的一致性，剔除了图像的黑边部分，选取其相同区域（即“有效区域”，如图4所示的边框内的画面部分）进行比较和分析。图像变换前后信息熵的试验结果见表1及表2。

表1 高清两次变换前后信息熵的试验结果

表2 标清两次变换前后信息熵的试验结果

高清序列经两次变换（切边_镶边）后，Flower序列信息熵的下降程度大，而Branch序列的下降程度小；标清序列经两次变换（镶边_切边）后，Branch序列信息熵的下降程度大，而Flower序列下降程度小。

试验结果表明，虽然高标清序列经两次变换后图像的信息熵发生了变化，但是变化比较小。在评价高标清图像上下变换后的质量损伤时，信息熵的测量并不能清晰划分图像的损伤程度。

图像变换前后的图像边缘能量试验数据结果如表3和表4所示。

表3 高清两次变换前后边缘能量的试验结果

表4 标清两次变换前后边缘能量的试验结果

由表3、表4可知，高清图像经“切边_镶边”模式变换后，Branch序列边缘能量的下降程度大，达到70.72%，而Flower序列下降程度小，只有29.71%；标清图像经“镶边_切边”模式变换后，Branch序列边缘能量的下降程度大，达到27.49%，而Flower序列下降程度小，只有6.70%。

在原始序列中，Branch序列的细节丰富，Flower序列所包含的细节少。试验结果表明，原始序列细节越丰富，经两次变换后，边缘能量下降的程度也就越大，反之，下降的程度就越小，这与人的主观感知相一致。

5 小结

笔者从图像信息熵和边缘能量的角度，对上下变换过程带来的图像损伤进行了试验和分析。结果表明，高标清图像经多次变换处理之后，其信息熵的损伤效果不太

明显，而边缘能量损伤较为明显。也就是说，图像边缘能量比图像信息熵更适合用来测量上下变换所引起的图像损伤。如果进一步考虑人眼视觉感知特性，则对于高标清上下变换过程的测量，将会获得与主观评价结果更为一致的客观评价结果，这也是下一步将要开展的工作。

[1] 蒲翠翠，孟放，姜秀华.一种基于人脸区域的图像质量客观评价算法[J].电视技术，2008，32（2）：94-96.

[2] 傅静琴，李显辉.高清节目制播的挑战与应对[J].影视制作，2009（5）：48-52.

[3] 杨勇强.对高清上、下变换使用的思考[J].视频基地，2009（3）：58-61.

[4] 胡晔.图像边缘信号能量与MTF的相关研究[J].航天返回与遥感，2005，26（4）：20-24.

杨跃华（1985-），硕士生，主研数字电视技术；

孟 放（1972-），工学博士，副教授，硕士生导师，主要研究方向为视频图像质量分析和计算机视觉；

姜秀华（1955-），教授，博导，主要研究方向为数字电视技术、数字视频信号处理和数字视频压缩编码等。