数字视频转码失真分析

苏建军,慕世友,杨 波,孙晓斌,赵海武,顾 晓

(1.国网山东省电力公司电力科学研究院,济南 250000; 2.山东鲁能智能技术有限公司,济南 250101;3.上海大学 通信与信息工程学院,上海 200444) (*通信作者电子邮箱814313949@qq.com)

数字视频转码失真分析

苏建军1,慕世友2,杨 波1,孙晓斌1,赵海武3,顾 晓3*

(1.国网山东省电力公司电力科学研究院,济南 250000; 2.山东鲁能智能技术有限公司,济南 250101;3.上海大学 通信与信息工程学院,上海 200444) (*通信作者电子邮箱814313949@qq.com)

在互联网视频应用领域中,视频在经过多次转码后相对于原始节目的失真难以控制,为此，提出一种对视频多次转码后的总失真进行估计的方法。首先,研究多次有损转码失真的叠加过程,找到了多次失真叠加后总体失真的下限；然后，用概率论的方法给出了总体失真的一个估计；最后,根据估计误差,采用最小二乘拟合对该估计进行修正。实验结果表明,经过修正后,Y、U和V三分量最终失真的平均估计误差仅为0.02 dB, 0.05 dB和0.06 dB,这说明该方法能够有效且准确地估计出视频转码的总体失真值。

视频转码;视频编码;失真分析;MPEG2;中国数字音视频编解码技术标准

0 引言

在数字视频应用中经常需要转码。所谓转码就是把数字视频数据从一种格式转换为另一种格式,例如从码率50 Mb/s的MPEG-2全I帧转换为码率6 Mb/s的MPEG-2含I/P/B帧的基本流,或者从MPEG-2格式转换为MPEG-4、H.264以及音视频编解码技术标准(Audio Video coding Standard, AVS)等。尤其是最近新涌现出了多种视频应用,比如网络直播、虚拟现实等,这些应用的内容在到达最终用户眼前之前,往往要经过多次转码,以适应各种不同的、不断变化的环境。由于视频格式都是有损压缩格式,所以每次转码都会引起视频信号质量的下降。在设计应用系统时,需要对最终的节目质量有所控制。但是在转码时往往拿不到原始节目,也就不能准确计算出转码后的节目相对于原始节目的失真情况,这个问题会对数字视频应用的发展造成制约。为了解决该问题,本文提出了一种估计视频多次转码后的总失真的方法。

以前关于转码的研究,包括不同标准之间的转码和同标准之间的转码。文献[1-2]对视频转码的研究进行了全面的综述,包括转码过程中遇到的各种技术问题。随着新的视频编码标准的出现,新老标准之间的转码成为视频转码研究的主要内容,文献[3-8]都是关于新老标准之间转码的文献。但是,在众多的转码文献当中,探讨多次转码后失真的叠加情况的文献非常少,因此目前还没有可以准确估计视频经过多次转码的总失真的方法。

本文将对转码过程中引起质量下降的过程进行分析,给出定量估计多次转码后峰值信噪比(Peak Signal-to-Noise Ratio, PSNR)的公式,并通过初次的估计误差得到修正公式对估计结果进行修正。这种方法能准确高效地估计视频经过多次转码的总失真。值得注意的是本文讨论的是发生在数字压缩格式之间的转码,不包括视频信号的A/D、D/A转换以及模拟格式之间的转换。

目前常用的数字视频编码格式有MPEG-2、H.264和AVS。另外,一些新出现的数字视频编码标准例如H.265和AVS2等,也会逐渐在实际中采用。AVS是我国制定的数字音视频编解码标准,本文以MPEG-2和AVS之间的转码为例,实际上相关方法对于其他转码也是适用的。

1 基本概念

(1)

(2)

(3)

(4)

其中:di为第i个采样点的失真。由于在转码时得不到原始视频数据,因此无法精确计算出压缩后的视频序列相对于原始视频序列的失真。本文的目的就是在假定已知转码前的视频序列相对于原始序列的PSNR值的条件下,给出估计转码后的视频序列相对于原始序列的PSNR值的公式。

2 理论下限

根据柯西(Cauchy)不等式,可得

(5)

依据式(5),则:

(6)

(7)

类似地,得到:

(8)

(9)

其中:R是第二次压缩后相对于原始序列的PSNR值。将式(7)～(9)代入式(6)并化简后,得到

再经过变形,可得R下限公式:

(10)

式(10)给出了R的下限公式,但是在实际应用中是不可能达到这个下限的。因为只有当两次压缩在每一个采样点的失真成比例时才能达到这个下限,由于视频序列采样点数很多,在每个采样点的失真成比例是极小概率事件。本文更关心的应该是R最可能的取值,或者R最可能的取值范围。

3 对多次转码后的失真进行估计

设视频序列有N个亮度采样点,亮度的取值范围是0～255,令Ω={-255,-254,…,254,255},F={A|A是Ω的子集},P(A)=NA/N,其中NA是失真值为A中元素的采样点总数,则(Ω,F,P)构成一个概率空间。每一次有损压缩,都确定了一个定义在(Ω,F,P)上的随机变量ξ。若依次进行的两次有损压缩确定的随机变量分别为ξ和η,则两次压缩产生的总失真对应的随机变量ζ等于ξ与η的和,即

ζ=ξ+η

(11)

由第2章的符号,可得

(12)

(13)

(14)

由于MPEG-2、H.264和AVS等压缩算法对直流分量的保真度高,因此直流分量的失真非常小,一般情况下,可以认为直流分量的失真为0,即E(ξ)=E(η)=0。因此可得:

(15)

(16)

D(ξ+η)=E[(ξ+η)2]-[E(ξ+η)]2=

(17)

假设ξ和η是相互独立的,则:

D(ξ+η)=D(ξ)+D(η)

(18)

将式(15)～(17)代入式(18)并化简,得

(19)

将式(7)～(9)代入式(19)并化简,得

(20)

解得

(21)

式(21)给出了两次有损压缩后总的PSNR的估计值。该公式需要知道两次有损压缩的分别的PSNR。

表1 MPEG2压缩至不同码率后再用AVS压缩的PSNR值 dB

图2 估计误差与两次压缩的PSNR之差的绝对值之间的关系

4 实验结果

本章对式(21)进行验证。采用运动较剧烈的通用影像传输格式(Common Intermediate Format, CIF)的Stefan序列作为测试序列。第一次压缩采用MPEG-2,分别压缩到2 Mb/s、3 Mb/s和4 Mb/s三种不同码率;第二次压缩采用AVS,采用固定QP的方式压缩编码,QP取28、32、36三个值。

为描述方便，先定义以下符号：R1是用MPEG2按确定码率压缩原始视频的PSNR；R2是在MPEG2压缩后的视频再用AVS按确定QP压缩的PSNR；R是经过MEPG2和AVS两次压缩后的视频相对于原始视频后的PSNR；R3是根据理论计算得到的PSNR。

测试流程如图1所示,测试所得数据见表1。

从实验数据可以看出,实际的PSNR比用式(21)估计的PSNR要高,也就是说式(21)比较保守。出现估计误差的原因是两次压缩产生的失真不是完全独立的。由于MPEG2和AVS都是以宏块为基本编码单元,变换和量化的基本块尺寸都是8×8,因此在失真上具有相关性。另外,失真的相关性还来自视频的内容。一般而言,在纹理较为复杂的区域,失真较大,在纹理较为平坦的区域失真较小,无论是MPEG-2还是AVS,失真都具有这个特点。

图1 测试流程

5 对概率论方法估计结果的修正

由表1的数据可得出：两次压缩产生的失真不完全独立，从而使得概率论方法的估计结果存在一定误差;并且由于视频转码过程涉及的因素较多，难以对该类误差进行理论分析。从表1可看出,估计误差R-R3的值基本在1～2 dB内。估计误差的值与两次压缩的PSNR有关,当两次压缩的PSNR相差比较大时,估计误差较小,说明失真的相关性较小;当两次压缩的PSNR相差比较小时,估计误差较大,说明失真的相关性较大。

把估计误差和两次压缩的PSNR之差的绝对值画出来,得到图2。

采用最小二乘拟合得到的R～R3和|R1-R2|之间的关系为:

Y:y=-0.116 62x+1.770 4

(22)

U:y=-0.144 12x+2.031 2

(23)

V:y=-0.149 15x+2.087 4

(24)

使用式(22)～(24)对结果进行修正,得到表2～4，其中：R4是经过修正后的结果，Δ是R4相对于原计算结果R3的偏移量，D是R减去R4的差。表中的数据按照|R1-R2|从小到大排列。值得注意的是,虽然不同的视频序列局部纹理不同导致局部的转码失真也不同,但是整体的转码失真都是服从正态分布的,因此式(22)～(24)并非只适用于本实验中用到的序列,而是适用于所有序列。

从表2～4可以看出,经过修正以后,对两次编码后总的PSNR的估计已经非常准确了,尤其是Y分量,误差小于0.1 dB。

表2 Y分量修正后的结果

表3 U分量修正后的结果

表4 V分量修正后的结果

6 结语

本文研究了在视频转码过程中的失真叠加问题,根据理论推导给出了失真叠加后PSNR的下限值和估计值,而且该方法可以推广到N次转码的情形。

本文首先推导出失真值的初始估计,实验中该值大于实际失真值。这是因为两次有损压缩的失真具有相关性，而且这种相关性和有损压缩的算法有关,也和视频的内容有关。

根据实验统计分析,发现初始估计误差与先后两次编码的PSNR之差的绝对值基本成线性关系。采用最小二乘拟合算法对初始估计值进行修正以后,获得了良好的效果,Y、U和V三分量的平均估计误差仅0.02 dB,0.05 dB, 0.06 dB。

在此估计的基础上,在进行转码时,可以根据第一次编码的失真(PSNR)和转码后期望的节目质量(PSNR),倒推得到转码时失真(PSNR),从而保证最终的节目质量。

References)

[1] VETRO A, CHRISTOPOULOS C, SUN H. Video transcoding architectures and techniques: an overview[J]. IEEE Signal Processing Magazine, 2003, 20(2): 18-29.

[2] AHMAD I, WEI X, SUN Y, et al. Video transcoding: an overview of various techniques and research issues[J]. IEEE Transactions on Multimedia, 2005, 7(5): 793-804.

[3] 王国中, 赵海武, 顾君忠. Mpeg-2 到AVS视频转码器的实现[J]. 计算机工程, 2005, 31(19): 189-191. (WANG G Z, ZHAO H W, GU J Z. Implementation of efficient transcoding from MPEG-2 to AVS[J]. Computer Engineering, 2005, 31(19): 189-191.)

[4] WANG G, ZHAO H, TENG G. Usage of MPEG-2 to AVS transcoder in IPTV system[C]// PCM 2007: Proceedings of the 8th Pacific Rim Conference on Multimedia. Berlin: Springer, 2007: 65-70.

[5] WANG B, SHI Y, YIN B. Transcoding of H.264 bitstream to AVS bitstream [C]// WiCom 2009: Proceedings of the 5th International Conference on Wireless Communications, Networking and Mobile Computing. Piscataway, NJ: IEEE, 2009: 1-4.

[6] LU Z, SIU W, JIA K. Fast block size selection for H.264 video-downsizing transcoding[C]// Proceedings of the 2010 10th International Conference on Information Sciences Signal Processing and their Applications. Piscataway, NJ: IEEE, 2010: 101-104.

[7] HUANG S-C, HSU C-T, CHEN M-J. Efficient motion re-estimation for H.264 B- and P-frame transcoding by using maximun likelihood[C]// Proceedings of the 2010 International Conference on Electronics and Information Engineering. Piscataway, NJ: IEEE, 2010, 1: 557-561.

[8] FERNANDEZ-ESCRIBANO G, KALVA H, MARTINEZ J L, et al. An MPEG-2 to H.264 video transcoder in the baseline profile[J]. IEEE Transactions on Circuits and Systems for Video Technology, 2010, 20(5): 763-768.

[9] LUO R, XIE R, ZHANG L. Fast AVS to HEVC transcoding based on ROI detection using visual characteristics [C]// Proceedings of the 2014 IEEE International Symposium on Broadband Multimedia Systems and Broadcasting. Piscataway, NJ: IEEE, 2014: 1-6.

[10] DIAZ-HONRUBIA A J, MARTINEZ J L, CUENCA P, et al. Adaptive fast quadtree level decision algorithm for H.264 to HEVC video transcoding[J]. IEEE Transactions on Circuits and Systems for Video Technology, 2016, 26(1): 154-168.

[11] MORA E G, CAGNAZZO M, DUFAUX F. AVC to HEVC transcoder based on quadtree limitation[J]. Multimedia Tools and Applications, 2017, 76(6): 8991-9015.

[12] XIN J, LIN C-W, SUN M-T. Digital video transcoding[J]. Proceedings of the IEEE, 2005, 93(1): 84-97.

Distortionanalysisofdigitalvideotranscoding

SU Jianjun1, MU Shiyou2, YANG bo1,SUN Xiaobin1,ZHAO Haiwu3, GU Xiao3*

(1.StateGridShandongElectricPowerResearchInstitute,JinanShandong250000,China;2.ShandongLunengIntelligenceTechnologyCompanyLimited,JinanShandong250101,China;3.SchoolofCommunicationandInformationEngineering,ShanghaiUniversity,Shanghai200444,China)

Video transcoding is applied in the field of Internet video coding. When the original video is transcoded multiple times, only the distortion between the input video and the output video can be calculated and the distortion between the output video and the original video can not be learned. Here an algorithm for estimating the distortion between the output video and the original video was proposed to control the quality of the output program. Firstly, the superposition of distortion caused by multiple lossy transcoding was analyzed to derive the lower limit of total distortion. Then the probability method was exploited to make an estimation on the distortion between the original video and the final output video. Finally, the least square fitting was used to correct the estimation according to the prediction error. Experimental results demonstrate that the proposed algorithm can accurately estimate the distortion with the prediction error of 0.02 dB, 0.05 dB and 0.06 dB for Y, U and V components on average respectively after correction.

video transcoding; video coding; distortion analysis; MPEG2; Audio Video coding Standard (AVS)

2017- 04- 28;

2017- 06- 27。

国家电网公司总部科技项目(520626140006)。

苏建军(1962—),男,山东济南人,高级工程师,硕士,主要研究方向:电力系统与自动化; 慕世友(1968—),男,山东济南人,高级工程师,主要研究方向:高电压及信息处理、目标识别; 杨波(1977—),男,山东济南人,高级工程师,硕士,主要研究方向:电力系统巡检、机器视觉; 孙晓斌(1979—),男,山东济南人,高级工程师,硕士,主要研究方向:架空输电线运行与检修、缺陷识别与检测; 赵海武(1973—),男,河北廊坊人,高级工程师,博士,主要研究方向:数字视音频编码与通信、视频压缩; 顾晓(1994—),男,上海人,硕士研究生,主要研究方向:视频压缩、VR视频编码。

1001- 9081(2017)10- 2899- 04

10.11772/j.issn.1001- 9081.2017.10.2899

TN911.73

A

This work is partially supported by the Science and Technology Program of State Grid Corporation (520626140006).

SUJianjun, born in 1962, M. S., senior engineer. His research interests include power system and automation.

MUShiyou, born in 1968, senior engineer. His research interests include high voltage technology and information processing, target recognition.

YANGBo, born in 1977, M. S., senior engineer. His research interests include power system inspection, machine vision.

SUNXiaobin, born in 1979, M. S., senior engineer. His research interests include overhead transmission line operation and maintenance, defect identification and detection.

ZHAOHaiwu, born in 1973, Ph. D., senior engineer. His research interests include digital video and audio coding and communication, video compression.

GUXiao, born in 1994, M. S. candidate. His research interests include video compression technology, VR video coding.