以HEVC为基础的3D视频编解码
2018-08-03王斌
王 斌
(天津赢大科技有限公司,天津 300384)
前言
科学技术飞速发展背景下,3D行业迅速兴起,3D电视和3D电影的出现则将3D视频带入了普通百姓的生活。从目前来看,无论是3D电视还是3D电影,都是以双目立体显示技术为基础,在观看时能够感受到明显的立体效果,但是需要佩戴专用的3D眼镜,可能会使人产生不适感,而其本身采用的帧兼容立体显示格式更是会在一定程度上降低左右两路视频的水平分解力,基于此,需要更进一步推进3D视频技术的发展。
1 HEVC概述
HEVC(High Ef fi ciency Video Coding)是一种比较新颖的视频压缩标准,于2013年1月26号正式成为国际标准,取代了原本的H.264/AVC编码标准,能够促进视频画面质量的提高,有效节约网络带宽,为消费者提供更高质量的高清电视、4K视频和3D蓝光视频。
HEVC被普遍认为是即将流行的协议标准,因为从目前来看,无论是任务流媒体播放器,都需要一个全新的编码器作为支撑,确保其能够对4K内容进行播放,HEVC的应用,能够将视频压缩效率提高一倍以上,从而使得视频带宽成本大大减少,手机用户在线观看视频的流量耗费更少,下载速度更快,而且画质基本不会受到影响[1]。
2 基于HEVC的3D视频编解码系统
基于 HEVC的3D视频编解码系统架构如图1所示。
图1 基于 HEVC的3D视频编解码系统架构
在将视频序列、摄像机参数和深度图送入到3D视频编码器之后,经编码可以得到比特流,在这个过程中,深度序列可以不参与编码。如果比特流被解码器解码,可以得到相应的视频序列和摄像机参数,如果深度图同样参与编码,则在解码后,利用技术深度图绘制技术生成的N个视点序列,能够提供自由立体显示,利用生成的两个左右视点则可以提供双目立体显示。若比特流在经过抽取后送入到双目立体视频解码器中,可以得到双视点视频序列,利用图像域变形技术得到中间视点后,同样可以提供自由立体显示和双目立体显示等功能[2]。
2.1 视频编码方式
在针对依赖视点进行编码时,可以采用MVC中的时差补偿预测,因为其本身并不会对宏块层语法及解码过程进行改变,因此可以在一定程度上提升编码效率。在实际操作中,需要关注三个方面的问题,一是视点间运动预测,对于视点正编码视频块,可以通过对应深度块,换算得到相应的视差,找出其在参考视点视频帧中对应的已编码块,通过参考视点对应块的运动参数,可以对正编码块的运动参数进行合理预测。不过,考虑编码环节需要先完成视频帧编码后才能进行深度图编码,无论是否需要对深度图进行编码,依赖视点视频帧编码时其所对应的深度图都尚未完成编码工作,因此,在实施视点间运动预测之前,应该做好深度图估计;二是视点间残差预测,同一时间不同视点对应的视频块运动参数存在融入,则残差同样会存在冗余。与视点间运动预测相似,视点间残差预测同样需要通过深度图估计来对视差进行确定,之后则只需要对参考视点对应残差块与当前视点对应残差快的差值进行变换和编码即可。
2.2 深度图编码方式
一是建模模式,针对深度图的特性,在编码中存在四种不同的建模模式,分别是Explicit Wedgelet、Intra-predicted Wedgelet、Inter-component Wedgelet以及Inter-component Contour,可以根据实际情况作出选择。考虑视频与深度图间的物体形状存在很大相关性,样点值相关性较小,在深度图块划分时,可以通过对应视频亮度信息进行预测,其被称为对象间预测;二是编码模式,主要指区域边界循环编码模式,需要首先找出内边界,利用循环码到达编码边界后,将其转化为比特流,然后计算区域划分预测值,填入到块中;三是运动矢量继承,对于视点相同的视频和深度图而言,在同一时间同一角度,对于同一场景的投影存在相同运动特性,基于此,在深度图编码环节,可以直接对已编码对应视频帧的运动参数进行继承。如果继承的是运动矢量,无论是预测单元还是深度图编码单元,都可以从对应视频帧的对应块中实现继承[3]。
3 结束语
总而言之,在不断的发展过程中,HEVC标准受到了越来越多的关注,基于HEVC的3D视频编解码框架也已经基本确定,并且取得了一定的成果,不过从整体上看,许多技术依然需要进行改进和创新,才能更好地适应时代发展要求,推动3D视频技术的持续健康发展。