一种基于结构相似度的多视点码率分配方法

邓凯文，任仙怡，梁永生

（1.深圳大学 信息工程学院，广东 深圳 518060 2.深圳信息职业技术学院 信息技术研究所，广东 深圳 518029 3.深圳市可视媒体处理与传输重点实验室，广东深圳 518029）

一种基于结构相似度的多视点码率分配方法

邓凯文1，任仙怡2，梁永生3

（1.深圳大学 信息工程学院，广东 深圳 518060 2.深圳信息职业技术学院 信息技术研究所，广东 深圳 518029 3.深圳市可视媒体处理与传输重点实验室，广东深圳 518029）

多视点视频编码是当前视频编码领域的研究热点之一。在有限的网络带宽下，合理的码率分配可以提高视频主观视觉质量。本文提出一种基于结构相似度的码率分配方法，首先对视频帧提取基于结构相似度的显著图，然后结合显著图对重要宏块和非重要宏块分配不同的QP值，以达到码率分配的目的。实验结果表明，本文方法在有限的带宽下能有效的提高多视点视频的视觉主观质量。

多视点视频编码；结构相似度；码率分配

随着3D视频技术的快速发展，多视点视频因其很好的视觉效果得到了越来越多的关注。多视点视频技术逐渐成为下一代多媒体系统（包括自由视点系统、3DTV系统等）的重要技术之一。作为对传统视频的扩展，多视点视频是由多个摄像机对同一场景从不同的角度捕获到的一组视频序列，能更加生动的提供立体感、深度感[1-3]。因为随着摄像机的增加，视频数据量也在不断的增加，而视频间存在着大量的冗余信息。MVC是多视点视频编码的重要技术，经过MPEG和VCEG视频组的共同努力，MVC已经被收录在H.264AVC标准的附录中[4]。

MVC标准并没有考虑到人眼系统的感知特性，人眼系统更关注那些视频图像中的重要内容，且对重要内容的失真更加敏感。因此，如何有效的对重要的视频内容分配较多的比特以提高视频质量，从而提高整体的视频主观质量。本文提出一种基于结构相似度的码率分配方法，首先提取出多视点视频中的重要区域和非重要区域的显著图，然后结合显著图为用户感兴趣的重要内容分配较多的码率以保证视频质量，为非重要内容区域分配较少码率以提高压缩效率，在传统多视点视频编码的基础上，进一步通过挖掘视觉冗余，提高压缩效率。

1 结构相似度

结构相似度（structural similarity，SSIM）是一种基于结构信息衡量图像之间相似程度的方法[13]。结构信息是图像中客观存在的特性，它更加着重参考图像间内在规律的相似性。所以直接估计两个图像间的结构相似度能绕开图像内容复杂性及多通道去相关的问题，使得评价两幅图像的相似度变得更加简单且与更符合人眼视觉系统的特性。结构相似度SSIM是用结构信息的变化量来表征的，其模型如公式（1）所示。

其中，x、y代表要进行比较的两幅图像，l(x,y)表示亮度比较，c(x,y)表示对比度比较，s(x,y)表示结构比较，计算公式定义分别如公式（2）、（3）和（4）所示。

其中，μx和μy分别是x、y图像的均值，σx和σy分别代表x、y图像的方差，则是图像x和图像y的y协方差，而C1、C2和C3是一些为了避免分母为零而添加的小常数，分别取值为：

式中K1,K2＜1,L是像素中的动态范围（若是8比特的灰度图像则取255）。另外，SSIM（x,y）的值越高则两幅图像x,y越相似。

2 码率分配

2.1 基于结构相似度的显著图提取

结构相似度算法SSIM（structural similarity）是一种基于结构信息衡量图像之间相似程度的方法[5]。结构信息是图像中客观存在的特性，它更加着重参考图像间内在规律的相似性。基于结构相似度的显著性检测模型以神经生物学框架为基础，以局部结构相似度进行显著性度量，模型主要包括三个步骤：首先按照特征融合理论和神经生物学框架把初级视觉特征分解为颜色、亮度、方向三个类型的特征；然后对三个初级视觉特征进行局部相似度度量，得到各个特征分量的显著图；最后对三个特征分量显著图进行融合得到最终显著图，同时通过二值化得到相应的显著区域[6]，如图1所示。利用该显著模型提取多视点视频图像的显著图，如图2所示。

图1 基于结构相似度的显著性检测模型Fig.1 Saliency detection model based on structural similarity

图2 基于SSIM的显著图Fig.2 The saliency map based on SSIM

2.2 基于显著图的宏块QP值

本文方法是基于以下原则利用显著图对视频序列进行码率分配：显著区域视频质量要比非显著区域高；要保持整体传输码率的一致性。在编码过程中，JMVC使用的是全局的QP值，所以整个视频帧的码率分配很平均，这就导致在带宽有限的情况下无法提高重要的视频区域的主观质量。

人眼在观看视频的时候，主要关注的是感兴趣的区域。因此，在有限的带宽下进行视频编码时，可以优先给人眼感兴趣的区域分配较多的比特以提高视频质量，而对于非感兴趣区域分配较少的比特以保证码率不变。本文在提取显著区域的基础上，通过调节每一个宏块的QP值来达到码率分配的目的。本文方法计算编码宏块MB的QP值如公式（1）所示。其中，QPMB是当前宏块的QP值。

在上限为200kbit/s带宽码率条件限制下，图3为根据本方法码率分配与传统方法编码后进行解码后的效果比较图。从图中可以看出，在对重要感兴趣区域进行码率分配后得出的主观效果要比传统方法有提高。

图3 解码后的视频帧比较Fig.3 Comparison of the decoded video frames

3 实验测试及结果分析

本文用于测试的软件为MEEG和VCEG视频组联合开发的MVC参考软件模型JMVC8.5，现阶段JMVC是由HHI实验室提供[7]。用于实验的视频序列为Nagoya University Tanimoto Lab提供的AKK0&Kayo视频序列，根据需要本文只测试前三个视频点S0、S1和S2(S0、S1、S2分别表示第一个视点、第二个视点和第三个视点)。

PQA600是最新一代的图像质量分析仪，它是泰克公司在荣获艾美奖的PQA200/300 的基础上研发的新产品。PQA600 采用了基于人类视觉系统的概念，提供了一整套可重复的、并与主观人眼视觉评估十分接近的客观图像质量测量。

结合PQA600对解码视频进行测试，评价测试包括PSNR,DMOS以及ADMOS参考数值。DMOS是差异平均主观评分，ADMOS是最大差异平均主观评分，PQA600 中DMOS，ADMOS 值越低越好。当DMOS和ADMOS数值越低则表示该解码视频具有更好的主观感知效果。根据本文方法利用PQA600测试解码图像各区域的质量具体如表1 所示，测试结果表明在有限的带宽下，本文方法有效提高了重要的感官区域视频质量，同时改善了人眼注视区域的视觉感知效果。

表1 实验结果Tab.1 The experimental results

4 结论

多视点视频编码标准MVC在提高编码效率是并没有考虑到人眼系统的特性，人眼对感兴趣区域的视频质量较为关注。在此基础上，为了在有限的带宽下有效的提高视频主观质量，本文提出一种基于结构相似度的码率分配方法。实验表明，在相同的码率条件下，本文方法保护了感兴趣区域的视频质量，并且提高了整体视频播放的主观质量。

（References）

[1]JACOB CHAKARESKI,ECOLE P.Adaptive multiview video strieaming:challenges and opportunities[J].Communi cations Magazine,IEEE ,2013：94-100.

[2]A.VETRO,T.WIEGAND,and G.J.SULLIVAN,“Overview of the stereo and multiview video coding extensions of H.264/ MPEG4 AVC standard”,Proc.IEEE.vol.99.no.4,Apr.2011,pp.626-642.

[3]JUNYAN HUO,YILIN CHANG,MING LI,YANZHUO MA.Study status and prospective of multiview video coding[J].Journal on communications,31(5),2010,pp.113--121.

[4]Y.Chen,Y.K.Wang,K.Ugur,M.M.Hannuksela,J.Lainema,M.Gabbouj,The emerging MVC standard for 3D video services,EURASIP J.Adv.Signal Process.(2009) 1-13,http

[5]DI HONGWEI,LIU XIANGFENG.Image fusion quality assessment based on structural similarity[J].Acta PHOTONICA Sinica,2006,35(5).

[6]李崇飞,高颖慧,卢凯,曲智国.基于结构相似度的视觉显著性检测方法[J].计算机工程与科学,2013,35(10).Li Chongfei ,Gao Yin-hui,Lu kai,Qu Zhi-guo.Visual salient region detection based on structual similarity.computer Engineer &science,2013,35(10).(in Chinese)

[7]Joint Video Team of ITU-T VCEG and ISO/IEC MPEG.WD 1 reference software for MVC(JMVC8.5),March 26,2011.

A method of bit allocation based on SSIM for multiview

DENG Kaiwen1,REN Xianyi2,LIANG Yongsheng3
(1.Shenzhen University ,Shenzhen Guangdong ,518060,P.R.China;2.Shenzhen Institute of Information Technology,Shenzhen,518172,P.R.China;3.Shenzhen Key Lab of Visual Media Processing and Transmission,Shenzhen,Guangdong,518172,P.R.China)

Multiview video coding is one of the hotspots in the field of video coding.In the limited network bandwidth,reasonable bit allocation can improve the video subjective quality.A rate allocation method based on the image structural similarity is proposed in this paper,firstly,a saliency map based on structural similarity is extracted,then the important macro block and non important macro block is set by different QP value.The experimental results show that,this method can effectively improve the visual quality of multiview video under limited bandwidth.

multiview video coding；SSIM；bit allocation

TN919.81

：A

1672-6332（2014）03-0031-04

【责任编辑：高潮】

2014-07-06

国家自然科学基金项目（项目编号：61172165）；广东省自然科学基金项目（项目编号：S2011010000697,S2011010006117，S2012010008997，S2013010012669）；深圳市科技计划项目（项目编号：JC201105190829A）

邓凯文（1987-），男（汉），广西玉林人，硕士研究生。研究方向为视频编码。E-mail:dengkaiwensz@163.com