海上栅格化信息网络视频业务优化应用研究*
2014-11-23
(海司信息化部 北京 100841)
1 引言
信息技术的飞速发展和国际环境的深刻变化,推动世界新军事革命进程不断加快。面对新形势,海军装备建设为了适应海军战略转型需要,正在构建海上栅格化信息网络,在海军现役各通信网的基础上,实现海军通信网络一体化,为用户提供多手段、多业务、多路径、自动高效、随遇接入的综合信息保障,提升基于信息系统的体系作战能力。海上栅格化信息网络需依托各类无线通信资源,在岸海空天等各类平台之间传送实时画面,为指挥控制、情报侦察、远程医疗、后勤保障等应用提供了更为丰富和准确的信息,极大地提升了海军信息化应用能力。海上栅格化信息网络视频业务连接关系如图1所示。
图1 海上栅格化信息网络视频业务连接关系
由于海上栅格化信息网络需要建立岸基指挥所、舰船、飞机和各类侦察设备之间的通信连接,涉及的平台数量多,每个平台分配到的无线通信资源有限;同时,海上栅格化信息网络视频应用已经不是点对点视频业务,需要在岸海空天等多个平台之间以网状方式传送多路视频信号,因此每路视频信号的传输带宽非常有限。另一方面,由于无线信道存在着信道被干扰的可能性,因此实时视频通信必须考虑丢包和误码的情况。综上所述,如何在海上栅格化信息网络环境下,依托窄带无线通信资源,进行多路网状高质量视频图像传输成为了当前亟待解决的关键问题。
图2 视频编码的结构示意图
如图2所示,为了解决这一问题,研究人员不断地提出效率更高的视频编码工具[1~2]和差错掩藏工具[3~4],在编解码两端优化视频图像质量。但在实际工程应用中,设计人员往往还是采用通用的视频编码标准进行信源压缩。H.264标准通过多模式编码和1/4像素运动估计等高复杂度编码工具,其编码效率较MPEG-2标准提升了一倍,是目前实用的编码效率最高的视频编码标准。在不改变H.264编码结构的情况下,根据视频编码场景的特点合理的分配码率资源,成为在实际应用中提升视频编码质量的有效手段。本文针对海上栅格化信息网络视频通信特点,提出了基于信息效用的宏块级码率分配方法,有效地提升了视频编码质量。
2 海上栅格化信息网络视频失真分析
在H.264 标准中,编码资源的合理分配离不开率失真函数的优化。在视频编码传输中,宏块端到端的失真包括信源编码失真和信道传输失真。由于信源失真和信道失真相互独立,端到端的失真D(n,i)可以写成:
其中Ds(n,i)、Dc(n,i)分别表示第n帧中第i个宏块的信源失真和信道失真。Ds(n,i)主要是由视频编码中的有损编码环节所带来的,例如量化编码。Dc(n,i)主要是信道的丢包、误码所带来的。进一步而言,Dc(n,i)又可以表示成误码扩散失真Dep(n,i)和差错掩盖失真Dec(n,i)。
其中,Dep(n,i)指在解码端正确接收信号时,由已解码图像的误码错误所导致的扩散误差。Dec(n,i)则指在发生传输错误时,解码端采用差错掩盖算法时的掩盖失真。
文献[5]指出,在基于RTP、UDP和IP的传输环境和打包策略下,IP 包中每个像素的丢失率和数据包的丢失率相等,因此端到端的宏块失真可以表示成:
其中,p代表信道的丢包率。在得到了无线信道下的失真函数后,我们将其代入H.264的率失真函数,从而得到无线信道条件下的率失真模型。
由于Dec(n,i)是错误掩盖失真,与编码无关,则可得到等价的率失真函数:
其中λ1是Lagrange乘子,其等于H.264中的Lagrange乘子λ除以(1-p)。当λ1增大的时候,代表码率对于代价函数的影响更大,因此通常会使用帧间编码等编码码率较小的编码模式;反之,当λ1减小的时候,说明码率对于代价函数的影响变小,选择帧内编码模式的机会就增加了。同时,λ1减小表明,代价函数偏向于失真更小的编码模式,因此能够改善图像的编码质量。
需要指出的是,对于帧内编码模式的宏块而言,其解码的过程中不依赖已解码的图像,因此不存在误码扩散失真Dep(n,i)。而对于帧间编码模式的宏块而言,解码过程会将原先解码图像的误差扩散到当前解码块,增加解码图像的失真。因此,对于无线视频通信而言,减小λ1值可以增加选择帧内编码模式的机会,进而有效的降低图像的误码扩散失真。
3 海上栅格化信息网络视频编码优化
在海上栅格化信息网络中,大多数视频图像属于背景固定的监控类图像。对于使用视频的工作人员而言,背景图像对于使用者的作用很小。使用者所关心的图像信息一般只存在于视频图像的某一部分区域,因此可以根据使用者的实际需求,针对重点监控的区域增加码率分配,减小关键区域的误码扩散,从而提升图像的可用性。
一般而言,海上栅格化信息网络中的视频监控点往往固定,因此可以通过人为设置重点区域的方式确定画面的关键区域。如果想要得到更为精确的划分,也可以通过关注度自动提取[6]等方法预先提取出人眼视觉所关注的区域,再通过人工判别的方法标注出重点监控区域。
在获取的监控画面的重点区域之后,本文根据宏块的重要程度来调整宏块的量化系数和率失真函数的斜率。如图3所示,本文首先根据图像块对工作人员的效用,将宏块划分成四种类型,其中灰色宏块为背景区域的宏块,蓝色区域的宏块为过渡带宏块,红色区域的宏观为普通感兴趣区域宏块,而白色宏块代表边缘感兴趣区域宏块。其中,感兴趣区域中的边缘宏块对于描述物体轮廓进而认知物体起到核心作用,因此对此类宏块应该分配较多的编码码率,而背景区域则可以分配较少的编码码率。
图3 感兴趣区域量化系数设置示意图
首先,本文根据宏块的类型来调整其量化系数。假设背景区域的量化值为QP1,重点区域的量化初始值为QP2,红色宏块的量化值为QP3,白色宏块的量化值为QP4,过渡带的量化值分别为Qi(图中,i=1,2,蓝色区域)。首先过渡带的量化系数值为
其中,DISi为过渡带宏块到重点区域边界的最短距离,width为过渡带的宽度。白色宏块的量化系数为QP4=QP2,红色宏块的量化系数为QP4=(QP3+max{Qi})/2。
同时,本文还调整了重点区域的λ1值和背景区域的λ1值,让重点区域的宏块以更精细的编码模式编码。而背景区域使用大的λ1值,降低编码码率。具体而言,λ1缩放权重的取值范围是[0.5,2]。
最后,对于重点区域中的宏块,所有的DCT 系数都会被如实编码,而背景区域的宏块会将一部分DCT 系数置成0,再进行编码,从而进一步降低编码码率。
4 仿真实验
本文在H.264的参考代码平台上进行了实验,测试序列为:通用测试序列中的Hall、Foreman、Claire和Carphone,以 及AVS[7]中的监控测试序列中的Subway,Crosss_street,Night_static,Substation。其测试的条件设置如表1所示。
表1 仿真实验编码器设置
部分的实验结果如图4~图6所示:上面是整帧RD 性能曲线图,而下面是重点区域的RD 曲线图。
图4 Subway整帧RD 性能曲线和重点区域RD 性能曲线
图5 Night_static整帧RD 性能曲线和重点区域RD 性能曲线
图6 foreman整帧RD 性能曲线和重点区域RD 性能曲线
从实验结果中可以得到以下结论:大部分序列可以做到在有效码率内(一般小于2M)改善重点区域的编码质量。与H.264 参考模型的编码器相比,在相同码率下,重点区域的客观编码质量提升了0.5dB~1dB;与此同时,整帧平均的PSNR 值不下降或者略微下降(一般小于0.1dB)。同时,重点区域质量提升的效果和重点区域的大小相关,重点区域划分得越精确,则重点区域编码质量提升的效果越好。
与此同时,我们还模拟了无线环境下的传输丢包,并比较本方法和H.264 的解码图像。本文利用VCEG 中的无线传输参考模型MobileIP[8]进行丢包仿真,然后将接收到的错误的JM 码流进行解码。如图7所示,左侧图像为H.264的解码图像,右侧图像为本方法的解码图像。可以看到本方法的误码扩散所带来的视觉误差更小。
图7 Claire无线信道的主观对比图
最后需要指出的是,本方法并未增加编码环节,时间复杂度并未增加。同时,因为要存储宏块的类型,需要增加一定的内存开销。
5 结语
针对海上栅格化信息网络中窄带无线通信系统如何提高视频图像传输质量的问题,本文针对海上栅格化信息网络视频应用的特点,根据宏块的重要程度来调整宏块的量化系数和率失真函数的斜率,进而有效地提升了海上栅格化信息网络视频业务中关键区域的编码质量。仿真实验的结果表明,本方法与H.264参考模型的编码器相比,在码率相同和整帧PSNR 相同的条件下,重点区域的客观编码质量提升了0.5dB~1dB。同时,对于信道丢包误码,本方法具有更好的抗误差扩散的能力。
[1]ISO/IEC JTC1/SC29/WG11 N4668:Overview of the MPEG-4Standard[S].2002.
[2]毕厚杰.新一代视频压缩标准-H.264[M].北京:人民邮电出版社,2005.
[3]S.K.Bandyopadhyay,Z.Wu,P.Pandit,et al.Frame loss error concealment for H.264/AVC[R].Joint Video Team(JVT)of ISO/IEC MPEG and ITUT VCEG,JVT-P072,2005.
[4]S.Belfiore,M.Grangetto,E.Magli.Concealment of whole-frame losses for wireless low bit-rate video based on multiframe optical flow estimation[J].IEEE Transactions on Multimedia,2005,7(2):316-329.
[5]Thomas Stockhammer,Miska M.Hannuksela,Thomas Wiegand.H.264/AVC in Wireless Environments[J].IEEE Trans.Circuits Syst.Video Technol.,2003,13(7):657-673.
[6]L.Itti.Automatic Foveation for Video Compression using A Neurobiological Model of Visual Attention[J].IEEE Transactions on Image Processing,2004,13(10):1304-1318.
[7]中国国家标准GB/T20090.2.-201X 信息技术-先进音视频编码 第2部分:视频(第二次修订版)[S].2012.
[8]Viktor Varsa,Marta Karczewicz.Common Test Conditions for RTP/IP over 3GPP/3GPP2,VCEG-N80[C]//VCEG Fourteenth Meeting,Santa Barbara,CA,USA,2001.