分布式视频编码中基于滑窗的自适应相关估计方法

朱蓉蓉+方勇

摘 要： 信源与边信息之间的相关建模和参数估计一直是分布式视频编码的关键环节。在分布式视频编码中，相关噪声分布是非平稳的，会随着场景序列而动态变化，如何准确地预测和追踪相关参数十分重要。为了充分发挥分布式信源编码的优势，提出一种基于滑窗的自适应相关估计方法。该方法将滑窗的思想嵌入到基于LDPCA码的Slepian?Wolf解码器中，结合边信息和码流在线估计图像信源之间的相关参数，且能够自适应地选择是否进行重估，进而优化联合比特面置信传播迭代译码。实验结果表明，以先进的分布式视频编码方案DISCOVER作为基准，使用所提方法的方案在保持较低编码复杂度的情况下提高系统的率失真性能。

关键词： 分布式视频编码； 相关估计； 置信传播算法； 联合比特面解码； LDPCA码； 分布式信源编码

中图分类号： TN941.2?34； TP911.2 文献标识码： A 文章编号： 1004?373X（2018）06?0028?06

Abstract： The correlation modeling and parameter estimation for signal sources and side information are key processes in distributed video coding （DVC）. In DVC， correlation noise distribution is unstable and changes dynamically with the scene sequence， so it is important to accurately predict and track correlation parameters. To give full play to the advantage of distributed source coding （DSC）， an adaptive correlation estimation method based on sliding?window is proposed in this paper. In the method， the sliding?window idea is embedded in the Slepian?Wolf decoder based on LDPCA code. The method can adaptively select whether re?estimation should be executed in combination with correlation parameters of side information and bit stream online estimation image source， so as to optimize joint bit?plane belief propagation （JBBP） iterative decoding. The experimental results show that， taking the advanced DVC scheme DISCOVER as the criterion， the scheme using the proposed method can improve rate?distortion performance of the system while maintaining low coding complexity.

Keywords： DVC； correlation estimation； belief propagation algorithm； joint bit?plane decoding； LDPCA code； DSC

0 引 言

分布式视频编码（Distributed video coding，DVC）是分布式信源编码（Distributed source coding，DSC）最早也是最先进的应用[1]。近年出现的许多新兴应用，如无线传感器网络，电话视频会议、便携式视频摄像机等这些应用的编码设备比较简单，计算能力和存储空间有限，而处于中央服务器的解码设备拥有较多资源可以进行复杂计算，传统的视频编码标准不能满足上述需求。而DVC恰好能解决这类问题，与传统的视频编码方案相反，可以将复杂度从编码端转移到解码端[2]。

Wyner?Ziv编码是Slepian?Wolf问题[3]的有损形式，解决了仅解码端可以访问边信息的情况下有损信源编码率失真问题[4]。WZ编码通常是由一个量化器和基于信道码的非对称Slepian?Wolf（SW）编码器组成[5]。由于在DVC中视频场景是动态且不可预测变化的，相关噪声分布也会因此而变化，所以WZ编码存在信源统计特性未知的问题。通常大多数分布式视频编码设计是通过相关噪声（信源与边信息之间的残差）建模为高斯或拉普拉斯随机过程来简化问题，并利用训练序列或已解码数据来估计分布参数[6?8]。场景的非平稳性也可通过及时更改相关模型并向SW解码器提供不同初始估计来解决。但是，相关噪声模型如果选择错误就会降低编码效率和导致较低的率失真性能[9]。而且一旦SW解码开始，相关统计特性就是固定的，解码器并不能实时追踪相关性的变化，从而不能准确进行迭代译码。因此，对相关噪声统计特性进行自适应追踪预测是非常有必要的。

在标准置信传播算法上引入滑窗（Sliding?Window）的机制，也就是滑窗置信度传播算法（Sliding?Window Belief Propagation，SWBP），最早是用来解决基于LDPC码的非平稳二进制信源的无损压缩问题[10]。随后滑窗思想又被推广到非平稳相关多元信源的非对称SW编码[11]。本文在此基础上，将滑窗的思想应用到分布式视频压缩中，提出一种基于滑窗的自适应相关估计方法。该方法在变换域上带有反馈信道的DVC框架[12]中采用累积LDPC（LDPC Accumulate，LDPCA）码[13]进行编码并控制比特面码率，使用简化后的联合比特面置信传播算法（Joint Bit?plane Belief Propagation，JBBP）[14]进行迭代译码，重点是利用滑窗的思想在SW解码器中结合边信息和码流对促发联合比特面置信传播迭代的相关参数进行自适应追踪估计，改善置信传播迭代过程，进而优化分布式视频编码系统的率失真性能。endprint

1 分布式视频编码框架

为了便于分析所提方法的优势，本文将先进的DVC框架DISCOVER[12]作为基准，框架简图如图1所示。

正如文献[1，6]所示，编码器首先将所有的帧分为关键帧和WZ帧。关键帧采用传统帧内编解码方法，如H.264AVC；对于WZ帧，先对其进行[4×4]的离散余弦变换（Discrete Cosine Transform，DCT），然后将整帧的变换系数分组为16个系数带[b∈1，16]。按照DISCOVER中的量化级数分别对每个系数带进行量化。采用LDPCA码对来自每个子带的量化系数所组成的所有比特面进行编码并自适应调整码率。在解码端，采用运动补偿帧插值[12，15]来生成边信息，通过本文提出的方法估计相关参数并进行联合比特面迭代解码，最后有效地重建出WZ帧。

2 基于滑窗的自适应相关估计方法

本文所提的基于滑窗的自适应相关估计算法是嵌入到SW解码器中的。首先，对信源和边信息进行相关建模，在解码端利用LDCA码对信源（像素或DVC中的变换系数）进行编码，在解码端采用基于滑窗的自适应相关估计方法进行参数估计。该参数促发联合比特面置信传播算法（JBBP）进行迭代，在迭代解码过程中自适应选择对参数的重估，直至参数得到精确估计，与此同时也就恢复出了信源。

2.1 相关建模和编码

2.1.1 相关建模

设置[Xn，Yn?pXn，Ynxn，yn]两个相关随机过程。其中[Xn]表示信源，[Yn]表示边信息。两者之间的相关可建模为[Xn=Yn+Zn]。其中[xn，yn∈0：M]，[Zn]是一个有[n]个独立随机变量的拉普拉斯随机过程。给定[Yi=yi]，则[Zi]的范围为[-yi，M-yi]，因此[Zi]依赖于[Yi]，[Zi]的概率分布模型为截取离散拉普拉斯分布（Truncated Discrete Laplace，TDL），则[Zi]的概率分布函数为：

[pZi|Yixi-yiyi∝ 12σ2iexp-2σ2ixi-yi] （1）

对于拉普拉斯分布，已知[σ2i≠VarZi]，但[σ2i]可以控制[pZiYixi-yiyi]随着[xi-yi]的增长而下降，因此称[σ2i]为[Zi]局部名义方差，而定义[Zn]的全局名义方差为[σ2?1ni=0n-1σ2i]。如果解碼端已知边信息[Yn]，则对[Xn]进行编码的最低可达码率为：

[Rmin? 1nHXnYn = 1nHZnYn=1ni=0n-1HZiYi = 1ni=0n-1yi=0M-1pYiyiHZiYi=yi] （2）

[HZiYi=yi=-a=-yiM-1-yifxi-yiyi，σ2ilog2 fxi-yiyi，σ2i] （3）

式中，[fxi-yiyi，σ2i]采用拉普拉斯分布形式。

2.1.2 编 码

设[xn∈0，Mn]是[Xn]的一个实现，对[xn]的编码需要两个步骤：第一，[xn]的每个符号（像素或DVC中的变换系数）二进制化，即[q=log2 M]比特。然后[nq]个比特形成一个向量[bnq∈Βnq]，其中子向量[biq+qiq?biq，…，biq+q-1]对应于[xi]，[biq]表示最低有效位（Least Significant Bit，LSB），[biq+q-1]表示最高有效位（Most Significant Bit，MSB），即[xi=k=0q-1biq+k2k]。第二，在编码端用[bnq]去乘以一个[m×nq]的校验矩阵[H]，得到校验子[sm=Hbnq]，故编码码率（bit/s）为[R=mn]。

2.2 联合比特面置信传播算法译码

为了更好利用比特平面之间的相关性，在编码端采用一个二进制LDPC码对表示一个像素的所有比特进行编码，因而在解码端使用联合比特面置信传播算法（JBBP）进行解码。该算法最初是Varodayan等人提出来的，是一种期望最大化的算法，利用前后帧的比特相关性在像素域LDPC码解码器中进行无监督向量学习运动估计[14]。

2.2.1 译码初始化

如图2所示，JBBP算法的因子图包含3种节点；符号节点（用椭圆表示），变量节点（用圆形表示）和校验节点（用正方形表示）。在使用JBBP算法译码前，解码器还需通过下面两个步骤进行初始化：

1） 符号节点初始化：通过相关模型和参数计算符号节点的本征概率分布函数（Probability Mass Function，PMF）；

2） 变量节点初始化：通过对应的符号节点的本征概率分布函数来计算每个变量节点的偏概率，也称为置信消息。

2.2.2 算法步骤

从校验信息[sm]中恢复信源来恢复[bnq]，进而也就恢复出信源[xn]。每次迭代包括2个步骤：变量节点和校验节点之间的标准BP算法；符号节点和变量节点之间的BP算法。

变量节点?校验节点之间的BP算法本包含3个步骤：计算变量节点到校验节点的置信消息；计算校验节点到变量节点的置信消息；计算变量节点来自校验节点的总的置信消息。

符号节点?变量节点之间的BP算法也有3个步骤：计算符号节点外来概率分布函数；计算符号节点总的概率分布函数；计算变量节点总的置信消息。

每次迭代的最后会进行收敛测试：设[bnq]为[bnq]的估值，获得节点变量总的置信消息后，解码器作硬判决译码。如果[Hbnq= sm]，解码器停止迭代并输出[bnq]进而恢复[xn]，否则，需要运行更多迭代次数。

2.3 基于滑窗的自适应估计

符号节点的本征概率分布函数是由具体的相关模型和参数所确定的，而变量节点所要传递的置信消息又是由符号节点的本征概率分布函数所计算，因置信消息是促发JBBP算法的初始条件，所以相关参数[σ2i]需要传递到符号节点才能促发联合比特面置信传播迭代译码。在进行JBBP算法之前，使用[σ2]（全局名义方差[σ2]的粗略估计值）对符号节点初始化，也就是计算符号节点的本征概率分布函数。在每次JBBP迭代后，解码器会重估每个符号节点的局部方差。随着解码迭代的运行，相关参数[σ2i]的估计会越来越准确，同时也就会恢复了信源[Xn]。滑窗思想的关键是假定信源与边信息的相关性在每个合适大小窗口中可以近似看作是平稳的。因此，每个符号节点的局部方差就可以通过其领域节点的总概率分布函数来估计。

2.3.1 算法描述

每个信源符号与其相对应的边信息符号的期望平方欧氏距离（Expected Squared Euclidean Distance， ESED）计算如下：

[di = i=0M-1λixixi-yi2] （4）

式中，[λixi ]为该符号节点的总概率分布函数，由该符号节点的本征概率分布函数（依赖于具体相关模型，此处为拉普拉斯模型）和置信传播所传递的外来概率分布函数计算得到。在大小为[w]的领域内，每个符号节点的局部名义方差可由式（4）中的期望平方欧氏距离来估计。设[i ：j?i， …， j]，[Ni?max0， i-u：mini+u， n-1]，其中，[u=w2]，则：

[σ2iu = i′∈Ni ＼ idi′Ni-1] （5）

式中，[?]表示设置基数。为了避免陷入死循环，[di]自身的置信排除在外。最后，优化后的[σ2iu]可以促发下一次联合比特面置信迭代。

在计算[σ2iu]时，需要计算[w-1]项和，时间复杂度会随窗口大小[w]线性增长，但是通过滑窗技术就能加速计算。设

[?i ? i′∈Nidi′] （6）

则[σ2iu = ?i-diNi-1]。一旦[?0]已知，[?i]就能由式（7）计算：

[?i = ?i-1+di+u， ?i∈1，u+1?i-1+di+u-di-u-1， ?i∈u+1，n-u ?i-1-di-u-1， ?i∈n-u，n] （7）

式中，[i∈1 ， n。]

2.3.2 窗口大小选择

由第2.3.1节分析可知，窗口大小[w]对滑窗置信传播算法至关重要，合适的窗口不仅能实时地追踪信源，还能抑制[σ2i]的波动。相关估计的目的是降低编码码率，所以最优窗口应使得码率最小。已知半窗口[u]，先由式（5）估计局部名义方差[σ2iu]，根据实际相关模型计算出[fxiyi， σ2iu]（本文相关模型为拉普拉斯分布），最后码率可根据式（8）由半窗口[u]进行预测：

[Ru∝-1ni=0n-1i=0M-1λixi In fxi-yiyi， σ2iu] （8）

求最优半窗口可转化为：

[u*=argminuRu] （9）

上述求最优窗口的方法称为最小期望码率（Minimum Expected Rate，MER）算法。在搜索最有窗口时，没必要搜索所有的整数[1， n-12]，因为窗口太小时，[Ru]变化剧烈而窗口太大时则趋于平滑。因此，算法从[12，22，…， n-122]中搜索最优半窗口[u]。

2.3.3 自适应重估

每次JBBP迭代后，没必要重新进行相关估计，因为相邻两次迭代通常产生相似的结果，尤其是在解码的初始阶段。因此所提自适应方法会决定相邻置信迭代之间是否需要进行相关估计。令[dit]是第t次JBBP迭代后的符号节点与其相关边信息的ESEDs。假设最后一次相关估计是在第[t′]次JBBP迭代启动的。那么，[dit]与[dit′]之间的变化情况可以用相关系数来衡量，即：[ρ? i=0n-1ditdit′i=0n-1di2t?i=0n-1di2t′] （10）

可以定义阈值[ρth]来控制是否进行相关参数重估：仅当[ρρth]时，才进行相关估计，否则将跳过这一环节。

3 实验结果

为了验证在视频序列中WZ帧之间所提相关估计方法的性能，本文选用4种不同运动类型的标准视频序列Hall Monitor，Foreman，Coastguard和Soccer进行测试，以QCIF格式和15 Hz帧频率进行编码，共149帧。帧组（Group of Pictures，GOP）长度为2，奇数帧是关键帧，采用传统视频编码标准H.264/AVC进行帧内编码和帧内重构；关键帧之间的偶数帧为WZ帧，采用LDPCA码进行编码并进行控制比特码率。在解码端，采用运动补偿帧插值来生成边信息，并利用边信息和码流通过所提方法进行参数估计，使用联合比特面置信传播算法进行解码。本文实验只针对视频序列的亮度分量进行，计算SW编码器的平均误码率（Bit?error Rate）和重建后的WZ帧的峰值信噪比（Peak Signal?to?Noise Ratio，PSNR）。实验以没有使用本文方法的DVC框架DISCOVER作为基准，将其与本文所提系统进行对比。实验中，所使用的相关噪声分布为拉普拉斯分布，其相关参数[σ2i]的初始估值设置为全局名义方差[σ]，阈值[ρth=0.996]。endprint

首先，使用Bj?ntegaard三角度量（Bj?ntegaard delta metric，BJM）[16]来说明PSNR和比特率在两条率失真曲线上的平均差异。本文所用的基于滑窗的置信度传播解码相对于DISCOVER框架中的在线估计[6]解码（基准）的BJM测量值如表1所示，仿真中所使用的测试序列和量化矩阵Q1，Q3，Q5和DISCOVER视频编码中的一样。结果显示所提方法在比特率保存方面优于基准编码器。

其次，对比4种不同运动类型的视频帧在使用基于滑窗的自适应相关估计方法的DVC框架下和基准DVC框架DISCOVER下的率失真性能，结果如图3所示。从图3的率失真性能对比曲线来看，相对于基准的框架DISCOVER，所提方法提高了系统的率失真性能，因为该方法更好利用了比特之间的相关性，可以自适应地估计相关参数并优化迭代译码过程。

最后，对比两个框架解码时间，也就是说明本算法的复杂度。如表2所示，仅对两个视频序列Foreman， Soccer的WZ帧在使用三种不同的量化矩阵的情况下进行解码执行时间测试。仿真是在具有4 GB内存的英特尔 i7 980 CPU上进行。从表2中可以看出，本文方法的解码执行时间比基准框架解码时间长，算法的复杂度相对较高。

4 结 论

本文对DVC提出一种基于滑窗的自适应相关估计方法。该方法是嵌入到SW编码器中，根据码流和边信息动态追踪预测相关参数；在精确估计参数的同时，可以自适应选择是否进行重估，避免不必要的开销。并且该方法容易实现与现有的大多数DVC框架的集成，因为只需要替换框架中的SW编码器即可。通过对四种不同运动程度的标准视频序列进行仿真，与基准DVC框架DISCOVER进行对比，实验结果说明，所提方法有助于系统率失真性能的提高。

参考文献

[1] AARON A， ZHANG R， GIROD B. Wyner?Ziv coding of motion video [C]// Proceedings of 36th Asilomar Conference on Signals， Systems and Computers. Pacific Grove： IEEE， 2002： 240?244.

[2] PURI R， RAMCHANDRAN K. PRISM： a new robust video coding architecture based on distributed compression principles [C]// Proceedings of 40th Allerton Conference on Communication， Control and Computing. [S.l.： s.n.]， 2002， 6： 379?381.

[3] WYNER A， ZIV J. The rate?distortion function for source coding with side information at the decoder [J]. IEEE transactions on information theory， 1976， 22（1）： 1?10.

[4] SLEPIAN D， WOLF J K. Noiseless coding of correlated information sources [J]. IEEE transactions on information theory， 1973， 19（4）： 471?480.

[5] 方勇，宋娟，霍迎秋，等.分布式信源编码：基础与前沿[M].北京：国防工业出版社，2015：6?7.

FANF Y， SONG J， HUO Y Q， et al. Distributed source coding： foundation and advanced technology [M]. Beijing： National Defense Industry Press， 2015： 6?7.

[6] BRITES C， PEREIRA F. CorrelationT noise modeling for efficient pixel and transform domain Wyner?Ziv video coding [J]. IEEE transactions on circuits and systems for video technology， 2008， 18（9）： 1177?1190.

[7] FAN X， AU O C， CHEUNG N M. Adaptive correlation estimation for general Wyner?Ziv video coding [C]// Proceedings of IEEE International Conference on Image Processing. Cairo： IEEE， 2009： 1397?1400.

[8] WOLF A， MATTH? M， FETTWEIS G. Improved source correlation estimation in wireless sensor networks [C]// Proceedings of IEEE International Conference on Communication Workshop. London： IEEE， 2015： 2121?2126.

[9] TAHERI Y M， AHMAD M O， SWAMY M N S. A study on compression rate bounds in distributed video coding based on correlation noise models [C]// Proceedings of IEEE International Symposium on Circuits and Systems. Montreal： IEEE， 2016： 2691?2694.endprint

[10] FANG Y. LDPC?based lossless compression of nonstationary binary sources using sliding?window belief propagation [J]. IEEE transactions on communications， 2012， 60（11）： 3161?3166.

[11] FANG Y. Asymmetric Slepian?Wolf coding of nonstationarily?correlated M?ary sources with sliding?window belief propagation [J]. IEEE transactions on communications， 2013， 61（12）： 5114?5124.

[12] ARTIGAS X， ASCENSO J， DALAI M， et al. The DISCOVER codec： architecture， techniques and evaluation [C]// Proceedings of Picture Coding Symposium. Lisbon： EURASIP， 2007： 1103?1120.

[13] VARODAYAN D， AARON A， GIROD B. Rate?adaptive distributed source coding using low?density parity?check codes [C]// Proceedings of 39th Asilomar Conference on Signals， Systems and Computers. Pacific Grove： IEEE， 2005： 1203?1207.

[14] VARODAYAN D， CHEN D， FLIERL M， et al. Wyner?Ziv coding of video with unsupervised motion vector learning [J]. Signal processing： image communication， 2008， 23（5）： 369?378.

[15] ASCENSO J， BRITES C， PEREIRA F. Content adaptive Wyner?Ziv video coding driven by motion activity [C]// Proceedings of IEEE International Conference on Image Processing. Atlanta： IEEE， 2006： 605?608.

[16] BJ?NTEGAARD G. Calculation of average PSNR differences between RD?curves [C]// Proceedings of ITU?T VCEG. Austin： [s.n.]， 2001： 2?4.endprint