面向图像突发错误的空频延拓差错掩盖

王登程, 刘　浩, 王文生, 张家辰, 宫晓蕙

(东华大学 信息科学与技术学院，上海 201620)



面向图像突发错误的空频延拓差错掩盖

王登程, 刘浩, 王文生, 张家辰, 宫晓蕙

(东华大学 信息科学与技术学院，上海 201620)

块编码的图像数据在易错网络传输时可能出现突发的图像块丢失，而这会导致图像质量急剧下降。针对这以情况，采用空域差错掩盖技术来缓解突发错误造成的图像降质。文中提出了一个将空域先验知识纳入稀疏建模的空频选择性延拓(SFSE)算法，并采用距离自适应的方法来选择拟合模型所需的支撑区域，通过逐次迭代逼近最佳的基函数及其系数，该拟合模型可用于掩盖在突发错误情况下的图像块丢失。实验结果表明，建议的SFSE算法相比于次好的KMMSE算法平均提高了0.5dB的PSNR客观质量，并在适当的算法复杂度下有效地提升了掩盖图像的主观质量。

图像通信；空域差错掩盖；突发块丢失；信号延拓

基于块的视频编码标准如H.264/AVC，目前被广泛应用于图像/视频通信。在此标准中，一幅图像被分为互不重叠的编码块，图像块在各种等易错信道上传输时，可能会丢失编码块，而这可能引起一个编码块的损坏，导致整个图像块质量的严重下降。对于此情况，差错掩盖(ErrorConcealment，EC)技术作为一种后处理方法，无需修改编码器和信道编码方式就能近似地恢复丢失块。这对于保证实时通信中的图像质量是至关重要的，其基本思想是利用在当前图像中正确收到的像素或相邻帧信息来预测当前帧丢失的像素或损坏的图像块[1]。

针对图像突发错误情况，不同的空域差错掩盖算法被提出。Sun等人以凸集投影法(POCS)为基础恢复丢失块[2]。除了频谱信息之外，空间相关性也被用于图像恢复。Shirani等人用马尔可夫随机场(MRF)建立自然图像模型[3]，产生一个视觉舒适但有时过度平滑的恢复效果。H.264采用经典的双线性插值算法(AVC)[4]，对纹理复杂的图像错误补偿效果较差。为了克服上述算法的缺点，Li等人提出了一种基于定向自适应插值(OAI)的顺序框架[5]。Koloda等人提出了一个使用多变量核密度估计的KMMSE算法[6]，利用四周的块信息来确定支撑模型及模型阶数，在图像突发错误中，左、右块信息的丢失使得KMMSE算法进行了大量不必要的搜索过程。综上，这些算法对突发错误的掩盖效果均不理想。

对于空域突发差错，信号延拓算法通过将图像在频域进行稀疏表示，获得了一定的突发错误掩盖性能[7-8]。然而，信号延拓使用预先确定的支撑向量进行预测，可能无法捕捉一些重要的空域特征，尤其是一些重要的空域结构信息。文献[8]提出的信号延拓算法只考虑了丢失图像的上下空间相关性，并未考虑左边已恢复块的空域信息。本文提出了一个将已恢复左侧块的信息纳入稀疏建模的空频选择性延拓(SFSE)算法，结合已掩盖块的信息，并采用距离自适应的方法来选择拟合模型所需的支撑区域，通过逐次迭代逼近最佳的基函数及其系数，该拟合模型可用于掩盖在突发错误情况下的丢失图像块，取得了一定的性能改进。

1　图像突发错误

1.1突发块丢失

灵活块排序机制为差错掩盖提供了统一的测试平台[9]。在文中，图像丢失块的大小是16×16，假定丢失块的位置可被解码器获得。根据丢失块的周围情况，可将块丢失分为两种基本类型：一种是分散错误模式；一种突发错误模式。典型的分散错误模式是在一个丢失块周围的8个相连块均被正确接收。突发错误模式是IP包丢失的一种典型情况，即一整行的图像块全部丢失。图1说明了两种块丢失模式的分布情况，图中每个方块均代表一个大小为16×16的图像块，正确接收的块标记为白色，丢失的块则标记为黑色。

图1　典型的块丢失类型

1.2信号延拓

信号延拓机制通常是在信号的复数域实现的，这种方法能稳健地恢复各种受损图像。在信号延拓处理中，图像被分成不同的块区域，一个区域至少包括一个图像块。除了当前待恢复的图像块，相邻块也要考虑进所谓的延拓区域Q。信号延拓是用一个模型来拟合Q中的每个像素，其拟合目标是逼近Q中正确接收的像素。图2给出了传统信号延拓的示意图[8]，延拓区域Q是大小为M × N的像素矩阵，空间变量m和n表示在这一区域中的像素索引，Q的任何像素均属于以下两种区域之一：已正确接收的像素属于支撑区域A;所有待恢复像素属于丢失区域B。

图2　延拓区域Q是支撑区域A和丢失区域B的合集

信号延拓法通常基于以下的拟合模型

(1)

式(1)表示二维基函数φk,l(m,n)与权重ck,l的加权叠加；K为频域坐标集合。基函数常采用如下的傅里叶函数

(2)

r(v)(m,n)=(s(m,n)-g(v)(m,n))·b(m,n)

(3)

掩膜函数b(m,n)用于确保丢失像素不会作为拟合目标，在(m,n)∈B时是0，在其他区域为1。传统的信号延拓法并未考虑自然图像的空域特性，例如已恢复图像块的可用信息、两像素随距离变化的空间相关性。

2　空频选择性延拓

在本文所提的空频选择性延拓(SFSE)算法中，最佳的φu,v(m,n)函数仍被迭代地逼近，并使用更新的调整因子Δcu,v。假设已知当前迭代的模型系数，则下一次的模型系数将被更新为

(4)

式(4)中的系数γ是用来补偿正交性的不足。第v+1次迭代的残差可表示为

(r(v)(m,n)-Δcu,vφu,v(m,n)·b(m,n))

(5)

最终的系数通过最小化残差的加权均方误差来估计。在v+1次迭代后，加权均方误差可表示为

(6)

由此得到的调整因子为

Δcu,v=

(7)

式(7)可解释为在φu,v(m,n)上r(v)(m,n)的加权投影系数。图3进一步给出了SFSE算法的示意图，延拓区域Q被分成3种区域：已知正确接收的像素属于支撑区域A，所有待掩盖像素属于丢失区域B(位于Q的中心)，在相邻块中延拓产生的像素属于重建区域R。文中的SFSE算法中对文献[14]进行了改进，空域加权函数W(m,n)被进一步优化为

W(m,n)=

(8)

空域加权函数W(m,n)根据延拓区域Q中像素所在位置来控制模型所生成像素的权值。这3种区域具有不同的空域重要性，因此距离自适应的加权函数也被分成3类。由于待掩盖块不能为拟合模型的生成提供有价值的信息，其像素值须排除在拟合目标之外，因此丢失区域B的权重设置为0。在空域加权函数中，指数衰减权重被用于量化两像素距离增加时对相关性的影响，参数ρ用于控制相关性的衰减速度，ρ∈[0,1]。实验表明，重建区域R的像素在16×16块大小下仍具有相当大的拟合价值，但可靠性比正确接收相邻块的像素稍差，所以需要额外的一个参数δ∈[0,1]予以区分。

图3　STSE算法和示意图

(9)

SFSE算法采用最速下降法来获得基函数

(10)

(11)

同样，均方误差的变化量也可表示为

(12)

最终，由式(5)可推导出如下解析式

(13)

式(13)直接在频域中提供了下一次迭代所需的加权残差值。式(11)～式(13)提供了SFSE算法在频域的解G(k,l)。在完成所有迭代后，最终的拟合模型通过离散傅里叶反变换(IDFT)得到

g(m,n)=IDFT(G(k,l))

(14)

此时，拟合模型g(m,n)最接近在支撑区域A和重建区域B的像素，根据信号延拓原理，g(m,n)在丢失区域B也能较好地拟合突发错误造成的块丢失。

3　实验与分析

3.1实验对象及环境

为了验证所提算法的有效性，实验针对图像突发错误测试了一系列差错掩盖算法。测试图像选自经典的USC-SIPI图像数据库，如图4所示，分别为Girl(256×256)、House(256×256)、Lena(512×512)、House&Car(512×512)、Barbara(768×576)、Boats(768×576)和Man(1 024×1 024)。图像突发错误的模式是 块的偶数行连续丢失。测试平台的硬件环境为OptiPlex9020：CPU为i5-4570、主频3.2GHz、内存8GB、显卡为NVIDIAGeForceGTX645；软件环境为Windows7和Matlab2014b。在SFSE算法中，参数ρ=0.9，δ=0.8，γ=0.2。

3.2实验结果及分析

在16×16块突发丢失模式下，实验首先测试各种差错掩盖算法的客观性能。表1给出了各种算法的PSNR和SSIM比较，其中PSNR是峰值信噪比，SSIM是结构相似性。从表1的数据可得知，本文提出的SFSE差错掩盖算法在16×16块突发丢失模式下，对于大多数图像取得了更好的图像恢复质量，尤其是平均PSNR比知名的OAI算法高1.6dB，平均SSIM高0.05。此外，相比于最近提出的KMMSE算法，SFSE算法对于多数图像获得了更高的恢复质量，PSNR的平均增益领先KMMSE算法0.5dB，SSIM的平均增益接近于KMMSE算法。

表2给出了各种差错掩盖算法的时间复杂度比较。其中，AVC算法的执行速度最快，POCS和MRF算法也具有较低的时间复杂度。KMMSE算法由于对连续块丢失进行了大量的无效处理，比其他算法的复杂度高一个数量级以上，故其最耗时。而SFSE、FSE和MRF算法在补偿质量较好的算法中具有相对较低的复杂度，实现了质量与复杂度的不同折衷。

图4　实验仿真的测试图像

为进一步呈现本文所提算法的优势，图5给出了各种差错掩盖算法的主观质量对比。经典的差错掩盖算法在处理这类突发错误时，恢复效果较差。在图中，POCS、MRF丢失了一些细节信息，AVC更是产生了明显的横条带。边缘导向的OAI算法恢复了一定的细节信息，但产生了人造的条纹，使得画面变得凌乱而违背视觉常识。使用基于传统信号延拓的FSE和基于多核外推的KMMSE算法则恢复了较多的图像细节，但存在一定的人工效应。例如，在图5(g)中，桌布边缘有人工锯齿现象，且Barbara脸部有类似切片的效果。在图5(h)中，边界效应过于明显，上下衔接不自然，可看见Barbara脸上产生异样的切片效果。本文提出的SFSE算法恢复在图5(i)既保持了图像的边缘信息，又恢复了图像的部分纹理，使得桌布条纹可以辨认，且没有产生使人脸显得异常的边界效应，复杂度最低的AVC算法尽管对分散错误有一定效果，但无法实现对突发错误的合理掩盖。

表1　各EC算法的PSNR和SSIM比较

表2　算法时间复杂度(s)比较

4　结束语

差错掩盖技术对于保证在图像通信中的图像质量是较为重要的。本文提出了将空域先验知识纳入稀疏建模的空频选择性延拓SFSE算法，并采用距离自适应的方法来选择所需的支撑区域，通过逐次迭代逼近最佳的基函数及其系数，该拟合模型可用于掩盖在突发错误情况下的图像块丢失。实验结果表明，建议的SFSE算法获得了更好的综合性能，尤其适用于突发块丢失的差错掩盖。

图5　各种算法对于Barbara (768×576)差错掩盖的主观质量对比

[1]ChenS,LeungH.Atemporalapproachforimprovingintra-frameconcealmentperformanceinH. 264/AVC[J].IEEETransactionsonCircuitsandSystemsforVideoTechnology,2009,19(3):422-426.

[2]SunH,KwokW.Concealmentofdamagedblocktransformcodedimagesusingprojectionsontoconvexsets[J].IEEETransactionsonImageProcessing,1995,4(4): 470-477.

[3]ShiraniS,KossentiniF,WardR.Anadaptivemarkovrandomfieldbasederrorconcealmentmethodforvideocommunicationinanerrorproneenvironment[C].SA，USA：IEEEInternationalConferenceonAcoustics,Speech,andSignalProcessing, 1999.

[4]HannukselaMM.Non-normativeerrorconcealmentalgorithms[J].JournalofVisualCommunicationandImageRepresentation,2014(10):67-86.

[5]Li X, Orchard M T. Novel sequential error-concealment techniques using orientation adaptive interpolation[J].IEEE Transactions on Circuits and Systems for Video Technology, 2002, 12(10): 857-864.

[6]Koloda J,Peinado A M,Sanchez V.On the application of multivariate kernel density estimation to image error concealment[C]. Beijing: IEEE International Conference on Acoustics, Speech and Signal Processing (ICASSP),2013.

[7]Kaup A,Meisinger K,Aach T.Frequency selective signal extrapolation with applications to error concealment in image communication[J].AEU-International Journal of Electronics and Communications,2005, 59(3): 147-156.

[8]Seiler J, Kaup A. Complex-valued frequency selective extrapolation for fast image and video signal extrapolation[J].Signal Processing Letters,2010,17(11): 949-952.

[9]Panyavaraporn J, Aramvith S. Error resilient framework using one-pass explicit flexible macroblock ordering map generation and error concealment for H. 264/AVC wireless video communication[J].Journal of Electronic Imaging,2011,20(2):10-12.

Spatial-frequency Extrapolation Error Concealment for Consecutive Block Loss

WANGDengcheng,LIUHao,WANGWensheng,ZHANGJiachen,GONGXiaohui

(CollegeofInformationScienceandTechnology,DonghuaUniversity,Shanghai201620,China)

Ablock-codedimageovererror-pronenetworksmayresultinburstblockloss,whichdrasticallydegradesthequalityofthereceivedimage.Thespatialerrorconcealmenttechniquesareacceptedtoalleviatethedegradationcausedbythemissingblocks.Inthispaper,weproposeaspatial-frequencyselectiveextrapolation(SFSE)algorithmthatintroducesthepriorknowledgeintothesparsemodelingtoselecttherequiredsupportareawithsuitablebasefunctionsandoptimalexpansioncoefficientsbyadistance-adaptivemethod,soastoconcealthedamagedblocksinbursterrorsituations.ExperimentalresultsdemonstratethattheproposedSFSEalgorithmobtainsagain0.5dBhigheronaveragethanthatbythesecond-bestKMMSEalgorithm,andeffectivelyimprovesthesubjectivequalityofconcealedimagewithappropriatecomplexity.

simagecommunications;spatialerrorconcealment;burstblockloss;signalextrapolation

2015- 12- 24

王登程(1989-)，男，硕士研究生。研究方向：图像处理错误掩盖。

10.16180/j.cnki.issn1007-7820.2016.09.016

TN919.8

A

1007-7820(2016)09-056-06