视频通信差错控制研究

陈后全，李向群，刘逸飞，克米尔丁·阿不都赛买提，李华林，刘志渲

（西北民族大学电气工程学院，甘肃 兰州 730124）

0 引言

就H.264/AVC视频和H.265/HEVC视频两个标准而言，它们就是在这个时代变化之中，新旧替代品的强而有力的证明。一些珍贵的影像资料有可能惨遭遗弃，这就造成了很大的资产和艺术损失。如果这些视频经过修复可以得到一定改善，那这种修复方式肯定是我们必定所需求的。本文采用实践实验的方法对图像修复进行研究，主要研究数字图像的两种修复方式——CDD模型算法及TV模型算法。修复算法的研究根据理论函数的模型，利用工程软件MATLAB进行实际实验验证，以此来达到本文所述的研究目的。本文对于视频通信差错控制的相关研究，即数字图像修复技术的研究，在影视作品的后期处理、网络视频的模糊化还原、老纪录片的复原等方面也有着十分重要的意义。

1 H.264/AVC视频和H.265/HEVC视频的简单论述

随着流媒体的广泛应用以及高性能并行计算需求的不断增大，现有的单核DSP结构搭建的视频编码硬件平台很难满足日益增加的计算需求。而为了提高视频编码的容错能力，H.264中提出了可变宏块次序（FMO）技术。

H.264视频码流的帧内编码帧(I帧)由于不存在运动矢量，因而只能使用空域错误隐藏。空域错误隐藏技术利用视频空域的冗余信息，用当前帧内丢失部分周围正确接收到的图像数据恢复受损图像，一般适用于运动矢量不存在的帧内编码帧(I帧)和运动复杂的帧间编码帧(P帧)。I帧隐藏的不理想将导致误差传播到图像组的其它帧,最终导致视频序列质量的下降。

针对H.264的视频容错技术在视频通信的鲁棒性方面，利用周边信息，丢失宏块可以采用线性插值的方法，通过四个相邻像素来进行恢复，也可以采用其他方向的插值方法，来对恢复进行相应提高。由于HEVC视频编码标准正在开发中，目前对该标准格式的视频容错技术鲜有报导，而HEVC视频格式与H.264存在着很大的不同，同时关于HEVC视频相关研究涉及到的视频序列修复技术，恰是本文的着重点。

2 视频序列修复技术的简要论述

视频序列是指有时空联系的多个视频图像按照一定顺序的排列[1]。我们可以把视频序列的修复理解为根本意义上的图像序列的修复。图像的修复工作就是把需要修复的图像进行重塑或是除掉多余的东西，简言之就是还原图像的原始状态。图像的修补技术最早可以追溯到文艺复兴时期[2]。为了使受损的画面回复原貌，人们用填补裂缝的方法来修复图像画面。M.Bertalmio首次提出能用一个数学表达式来简化图像修复[3]。

当待修复图像破损区域不算太大时，我们主要使用基于非纹理结构的图像修复技术对其进行修复，例如使用基于高阶偏微分方程（PDE）的算法修复图像[4]。这种方法的主要原理是因为每幅待修复图像的破损区域都有其边缘信息，我们利用它的边缘信息，可以确定出它的扩散信息和方向，得出破损区域的边界向图像内扩散[5]。非纹理结构的图像算法对需要修复的破损区域的结构无任何限制，也就是说包含不同信息的几个区域能被同时填补。

基于纹理的图像修复技术。基于纹理合成的技术，人们研究出了基于纹理信息的相关修复技术。在满足视觉连通性的前提下，将图像的已知的区域信息复制到需要修复的破损区域中从而合成一个新的图像区域。但需要注意的是，这种方法因为不能完整地修复图像中物体的几何信息，过度不自然会产生人工边界[6]。

目前，人们在图像处理领域已经取得了很大的收获。越来越多的图像修复方法也呼之欲出。然而图像的修复本来就存在着很多的局限性，例如图像的增强得不到保障、图像的修复结果不尽如人意等[7]。所以图像修复方法的提出与改进，仍然是任重而道远的一项工程。图像的修复研究，到今天仍旧有着十分重要的现实意义，可参照动画《白雪公主》的修复和纹理结构和非纹理结构的图像修复。

3 基于TV模型和CDD模型的图像修复方法

TV模型，英文全称（total variation)，中文译作整体变分。其主要修复原理如下：

图1 TV 模型修复示意图

如图1：E为被损坏区域，D为该区域的领域。如下给出为TV修复模型的数学表达式：

其中：U为图像中的像素点，λ为设定的参数。运算之后，可得到修复的结果。修复例子可参考如图2。

图2 TV 模型修复比较图

CDD模型，全称Curvature driven diffusion，中文译作曲率驱动扩散模型，是由CHAN等人在以TV模型为基础下，引入曲率扩散项k,让受损图像中的大曲率迅速地扩散，可实现连接较大断裂部位的功能。CDD模型是建立在TV模型的基础上的。其修复示意图如图3。

图3 CDD 模型修复示意图

图4 CDD 模型修复比较图

D表示受损图像的被损坏区域，ΩD表示已知区域，经常用到的退化模型如下：

前文中提到Chan等人在TV模型的基础上改进并提出了基于TV模型的CDD模型，于原TV模型的扩散项，对其加入一个扩散系数，字母代号k。对于曲率较大的区域，加强其扩散的程度，CDD模型因此可以修复破损图像更大的面积和区域。

欧拉-拉格朗日方程为：

可以看出此方程阶数已上升一阶，成为三阶方程。因此每一次修复的迭代运算都会对每一个像素点进行三次阶数的偏微分运算，耗时过长。此时引入自适应系数并知当图像曲率较大时就需要对扩散进行加强，同时CDD模型的曲率因子是可以加强其扩散能力的，因此在其曲率较大时CDD模型的使用效果更好；对于小曲率的情况，可以使用TV模型满足;梯度较大时，使用TV模型可以较好地保护边缘；而梯度较小时，热扩散模型的对应使用更好。所以，引入一个自适应系数，字母代号q，q根据曲率的不同选择相应的扩散模型；又引入自适应系数，字母代号p，其根据图像变化情况选择相应的扩散类型。其欧拉-拉格朗日方程为：

由（4）（5）可知，1≤q≤2，1≤p≤2。p=q，q=1时模型就是基本的CDD模型，缺点是由于迭代次数过多，导致修复速度较慢。但在某些情况下，比如曲率、梯度较大时，修复效果较好。修复例子可参考如下所示：

4 结语

与CDD模型相比，TV模型的最大一个特点就是修复速度快，可以应对一些需要快速修复的修复作业。CDD模型的优势在于其修复结果比TV模型更加平滑自然，这是因为TV模型采用直接合成破损图像的修复方法，在合成过程中未免有些毛刺。如何改进两种算法或是研究出新的算法对破损图像进行更好的修复，是图像修复领域需要攻克的一道难题。