基于几何结构的自适应空域错误隐藏算法

杨 丹，卢桂馥,3，周鸣争



基于几何结构的自适应空域错误隐藏算法

杨 丹1,2，卢桂馥1,2,3，周鸣争1

(1. 安徽工程大学计算机与信息学院，安徽 芜湖 241000；2. 南京理工大学高维信息智能感知与系统教育部重点实验室，南京 210094； 3. 东南大学信息科学与工程学院，南京 210096)

针对视频传输时容易发生损坏或丢失数据的问题，提出一种基于几何结构的自适应空域错误隐藏算法，以提高恢复图像质量。利用受损宏块的相邻2层像素提取几何结构，依据受损块相邻像素区分平滑块和边缘块。对平滑块采用双线插值，对边缘块根据内外两层的转折点寻找边缘方向，从而划分区域插值运算。实验结果表明，对于不同宏块丢失率和不同的视频序列，该算法所恢复的视频序列的峰值信噪比比双线插值、方向插值算法提高了0.5 dB~3 dB，不仅避免了虚假边缘，而且也提高了方向插值的准确性，改善了恢复图像的主观效果。

几何结构；错误隐藏；转折点；双线插值；方向插值；空域

1 概述

H.264广泛应用在网络视频媒体传递、视频实时通信、多媒体短信等各个方面。H.264运用了变长编码、预测编码、块变换编码等关键技术，从而具有很高的压缩率，但是由于网络带宽的限制，信道干扰、抗误码能力也相应变弱了。H.264采取了一系列的切合实际的技术措施，其中包括错误掩盖技术。在解码端采用错误掩盖算法，既不要增加额外的码率，也无需改变编码器就可以在接收端改善图像恢复效果，其代价仅仅是在解码端增加了一定延时和计算复杂度[1-2]。错误掩盖算法分为时域掩盖和空域掩盖[3]。其中，时域掩盖利用信号在时间上的连续性恢复图像信息，它不适用复杂的视频序列，对于有过多细节复杂的视频研究者采用空域掩盖算法，利用已经正确接收的相邻宏块恢复丢失块。空域错误掩盖的方法有多种方法，如边界匹配法、插值算法[4-5]等。边界匹配法是通过匹配寻找边缘方向，沿着该方向进行插值[6-7]。插值算法包括双线插值(Bilinear Interpolation, BI)和方向插值(Directional Interpolation, DI)[3]。BI可以很好恢复出图像的平滑区域，但对边缘的恢复存在模糊；DI根据受损块的周边边缘信息预测丢失块内的边缘，插值恢复边缘信息，其中常用边缘检测算子有Sobel算子、Prewitt算子[8-9]，该方法会形成虚假边缘。方向插值[10]将边缘方向归为几类，根据边缘强度的大小选择不同方向插值。还可以根据边缘方向将受损块分为几个区域，对不同区域采用不同的插值。空域掩盖算法的核心在于如何确定边缘方向及插值运算。

为提高PSNR同时避免块效应和虚假边缘，本文依据受损块相邻像素来区分平滑块和边缘块，对平滑块运用双线插值法，而对于边缘块，首先确定相邻两层像素中的转折点，再进行转折点匹配确定边缘方向，最后受损块恢复。

2 平滑块的恢复

2.1 判决条件

受损宏块的相邻8个宏块已被正确接收，本文利用当前宏块的相邻两层像素来提取边缘信息，如图1所示。

图1 图像块相邻两层像素

首先对其相邻两层像素进行中值滤波，以避免在后面的二值化出现孤立的黑像素或白像素[11]。然后分别取内、外两层像素当中4个最大值和4最小值并计算它们的绝对误差。如果绝对误差小于设定的阈值，则表示是平滑块，采用双线插值法恢复，如果大于阈值，采用方向插值。这里的阈值设为35。

2.2 双线插值

双线性插值法则利用了像素点周围邻近的4个像素点的线性平均权值来计算目标像素点的值。这样可以得到较好的整体效果[12]。

其中，为宏块内的丢失像素；分别为与丢失像素最邻近的4个方向的像素；分别是与丢失像素的距离。双线插值算法示意图如图2所示

3 边缘块恢复

3.1 二值化

按顺时针的方向，如果在相邻两层像素当中某个像素点之后颜色发生转变，那么定义其为转折点。内层出现了转折点，则一定有边缘线通过这个点，而外层的转折点帮助判断边缘方向。

3.2 转折点匹配

(1)内层有2个转折点

图3 二值化处理

(2)内层有4个转折点

图4 有4个转折点的情况

(3)有6个及6个以上转折点

当有6个及以上转折点时，转折点的匹配比较复杂。为了提高效率同时有更好的效果，插值方向采用：

3.3 方向插值

边缘方向确定，沿着该方向插值计算，丢失像素插值计算为：

4 仿真分析

以JM16.2为测试平台，对几种典型算法与本文算法进行对比实验。采用CIF格式的Foreman, Mother, Irene视频序列。序列结构为IPPP，使用FMO技术将错误宏块转化为分散形式，参考帧数为1帧，量化系数为28，宏块出错率为随机，出错率为3%、5%、15%、25%。本文使用峰值信噪比(Peak Signal to Noise Ratio, PSNR)对算法进行评价。不同序列的PSNR曲线如图5所示。

图5 3种不同算法的PSNR曲线

在不同宏块丢失率条件下对不同序列和其他算法的平均PSNR值如表1所示。从整个序列的平均PSNR值来看，本文算法比双向插值和方向插值算法提高了0.5 dB~3 dB。

表1 不同宏块丢失率下的PSNR比较 dB

图6给出Forman使用不同的错误隐藏方法对图像恢复的主观质量比较。可以看出，BI算法对平滑快恢复很好，但不能重建边缘，产生了块效应(PSNR为30.95 dB)。DI算法[10]基本恢复了建筑边缘，估计不精确(PSNR为32.29 dB)，而本文算法则提供了较清晰的比缘(PSNR为33.46 dB)。

图6 Foreman序列主观效果图

5 结束语

由于互联网络的多样性与变化性，不可避免出现丢包，恢复视频的错误隐藏技术起着重要作用。本文提出基于几何结构的空域错误掩盖算法，通过相邻像素判别平滑块和边缘块，从而采用分而治之的策略。在JM86测试平台对多视频序列进行仿真，结果表明，本文算法能更好地适应H.264的平滑块与边缘块的特性，能有效提高错误隐藏的主客观质量，但本文没有考虑纹理块，下一步将考虑较复杂的纹理块的方向划分。

[1] Wiegand T, Sullivan G J, Bjntegaard G. Overview of the H.264/AVC Video Coding Standard[J]. IEEE Transactions on Circuits System Video Technology, 2003, 13(7): 560-576.

[2] Kung Wei-Ying, Kim Chang-Su. Spatial and Temporal Error Concealment Techniques for Video Transmission over Noisy Channels[J]. IEEE Transactions on Circuits and Systems for Video Technology, 2006, 16(7): 789-802.

[3] Wang Yao, Wu Zhenyu, Boyce J M. Modeling of Trans- mission-loss-induced Distortion in Decoded Video[J]. IEEE Transactions on Circuits and Systems for Video Technology, 2006, 16(6): 716-732.

[4] Agrafiotis D, Bull D. Enhanced Error Concealment with Mode Selection[J]. IEEE Transactions on Circuits and Systems for Video Technology, 2006, 16(8): 960 - 973.

[5] Wu Jun, Liu Xinggang, Yoo K Y. A Temporal Error Conceal- mentmethod for H.264/AVC Using Motion Vector Recovery[J]. IEEE Transactions on Consumer Electronics, 2008, 54(4): 1880-1885.

[6] KIM Wonki, KOO Jasung, JEONG Jechang. Fine Directional Interpolation for Spatial Error Concealment[J]. IEEE Transa- ctions on Consumer Electronics, 2006, 52(3): 1050-1056.

[7] 徐燕凌, 周源华.H.264视频码流时域误码掩盖算法的改 进[J]. 上海交通大学学报, 2005, 39(9): 1530-1532.

[8] 肖 亮, 吴慧中, 韦志辉. 结构自适应的视频通信误码图像恢复方法研究[J]. 系统仿真学报, 2006, 18(11): 3021-3025.

[9] 丁志鸿, 刘立柱, 王 刚. 基于边界分段匹配的空域视频错误隐藏算法[J]. 计算机应用研究, 2011, 28(4): 1586-1591.

[10] Suh J, Ho Y. Error Concealment Based on Directional Interpolation[J]. IEEE Transactions on Consumer Electronic, 1997, 43(3): 295-302.

[11] 张 阳, 路 羊, 崔慧娟, 等. 基于H.264的内容自适应空域误码掩盖算法[J]. 清华大学学报, 2009, 49(1): 94-97.

[12] Zeng Wenjun, Liu B. Geometric-structure-based Error Con- cealment with Novel Applications in Block-based Low-bit-rate Coding[J]. IEEE Transactions on Circuits and Systems for Video Technology, 1999, 9(4): 648-665.

编辑 金胡考

Adaptive Spatial Error Concealment Algorithm Based on Geometric Structure

YANG Dan1,2, LU Gui-fu1,2,3, ZHOU Ming-zheng1

(1. School of Computer and Information, Anhui Polytechnic University, Wuhu 241000, China; 2. Key Laboratory of Intelligent Perception and Systems for High-dimensional Information, Ministry of Education, Nanjing University of Science and Technology, Nanjing 210094, China; 3. School of Information Science and Engineering, Southeast University, Nanjing 210096, China)

Aiming at the characteristic of damage or lose data during video transmission, an algorithm of adaptive spatial error concealment based on geometric structure is proposed, which can recover the quality of image better. The two nearest surrounding layers of pixels are used to extract the local geometric structure. The proposed algorithm makes use of surrounding pixels of a damaged block to distinguish between smooth block and edge block. Bilinear Interpolation(BI) is used to process smooth block, while edge block makes use of the transition point to detect the edge direction and the lost Macro Block(MB) is partitioned into segments. Each pixel in segments directionally interpolated from the boundary pixels are adjacent to the segments. Experimental results show that the value of Peak Signal to Noise Ratio(PSNR) of reconstructed video is higher than that of BI and Directional Interpolation(DI) by 0.5 dB~3 dB for different rates of lost MB and different video sequences. The proposed algorithm can not only achieve good directional interpolation but also avoid fake edges.The image’s subjective effect has great improvement.

geometric structure; error concealment; transition point; Bilinear Interpolation(BI); Directional Interpolation(DI); spatial domain

1000-3428(2014)03-0274-04

A

TP919.81

国家自然科学基金资助项目(61231002)；安徽省自然科学基金资助项目(1308085MF95)；高维信息智能感知与系统教育部重点实验室(南京理工大学)开放基金资助项目(30920130122005)；中国博士后科学基金资助项目(2013M531251)。

杨 丹(1973－)，男，讲师、硕士，主研方向：模式识别，视频编码；卢桂馥，副教授、博士；周鸣争，教授。

2013-07-03

2013-09-30 E-mail：hotman19730916@126.com

10.3969/j.issn.1000-3428.2014.03.058