基于图像修复的图像编码技术

蒋 伟， 杨俊杰

(上海电力学院 计算机与信息工程学院，上海 200090)

0 引言

图像编码压缩技术是图像存储、处理和传输中的关键技术。目前，利用离散余弦变换(DCT)和离散小波变换(DWT)的图像编码技术已得到广泛应用，它们都是基于波形的第一代图像编码。为了开发性能更优的图像编码技术，从上世纪后期，基于对象的第二代图像编码已成为图像处理的热点之一。

图像修复最早来源于艺术领域，用于艺术字画和旧照片中破损区域的完整恢复或目标物的移除和取代。2000年首次提出了基于三阶偏微分方程(PDE)的修复模型，在计算机上实现了自动修复，标志着数字图像修复的正式提出[1]。而在信息传输过程中人为的丢弃一些符合某种可修复条件的图像信息，就可以实现图像数据量的删减，也就是实现了信息压缩。以目前主流的静态影像压缩标准（JPEG，Joint Photographic Experts Group）为例，只要将图像修复技术以8×8块为单元进行处理，就可以将图像修复方法所产生的信息压缩与JPEG压缩算法结合起来，实现JPEG图像的二次压缩。基于这一思路，就产生了将图像修复技术和压缩编码相结合的基于图像修复的图像压缩技术。该技术充分利用了人眼视觉特性，可有效去除视觉冗余信息，具有良好的压缩性能。

1 图像修复技术

图像修复目的是恢复有信息缺损的图像，并使观察者无法察觉图像曾经缺损或已被修复。目前对该领域的研究，国外正在蓬勃发展，国内尚处于起步阶段。

1.1 图像修复技术简介

图像修复是填补图像中部分区域内的缺失数据的一种图像恢复方法,最初用于艺术领域，由专业人员手工修复古代绘画, 将作品中被损坏的部分补齐，以恢复其完整性。图像修复主要研究如何利用已知内容来推测未知区域中的数据。图像修复的效果主要由主观评测，完整、自然、符合人们推想的结果是图像修补的目标。随着图像修复技术在多个应用领域的拓展，包括文物保护、影视特技制作、障碍物剔除、图像压缩、视频通信的错误掩盖等，图像修复技术也逐步成为学术界的研究热点。

1.2 图像修复技术分类

对图像修复技术的研究，从方法上来看可分为三类。①基于偏微分方程，属于图像正则化领域；②基于计算机图形学中的纹理合成；③是将前两类方法结合起来。下面分别介绍这几种方法。

(1)基于PDE的修复方法

这类方法的基本思想是模拟手工修复的原理，利用待修复区域周边的有效信息，将已知区域内的图像信息沿着等照度线的方向平滑地延拓传播到缺失区域中。偏微分方程的阶次和缺失区域的尺度有关，缺失区域越大，其中包含的结构信息越复杂，则所需的阶次越高。基于偏微分方程的图像修补方法能够较好地修补小的图像瑕疵；但是，对较大的缺失区域、不规则的结构信息或丢失区域包含纹理等情况，修补结果不理想[3]。

(2)基于样本块的纹理修复方法

纹理是物质构成成分的分布或特征反映。常用的纹理合成方法是非参数化方法，对纹理样本不作参数提取，而直接进行采样和复制粘贴得到与之类似的生成纹理。这种修补方法能够处理较大的缺失区域，特别适合纯纹理内容的图像，但在图像比较复杂或缺失区域应包含明显的结构时，修补结果有时不自然。

(3)偏微分方程和纹理合成相结合的图像修复方法

目前主要的结合方式有两种。一种是根据缺失区域的邻域中的图像内容来推测缺失区域是否包含结构信息，并选择偏微分方程或纹理合成方法进行修复[2-3]。一般地，对平滑区域和边缘区域选用偏微分方程，而对纹理区域则选择纹理合成。另一种是把图像分解成结构部分和纹理部分，然后分别运用PDE修复和纹理合成修复方法进行缺失区域的修补，最后叠加成为一幅图像。这类方法的难点是如何进行有效而正确的图像分解。

除此之外，还有一些利用其它数学模型进行修复的方法，例如基于数理统计的模型，基于小波、离散余弦变换等变换的修复模型。

2 基于图像修复的图像压缩技术

将图像修复技术和压缩编码相结合的编码方法是以去除视觉冗余为目的的第二代编码技术[4-5]。在编码端人为地丢弃部分图像块，而在解码端利用丢失块周边的信息恢复丢失块的信息。该技术可分为有辅助信息和无辅助信息两类。有辅助信息的系统在编码端除了进行区域分类，判定保留区域和丢弃区域外，还要进行图像分析，提取特定的图像特征，例如边缘，梯度等，并将得到的图像特征作为辅助信息传输给解码端，帮助图像修复算法更好的恢复缺失区域。而无辅助信息的系统在编码端只进行区域分类，丢弃部分图像块，并不传递图像特征给解码端。因此无辅助信息的系统传输数据所需的比特更少；而有辅助信息的系统重建图像质量更好。

以S. D. Rane[6]的算法为例，无辅助信息的基于修复的图像压缩系统的结构如图1所示。首先在编码端对图像进行分析，划分保留块和丢弃块，然后编码保留块，信道传输后，接收端对接收码流解码，得到不完整的图像，最后使用图像修复技术恢复出缺失区域的图像，得到完整的重构图像。下面将分别介绍各个模块的设计方法。

图1 基于修复的图像压缩系统的结构

块丢弃模块：该模块将图像块分为保留块和丢弃块两类。人眼对不同图像区域的敏感度不同，根据这一特性选择是丢弃块还是保留块。例如人眼视觉对边缘很敏感，因此尽可能保留包含边缘的图像块（结构信息块）；而人眼视觉对纹理区域，高亮度和低亮度区域的噪声不敏感，因此可以丢弃较多的纹理信息块。

编/解码模块：对输入数据进行正常的图像编码和解码。

块划分模块：对丢弃块进一步分类，判定当前丢失块是纹理信息块还是结构信息块，以选择不同的图像修复方法。考虑丢失块的8-邻域，如果邻域中有一个块是结构信息块，就认为该丢失块也是结构信息块。具体的判断方法如下：首先引入“粗糙度”作为度量参数。对于一个s×s大小的块，粗糙度就是丢失块邻域中局部极值的个数。粗糙度的范围在0(没有极值)和s2(块内所有的像素都是极值)之间。如果一个像素的灰度值，既是所在行的极值，又是所在列的极值．那么该像素就是这个这块区域的局部极值；然后定义局部极值的门限n，若极值个数低于n，则认为该块属于包含结构信息的块，反之，则为纹理信息块。

纹理块恢复模块：按照上述的块分类方法，如果一个块属于纹理信息块，那么其周围8-邻域都含有纹理信息。因此，可以从其邻域中寻找合适的信息填充丢失块。如图2所示，丢失块中以像素为单位逐个填充。假设未知像素P左边的模板为 It，在丢失块的8-邻域区域内搜索可用信息，找到一个模板，要求与模板 It的距离最小。找到这样的模板，则寻找其右边的像素M，然后对应模板 It右边的像素P的位置填充。依此类推，直到把整个丢失块修复完整。

图2 8-邻域纹理合成

结构块恢复模块：结构就是图像中两块区域的边界或者色彩和灰度的明显变化区。如果丢失块被分类为包含结构信息的块，则用偏微分方程修复，基本思路为：沿着等照度线的走向把周边信息平滑的传递到待修复区域。传递信息的过程，实际就是求偏微分方程的数值解。

其中∇、Δ和 ∇⊥上分别表示梯度、Laplacian算子、以及梯度的垂直方向(等照度线方向)。稳态时有 ∇ (Δ I ) ⋅ ∇⊥I= 0 ，意味着ΔI在∇⊥I方向上已经是常数，所以在待修复区域内满足Laplacian的平滑连续了。

综上所述，结合修复技术的压缩方法由于只编码部分图像数据，所以编码速率低；图像的丢弃和修复充分考虑了人眼视觉特性，因此编码性能高。但是在编解码端加入了大量的判断分类过程，很大程度上增加了算法复杂度和编解码所需的时间，不适于实时编码的应用场合。

3 结语

数字图像修复技术是图像恢复领域的一个重要分支和图像处理领域研究的热点。随着各种技术的不断深入研究，修复的应用场合越来越广。结合修复的图像压缩技术也成为压缩领域的研究热点。基于修复的压缩技术充分考虑了图像中的视觉冗余，并根据对人类视觉系统特性的研究，采用一些计算机视觉中的图像分析方法，能够有效压缩图像，但这类算法总是引入了大量的数据计算和阈值判断，算法的复杂度较高。

[1] BERTALMIO M, SAPIRO G, CASELLES V,et al. Image Inpainting[C].New York： ACM, 2000： 417-424.

[2] CRIMINISI A, PEREZ P, TOYAMA K. Object Removal by Exemplar-based inpainting[C].Madison：Comp.Vision Pattern 2003： 1200-1212.

[3] 赵云龙,徐帅,李光. 基于广义递归反演的超分辨率图像恢复研究[J]. 通信技术,2008,41(11)：41-43.

[4] 赵向坡, 刘新. 下一代视频标准H.264中的图象的变换和量化[J].通信技术, 2003(10)：10-12.

[5] 贺词.可伸缩视频编码标准中的差错控制[J]. 通信技术,2010,43(03)：144-146.

[6] RANE S D, SAPIROO G, BERTALMIO M.Struture and Texture Filling—in of Missing Image Blocks in Wireless Transmission and Compression Applications[J].IEEE Transactions on Image Processing,2003(12)：296-303.