一种基于基元匹配的立体图像修复算法

饶 屾，杨志平

（浙江交通职业技术学院，浙江 杭州 311112）

数字图像修复技术，即通过计算机技术，对缺损图像进行修复，使得观察者通过肉眼察觉不出图像曾被修改过的一种数字图像处理技术。数字图像修复，在影视后期制作、文物保护及特殊目标移除等众多领域有着广泛的应用前景。国内外学者针对图像修复技术进行了深入的研究，也取得了众多的科研成果[1~4]。近年来，随着立体显示设备的发展与普及，针对立体图像进行修复也成为数字图像修复领域的研究热点。立体图像是由左右两幅视图组成的一组数字图像，其左视图只能被左眼看见，右视图只能被右眼看见，由于左右视图存在微小的差别，使得左右眼产生视差，从而形成立体感，如图1所示。立体图像虽然是由两幅二维视图组成的一组图像，但是由于左右视图的内容之间具有约束关系，因此，对立体图像进行修复，不但需要对图像内容进行修复，还需要尽量保持左右视图中像素间的约束关系。因此，直接采用二维图像修复方法对三维立体图像进行修复，难以保存修复后左右视图的视差信息，进而影响图像的立体效果。

图1 立体图像的左右视图

为了实现立体图像的修复，国内外学者进行了广泛的研究，也取得了一定的研究成果。如Thangamani等采用基于样本块修复与基于边缘修复相结合的方法，对三维图像进行修复，取得了较好的修复效果[5]；HuanyuWang采用三维图像修复方法清除移动视频上的噪声，也取得了不错的效果[6]；Kostler等在PDE算法的基础上，对光流信息等非线性和各向异性扩散信息建立模型，用于对缺损图像进行修复，实验证明，该算法能够改善PDE修复图像所导致的轮廓模糊的问题，并能应用到三维图像的修复当中[7]；王龙天等提出采用静电修复场模型对三维模型进行修复，能够较好的修复三维模型中的缺损部分[8]；张倩等将预处理深度图像和图像修复算法相结合来填补三维图像映射后的空洞，也取得了不错的效果[9]。虽然当前针对立体图像修复研究取得了不少的成果，但大多数研究是针对三维立体模型进行空洞修复，而不是针对三维数字图像进行修复。此外，当前对三维立体图像修复的研究也大多是通过扩展二维图像修复算法来对三维图像进行修复，往往只考虑到修复立体图像的内容，而对图像深度信息的修复考虑较少。事实上，三维立体图像与二维数字图像的最重要区别主要就体现在深度信息上。因此，对三维立体图像进行修复，不但要考虑对图像内容进行修复，还要考虑对图像的深度信息进行修复。

本文通过对左右视图进行基元匹配，对缺损视图进行修复，在对图像内容进行修复的同时，也保留了图像是三维景深信息，取得了较好的修复效果。

1 三维立体成像原理

二维世界中的点可以用（x，y）来表示，而三维世界中的点需要用（x，y，z）来表示，这个 z就是物体的景深。人类之所以能够感知外界环境的三维信息，是由于左、右眼能够同时获取外界环境的两幅图像，然后通过这两幅图像的不同视差来获得物体的景深信息，如图2所示为双目立体成像系统的原理图。

图2 双目立体成像系统的原理图

从图2可以看出，空间中点P在左、右视图（成像平面）中的成像点是点P1和点P2(由极线几何约束可知，y1=y2，两摄像机之间的距离为b，摄像机到成像平面的焦距为f，则根据三角形法则可以算出，空间点P在左视图坐标系中的坐标为：

其中，

b为两摄像机中心轴之间的距离；

f为摄像机到成像平面之间的距离（焦距）；

d=x1-x2，为空间点P在左右视图上的视差。

2 立体图像修复算法

2.1 像素深度平滑

对立体图像进行修复，不但需要修复左右视图的缺损内容，而且还需要使得修复后的立体图像的深度信息不会剧烈变化，以免引起观察者的察觉。因此，在修复过程中，本文借鉴中值滤波器的滤波思想，对图像缺损区域的深度信息进行平滑，如图3所示，假设整副图像为I，右斜线区域为缺损区域Φ，左斜线（含黑色区域）为完整区域Ω（Ω=I-Φ）,黑色区域为边缘区域。其深度平滑步骤如下：

（1）选择矩阵滤波器的尺寸n，本文取n=9，即9×9的矩阵滤波器，如图3中的灰色框所示；

（2）对视图缺损区域从上到下，从左到右进行扫描，得到缺损区域边缘中的一点p；

（3）以点p作为滤波器的中心点，计算滤波器矩阵中每个像素的深度di，并计算出平均深度，其中缺损区域的像素深度为0；

（4）将矩阵滤波器中包含的缺损区域的像素的深度值全部取。

图3 深度平滑示意图

2.2 基元匹配算法

由上述分析可知，为了获得缺损区域中像素的深度，首先需要计算出完整区域Ω中的像素深度，其计算方法有基于特征的基元匹配算法、基于相位的基元匹配算法和区域立体匹配算法等。为了计算方便，本文采用基于颜色特征的基元匹配算法。本文假设当前立体图像中左视图为完整图像，右视图的内容有部分缺损，在应用2.1节算法计算缺损区域的像素深度时，设当前需要计算深度的右视图像素点的坐标为，则其计算步骤如下：

（1）在左视图中从左往右搜索第yl0行的所有像素（其中对每个像素点计算其八领域点和其本身与右视图对应像素点的差值之和，即

（2）找出所有像素点中diff的最小值min（diff），其对应的像素点（，即是左视图中与右视图）对应的像素点。

2.3 缺损区域修复

通过2.1和2.2节的分析，即可求出右视图中缺损区域中每个像素点的深度信息，对缺损区域中的每个像素点（xr，yr），将其像素深度d及其在右视图中的二维坐标带入公式（1），即可求得该像素点在左视图中的对应像素点坐标（xl，yl）。将左视图中该像素点的颜色值填充到右视图中的对应像素点（xr，yr），即完成对缺损区域中该像素点的修复。重复该过程，直到右视图中所有缺损区域都修复完为止，即完成了立体图像中缺损区域的修复。

3 实验结果及分析

立体图像质量的评价方法主要分为两种：主观评价和客观评价。主观评价法是记录一部分观察者（人）的观察效果，通过统计分析得出立体图像的评价分数。但这种方法存在操作复杂，不确定性大的缺点；客观评价法是通过建立一定的数学模型来对立体图像的质量进行评价，从而达到主观评价的效果。客观评价法具有速度快、确定性好、操作方便的优点，因此得到了广泛的应用。

为了验证本文算法的有效性，本文采用PSNR立体图像客观评价法[10]，对修复后的立体图像进行评价，其评价的主要原理是：视差图的质量决定了立体图像的质量，将修复后图像的视差图与原始（未缺损）视差图进行对比，计算出PSNR值。PSNR值代表修复后图像的失真度，PSNR值越大，则图像失真度越小，表示图像的立体效果越好。表1是本文实验采用的图源，分别用本文算法与直接使用Criminisi算法对左右视图进行修复的修复结果进行对比，其PSNR评价值如表2所示。

表1 实验图例

表2 修复图像的PNSR评价值

从表2可知，通过本文算法对三幅立体图像进行修复，其修复后的PNSR立体图像评价值均大于直接采用Criminisi算法进行修复的PNSR评价值，说明本文算法修复后的立体图像与源图像更接近，更好的保留了原图像的三维景深信息。

4 结束语

当前针对立体图像缺损的修复方法大多是直接采用二维图像修复算法进行扩展，其修复效果往往没有保留三维立体图像的景深信息，导致修复效果不理想。本文首先采用基于颜色特征值的基元匹配算法获取像素的景深信息，再借鉴滤波器原理求出右视图缺损区域中每个像素点的深度信息，最后通过立体图像成像公式求出缺损区域中每个像素点在左视图中的对应像素点，来完成立体图像的修复。从修复实验及对比评价结果来看，本文算法在修复过程中兼顾了景深信息的修复，其修复效果更接近于原始视图，达到了较好的三维修复效果。

[1]Chan TF,Shen JH.Non-texture inpainting by curvature-driven diffusions(CDD)[J].Journal of Visual Communication and Image Representation，2001，12(4):436-449.

[2]TaiX,Borok S,etal.Image denoising using TV-stokesequation with an orientation-matching minimization[A].International Conferenceon Scale Spaceand VariationalMethods in Computer Vision[C].Voss,Norway，2009:90-501.

[3]Criminisi A,Pérez P,et al.Region filling and object removal by exemplar-based image inpainting[J].IEEE Transactions on Image Processing，2004，13(9):1200-1212.

[4]Martinez-Noriega R,Roumy A,etal.Exemplar-based image in painting:fast priority and coherent Nearest Neighbor search[C].2012 IEEE INTERNATIONAL WORKSHOP ON MACHINE LEARNING FOR SIGNAL PROCESSING,Santander,SPAIN,2012:1-6.

[5]Thangamani K,Ishikawa T,Makita K,etc.Hybrid inpainting algorithm with superpixels and hash table for inpainting the 3D model[C].System Integration(SII),2011 IEEE/SICE International Symposium on Kyoto，2011（12）:667-672.

[6]Huanyu Wang,Zhiming Tan.Detection and removal of adherent noises in video from amoving camera[C].Man,and Cybernetics(SMC),2012 IEEE International Conference on Seoul，2012（10）:2545-2550.

[7]Kostler H,Prummer M.Adaptive variational sinogram interpolation of sparsely sampled CT data[J].Pattern Recognition,2006.ICPR 2006.18th International Conference on Hong Kong.2006:778-781.

[8]王龙天，汪增福.三维场景中被遮挡边界与错觉轮廓的感知修复[J].模式识别与人工智能，2006，19(02):137-142.

[9]张 倩，刘苏醒，鞠 芹，等.采用图像修复的基于深度图像复制[J].光电子.激光，2009，20(10):1381-1384.

[10]杨嘉琛，侯春萍,沈丽丽.基于PSNR立体图像质量客观评价方法[J].天津大学学报，2008，41(12):1448-1452.