基于改进样本块匹配准则的图像修复

张君　常霞　王利娟

摘 要 基于样本块的图像修复方法是图像修复中常用的方法，有修复速度快，处理效果好，尤其可以处理大面积破损区域的图像等优点。基于样本块的图像修复方法在进行修复时，置信度项逐渐衰减为零，使得优先权计算的准确性明显降低，导致后期样本块的修复顺序发生较大的误差，产生图像局部模糊等情况。针对以上问题，本文引入引导因子和改用L1距离作为新的匹配准则。根据实验处理结果，本文改进的图像修复方法具有更佳的视觉效果和更强的鲁棒性，缩短了修复所用时间，取得了较好的修复效果。

关键词 图像修复;样本块;优先权;置信度项;匹配准则

中图分类号： TP391.41 文献标识码： A

DOI：10.19694/j.cnki.issn2095-2457.2020.02.006

0 引言

图像修复是图像处理的一个热点问题，已用于文艺作品修护、医学影像诊断、刑事侦查、日常修图等方面。图像修复技术根据图像未破损区域的先验信息，来处理图像中破损区域，满足人眼视觉连续性并符合当前图像场景的方法。图像修复是根据图像先验信息的几何特征和纹理结构模拟出来的结果，可能与原图像差别较大，但视觉上不会有明显违和感，且与当前图像场境搭配融洽。因此，主观方面上感知效果佳和客观评价指标相吻合的修复方法，都可视为最佳修复方法。

2000年Bertalmio和Sapiro等人[1]提出了數字图像修复问题，使得图像修复引起人们的普遍关注。他们模仿流体力学方程，将等照度线方向进行延伸和扩散，进而将图像受损部分填补。该修复方法是一个连续迭代并不断光滑扩散的图像变换（BCSB模型）过程。为改善该模型的缺陷，研究者在偏微分方程的基础上，又相继提出了整体变分模型（TV模型）和曲率驱动扩散模型（CDD模型）。当修复区域面积较大时，以上三种修复方法会出现修复效果过度平滑、伪影延伸过度的现象。因此，基于偏微分方程的修复模型适用于处理破损面积相对较小的图像。

2004年Criminisi等人[2]提出了基于样本块的图像修复模型。该方法可修复破损面积较大的图像，改善了基于偏微分方程图像修复的不足。基于样本块的图像修复方法是将完整的图像信息以样本块为基本单元，通过一定的匹配准则，复制到图像受损区域，完成整个图像修复的过程。以置信度项和数据项的乘积构成优先权函数，经过计算优先权函数大小，确定图像修复顺序，进而完成填充修复过程。随着样本块填充的进行，置信度项逐渐衰减为零，就造成填充后期图像模糊等问题。为解决这一问题，诸多学者进行不同方向的算法改进。例如，改善优先权性能[3-6]，自适应调节样本块的大小[7-9]，优化匹配准则[10-11]，改进样本块搜索原则和样本块的填充方式[12]。本文从优先权函数的性能和匹配准则这两个方面进行改进和优化。将原始算法中数据项和置信度项乘积改为三项之和，规避了置信度项急剧衰减为零和数据项中等照度线方向正交于法线方向而降为零等这两种情况，更好的减缓了各项因素的制约关系，扩大了数值的变化范围，更有利于处理复杂结构的图像。另外采用L1距离作为匹配准则，降低计算的复杂度，提高了匹配的准确性。

1 基于样本块的图像修复模型

基于样本块的图像修复方法是在图像破损区域寻找优先权函数值最大的样本块，然后通过SSD准则，在完好的图像区域找到与之最匹配的源样本块，将源样本块中的纹理信息和结构信息复制给待修复的样本块，完成一次填充。

整个图像区域为I，Φ为图像的源区域，Ω为图像的待修复区域，其中I=Φ+Ω。p为待修复边缘上的像素点，Ψp是以p为中心的待修复样本块。

基于样本块的图像修复算法步骤如下：

（1）计算优先权。首先确定待修复区域的边缘，然后计算待修复区域边缘上样本块的优先权值，并找出优先权值最大的像素点p所在的样本块Ψp。

m和n分别表示样本块的长和宽，R，G和B分别表示红绿蓝色素带，p和q分别表示待修复样本块中心点和匹配块中心点。

（3）置信度项的更新。目标样本块被填充后，则变成已知像素点，此时置信度值需要重新更新，使得C（p）=C（q），并重新计算新的优先权值。如此完成一次填充，循环进行以上步骤，直至完成全部区域填充。

在基于样本块的图像修复算法中，优先权函数是由置信度项和数据项这两项相乘得到的，根据优先权函数值的大小确定需要填充的样本块顺序。样本块填充顺序决定着图像修复质量的好坏。而由置信度项和数据项构成的优先权函数，就具有至关重要的决定性作用。随着后期填充的进行，置信度项的可信度会越来越低，导致填充顺序出现越来越大的累积误差。甚至可能还未完成破损区域填充，就已经出现边缘模糊不清晰的情况。

2 改进的优先权函数

基于样本块图像修复算法中，优先权函数由两项组成：置信度项C（p）和数据项D（p）。修复过程中，样本块的填充顺序由填充前缘的优先权函数大小决定的。随着填充的进行，置信度项逐渐衰减为零，且累积误差越来越大，比想象中更容易达到零，即在原始图像修复过程中，图像后期的填充效果不佳，局部图像模糊，伪影情况比较明显，与图像场景不融合，肉眼可见修复效果不理想。考虑到这些情况，本文提出一种新的优先权函数

P（p）=C（p）+D（p）+7*τ（6）

其中，τ为引导因子。首先优先权函数由之前的两项数乘变为三项相加，将置信度项的大小变化更细腻化，在一定程度上延拓置信度项衰减程度，相比之前的数乘，有了很大的改善。另外，填充顺序并非只受置信度项衰减影响，填充前缘的线性结构对此也有着至关重要的影响，因此将线性结构的变化进一步加强和放大也可以缓冲数据项的影响。而本文设计的引导因子τ正好利用了图像填充前缘结构的变化，即类似于梯度，对填充顺序的选择起到了一定的引导作用和加强优先权函数的筛选优先样本块的填充顺序的准确性。其中τ的计算如下：

从数学表达式上看，优先权函数兼顾了数据项和置信度项的变化情况及影响效果，可以较好地适应图像的局部变化情况。另外从图中也可以看出随着修复过程的进行，置信度项的变化相较之前，大小变化明显缓慢了很多，面对相同的图片修复过程，在把握图像纹理信息和结构信息的细节变化上，更胜一筹。

图1（a）为原图，图1（b）为受损图，图1（c）为原始算法修复图，图1（d）为以置信度项和数据项之和为优先权函数的算法修复图，图1（e）为本文改进优先权的算法修复图。由表1可以看出改进优先权函数的算法是三种算法中效率最高的。

3 匹配原则设计

基于样本块图像修复的原始算法中，根据像素差的平方和原则（SUM OF SQUARED DIFFERENCES）寻找最佳匹配块。本文采用L1距离作为最佳匹配块的寻找原则，将原来的像素差的平方和改为像素差的绝对值和。在计算方面，将原来的二次改为一次，降低了运算的复杂度，缩短了图像处理的运行时间，精确度上也得到了明显的改善。下图为处理结果对比：

图2（1）为原图，图2（2）为受损图，图2（3）为原始算法修复图，图2（4）为SSD匹配准则和L1距离结合的修复图，图2（5）为以L1距离为匹配准则的修复图。从表2中可以看到，以L1为匹配准则的修复图像的峰值信噪比是最高的，且所用时间也是最短的，也因此证明了L1距离的有效性和运算的高效率性。

4 实验结果

下面是三组实验处理结果，字母标号的图为程序运行结果图。其中，A1、B1、C1为原始基于样本块图像修复方法的处理结果图，A2、B2、C2为文献[4]中算法处理结果图，A3、B3、C3为本文算法处理结果图。表3为三组实验结果的运行数据。第一组鱼群实验组，原始算法和文献[4]算法处理结果图中，都可以明显看到有伪影情况，本文算法结果图画面比较清晰无伪影情况出现，且与周围环境比较契合。结合表3中的数据，可以看到本文算法要比文献[4]算法运行速度快，峰值信噪比是三种算法中最大的，也充分说明本文在应对复杂背景破损图时，也可以很好地修复图像。第二组牛群实验组，原始算法处理图中，在路和草丛的衔接处不自然，路的拐弯处有些僵直生硬。参考文献[4]算法修复结果图中在拐角处草丛和路衔接有断缺，路中间的黑点和周围环境不协调，视觉上略有不自然。本文算法修复结果图中，草丛处修复比较自然，且草丛的叶也比较茂盛，修復效果细腻。第三组冰川实验图中，破损修复图中，补全部分雪块、雪块与流水的连接以及水面波纹的修复是难点，这三种算法修复各有不同，但从处理结果图中可以看出，本文算法在水面波纹修复上修复效果更好。

从这三组实验中不难发现，若原图像受损部分与未受损部分颜色差别较大，则修复后的图像与原图像计算后得到的峰值信噪比会降低很多。第一组和第二组实验缺损部分与原图像色彩差别不大，所以整体修复后的峰值信噪比要高一点，但第二组实验缺损的牛与周围色彩差别较大，所以修复后的图像与原图像计算得到的峰值信噪比相对要低很多。所以峰值信噪比作为图像修复的客观评价指标是有一定的局限性的，与主观评价指标存在一定的差异性。

5 结束语

本文改进的算法中，增加了引导因子，最大限度改善置信度项骤降为零的情况。通过实验对比，验证了本文改进的算法具有更强适应性和填充的准确性。本文算法的缺点是针对太复杂的图像背景，修复的情况还存在一定的缺憾，因此需要进一步研究修复过程中细节信息的处理和利用，进一步提高修复效果和修复效率。另外，图像修复的客观评价指标还需要进一步研究，主观评价指标更加一致的客观评价函数。

参考文献

[1]Bertalmio M，Sapiro G，Caselles V，et al.Image inpainting. Proceedings of the 27th annual conference on Computer graphics and interactive techniques.2000.

[2]A. Criminisi，P. Perez，K. Toyama.Region filling and object removal by exemplar-based image inpainting. IEEE Transactions on Image Processing.2004.

[3]李开宇，孙玉刚.引入连续性强度和置信度因子的快速图像修复[J].中国图象图形学报，2012，17（4）：23-28.

[4]梁淑芬，郭敏，梁湘群.改进的Criminisi算法的数字图像修复技术[J].计算机工程与设计，2016，37（5）.

[5]张申华，王克刚，祝轩.局部特征信息约束的改进Criminisi算法[J].计算机工程与应用，2014（8）.

[6]侯玉婷[1]，彭进业[1]，韩东辰[1].改进的Criminisi图像修复算法研究[J].计算机工程与应用，2015，51（11）：135-138.

[7]孟春芝，何凯，焦青兰.自适应样本块大小的图像修复方法[J].中国图象图形学报，2012（03）：40-44.

[8]朱园珠，朱晓临，陈嫚，李雪艳.基于改进优先级的自适应图像修复算法[J].合肥工业大学学报：自然科学版，2014（37）：689.

[9]陈美玲，朱铝芬，张云，et al.一种改进的Criminisi新算法的图像复原技术[J].现代信息科技，2019（18）.

[10]常晨，尹立新，方宝龙.一种改进的Criminisi图像修复算法[J].计算机应用与软件，2012（09）：246-248+273.

[11]李志丹，苟慧玲，程吉祥，et al.结合梯度特征与色彩一致性的图像修复[J].光学精密工程，2019，27（01）：256-264.

[12]刘华明，毕学慧，叶中付，王维兰.样本块搜索和优先权填充的弧形推进图像修复[J].中国图象图形学报（8期）：993-1003.