基于样本块的图像修复方法

张君　常霞　王利娟

【摘 要】图像修复是图像处理的一个重要研究部分，图像修复方法是试图估计原图像信息， 对破损区域进行修补和改善，提高图像视觉质量的技术。基于样本块的图像修复方法以修复速度快，处理效果好，且对破损面积较大的图像修复效果佳等显著优点，成为当前图像修复的热点方向之一。本文详细介绍了基于样本块图像修复方法的优缺点和改进方向，为研究者在图像修复上提供了相关的理论依据，同时也为图像修复方法创新提供了研究思路。文章最后给出了图像修复的发展方向，对深入学习图像修复方法具有重要的指导意义。

【关键词】图像修复;样本块;优先权;置信度;数据项

中图分类号： TP391.41文献标识码： A文章编号： 2095-2457（2019）33-0021-003

DOI：10.19694/j.cnki.issn2095-2457.2019.33.009

Image Inpainting Method Based on Sample Patch

ZHANG Jun CHANG Xia WANG Li-juan

（The Key Laboratory of Intelligent Information and Big Data Processing of Ningxia Province，

North Minzu University，Yinchuan Ningxia 750021，China）

【Abstract】Image inpainting is one of the important contents in image processing.The image inpainting method is a technique that attempts to estimate the original image information，repair and improve the damaged area，and improve the visual quality of the original picture.The image inpainting method based on sample patchs has obvious advantages such as fast restoration speed，good processing effect and good image restoration effect for images with large damage area，becoming one of the hot spots of image restoration at present.In this paper，the advantages，disadvantages and improvement directions of image restoration methods based on sample blocks are introduced in detail，which provides relevant theoretical basis for researchers in image inpainting and research ideas for image restoration method innovation.At the end of this paper，the development direction of image restoration is given，which has important guiding significance for further study of image restoration methods.

【Key words】Image inpainting;Sample patch;Priority;Data term;Confidence data;Matching patch

0 引言

早期的圖像修复主要应用于文艺复兴时期艺术作品的修复，现阶段图像修复在生物医疗图像、壁画修补、视频处理等方面有着广泛的应用。图像修复是利用图像原有的先验信息，去估计和修复破损区域的缺失信息，使修复后的图像符合人眼视觉的连续性和合理性，最终达到改善图像的视觉效果。图像修复结果不具有唯一性，满足修复后图像视觉质量得到改善的结果，都是修复问题的解。

图像修复方法中常见的两种方法：基于偏微分方程的图像修复方法及基于纹理的图像修复方法。基于偏微分方程的图像修复方法是在建立合适的修复模型下，通过解方程来实现图像的修复，该方法虽然可以稳定地保持图像自身的线性结构信息，但是对图像的细节信息却并不能很好地保留。在处理含有大面积破损区域的图像时，基于偏微分方程的图像修复方法在扩散过程中会不断引入模糊，模糊程度随着破损区域尺度的增加而增加，因此该方法适用于修复尺度较小的图像。基于纹理的图像修复方法是通过原图像及完好的区域信息去估计和填充破损区域信息，寻找最佳匹配块，并将完好的匹配块信息填充到对应破损区域的位置上，逐次迭代完成整幅图像的填充。图像大多是由结构和纹理细节组成，而针对纹理细节明显的图像更适合用基于纹理的修复方法进行填充。若图像的破损区域尺度较大，内外纹理信息可能差别会很大，显然基于纹理图像修复方法更合适此种修复情况。基于样本块的图像修复方法是基于纹理的图像修复方法中最具有代表性的方法。在填补纹理信息方面，基于样本块的图像修复方法更优，尤其当破损区域面积较大时。

本文首先介绍了基于样本块的图像修复方法的基本原理，以及最新研究进展，结合算法的局限性，讨论了改进思路和方法，并对图像修复的发展趋势进行了展望。

1 基于样本块的图像修复算法

基于样本块的图像修复方法是以样本块为基本单元，分别给予待填充样本块的中心像素一个灰度值和一个置信度值。临时对填充边缘的样本块赋予一个的优先权值，通过优先权值的大小顺序来确定样本块被填充的顺序。再通过SSD匹配原则，寻找与之最为相似的源匹配块，将最佳匹配块的纹理信息和结构信息复制填充到待修复块中，已填充像素块的置信度值需要重新更换，以此完成一次修复。按照同样方法，逐步对破损区域进行推进式填充，直至最后完成整幅图像的填充。

算法步骤处理如下：

1）计算优先权并确定待修复样本块。在图像待修复前缘选择一点p，则p点的优先权为：

其中，C（p）为p点的置信度项，D（p）为p点的数据项。

通过计算填充边缘点的优先权函数值的大小，确定优先权函数值最大的那个点所在的样本块，作为最先需要填充的样本块。处于连续边缘上和被高置信度像素包围的图像块，其优先权值较大，将最先被填充，因此会更好地保持图像的结构信息和纹理信息。

2）确定最佳匹配块和填充待修复块。根据SSD（sum of squared difference）匹配原则，在图像整个完好区域内找出与样本块最相似的匹配块，并将最佳匹配块的结构信息和纹理信息复制给待填充样本块。

3）更新置信度项。优先权值最大的样本块被填充之后，更新已填充样本块的置信度项重复以上三个步骤，直至最终填充完毕。

2 基于样本块的图像修复方法的改进分析

综合分析基于样本块的图像修复方法的基本原理，我们从该算法所涉及的影响像素运算的因素，得出四个可改进的方面：优先权函数、匹配原则、更新原则和自适应原则。

2.1 优先权函数

优先权函数的计算在图像修复的整个过程中尤为重要。优先权值决定着图像样本块填充的次序，影响着图像的最终视觉效果。图像修复过程中，随着填充的进行，置信度项的可信度值越来越小，甚至出现骤降为零的情况，进而使得图像块填充次序混乱，后期填充图像严重模糊，而修复面积越大出现置信度骤降为零的概率越大。即使遇到线性结构丰富的区域，图像块也不能被优先填充，严重影响了图像修复的效果。另外，若样本块处等照度线方向与该中心像素块的法线方向垂直，不管此时的置信度项值多大，数据项和优先权值都为零，失去了填充的意义。Criminisi等[1]人最早提出基于样本块的图像修复算法，尤其针对大面积破损图像具有很好的修复效果。但因其在图像填充后期，置信度项的骤降，导致修复后期出现严重的伪影和振铃效应。为此，研究者们将研究重点放于改善优先权函数上面。Zhou Yatong等[2]人建议将优先权函数表示为P（p）=C（p）D（p）+nD（p），适当增加函数中数据项的比重，平衡置信度项骤降的限制。欧先锋等[3]人提出将优先权函数改为P（p）=C（p）D（p）+C（p）α。此改进方法从置信度项入手，减缓置信度项骤降趋势，增加置信度项的比重，使優先权函数在整个变化中，有着平稳的变化过程，减缓变化的速度，同时也增加填充顺序的可信度。康凯等[4]人提出将数据项改为D（p）=|np|×（ξ×Iξξ+k×η×Iηη），置信度项不做任何变动，从数据项方面出发，鼓励优先填充与np夹角较小的边缘结构，并且鼓励优先填充图像中破损的突变区域，具有更强的识别能力和纠错能力。侯玉婷等[5]人提出将优先权函数改为P（p）=C（p）+（1-λ）·D（p）+λ·δS2，将采用数据项和置信度项的相加运算，具有更强的识别纹理区域和边缘区域的能力，防止置信度迅速衰减带来的错误填充次序。曾接贤等[6]人将置信度项的计算重新定义，采用棋盘全包围的方法计算置信度项，增加样本块置信度项的充分利用，降低置信度项的骤变速度，较好地缓解了填充误差。刘业妃等[7]人采用指数函数加权的形式将优先权函数改进为P（p）=α×ec（p）+β×D（p），增加了优先权函数的可靠性和变化范围，使算法运行具有更强的稳定性。

2.2 匹配原则

基于样本块的图像修复算法步骤的第二部分是匹配块的选择与填充。确定待填充的样本块后，下一步是在源区域寻找最佳匹配块。匹配原则的设计具有至关重要的作用，原算法中是根据SSD（sum of squared difference）匹配原则筛选最佳匹配块，随着对算法的深入研究，学者们纷纷对匹配原则进行改进和丰富，使得匹配块的确定更加精准，大大地降低了填充误差，修复效果也有一定改善。康凯等[4]人在原有的SSD匹配原则的基础上增加了距离计算，根据SSD和距离因素，寻找最佳匹配块。往往距离近的区域，相似性更高一点，就近原则也有一定的理论意义。原算法初期进行了全局搜索，后期再进行全局搜索，相对来说有些浪费时间，侯玉婷等[5]人重新设计了匹配块搜索范围，重新定义一个新的相似性函数，实现最佳匹配块的寻找。此改进方法兼顾搜索效率和匹配原则设计的合理性。曾接贤等[6]人使用相似块的划分原则，将RGB图像转化成HSV图像，将三维像素合成一维特征向量，提取图像块颜色特征，计算像素块特征的欧氏距离，由纹理特征和颜色特征共同决定最佳匹配块的选择。此设计具有更强的适应性和稳定性，对像素块特征的抓取更完整，可以降低修复过程中产生的误差。任澎等[8]人引入像素点误差平方和的平均值ASSD（average sum of squared differences）。在初期SSD的判断下找到匹配块后，通过ASSD的再判断，进一步寻找不良匹配块，对其再重新修复，尽量保证修复的准确性，深入修正误差匹配块。何雨亭等[9]人在原有匹配原则的基础上增加了结构张量相干因子，两个原则共同约束匹配块的满足条件，使得修复准确性有了进一步的提升。Wang Jing等[10]人在匹配块的寻找过程中进行了二次筛选，第一次筛选根据原有的SSD匹配原则，第二次进行NCC归一化原则筛选，即以一种色彩定义距离的物理量进行筛选。两轮筛选的策略，在准确性上有了一定可信度，但是时间耗费上可能要多一些。

2.3 更新原则

样本块被修复后，置信度项要进行重新更新，避免修复区被二次识别修复，以保证后续图像修复的顺利进行。延续优先权的变化趋势问题，研究者不断地在更新置信度项上寻求改善，尽可能使得更新后的置信度项降低趋势减缓，避免过快出现为零的情况。李爱菊等[11]人提出在更新置信度项时，设定一个颜色阈值，按实际图像处理情况区别对待需要更新的样本块，更符合图像修复的具体情况。李尊等[12]人采用FDIM算法，图像修复后，针对出现图像不连续的边缘区域，采用无缝处理对其进行进一步的更新和修复，提高了图像修复的质量。万宝龙等[13]人重新定义更新的置信度项，引入相似度系数，使更新的置信度项在数量级上比未修改的置信度项大，减缓置信度项的剧变。相似度系数保证了在合适的范围内适当放大数值，置信度也具有更强的可信度。

2.4 自适应原则

原始的基于样本块的图像修复算法，样本块的大小是固定的。随着学者们的深入研究，提出自适应的图像修复策略。自适应策略具有更强的适应性，针对不同的图像结构情况，自适应调整待修复样本块的大小，更细腻化的修复图像。欧先锋等[3]人提出自适应样本块，以像素点处的梯度作为判断条件，根据梯度值大小分成三个区间，进而将样本块分成三种不同大小的类型。三种类型的样本块比较贴合图像修复的实际纹理和结构情况，更好地保证了修复的视觉效果。曾接贤等[6]人根据图像局部自相似性，将图像自适应地划分为不同图像块，根据图像块的不相似性决定划分样本大小。引入滤波器，对图像块进行处理，提取纹理特征，进而确定图像的不相似性，保证匹配和填充的准确性。任澎等[8]人根据结构张量特征值，将图像划分为边缘区域、纹理区域和平坦区域，定义新物理量平均相干因子，以此识别三种不同区域，进而根据三种区域的纹理特征确定样本块的大小。此设计方法对纹理复杂的破损区域也能把握好细节，鲁棒性更强，修复的视觉效果更佳。孟春芝等[14]人也是根据像素点的梯度值确定填充边缘的纹理结构，在对其进行做结构差异性检测，满足最小差异性约束条件，保证样本块自适应调节大小和填充的精确性。朱园珠等[15]人对通过局部梯度场的变化衡量局部结构特征的变化，局部结构特征值的设定是重新定义的，巧妙地保证了像素块与填充边缘的融合效果，最后通过局部结构特征的变化确定样本块的大小。郑晚秋等人引入像素点的二阶微分量，进而利用曲率确定样本块的大小，相对具有一定的准确性，对结构变化具有更强的适应性。何凯等人定义梯度相似度函数和结构相似度函数，结合纹理特征，设定误差限制准则，进而自适应调整样本块大小。

3 总结与展望

本文分析了基于样本块的图像修复方法改进的四个方面，后续仍需要对更多细节问题进行深入探讨，针对不同图像类型的进一步分析和研究具体改进策略。目前图像修复的破损区域基本靠人工标注，而针对一些颜色丰富的破损图像，人眼无法察觉出图像的缺失颜色，人工标注将受到限制。所以未来的研究工作可从自动获取破损图像区域方向入手，扩大图像修复方法的适用范围。另外图像修复效果的客观评价指标较为单一，得到的有效信息受限，未来工作也可从图像修复效果的客观评价指标方面进行创新。

【参考文献】

[1]Criminisi A，Pérez P，Toyama K.Region filling and object removal by exemplar-based image inpainting[J].IEEE Transactions on Image Processing， 2004，13（9）：1200-1212.

[2]Zhou Y，Li L，Xia K.Research on weighted priority（下转第3页） （上接第23页）of exemplar-based image inpainting[J].Journal of Electronics（China），2012，29（1-2）：166-170.

[3]欧先锋，晏鹏程，郭龙源.一种改进的Criminisi图像修复算法[J].成都工业学院学报，2018，21（1）：27-30.

[4]康凯，尹东，张荣.一种基于样图的图像修复改进算法[J].计算机工程与应用，2014，50（13）：187-190.

[5]侯玉婷，彭进业，韩东辰.改进的Criminisi图像修复算法研究[J].计算机工程与应用，2015，51（11）：135-138.

[6]曾接贤，王璨.基于优先权改进和块划分的图像修复[J]. 中国图象图形学报，2017，22（9）：1183-1193.

[7]改进的Criminisi圖像修复算法[J].小型微型计算机系统，2014，35（12）：2754-2758.

[8]任澍，唐向宏，康佳伦.纹理和边缘特征相结合的图像修复算法[J].计算机辅助设计与图形学学报，2013，25（11）：1682-1693.

[9]何雨亭，唐向宏，张越，et al.结构张量的改进Criminisi修复[J].中国图象图形学报，2018，23（10）：64-79.

[10]Wang J，Lu K，Pan D，et al.Robust object removal with an exemplar-based image inpainting approach[J].Neurocomputing， 2014，123：150-155.

[11]李爱菊，钮文良.基于改进Criminisi算法的图像修复[J]. 计算机工程与应用，2014，50（18）：167-170.

[12]李尊，吴谨，刘劲.基于边缘结构的Criminisi图像修复[J].液晶与显示，2014（5）：756-760.

[13]方宝龙，尹立新，常晨.改进的基于样例的图像修复方法[J].计算机工程与应用，2014（8）：143-146.

[14]何凯，牛俊慧，沈成南，et al.一种自适应样本块图像修复方法[J].中国图象图形学报.

[15]朱园珠，朱晓临，陈嫚，et al.基于改进优先级的自适应图像修复算法[J].合肥工业大学学报（自然科学版），2014（6）：683-689.

[16]郑晚秋，廖胜辉.纹理结构引导的自适应图像修复算法[J].计算机技术与发展，2016，26（6）.

[17]何凯，牛俊慧，沈成南，et al.基于SSIM的自适应样本块图像修复算法[J].天津大学学报（自然科学与工程技术版）， 2018，v.51;No.329（07）：101-105.