基于梯度调节规则的图像修复算法研究

马凤娟，宋大伟，赵 华



基于梯度调节规则的图像修复算法研究

*马凤娟1，宋大伟1，赵 华2

(1. 潍坊工程职业学院，山东，潍坊 262500；2. 山东科技大学，山东，青岛 266590 )

当前较多图像修复算法采用单一大小样本块进行图像修复，不能适应图像不同差异的纹理丰富度变化，使得修复结果存在块效应以及模糊效应等不足。本文利用图像的梯度值，设计了基于梯度调节规则的图像修复算法。将图像的梯度信息引入优先权计算，联合数据项、置信度项目构造优先权计算函数，以计算优先修复块。利用图像的梯度变化率，建立梯度调节规则，用以调节样本块大小，适应不同的纹理丰富度。引入(Sum of squared differences)函数从源区域中寻找最优匹配块，实现图像修复。实验结果显示，所设计方法修复的图像具有良好的视觉效果。

图像修复；梯度信息；优先权计算；样本块大小；纹理丰富度；SSD函数

0 引言

数字图像具有便于获取、储存方便以及易于传输等优点，已被广泛用于遥感探测、医疗诊断以及考古研究等多个技术领域[1-2]。但是，由于图像采集设备的技术瓶颈以及图像采集的自然环境等影响因素，使得数字图像经常出现破损的问题。这种破损图像不能较好地适应人们的视觉感知以及信息的传递，需要对破损的数字图像进行修复。

1 算法设计

图1 所提算法的修复过程

1.1 优先权计算

从现在开始，我称呼那个矮个子男人叫黑背心，这个高个子汉子叫泰森，当然还有前面那个让我想入非非的漂亮女孩就叫短裙子女孩吧，因为在以后的情节里我始终都没有叫过他们的名字，当然，是因为我自始至终都不知道他们的名字。

其中，0.5、0.3与0.2均为权值，主要是通过多次实验确定的一组较优值。

1.2 样本块调节

图像的纹理复杂度体现了图像的平滑性。纹理结构较复杂的区域，平滑度较低，梯度变化率较大，此时需要缩小样本块大小，以适应纹理结构的变化，降低畸变发生的概率[10-11]。纹理结构较单一的区域，平滑度较高，梯度变化率较小，此时需要扩大样本块大小，以增加修复速度。

1.3 匹配最优匹配块

2 实验结果

2.1 修复结果对比

不同算法对小面积破损图像的修复结果如图2所示。通过观察图2可见，图2(c)示的修复结果中不仅存在较多修复残留，而且还存在块效应与模糊效应。图2(d)所示的修复结果中存在不连续效应以及修复残留。图2(e)所示的修复结果中存在轻微模糊现象。不同算法对大面积破损图像的修复结果对比如图3所示。通过观察图3可见，图3(c)所示的修复结果中具有修复残留以及振铃效应。图3(d)所示的修复结果中存在模糊效应以及不连续效应。图2(e)所示的修复结果中存在一处修复残留。由此可见，本文算法的修复结果具有较好的视觉效果。因为本文利用图像的梯度值构造了梯度因子，并将其引入优先权的计算，提高了优先权计算的准确性与稳定性。同时还采用SSD函数从源区域准确匹配最优匹配块对待修复块进行修复，从而提高了算法的修复效果。

图2 不同算法修复结果对比图

2.2 客观评价对比

以图3(a)为测试图像，将其设置不同程度的破损，并通过不同算法对破损图像进行修复。利用修复图像常用的测试指标峰值信噪比（Peak Signal to Noise Ration, PSNR）作为客观评价指标。

图4 不同修复算法的PSNR测试结果

3 结论

[1] Buyssens P, Meur O L, Daisy M. Depth-Guided Disocclusion Inpainting of Synthesized RGB-D Images[J].IEEE Transactions on Image Processing, 2017, 26(2): 525-538.

[2] 李光耀,耿瑞全,谭云兰. 基于区域分割和均方误差改进的图像修复算法[J].井冈山大学学报:自然科学版, 2013, 34(6):44-50.

[3] Wang S, Guo W H, Huang T Z. Image Inpainting Using Reproducing Kernel Hilbert Space and Heaviside Functions[J]. Journal of Computational and Applied Mathematics, 2017, 311(8): 551-564.

[4] Vahid K A, Farzin Y. Exemplar-Based Image Inpainting Using SVD-Based Approximation Matrix and Multiscale Analysis[J]. Multimedia Tools and Applications,2017, 76(5): 7213-7234.

[5] 李旭峰,王静,刘红敏. 特征优先块匹配图像修复算法[J].计算机辅助设计与图形学学报,2016,28(7): 1131-1137.

[6] Li S J, Yang X H. Novel Image Inpainting Algorithm Based on Adaptive Fourth-Order Partial Differential Equation[J]. IET Image Processing,2017,11(10):870-879.

[7] Dai L, Jiang D H, Ding B. Improved Digital Image Restoration Algorithm Based on Criminisi[J]. Journal of Digital Information Management,2016,14(5):302-310.

[8] 彭春华,唐利明. 非均匀纹理图像的分层Criminisi修复算法[J].红外技术,2017,39(9):814-823.

[9] Peng C H, Tang L M. Multi-layer Criminisi Inpainting Algorithm for Non-Uniform Texture Images[J]. Infrared Technology, 2017,39(9):814-823.

[10] He K, Gao J Q, Lu W X. Image Inpainting Algorithm Based on Improved Confidence Function and Matching Criterion[J]. Journal of Tianjin University, 2017,50(4): 399-404.

[11] Rajesh P B, Sanjiv V B. Image Restoration Using Prioritized Exemplar Inpainting with Automatic Patch Optimization[J]. Journal of The Institution of Engineers,2017,98(3):311-319.

[12] 梁淑芬,郭敏,梁湘群. 改进的Criminisi算法的数字图像修复技术[J].计算机工程与设计,2016,37(5):1314- 1318+1345.

[13] Wang H X, Jiang L, Liang R H. Exemplar-Bsed Image Inpainting Using Structure Consistent Patch Matching[J]. Neurocomputing, 2017, 269(1): 90-96.

[14] 谢斌,丁成军,刘壮. 自适应分数阶TV修复算法与研究[J].微电子学与计算机,2017,34(12):45-49.

[15] Hiromu F, Junichi M, Takio K. Image Inpainting by Recursive Estimation Using Neural Network and Wavelet Transformation[C]. Guangzhou: Neural Information Processing: 24th International Conference, 2017: 652-661.

Research of Image Inpainting Algorithm Based on Gradient Adjustment Rule

*MA Feng-juan1, SONG Da-wei1, ZHAO Hua2

(1. Weifang engineering Career Academy, Weifang, Shandong 262500, China; 2. Shandong University of Science and Technology, Qingdao, Shandong 266590, China)

At present, many image restoration algorithms use only one size sample block for image restoration, which is difficult to adapt to the different texture richness of the image, resulting in the defect of blocking and blurring effect. In this paper, we use the gradient value of image to design an image inpainting algorithm based on gradient adjustment rule. The gradient information of image is introduced into priority calculation, and priority calculation function is constructed by combining data items and confidence items to calculate priority repair blocks. The gradient adjustment rules are established to adjust the size of the sample block and adapt to different texture richness by using the gradient change rate of the image. The SSD function is introduced to find the best matching block from the source area and repair the repair block. Experimental results show that the image repaired by this algorithm has better visual effect.

image inpainting; gradient information; priority computation; sample block size; texture richness; SSD function

1674-8085(2019)01-0034-05

TP391

A

10.3969/j.issn.1674-8085.2019.01.008

2018-09-14；

2018-12-04

山东省自然科学基金项目(ZR2013FQ030)

*马凤娟(1975-)，女，山东潍坊人，副教授，主要从事计算机图像、多媒体技术、数据库等方面的研究(E-Mail: juanfm@tom.com);

宋大伟(1976-)，男，山东潍坊人，副教授，主要从事图像处理、计算机网络技术、数据库技术研究(E-Mail: songdiv@sohu.com);

赵 华(1980-)，男，山东泗水人，副教授，博士，主要从事图像处理、话题检测与跟踪、网络舆情挖掘研究(E-Mail: songdiv@sohu.com).