基于置信特征与结构相似度约束的图像修复算法∗

卫星，周瑜龙，焦蓬蓬，郭依正，刘清

(1.南京师范大学泰州学院,江苏泰州225300；2.南京师范大学计算机科学与技术学院，江苏南京210097)

0 引言

伴随着机器视觉技术日新月异的发展以及摄像机技术的不断突破，数字图像在人们生活中占有越来越重要的地位[1]．由于破损的数字图像难以满足人们获取图像中完整信息的要求，对此需要对数字图像中破损区域进行修复，以补全数字图像所包含的信息，便于人们从中获取感兴趣的内容[2]．

目前有多种多样的方法对破损图像进行修复，例如：葛艳[3]等人提出了基于TV模型和膨胀的图像修复方法，该方法能够对多余线条、文字、划痕造成的破损图像进行修复，但是由于TV模型在修复图像时，主要通过梯度特征实现对边缘进行检测，使得该方法在对纹理结构较为复杂，以及不能用边缘刻画细小特征的图像进行修复时，会产生模糊效应以及丢失细节信息，导致修复效果不佳．又如徐黎明[4]等人为了让修复图像保持更多的边缘信息，提出了基于变分偏微分方程图像修复技术研究，将改进的TV模型以及p-Harmonic修复模型进行联合，形成偏微分方程的混合模型，并利用该模型完成了图像的修复．该方法修复的图像中虽然较好的保留了边缘的细节信息，但是由于该方法不具备方向场的几何信息，导致修复的图像中存在一定的阶梯效应以及不连续效应．李志丹[5]等人提出了基于块结构稀疏度的自适应图像修复算法，该方法修复的图像中能够有效克服不连续效应，而且修复效率也较高，但是该方法太过于依赖梯度特征，使得修复图像中存在一定的模糊效应．又如江平[6]等人提出了一种结合CDD模型和Criminisi算法的图像修复算法，该方法能够对划痕破损图像进行较好的修复，但对于文字等其他破损的图像进行修复时，存在一定的阶梯效应．

对此，本文提出了基于置信特征耦合结构相似度约束的图像修复算法．首先，利用优先权函数从破损区域中确定优先修复像素．然后，通过像素点的梯度模值构造梯度变化约束模型，用于确定修复块模板的尺寸．接着利用像素点的置信度构造置信特征因子，并利用该因子建立搜索空间适配法则，用于确定匹配块的搜索区域．最后引入结构相似度模型，用于对修复块以及匹配块的结构相似度度量，从搜索区域中搜索最优匹配块，进而实现对破损图像的修复．通过仿真实验对本文所设计方法的有效性进行了测试．

1 图像修复算法设计

本文图像修复算法主要由确定当前修复块、建立当前搜索范围、搜索最优匹配块三个部分组成．确定当前修复块部分，首先通过优先权函数从待修复图像中选取优先修复像素，然后根据优先修复像素确定优先修复块，最后通过梯度变化约束模型对修复块的模板大小进行调整，确定当前修复块．在建立当前搜索范围部分，首先通过像素点的置信度构造置信特征因子，然后利用置信特征因子建立搜索空间适配法则，最后通过该法则建立当前搜索范围，用于搜索最优匹配块．在搜索最优匹配块部分通过引入的结构相似度模型，对待修复块以及搜索范围内的匹配块进行结构相似度度量，根据度量结果选取最优匹配块．通过将最优匹配块扩散填充至待修复块，从而完成图像修复．本文图像修复算法流程示意图如图1所示．

图1 本文图像修复算法过程

1.1 确定当前修复块

待修复块的确定分成两部分完成：(1)从待修复区域确定优先修复块；(2)调整待修复块模板大小．先通过优先权函数从待修复区域选取出优先修复像素，再对该像素确定优先修复块．接着构造梯度变化模型对修复块模板大小进行调整，确定修复块模板大小．

对于一幅图2所示的图像P，其由破损区域Ω以及源区域S组成，其中源区域S满足S=P−Ω．源区域与破损区域的交界线为∂Ω[7]．对于∂Ω上的一个像素点i，令其对应的单位法线向量为ni，i的等照度线方向为∇P⊥i，则该像素点对应的数据项为[8]

其中，β为一个归一化常数．

令K(i)为以像素点i为中心的一个像素块，则像素点i对应的置信度C(i)为

其中，|K(i)|表示像素块K(i)的面积．

通过像素点i对应的数据项以及置信度构成的优先权函数为[9]

在待修复区域用（3）式对待修复像素点进行度量，选取最大P(i)值对应的像素点作为优先修复像素点，而以该像素点为中心而形成的像素块K(i)为优先修复块．

图2 面向优先权计算的结构示意图

通常情况下通过优先权函数选取出的优先修复块模板的尺寸都为一个固定值（一般取9×9）[10]．由于图像成分的不同，若用修复块的模板尺寸为一个固定值，将导致修复的图像出现不连续效应以及块效应．对此，为了获取较好的修复效果，需要对修复块模板的尺寸进行调节．在此，将根据像素点的梯度模值来构造梯度变化约束模型，用于对修复块模板的尺寸进行调整，最终确定当前修复块．

图像频率从某种程度上可以决定该图像所包含的信息成分，而图像的梯度变化可以体现出图像的频率变化，因此可以借助图像的梯度变化信息来对修复块模板的尺寸进行调整[11]．

对于一个像素点i(x,y)，令其水平方向梯度以及垂直方向梯度分别为Gx和Gy，则该点对应的梯度向量可定义为[12]

通过梯度向量可定义该点的梯度模值

通过梯度模值可构造梯度变化约束模型，用于对修复块模板尺寸进行调整．对于第N个待修复块KN(i)，其对应模板尺寸size(KN(i))的梯度变化约束模型为

其中，MN表示第N个待修复像素点对应的梯度模值，表示在N−1次修复过程中产生的最小梯度模值，表示在N−1次修复过程中产生的最大梯度模值．

通过（6）可对待修复块的模板大小进行调整，最终确定当前修复块．

1.2 建立当前搜索范围

当前较多图像修复算法将整个源区域作为搜索范围，在源区域中进行全局式搜索最优匹配块，该方法不仅搜索效率低下，而且会由于计算的复杂性导致搜索出错[13]．为了克服该种弊端，本文将利用像素点的置信度来建立搜索空间适配法则，依据像素点的置信度对搜索范围进行适配．待修复像素点对应的置信度C(i)反应了该像素点周围信息的可靠性[14]．C(i)越大则表示该像素点周围含有越多的已知信息，反之含有的已知信息越少．因此，本文以置信度作为参考构造了置信特征因子

其中，KS表示邻域扩散值，本文通过实验得出KS取值为45．

利用置信特征因子可建立搜索空间适配法则，用于建立当前搜索范围．具体过程如下：

对于一副尺寸为G×V的待修复图像，首先令以待修复像素点i(xi,yi)为中心的待修复块尺寸为W×H．然后以待修复像素点i(xi,yi)为中心构造一个尺寸为Q×L矩形区域E，其中Q和L的计算方法如下

其中，U和J分别是和图像尺寸相关的常数

最后，利用构造的矩形区域E与源区域S建立当前搜索范围Tr．

通过搜索空间适配法则可见，当前搜索范围的建立是以当前待修复像素点的置信度为依据进行的，因此可以有效的根据待修复内容合理的建立搜索范围．

1.3 搜索最优匹配块

当前图像修复方法中主要是依靠像素值误差块匹配度量的方法进行最优匹配块的搜索，该方法容易使修复图像中出现块效应[15]．而结构相似度评价规则能够对两幅图像从人体视觉出发进行结构相似性度量[16,17]．对此，本文引用了结构相似度模型用于对匹配块与待修复块的结构相似性进行约束，以搜索最优匹配块．

对于待修复块K以及匹配块Z，其对应的结构相似度模型为[17]

其中，l(K,Z),c(K,Z),s(K,Z)分别为亮度、对比度、结构相关函数．

利用（13）式将搜索范围内的所有匹配块与待修复块进行结构相似性度量．选取最大值SSIM(K,Z)对应的匹配块作为最优匹配块，用于对待修复块进行修复．

2 仿真实验

以3.2GHz双核处理器、4GB内存的PC机作为硬件平台，在Windows 7操作系统上利用Visual Studio 2008软件作为编程环境进行仿真实验．为了体现本文算法的有效性以及优越性，将文献[18]和文献[19]中的图像修复算法设置为对照组．

2.1 不同修复图像的视觉效果分析

实验中对划痕破损图像以及遮蔽物破损图像进行了修复．不同算法的修复效果图如图3和图4所示．在图3中，本文算法修复图像的效果如图3（g）所示，文献[18]中算法修复图像的效果如图3（c）所示和文献[19]中算法修复图像的效果如图3（e）所示，从整体上看修复效果都不错．通过将修复观察区进行放大后进行对比可见，本文算法的修复图像质量最佳，如图3（h）所示．文献[18]算法修复图像的修复观察区内存在修复残留效应与模糊效应，如图3（d）所示．文献[19]算法修复图像的修复观察区内存在振铃效应以及块效应，如图3（f）所示．图4中，对比本文算法的修复图像效果如图4（e）所示，文献[18]中算法修复图像的效果如图4（c）所示和文献[19]中算法修复图像的效果如图4（d）所示，可见本文算法修复效果最好，而文献[18]中算法修复图像中存在不连续效应，文献[19]中算法修复图像中存在模糊效应．说明本文算法修复的图像具有良好的视觉效果．因为本文采用了以像素点梯度变化为依据的梯度变化约束模型对待修复块模板尺寸进行调节，使得修复块模板尺寸适应图像信息的变化，从而克服了不连续效应以及块效应等不良效应．同时本文还采用了结构相似度模型，从人体视觉效果出发选取了最优匹配块，使得修复图像的视觉效果得以提升．文献[18]中算法利用多项式曲线拟合方式对图像边缘信息进行修复，利用平移块的稀疏表示修复纹理信息，由于多项式曲线拟合方式难以对方向向量相同的两点进行修复，导致修复图像存在不连续等不良效应．文献[19]中算法利用深度图选取优先修复块，通过几何模型以及光度模型在整个源区域中搜素最优匹配块，完成图像修复，由于几何模型以及光度模型对像素点颜色值识别度不高，导致修复图像存在模糊效应等，使得修复图像质量不佳．

图3 划痕破损图像的修复效果图

图4 遮蔽物破损图像的修复效果图

2.2 图像修复客观评价

以图3（a）作为测试对象，对测试图像进行不同程度的遮蔽物破坏，利用不同算法对破坏图像进行修复，并将修复图像的质量通过SSIM进行对比，从而实现客观评价．

不同算法修复所得图像的SSIM对比图如图5所示．由图5可见，对于不同程度破损图像的修复，本文算法修复图像的SSIM值比对照组方法修复图像的SSIM值都高，说明本文算法对破损图像具有较好的修复效果．因为本文以像素点的置信度为依据，建立了搜索空间适配法则，用于对搜索范围进行限定，从而避免了由于计算量大而产生的修复错误．另外本文还采用结构相似度模型搜索最优匹配块，从而保证了修复图像中细节信息的正确度，提高了修复图像的峰值信噪比．

图5 三中算法修复图像的PSNR图

3 结论

为了获取视觉效果良好的修复图像，本文提出了基于置信特征耦合结构相似度约束的图像修复算法．首先利用优先权函数从待修复区域选取优先修复像素．然后利用像素点的梯度变化特征，构造了梯度变化约束模型，用于调整待修复块的模板．最后通过像素点的置信度特征，建立搜索空间适配法则，确定了搜索范围．引用结构相似度模型搜索最优匹配块完成图像修复．实验结果验证了所提修复算法的有效性与优越性．

参考文献：

[1]余萍,闻恺.基于混沌交换控制表与关联动态引擎的图像加密算法[J].新疆大学学报(自然科学版),2017,34(4):459-466.

[2]Anamandra Sai Hareesh，V.Chandrasekaran.Exemplar-based color image inpainting:A fractional gradient function approach[J].Pattern Analysis and Applications,2014,17(2):389-399.

[3]葛艳，赵瑞，高占江.基于TV模型和膨胀的图像修复方法研究[J].微型机与应用，2014，33(18):39-41.

[4]徐黎明，吴亚娟，刘航江.基于变分偏微分方程图像修复技术研究[J].西华师范大学学报(自然科学版)，2016，37(3):343-348.

[5]李志丹，和红杰，尹忠科.基于块结构稀疏度的自适应图像修复算法[J].电子学报，2013，41(3):549-554.

[6]江平,张锦.一种结合CDD模型和Criminisi算法的图像修复算法[J].图学学报,2014,35(5):741-746.

[7]Swami D,Jain A.Image denoising by supervised adaptive fusion of decomposed images restored using wave atom,curvelet and wavelet transform[J].Signal,Image and Video Processing,2014,8(3):443-459.

[8]Papaf i tsoros K,Sch¨onlieb C B.A Combined First and Second Order Variational Approach for Image Reconstruction[J].Journal of Mathematical Imaging and Vision,2014,48(2):308-338.

[9]张婷曼.基于小波阈值自适应修正的模糊图像修复算法[J].控制工程，2015，22(6):1166-1170.

[10]邓承志，刘娟娟，汪胜前.保留结构特征的稀疏性正则化图像修复[J].光学精密工程，2013，21(7):1906-1913.

[11]Williams B,Ke C,Harding P.A new constrained total variational deblurring model and its fast algorithm[J].Numerical Algorithms,2015,69(2):415-441.

[12]朱晓临，陈晓冬，朱园珠.基于显著结构重构与纹理合成的图像修复算法[J].图学学报,2014,35(3):336-342.

[13]Mrinmoy G,Bhabatosh C.An image inpainting method using pLSA-based search space estimation[J].Machine Vision and Applications,2015,26(1):69-87.

[14]李丹，仲崇权，王世强.基于全变差和P-Laplace模型的混合图像修复算法[J].大连理工大学学报,2014,54(6):676-681.

[15]Nishant T.Image enhancement and restoration by image inpainting[J].International Journal of Engineering Research and Applications,2014,12(4):30-34.

[16]吴云,许抗震,黄瑞章.一种基于Hadoop的文本相似度仿真检测模型[J].新疆大学学报(自然科学版),2017,34(3):308-315.

[17]金炜,王文龙,符冉迪.联合块匹配与稀疏表示的卫星云图修复[J].光学精密工程，2014，22(7):1886-1895.

[18]康佳伦，唐向宏，任澍.结构约束和样本稀疏表示的图像修复[J].中国图像图形学报，2013，18(11):1425-1434.

[19]Seyed Saeid Mirkamali,Nagabhushan P.Object removal by depth-wise image inpainting[J].Signal,Image and Video Processing,2015,9(8):1785-1794.