纹理萃取耦合U型更新的图像修复算法

唐宝燕

(潍坊工程职业学院 信息工程系，山东 青州 262500)

对图像中已知信息的充分分析，并找出图像中破损区域残留的纹理特征，在已知的图像信息中寻找出与破损图像纹理特征最相似的图像块对破损区域进行填充，从而达到图像修复的效果，这就是图像修复技术[1-2]的主要目的。

近年来，不少专家学者都提出了自己的图像修复方法。例如，Qian等人[3]提出通过引入自适应图像块调节的方法来计算图像块的稀疏度，从而改变图像块的大小。然后计算不同旋转角度下的最大相似性，搜索出最相似的旋转不变匹配块。此方法对于纹理丰富的图像中存在破坏区域宽度较大的图像修复效果较好，不仅能够对匹配像素块的选取有了更加精准的分析，并且能够保持合理的视觉效果。但是对于纹理平滑的破损图像修复质量较差，容易出现振铃效应。Pierre等人[4]利用特定的数学模型加入到模糊的图像中进行深度地修复，从而解决模糊图像纹理不清晰的问题，并且对彩色的破损区域采用基于深度引导的修补方式进行替换，以此来完成破损图像的全面修复。此方法是将模糊图像的信息深度解析后再进行重建模型的，从修复质量上来看还是很有效果，修复后的纹理清晰顺滑，流畅自然，但是此方法修复耗时太高，效率低下，对于需要时效性的图像修复而言不太理想。Sridevi等人[5]通过建立分数阶变分模型对破损图像进行分化解析，从而消除图像修复过程中常出现的修复模糊现象，这种利用非线性扩散的鲁棒特征修复算法能够对破损图像的模糊边缘进行优化处理，从而获得较好的边缘修复效果，但是修复后的图像会出现修复残留现象，修复质量不理想。Huang等人[6]提出借助纹理分割对待修复图像进行分划的修复算法。通过分水岭图像分割算法将破损图像采取分划的预处理，利用纹理特征中的曲率特征量来加强数据项的权重，从而优化优先权的计算，通过将搜索区域缩小到图像分划区域内的办法快速匹配最优匹配块，减少修复耗时。此方法利用了图像分割方式带来的便利性和高效性，能够快速完成对破损图像的修复，但是由于缩小了匹配范围，也就意味着失去更多的匹配选择，很有可能出现匹配块选取对象少的原因，导致误匹配概率大大增加，修复效果难以提升。Deng等人[7]提出通过对匹配块匹配过程的研究，引入了一种独立的策略。首先定义一个新的分离优先权算法来计算几何结构的优先权，优先修复图像的几何结构，然后再计算纹理信息的优先权来合成图像的纹理，通过分别计算不同的优先权来更好地恢复图像的几何和纹理。此方法在修复效果上有所提升，但是修复过程须要花费过多的时间，时效性较差。

上述方法各有利弊，本文提出一种纹理萃取耦合U型更新的图像修复算法。本方法通过对图像中的破损区域进行纹理萃取处理，利用小波变换的方法去噪再结合角点检测分析，萃取出破损区域的纹理指标，这样能有效地弥补了传统修复算法没有对破损区域进行合理有效预先处理的短板。纹理指标可以有效反应破损区域图像与匹配图像的相似度，在优先权计算时结合萃取的纹理指标可以增加对最优匹配块优先选取的可靠性，减少错误匹配的发生，避免纹理延伸。本文利用U型计算方式对修复块的置信度进行强化从而抑制置信度的快速衰减，避免传统Criminisi算法中置信度值因为不断的迭代会快速趋0的现象出现，解决了修复图像连贯性差的问题，优化了图像修复的视觉效果。通过实验表明，本文所提修复方法具有更加稳定修复效果，更加符合肉眼在对图像观察时的视觉要求。

1 破损图像纹理萃取处理

为了对图像破损区域内的纹理信息实现准确分析和萃取，首先需要对该区域进行纹理分割，从而获取破损图像边界指标。纹理的多尺度分割方式为：

(1)

式中，α1、α2为破损区域中的任意2个不同像素点，d(α1,α2)为像素点α1、α2之间的几何距离，L为纹理被分割的层数，Z(α1)表示破损图像边界指标，表达式为：

(2)

获得破损图像边界指标后，接着对破损图像边缘进行小波去噪处理和角点检测。通过对破损图像边缘小波去噪处理[8]可以获得破损区域图像灰度直方图C(α1)；通过对破损图像边缘进行角点检测[9]可以获得图像破损区域边缘特征约束函数dα1,α2

mn(x,y)。

令Pα1(α2)为破损图像灰度值，则破损区域图像灰度直方图C(α1)和边缘特征约束函数dα1,α2

mn(x,y)计算公式如下：

(3)

(4)

其中，x、y分别为偏导数梯度，θα1,α2

m为图像破损区域边缘强度，β为常数。

根据图像破损区域边缘特征约束函数完成对破损图像边缘的检测以及图像融合[10]处理。处理后再进行破损区域纹理密度计算。纹理密度计算式为：

(5)

其中，Hm,Hn表示破损图像中m、n方向的矢量，|H|为破损区域纹理密度集合，R表示破损图像纹理的归一统计总和。

通过以上处理并累积加权可得图像破损区域边缘波域特征提取的不变距为：

(6)

结合边缘波域特征分割和离散化处理得到待修复区域的矢量值a,bm，然后计算破损区域纹理的超像素级视觉特征[11]Aa(Cα1)，计算式如下：

Aa(Cα1)=Z(α1)+Aα1(Cα1)

(7)

其中，Aα1(Cα1)(α1=1,2,3,4,…，n)为图像破损区域中的纹理结构表征[12]。结合图像增强技术手段实现对破损区域不同像素梯度的特征进行匹配和融合，得到图像破损区域的纹理萃取指标，函数表达式如下：

(8)

经过以上所述步骤可以得到破损图像中的纹理萃取结果，通过这样处理可以有效地弥补了传统Criminisi修复算法没有对破损区域进行合理有效预先处理的短板。纹理指标可以有效反应破损区域图像与匹配图像的相似度，在优先权计算时结合萃取的纹理指标可以增加对最优匹配块优先选取的可靠性，减少错误匹配的发生，避免纹理延伸。

2 改进U型函数更新置信度的Criminisi算法

2.1 Criminisi算法

利用图像纹理信息对破损图像进行修复算法有很多种，其中应用最广泛的是Criminisi算法。

1)计算优先权

如图1所示，在一幅破损图像中，已知区域为M，待修复区域为N。K为M区域与N区域的边缘线，p为边缘线上的某一个像素点。以p为中心点的待修复像素块为Up。np为p点的法向量， 表示点p点的等照度线向量，C(p)为p点的置信项，D(p)为p点的数据项。Criminisi算法中通过C(p)和D(p)信息来获取优先权P(p),计算式如下：

P(p)=C(p)×D(p)

(9)

置信项C(p)数据项D(p)两者的表达式分别是：

(10)

(11)

其中，q为待匹配像素点，|Up|为Up中像素点的总数，α为系数，取α=255。

经过优先权计算，选取计算值最大的待修复块作为优先修复块。

2)搜索最优匹配

Criminisi算法将根据SSD匹配准则[13]，在已知区域中，搜索筛选出与优先修复块纹理结构最相近的图像块作为最优匹配块Uq。

利用SSD匹配准则获取最优匹配块U(q)的计算表达式为：

Uq=arg mind(Up,Uq)

(12)

式中，d(.)是Uq与Up中对应颜色差的平方和计算公式，其表达式如下：

(13)

3)更新置信度

Criminisi算法更新置信度C(p)的计算为：

(14)

即用Uq的图像信息替换Up内的信息，完成更新操作。

Criminisi算法通过重复计算优先权、待修复块的匹配和更新置信度这3个流程，最终完成破损图像的修复。

2.2 改进U型函数更新置信度

由于传统Criminisi图像修复算法中计算须要不断迭代的原因，暴露出置信度值快速趋0的弊端，为此本文提出U型函数计算方法对置信度更新进行改进。

U型函数计算表达式为：

(15)

则结合U型函数改进的置信度更新计算为：

(16)

其中，λ为调节因子，经过多组实验得出，取λ=1.3时，可得到较好的修复结果。

为了较为直观的对比，用X代表传统Criminisi图像修复算法中的C(p)，则置信度更新可以简化表示为f(x)=x，x∈[0，1]。图2为传统Criminisi图像修复算法中的置信度更新函数和本位所提结合U型函数改进的置信度更新函数对比结果图。

通过图2中的线条陡缓可以明显观察出，x在0到1的取值范围内，y1=f(x)呈现出的斜线斜率比较大，而且随着的变小而快速下降。但是同样的x在0到1的取值范围内，y2=h(x)呈现出的斜线较为平缓。y1=f(x)与y2=h(x)在点(x0,y0)处相交，x在0到x0的取值范围内时，y1=f(x)在y2=h(x)下方并且呈现出的斜线斜率比较大；x在x0到1的取值范围内时，虽然y1=f(x)出现在了y2=h(x)的上方但是呈现出的斜线斜率依然比较大。由此说明y2=h(x)在x在0到1的取值范围内变化较为平缓，并且不会出现因为x快速减小而快速趋于0的结果。

因此本文利用U型计算方式对修复块的置信度进行强化从而抑制置信度的快速衰减，解决修复图像连贯性差的问题，优化图像修复的视觉效果。

3 实验结果与分析

实验采用MATLAB7.0作为软件平台，在2.4 GHz主频、8 GB内存、Intel酷睿双核计算机上进行图像修复对比实验。对所提算法进行实验测试，并将与文献[14]、文献[15]中所用方法进行对比。

3.1 对小狗图像的实验与分析

如图3中所示为3种算法对小狗破损图像的修复效果对比。文献[14]方法对破损图像修复之后，在足球顶部还有微小红色修复残留，在小狗背部和尾巴下方存在明显未修复到的红色区域，在小狗前爪处原来的白色出现了黑色模糊块，出现明显振铃现象。文献[15]方法修复之后，在小狗头部、前爪下方、尾巴上均有较小的红色破损残留。本文算法对破损的小狗图像进行修复后没有出现振铃现象，也未见明显修复残留，图像修复质量较为理想。

3.2 对保温杯图像的实验与分析

不同算法对保温杯破损图像的修复效果对比如图4中所示。文献[14]方法对破损图像修复之后的效果为图4(c)。可以看见较为明显的1处红色修复残留；在木板缝隙处修复效果不佳，有修复间断的痕迹；蓝色保温杯的白色字迹修复不完整。文献[15]方法修复之后，有2处红色修复残留，其中1处红色斑块面积比较大。本文算法修复后未见明显修复残留，但在保温杯下方蓝色标记处有微小面积的模糊现象，未仔细查看较难发现，图像修复视觉效果有较好的改善。

4 结论

本方法对破损区域进行纹理萃取处理，结合小波变换去噪和角点检测分析，萃取出破损区域的纹理指标，优先权计算时结合萃取的纹理指标增加对了匹配块优先选取的可靠性。利用U型计算方式对修复块的置信度进行强化从而抑制置信度的快速衰减，解决修复图像连贯性差的问题，优化图像修复的视觉效果。通过与不同的图像修复算法进行对比实验，验证了本文所提修复方法具有更加稳定修复效果，更加符合肉眼在对图像观察时的视觉要求，说明所提方法具有更好的修复性能。