改进的基于区域加权信息熵的图像修复方法

吴长勤，王亚军，王传安

(安徽科技学院 安徽凤阳233100)

0 引言

图像修复是图像处理技术领域的一个分支，也是目前计算机视觉方面的研究热点之一。数字图像修复的本质是利用其周围的有用信息，按照一定的规则对图像受损区域进行填充，使修复结果可以达到或接近人所要求的视觉效果［1］。根据受损区域的大小，图像修复方法可分为两类:一类是基于偏微分方程和变分的图像修复［2－4］，其基本思想是根据信息扩散原理实现图像受损区域的修复，当图像待修复区域较小时，修复效果很好，但当图像待修复区域较大时，修复时会出现很强的边界效应;另一类是基于结构纹理的图像修复，该类算法几乎不受修复区域大小的影响，均能取得较好的修复效果，已逐渐成为图像修复领域的主流方法，吸引众多国内外学者进行研究［5－7］。

1 Criminisi 算法思想

先介绍Criminisi 算法中用到的几个量，I 表示待修复的图像，Ω 表示待修复区域，Φ 表示未受损区域，∂Ω 表示区域边界，p 表示边界∂Ω 上优先权最高的一个像素点，如图1 所示。

Criminisi 算法提出采用优先权进行修复的思路，并以每次匹配时的最优作为全局最优，其修复过程可概况如下:

1)先确定待修复区域，并标记出其边界∂Ω，若∂Ω 为空，则退出。

2)计算修复优先权:选取边界∂Ω 上的某一点p，计算其优先权P(p)，并以p 为中心，确定一个矩形块Ψp。P(p)计算公式为:

图1 Criminisi 算法变量示意图

其中，C(p)为置信项，D(p)为数据项，其计算公式分别如下:其中α 为归一化因子，为矩形块内像素点的个数，为p 点的等照度线方向，np为p 点处与边界∂Ω 正交的单位向量。由于等照度线即为灰度值相同的一条曲线，因此该曲线方向的颜色变化值最小。

3)以优先权最大的像素点p 为中心形成待修复块Ψp，并在未受损区域Φ 内搜索最佳匹配块Ψq，即与Ψp距离最小的模块:

其中d 为感知距离，对于灰度图是两模块对应各点的灰度值平方差之和，而彩色图像则是对应各点的RGB 值平方差之和。

4)复制最佳匹配块Ψq中相应的像素点到Ψp中。

5)更新Ψp模块中像素点的边界和置信度等信息。根据置信度的定义，其更新方式如下:

2 改进的算法

Criminisi 算法是一种典型的贪心算法，它充分考虑了图像结构纹理等信息，相比其他算法其修复效果在速度和修复质量上都有很大提升，但也存在一些值得改进的地方［8］。

2.1 改进计算优先权

Criminisi 算法在优先权计算中采用等照度线到达边缘的强度来计算数据项D(p)，以保证处在强边缘的像素块能够获得更高的优先权，而这种优先权计算公式不仅计算量大，且不能准确地反映出图像的边缘结构信息，同时在修复过程中，由于置信项C(p)和数据项D(p)有可能出现一大一小两个极端现象，从而导致优先权极小，这不符合实际情况［9］。根据颜色向量角能够检测数字图像边缘的特性［10］，因此，可采用构造边缘项来代替Criminisi 算法中的数据项，使其能更准确地反映出图像的边缘特性。

先将待修复图像向外扩充一个像素，以保证后续能够对边缘像素以及其他像素做同样的处理。在RGB颜色空间中，以图像中任一像素点为中心P0，选取其四周3×3 邻域内的八个像素点P1、P2……、P7、P8，并计算P0与八个邻域像素点的颜色向量角正弦值:

由式(6)可得出8 个颜色向量角正弦值，然后用其中最大的正弦值来表征像素间的色差:

对整个待修复图像所有像素全部进行上述计算后，将结果组合在一起，得到一边缘图像IM:

式(8)中m 和n 表示待修复图像大小为m×n。接下来，进行优先权计算:

其中C(p)仍为置信项，而E(p)为边缘项:

E(p)=diff(p)，diff(p)∈IM(10)

在改进后的优先权计算中，使用边缘项取代了数据项，避免了Criminisi 算法中的等照度线和正交法向量等复杂运算。同时，改进后的优先权为两项和的形式，消除了因置信项迅速衰减造成的优先权的极小值问题，从而避免了误差过度传播。

2.2 改进搜索最佳匹配块

Criminisi 算法采用全局搜索方式搜索最佳匹配模块，该方式不仅十分耗时，且没有考虑到图像的局部自相似性。实际上，待修复图像上某一位置的像素值与其周围邻域的像素值有密切的关系，对于图像修复问题而言，熵是一种图像特征的统计形式，它可以反应图像中信息的多少［11－12］。图像颜色信息熵可表示为:

其中k 为图像中具有k 个灰度级，pi为第i 个灰度级出现的概率。

由于一副图像不同区域的关注程度不同，会使相同的图像信息出现在图像不同区域时的信息重要程度也不尽相同。因此有必要按照图像信息出现不同区域的重要程度重新对图像信息熵进行定义，这就是区域加权信息熵［13］。图像的区域加权信息熵定义为:

根据上述分析和定义，改进的搜索最佳匹配块方法的步骤如下:

1)划分待修复像素点p 的邻域

采用同心圆划分方法将待修复像素点p 的邻域像素集合T 划分为m 个模块区域，即T={T1，T2，…，Tm}，且要求每个区域不小于以像素点p 为中心的待修复块。

2)区域划分效果评价

对于邻域像素集合T，采用加权信息熵方法对T 中各个区域进行熵值计算，可得到一维信息熵向量ET={ET1，ET2，…，ETm}。设ET的统计分布为X，用X 的方差D(X)来衡量向量ET，该衡量方法是邻域像素集合T划分效果的的重要评价指标。

D(X)的值越小则邻域像素集合T 的信息熵向量ET的分布比较均匀，也就是说划分的区域块能够更好描述纹理图像的纹理性和稳定性。

3)选择最佳的修复匹配块

以像素点p 为中心，确定待修复块Ψp，并计算该修复块的信息熵Eψp，将Eψp与ET 中的各个信息熵进行比较，若某一区域块Ψq的信息熵Eψq等于或最接近于Eψp，Ψq即为最佳修复匹配块。

4)平滑过渡处理

在修复好一个修复块的情况下，再以离已修复最近的点p’为中心确定待修复块Ψp＇，同时更新信息熵向量ET，将以修复块Ψp的Eψp加入ET 中，即。将已修复的区域模块重新加入待修复模块集合，可以减少边界效应，特别是模板太大时，可使两个模块间平滑过渡，不会出现明显的修复痕迹，使得修复结果更真实。

3 实验结果与分析

下面对Criminisi 算法和文中提出的改进算法的图像修复效果进行实验比较，实验用的PC 配置为corei5四核处理器，内存为4G，安装64 位windows 7 操作系统，算法编写语言为C++及开源库OpenCV2.4.2。实验结果如图2、图3 所示，其中图2 是利用本文算法和Criminisi 算法修复破损图像过程中得到的置信项、边缘项以及优先权曲线的对比图，图3 为两算法修复图像效果的对比图。

从图2 可看出，本文修复算法在图像修复过程中获得的参数曲线不管是边缘项、置信项还是数据项，都不会随修复过程的累积而迅速下降，相比Criminisi 算法取得了较好的曲线效果。从图3 可以看出，本文修复算法修复后的图像跟原始图很接近，相比Criminisi 算法取得了更好的修复效果。

图2 两算法参数曲线对比图

图3 图像修复对比

图4 受损区域较大时的修复效果比较

从图4 可以看出，采用本文的修复算法之后，修复效果相比Criminisi 算法不再存在很强的边界效应，只在个别地方存在很小的块间效应，修复效果提升较大，更加符合人的视觉要求。

为更直观明了的验证文中所提算法的修复效果，实验采用客观评价方法做为修复图像质量评估的客观标准，表1 展示了两种修复算法在均方误差(MSE)、峰值信噪比(PSNR)和算法执行时间方面的客观度量。

表1 两种修复算法的客观度量

从表1 可以看出，本文提出的算法相对Criminisi 算法来说均方误差比较小，峰值信噪比更大，失真较小，修复效果更好，更接近原图，且计算量大大减少。因此与Criminisi 算法相比无论从速度上还是修复的质量上文中所提算法都占有优势。

4 结语

本文简单介绍了经典的Criminisi 算法的基本思想，分析了该算法在修复过程中存在的不足。针对优先权极小值问题，使用边缘项取代数据项，并优先权改为两项和的形式。Criminisi 算法采用全局搜索方式搜索最佳匹配模块，且没有考虑到图像的局部自相似性，导致执行时十分耗时，针对此问题，提出了区域加权信息熵对待修复区域的邻域进行区域划分，并采用熵值来确定最佳匹配块，该方法在达到与Criminisi 算法相当的修复质量的前提下，大大减少了搜索时间。

［1］ BERTALMIO M，SAPlRO G CASELLES V，et a1.Image inpainting［C］//.Proceedings of International Conference on Computer Graphics and Interactive Techniques［C］.New Orleans Louisiana USA，2000:417－424.

［2］ Chan T，Shen J.Mathematical models for local non－texture inPainting［J］.SIAM Journal on Applied Mathematics，2002，62(3):1019－1043.

［3］ Esedoglu S，Shen J.Digital image inpainting by the Muxnford－Shah－Euler image model［Jl.EuroPean Journal of Applied Mathematics，2002(13):353－370.

［4］ 叶学义，王靖，赵知劲，等.鲁棒的梯度驱动图像修复算法［J］.中国图像图形学报，2012，17(6):630－635.

［5］ Efros A.A，Freeman W.T.Image quilting for texture synthesis and transfer［C］.Proeeedings of ACM Transactions on GraPhics(SIGGRAPH 01)，USA:ACM，2001.341－346.

［6］ 朱晓临，陈晓冬，朱园珠，等.基于显著结构重构与纹理合成的图像修复算法［J］.图学学报，2014，35(3):336－342.

［7］ 马爽，谈元鹏，许刚.块关联匹配与低秩矩阵超分辨融合的图像修复［J］.计算机辅助设计与图形学学报，2015(2):271－278.

［8］ 赵胜.基于纹理合成的图像修复算法研究［D］.成都:电子科技大学，2014.

［9］ 陈晓冬，朱晓临.基于改进优先权的加权匹配图像修复算法［J］.合肥工业大学学报，2013(1):58－63.

［10］ 叶春.数字图像水印及修复算法研究［D］.桂林:广西师范大学，2014.

［11］ Rivera M，Ocegueda O，Marroquin J.L.Entropy－controlled quadratic markov measurefield models for efficient image segmentation［J］.IEEE Transactions on image Processing，2007，16(12):3047－3057.

［12］ 张晴.基于样本的数字图像修复技术研究［D］.上海:华东理工大学，2011.

［13］ 李爱国，马子龙.区域加权信息熵及其在图像特征提取中的应用［J］.计算机应用，2009，12(29):3340－3342.