基于不同类型图像修复技术的研究
2017-10-10马洁
马洁
摘要数字图像修复是图像处理中的重要部分,由于图像破损的程度不同、需求不同,数字图像修复也需要采用不同的方法进行处理。本文主要从基于纹理与结构两个方面研究图像修复技术,并且根据图像破损的程度进行不同的分析。
关键词图像修复;纹理图像;大面积图像;结构特征
图像破损是指由于多余物体遮挡,传输丢失或保存不当等原因使图像的部分数据信息损坏或丢失,而图像修复则为通过图像的整体特征及残存信息进行图像填充及修补的过程,最终达到修复的图像基本无法被人眼察觉的状态。
随着数字技术的发展,数字图像修复技术成为图像处理的一个重要分支,被应用到各个领域,特别是在对一些珍贵文物进行修复时,不仅需要专业人员手工修复,费时费力,而且由于修复是不可逆的,一旦修复失误则造成很大的损失,通过数字图像修复可以根据需求建立不同的模型进行参考,降低风险且提高效率。目前数字图像修复技术还无法达到根据已有图像进行自适应修复的目的,常用的图像修复技术通常都适用于某个特定的范围,这也是由于图像不同及图像修复需求不同所造成的。例如照片上的划痕属于小面积的破损;移除图像较大目标物属于大面积图像修复;自然图像中含有纹理的图像在修复中需要考虑纹理的影响等。
1图像修复技术的分类
在图像修复领域,根据贝叶斯理论框架,利用先验知识,即图像模型,进行修复起到了关键作用,例如书桌、家具為矩形组合,衬衣的图案存在相似的纹理等,球类为圆的、光滑的规则曲面,修复图像缺失数据的关键就在于选取合适的图像先验模型,利用边缘信息、几何信息、纹理信息进行扩散、插值或填充,进一步地对图像残缺丢失部分进行重建。
目前通常将图像修复技术根据有无纹理分为基于结构及基于纹理的图像修复,根据破损面积的大小又分为小面积图像修复及大面积图像修复,还可以根据图像色彩分为灰度图像及彩色图像修复,本文主要针对的是灰度图像的修复。从基于结构图像修复及基于纹理图像修复两个方面进行阐述,包含对大面积破损及小面积破损常用的方法进行研究。
2基于结构的图像修复
对于破损图像来说,即使破损也可以通过有效的图像部分获取图像的一些特征,例如边缘边界、梯度、曲率等,并根据这些周围特征对破损区域进行修复。基于结构的图像修复通常包括基于偏微分方程的图像修复及邻域加权算法。
近年来,基于结构的图像修复通常采用PDE方法,该方法自1990年以来被应用到图像处理的多个领域,为图像处理问题提供了统一的理论框架,并在计算机视觉领域取得较好的成果。基于PDE的图像修复,主要是根据己知图像的特征,建立相应的模型,通过解偏微分方程,对图像进行插值扩散,进而填充破损区域。
小面积图像修复的PDE方法主要有BSCB方法、整体变分TV模型方法、曲率驱动模型CDD方法。BSCB方法根据边缘的等照度线延伸到破损区域,该方法可以保持边缘方向不变,但是会造成不同程度的等照度线的交叉。TV模型使用梯度作为扩散因子,采用梯度的倒数作为扩散参数,因此在边缘内部平滑区域扩散大,进而达到修复的目的。该模型在去噪的同时可以对图像进行小面积的修复,修复速度较快,但没有考虑到曲率特征,容易造成截断。之后Chan等提出了CDD模型,在该模型中加入了曲率惩罚项,使用曲率项作为扩散因子,修复算法复杂度小,但该模型收敛性上还有待优化。
以上3种模型在处理大面积图像修复时,或者造成断裂或者没有良好的收敛性,都无法很好地完成。针对大面积的图像修复,特别是几何图像修复时,通常使用引入弹性项的模型。1744年欧拉提出来一条能量曲线,即Euler弹性线,该曲线可以保证在外力的作用下自由扭转的细杆保持一种稳定状态,与经典的多项式样条曲线类似,在扩散或插值过程中,弹性模型能够使用光滑的曲线连接边界及r连接,在计算机视觉中,Mumford将Euler弹性项作为先验曲线模型引入到图像处理中,解决了常见的“视觉不匹配”的问题。经典的有基于.TV模型改进的Euler弹性修复模型及Mumford-Shan-Euler模型。
引入弹性项后的Euler弹性模型及Mumford-ShanEuler模型在处理图像大面积破损时,一方面可以沿着边界进行扩散,另一方面在角点处通过曲率项进行扩散,以其良好的曲线性、平滑性改善了原有数字图像处理中的阶梯效应,成功地解决了“视觉不连通”的问题,使修复结果更加完善。
3基于纹理的图像修复
对于自然图像,尤其是带纹理的图像来说,仅仅根据图像的几何特征进行简单的填充,无法满足人们的需求。对于纹理图像修复,通常采用具有相似性、连续性的块状信息对图像进行修复。常用方法有基于图像分解技术及非局部算法等。
非局部方法是一种全局算法,利用加权图像块的相似性,在有效图像中寻找与目标点最为相似的块进行填充,不仅考虑了样本图像的先验知识,也结合破损区域的相关信息,对周期性的纹理结构较为有效。基于图像分解技术的图像修复则将图像分为纹理部分与结构部分,对结构部分按照TV模型或者CDD模型进行修复,对于纹理部分采用样本合成方式进行修复。
对于小面积的图像修复来说,由于破损面积小,根据周围的特征较为容易进行填充。而对于大面积的图像修复,内部的填充很难找到相似的匹配块,常用的算法为CPT算法,该算法基于顺序的优先权算法。首先确定破损的边缘区域,对边界上的各点进行优先权的判定,找到最佳相似的匹配块,对边界进行填充,然后依次向内进行修复。
4结论
由于无法对所有的图像进行单一方法的修复,本文针对不同类型的图像,对当前常用的图像处理技术进行研究,对于非纹理图像主要采用偏微分方程的算法,对于纹理图像采用非局部或块状匹配的算法,以及针对大面积图像破损进行一定的分析。图像修复作为图像处理的重要分支,其模型与图像去噪模型、分割模型等都可以互相借鉴,因此研究图像修复对研究图像以及其他领域具有重要意义。