基于稀疏表示的图像去噪和超分辨率重建

刘超

摘 要

目前超分辨率的研究分成静态图像超分辨率和动态图像超分辨率两大类，静态图像超分辨率是指利用单张低分辨率图像内容来重建出高分辨率图像，本质上高分辨率图像的高频成分不能由原有低频成分算出，故如何补足高频成分以避免模糊现象是提升视觉质量的关键也是研究重点。图像去噪和超分辨率的目的是为了解决数字图像分辨率不足所提出的技术。这个技术主要是应用在某些只能得到单张低分辨率图像的场合，利用仅有的一张低分辨率图像来产生应用上所需的高分辨率图像。稀疏表示作为一种重要的数据编码与表达方式，不仅在人类的视觉认知机理上具有明确的理论依据，而且在信号表达与重建理论方面得到了严格的证明和推导。本文主要采用稀疏表示理论，对图像去噪和超分辨率重建的相关技术与算法进行研究。

【关键词】图像去噪 超分辨率 重建 稀疏表示

1 图像去噪和超分辨率重建的概述

动态图像超解析的步骤通常分成二个步骤：第一个步骤是从多张连续的图像中，取一张图像当作我们的目标图像，然后去计算其它图像相对于目标图像的位移差量。第二个步骤是根据所得到的位移量以及一些额外的信息，如图像边缘的方向、图像的区域特性等等，最后得到一张高分辨率的图像。以多张图像来做超解析的优点是可以参考的图像信息变得多了，不同于静态图像超分辨率的信息仅有单张低分辨率内容。一张数字图像经过次取样成低分辨率，再应用静态图像分辨率提高法还原成高分辨率时，再和原始数字图像作比较，会发现两张图像有所差异。其差异程度的大小，光以言语形容给人的感觉也许不是那么明确。因此需要一些评估方式来裁决图像质量的好坏。图像的质量通常是利用人眼视觉来评估，由于人眼评估属于主观评估，因此必须严格订定给分标准并且交由一群专业评论者给分，其图像质量的评估数值取全部评论者给分的平均，其优点是符合稀疏表示。另一种质量评估方式为客观的数值评估，利用订定的公式（如：PSNR）来估算图像的质量，优点是容易计算，无须劳师动众；但缺点是数值评估不完全吻合视觉上的评估（如：PSNR 高未必代表图像质量佳）。基于上述不同评估方式各有其优缺点，因此国际图像压缩标准JPEG2000 在选择算法规格时，先以数值评估PSNR 找出质量最佳的前三名，再利用人眼主观评估做最终的图像质量裁决者。

2 稀疏表示的模型与算法

2.1 模型的建立

在重建信号品质评估方面，一般常用的有均方根误差（Root Mean Square Error，RMSE） 、信号噪声比（Signal-to-Noise Ratio， SNR） 和信号峰噪声比（PeakSignal-to-Noise Ratio， PSNR）。

假设f（i，j）表示原始高分辨率图像信号，f （i，j）表示超解析重建后的信号，信号长度为MxN，则对于任意（i，j）值，f （i，j）和f（i，j）间的误差定义为：

ε=f （i，j）-f（i，j）

因此，两张图像间的总误差为：

则两张图像间的均方根误差（MSE）为：

而RMSE为MSE的平方根，因此定义如下：

目前ITU-T 的H.264 标准在评估彩色图像质量时所采用的数值评估方式，即PSNR的延伸，将RGB 彩色空间转换到YUV 彩色空间，再分别求出Y，U 和V 元素的PSNR，并给予不同的权重加总平均，即彩色图像的评估方式。

2.2 以稀疏表示为基础的高频增强滤波器算法

由于SISR 方法当中，主要的问题在于高频区域模糊不够明显，一般高频信息泛指纹理区域和图像边缘区域，但是人眼对于纹理区域的变化并不如图像边缘敏感，因此目前一些提出的方法都只处理人眼较为敏感的图像边缘区域。但是如果算法能够同时兼顾这两种区域，则图像质量将能够更趋于真正的高分辨率图像。SISR 解决高频信息不足的方法一般有两个，第一个方法是加入新的高频信息。第二个方法是强化微弱的高频信息。前述两个方法都是属于前者，这类方法都是利用一些假设条件或统计信息来增加新的高频信息，因此可能造成图像失真，而失去提高分辨率的意义；反之，如果强化原本就存在于低分辨率图像中的高频信息，则图像比较能够贴近真正的图像，由于高频增强滤波器的主要功能是增强图像中的高频，因此，能够同时突显图像纹理和边缘的高频信息。基于上述的概念，我们针对一次内插的结果，提出以稀疏表示为基础的高频增强滤波器（HVS based High Emphasis Filter，简称HHEF），并利用高低分辨率图像间对应的关系加入一个后续补偿限制条件。

高频增强滤波器主要是为了突显图像中的高频信息，因此必须先利用高通滤波器找出图像中的高频信息，再将这些高频信息加诸在原始图像上，使原始图像的频率变化能够加大，因此图像视觉质量能够得到改善。

3 结果分析与讨论

3.1 重建结果分析

两张数字图像经 PSNR 计算后的结果值越大，则我们就认为这两张数字图像越相似；换言之经处理过的图像越佳。注意！！ RMSE 比较低（或相对 SNR 较高）并不意味主观上重建信号的质量就一定比较高。因为大多数的图像最终观测者皆为人，以人的主观角度来评估往往是更合适的，因此只可以将这些估算子当成客观标准来使用。

由于训练所产生的低解析-高解析对应关系数据庞大，因此，要如何快速有效率的从庞大对应数据中找出相符的信息，也是一个需要考虑的问题。这个算法是一个相当新颖的概念，但是，重建出高频信息的过程繁琐，而且产生的高频信息未必存在于低分辨率图像中。

3.2 图像去噪和超分辨率重建的效果

动态估测部分，Nimish 以传统的区块比对（block matching）算法为基础作修改，将每个像素以多个动态向量来表示，他们提出改变的理由在于传统区块匹配方式如果选用一个像素一个移动向量，有时候并不能够找出精准的移动向量。另外，Nimish也在区块相似评估上加入彩色信息来提高区块比对的精准度。经过动态估测后可以得到一张初始化的高分辨率图像，接着经过以Landweber 算法为基础的迭代算法，将未还原的的像素信息填补回去，使初始高分辨率图像数值收敛以获得最终的高分辨率图像。

在理想状况之下，由于重建HR所需要的相关信息都存在，因此在这个状况之下可以分析出动态图像超分辨率的区块匹配（block matching）算法是否够精确。要客观评估动态图像超分辨率可由图像的数值评估PSNR和未匹配像素比例（Pixel Mismatch Rate， 以下简称PMR）两个指标。PSNR是一般常用来评估图像质量的客观评估准则。而PMR是指重建图像的像素信息与真正HR未匹配点数占整张图像点数的比例。而半理想状况B是指仍然满足理想状况的第一个条件，LR仍然透过左上角次取样方式来保留真正的HR像素信息，但是并不一定包含重建所需的四张画面，因此必须利用多于理想数目的LR来近似理想图像数目下所能提供的数据量，如果能够近似出同样的像素信息才有可能重建出真正的高分辨率图像。

由于图像画面数目为已知，所以数据长度不需要动态扩增，而且高/低分辨率图像的随机存取机率的频率较高，因此，以固定长度的数组结构来储存图像序列是一种比较有效率的做法。高/低分辨率图像率序列储存的数据基于效率的考虑，低分辨率图像序列存放的图像信息为RGB 彩色图像，而高分辨率图像序列为了降低彩色空间重复转换的问题，高分辨率图像序列所储存的是分辨率强化后的YCbCr 彩色图像。高分辨率图像序列所存放的是前一次空间分辨率强化后图像，而低分辨率图像序列所存放的是用来重建高分辨率图像的画面。由于这些画面是为了在后续的动态估测中找出半精准度位移，因此，低分辨率图像必须透过内插方式来获得高分辨率大小的图像，并将图像转换到YCbCr 彩色空间。而高分辨率图像因为已经在图像大小和彩色空间上满足条件，因此不需要经过如同低分辨率图像的转换。假如系统在取得必要的高分辨率参考图像不存在，则系统会忽略这部分的画面。

4 结论

本文提出以稀疏表示为基础的高频增强滤波器（HHFE）来改善图像整体的高频信息，减少模糊进而提升图像的视觉质量，之后再透过高低分辨率间的取样关系来进行数值的校正（IC），使重建HR 像素数值更趋于真正HR。所以透过本文所提的静态图像超分辨率方法可以在视觉质量和客观评估PSNR 上获得改善。上述的实验结果显示，本文所提的高频增强滤波器和补偿算法不仅算法简单、运算量低，而且确实可以在视觉质量和数值评估上获得改善。虽然，上述Baboon 的PSNR 数值改善幅度并不像Moon 和Lena 大，但是其视觉效果仍获得不少的改善。这也可以看出PSNR 的结果并不是能够完全的与人眼视觉感受相同。

参考文献

[1]李博，谢巍.基于自适应分数阶微积分的图像去噪与增强算法[J].系统工程与电子技术，2016（01）：185-192.

[2]黄丽韶，文海英，顾思思.基于方法噪声稀疏表字典学习的图像去噪算法[J].系统仿真学报，2016（01）：154-155.

[3]方敬，肖扬，王东.小波-Contourlet与迭代Cycle Spinning相结合的SAR图像去噪[J].应用科学学报，2014（06）：605-610.

[4]王海军.基于PSO_Trainlm BP模型的图像去噪研究[J].数学的实践与认识，2014（21）：137-142.

[5]殷明，吴江敏，于立萍，等. 基于非下采样四元数轮廓波变换域的图像去噪[J]. 计算机应用研究，2014，12：3902-3906.

[6]D.Needell，J.A.Tropp.CoSaMP：Iterative signal recovery from incomplete and inaccurate samples[J].Applied and Computational Harmonic Analysis. 2013（03）：82-83.

[7]Deanna Needell，Roman Vershynin. Uniform Uncertainty Principle and Signal Recovery via Regularized Orthogonal Matching Pursuit[J].Foundations of Computational Mathematics.2014（03）：632-633.