基于学习的马尔科夫超分辨率复原

薛翠红，于 明，杨宇皓，阎 刚，贾 超

(1.河北工业大学计算机科学与软件学院，天津300401;2.河北工业大学信息工程学院，天津300401)

近年来，数字图像处理技术已经成为研究热点，超分辨率复原技术更是重中之重。当前的超分辨率复原技术主要包括三种方法:基于插值、基于重建和基于学习的方法。插值法［1］是当前在图像的放大领域中应用最广泛的方法，插值法能够自主挑选包含数据较多的像素点当成增加的像素，而不仅使用其周围的像素点，因此所得到的图像会看起来较为平滑。最临近插值法(nearest neighbor)和双线性插值法(bilinear)是插值技术中最经典的算法。基于重建的方法是一个信息提取和融合的过程，其所有有用信息都是从输入数据中获得，无其它任何先验知识。基于重建的方法中应用最广泛的是MAP［2，3］算法和POCS［4，5］算法，建立在贝叶斯法则基础上的MAP算法使后验概率达到最大，算法的缺点是重建后的图像细节不够突出，显得有些平滑。POCS算法是利用高分辨率图像的初始估计在凸集里求得最优解，利用投影算子针对初始估计对图像进行迭代，直至得到理想图像。重建后的图像保持了较好的边缘效果，所得图像较为锐利。但这些基于重建的算法随放大倍数的增加，所需的样本图片急剧增多，在放大倍数比较大时，前面提到的频域法和空域法对图像数据信息的恢复能力直线下降［6－7］，因此新兴的基于学习的方法成为了当前研究的热点。基于学习方法［8］的核心是通过对样本数据库的学习，得出高分辨率图像与低分辨率图像间的相互关系，将此关系应用于待复原的低分辨率图像，可使低分辨率图像在数据库中找到其对应的高分辨率部分，进而使图像的分辨率得以提高，实现图像复原的目的。

1 马尔科夫网络模型

马尔科夫网络模型［9－10］所表达的是一个关于图像的统计描述，其所关注的是相邻像素点间的相互关系，能很好地表达出图像的统计特性。所以，能应用马尔科夫网络对图像的先验知识组成一个样本数据库。可利用贝叶斯的相关性质来预测原始图像的最大后验概率。为使超分辨率后的图像效果更好，需要建立一个庞大的样本数据库，这个数据库最好是专门用来超分辨率复原的，例如车牌或者人脸，这样能够使得准确度得到提高，效果更加良好。

通过马尔科夫网络模型对高分辨率图像相同部位对应的数据信息进行学习，根据所得的结果来求出输入图像所缺失的细节信息。利用马尔科夫网络模型来对图像进行复原的关键是要有一个良好的足够大的样本数据库，并且是与输入图片类似的样本数据库，这样才能够对图片进行更好的恢复。图1为马尔科夫网络模型。

图1 马尔科夫网络模型Fig.1 Markov network model

每个低分辨率图像块只与和它相对的高分辨率图像块相连，即观测节点y只与隐含节点x相连。每个高分辨率图像块还与和它相邻的高分辨率图像块相连，即隐含节点间相连。ξ表示相邻高分辨率节点间的相互关系

式中:ψ表示低分辨率节点和与其相对应的高分辨率节点间的相互关系

式中:δ是一个噪声参数。

1.1 传统马尔科夫网络模型

训练样本库为待复原的图片提供了很多高分辨率图像块。马尔科夫网络模型的图像复原是基于贝叶斯定理的，贝叶斯定理是概率论中的一个结论，贝叶斯定理可更好地利用新证据修改已有的看法。通常情况下，事件M在事件N发生的前提下的概率，与事件N在事件M发生的前提下的概率是不一样的，可这两者间是有着一定的关系的。贝叶斯定理所表达的就是这种关系。根据贝叶斯定理，超分辨率复原可解释为寻找最大后验概率下的近似高分辨率图像x的过程。贝叶斯定理所描述的高分辨率与低分辨率间的关系是

低分辨率节点位于图像上部，被称为观察节点;高分辨率节点位于图像下部，被称为隐含节点。马儿科夫网络所要实现的就是为每一个隐含节点在训练数据库中寻找出最优的高分辨率图像块，使得联合概率P(M|N)值最大。在图像处理领域中，基于概率论的方法被称为贝叶斯方法，虽有很多的表现形式，但在图像处理领域中常采用最大后验概率(MAP)法。当数据y已知，求数据x可用最大后验概率法。

对节点xm的MAP估计为

隐含节点x和观测节点y的联合概率分布可表示为

Lnm为由xm传到xn的信息，可表示为

1.2 基于混合MAP-POCS［11］的马尔科夫网络模型

马尔科夫网络模型的目标就是使每一个高分辨率图像块尽可能与一个已知的低分辨率图像块相匹配，同时使高分辨率图像块间最相容地利用算法把图像分成一个个小块，假设每一个小的图像块对应于马尔可夫网络模型上的1个节点，并且马尔可夫网络模型上的任意两个节点间都是相互独立的，而后生成训练样本库。在图像的预测阶段，将低分辨率的图像小块和高分辨率的图像小块连接起来，并将之作为一个搜索向量，在训练样本库中查找相匹配的，寻找其最近邻的图像块。当找到时，相对应的高分辨率图像块就作为输出图像。在马尔科夫随机场中，观测结点y对隐含结点x的条件概率可表示为:

两边取对数:

由式(3)变形可得:

传统马尔科夫网络复原方法是与MAP算法结合，MAP算法边缘保持能力和细节保持能力都不好，而POCS算法的边缘保持能力和细节保持能力都很好，两者有很强的互补性，融合后可提高图像的复原质量。POCS算法通过先验知识得到凸集约束条件，每个约束条件都对应于一个凸约束集，复原得到的高分辨率图像收敛于这些凸约束集中。POCS算法是通过迭代得到一个满足凸约束集条件的点。由于POCS算法可很方便地引入先验知识，所以可把MAP算子当作凸约束集引入POCS算法里。凸约束集合Ta可表示为:

混合MAP与POCS方法可结合MAP和POCS各自的优点，通过MAP方法得到与凸集对应的投影算子:

然后利用POCS算法将得到的投影算子加到高分辨率图像上，进行数据一致性约束，直至完成所有投影算子，这样就可获得复原的高分辨率图像。式(11)中:Cx为约束平滑矩阵;ωs为迭代步长;θ为正则化参数。正则化参数掌握着图像高频分量的消除和图像特征的保持，如果θ取值过小，就不能够很好消除图像的高频分量，使得建的结果中会包含较大的误差;反之θ取值过大，就会对图像的高频分量消除太多，使图像的细节特征损失严重，重建结果过于模糊。为了能更好地将图像中的噪声去除掉，通常假设图像的先验知识是全局平滑的。选拉普拉斯算子作为正则化项，这样可得到更加稳定的解。

利用梯度法迭代求解θ:

2 实验结果及分析

2.1 样本训练

通过模糊和下采样把200幅从The Yale Face Database中选取的高分辨率图片转换为低分辨率图片，对低分辨率图片进行插值，使之与原始图片大小相同，就形成一个包含200组一一对应的高低分辨率对的样本数据库。将低分辨率复原为高分辨率所需的是图片的高频细节。模糊图片的低频细节不可能直接预测出图片的高频细节，而且也不需知道所有可能高频细节。所以就用带通滤波器对模糊后的图片进行滤波，这样就极大地降低了建模的负担，提高建模的效率。在样本数据库中，邻近的图片块都有他们自己候选节点。邻近节点和候选节点之间的兼容性可使图片达到最好的效果。传统的马尔科夫网络模型都是直接采用最大后验概率法，这里是将最大后验概率法与凸集投影法相结合，把MAP当作凸约束集引入POCS算法中，通过MAP估计求出投影算子，并将投影算子作用到初始估计的图像上，对数据进行一致性约束，直至得到复原的高分辨率图像。

2.2 图像复原及结果分析

将Lena图像作为测试图像，为便于处理，先将50×50的低分辨率图片通过插值法处理得到200×200的图片，将得到的图片作为初始图片进行试验。算法比较如图2所示。

图2 算法比较Fig.2 Com parison of algorithm s

从直观的输出效果看，基于学习的超分辨率复原算法明显优于插值法。相对于混合MAPPOCS重建算法，本文算法能够更充分利用图像自身的先验知识，在只提供单幅输入图像样本的情况下，仍能产生额外的高频细节，获得比重建法更好的复原效果。在同为基于学习的算法比较中，本文算法相对于传统的单纯基于MAP算法的MRF复原表现更加突出，图像的细节信息更强，边缘保持效果也更好。表1用峰值信噪比(PSNR)对图像的重建结果进行定量分析，显示出了较好的潜力。

表1 PSNR对比Table 1 PSNR comparison

3 结束语

本文研究并实现了一种基于混合MAP与POCS的马尔科夫网络模型的图像超分辨率复原算法，并利用梯度法求得正则化参数 θ，利用Cameraman图像进行了实验。该方法是在马尔科夫网络框架下，很好结合了这两种算法的优点，使图像的复原效果得到提升。对Cameraman图像进行的超分辨率复原实验通过主观效果和PSNR的客观分析证明了该方法的有效性。

［1］RAJAN D，CHAUDHURI S.Generalized interpolation and its application in super－resolution imaging［J］.Image and Vision Computing，2001，19(13):957－969.

［2］Nguyen N，Milanfar P.A computationally efficient superresolution image reconstruction algorithm［J］.IEEE Trans on Image Processing，2001，4(8):573－583.

［3］Chantas G K，Galat sanos N P，Woods N A.Super－resolution based on fast registration and maximum a posteriori reconstruction［J］.IEEE Trans on Image Processing，2007，16(7):1821－1829.

［4］Ogawa T，Haseyama M.Semantic image retrieval based on POCS algorithm using kernel PCA and its performance verification［C］∥ISCE'09，IEEE 13th Internatioinal Symposium on Consumer Electronics，Kyoto，2009:582－583.

［5］Zhang Fan，Zhu Qi－dan.Super－resolution image reconstruction for omni－vision based on POCS［C］∥CCDC' 09，Proceedings of the 21st Annual International Conference on Chinese Controland Decision Conference，Guilin:IEEE Press，2009:5045－5049.

［6］ROBINSON D，MILANFAR P.Fundamental performance limits in image registration［J］.IEEE Trans Image Processing，2004，13(6):1185－1199.

［7］LEE E，KANG M G.Regularized adaptive high－resolution image reconstruction considering inaccurate subpixel registration［J］.IEEE Trans Image Processing，2003，12(7):826－837.

［8］Candocia FM，Principe JC.Super－resolution of images based on local correlations［J］.IEEE Trans on Neural Networks，1999，10(2):372－380.

［9］Freeman W T，JONES T R，PASZTOR E C.Example based super－resolution［J］.IEEE Computer Graphics and Applications，2002，22(2):56－65.

［10］BISHOPCM，BLAKE A，MARTH IB.Super－resolution enhancement of video［C］∥International Conference on Artificial Intelligence and Statistics，KeyWest，USA，2003:410－414.

［11］Su Bing－hua，Jin Wei－qi.POCS－MPMAP based superresolution image restoration［J］.Acta Photonica Sinca，2003，32(4):502－504.