基于Beltrami模型和SURE算法的彩色视频超分辨率重建

姜永艳++韩玉兵++金文清

摘要：本文采用基于Beltrami模型的半隐式格式算法实现受损彩色图像的高效优质重建，并将其应用于彩色视频处理。半隐式格式为基于Beltrami框架模型提出的高效算法，根据LOD/AOS分裂格式形成三對角矩阵，并采用追赶法快速求解方程，以实现算法的高效性。使用SURE算法以确定半隐式格式算法中的五个关键参数，并结合遗传算法动态搜索最佳参数值用于逐帧重建受损图像，从而实现降质视频流的清晰化。实验结果表明本方法的彩色视频重建效果良好。

关键词：Beltrami模型；半隐式格式；SURE；遗传算法；视频重建

中图分类号：TN911.73 文献标识码：A 文章编号：1007-9416（2017）03-0142-04

Abstract：In this paper， a semi implicit scheme based on Beltrami model is used to reconstruct the damaged color image with high efficiency and high quality. The semi implicit scheme is an efficient algorithm based on the Beltrami framework model， which is based on the LOD/AOS splitting scheme to form the three diagonal matrix， and the method is used to solve the equation quickly to achieve the high efficiency of the algorithm. The SURE algorithm is used to determine the five key parameters of the semi implicit scheme， and the optimal parameters are searched by the genetic algorithm to reconstruct the damaged image frame by frame. The experimental results show that the proposed method is effective for color video reconstruction.

Key Words： Beltrami model； semi implicit scheme； SURE； genetic algorithm； video reconstruction

现实中，图像或视频受到来自外界干扰后，其质量会有不同程度和不同类型的损坏[1]。视频由单帧图像组合而成，视频的损坏主要为单帧图像的损坏，所以视频重建的首要任务是高效优质地重建单帧图像。对于单帧图像的重建，主要进行去噪、去模糊、插值和超分辨率等四个步骤的处理[2]。首先，对图像进行正则化处理[3]。正则化方法有很多种，例如标准Tikhonov正则化和总变分（Total Variation： TV）正则化[4]，后者较前者而言，在处理图像边缘细节上更为优异，从而能够更好地抑制因彩色图像边缘色彩抖动而造成画面模糊不清的不利现象。近年来，小波分析方法因其在尺度分析上的优良特性，被广泛地应用于图像重建，甚至与二元树、小波收缩和形态小波等概念结合起来[5]，形成更为有效的图像重建方法。上述方法对于处理灰度图像较为适用，而对于包含多个通道的彩色图像，尽管可以对每个通道单独处理，但对通道之间相互影响的处理效果并不理想，降低了彩色图像的重建质量。因此，基于微分流形的图像重建方法被提出和应用。

首先，Sochen等人将图像嵌入映射至两个黎曼微分流形之间，引入Nambu泛函来表示相关的“面积”度量，并提出基于Beltrami框架下的图像重建。文献[6]进一步提出基于Crank-Nicolson半隐式格式的LOD（locally one-dimensional）和AOS（additiveoperator splitting）分裂格式，从而形成三对角方程后快速求解。后期，王泽龙，Sidi和Wetzler等人[7-9]则开始将该算法拓展至图像处理。

本文主要针对受损彩色图像，即降质的每一帧，进行超分辨率重建，采用基于LOD分裂的半隐式格式的微分流形图像重建算法实现。该算法涉及的五个参数，用遗传算法GA动态搜索出参数组的范畴，结合SURE准则选出最优参数，并将各代产生的最优参数应用于视频图像的逐帧重建，从而获取连贯而清晰的彩色视频流。

1 Beltrami模型

基于Beltrami模型的微分流形正则化处理较其它重建方法具有良好的图像恢复效果，该算法一般采用显示格式迭代计算。由于显示格式迭代计算次数多、计算量较大，不利于高效地恢复图像，因此本节将介绍具备更高迭代效率的半隐式格式算法[10]，以便大幅度提高图像重建的速度。

4 遗传算法GA在彩色视频重建上的应用

遗传算法的主要步骤为：（1）编码与解码；（2）种群的选取；（3）目标函数；（4）选择过程；（5）交叉和变异运算。

本文GA算法中目标函数就是SURE函数，即利用SURE准则选取最优参数。

该算法机理为：首先计算出针对视频第一帧的每个个体对应的SURE值，然后选出其中SURE值最小的一组所对应的参数来重建第一帧，并将该参数组保留至下一代。鉴于视频的帧率很高，一般认为相邻两帧的差异度很小，即后帧由前帧增加一个非常小的扰动形成，从而适用于前帧的最佳参数也可能适用于后帧。为提高重建效率，将前帧的最佳参数保留至下一代中，通过遗传算法重新整合后再选出针对后的最佳参数并重建它。再假定整个种群波动不大，就可能高效地找到最佳参数。

5 实验研究

本次实验中选用的均为测试标准彩色视频，Akiyo和Coastguard视频流中每一帧图像的大小均为176*144，测试所用图像均归一化为[0，1]，对于降质图像中：其降采样因子均为2；添加模糊核算子大小均是7*7，且标准差为1的高斯模糊核；添加的噪声是均值为0，标准差为0.02的加性高斯白噪声。实验为对降质视频进行超分辨率重建的仿真及分析，图像重建评价指标采用常用的峰值信噪比PSNR。图1为Akiyo视频的处理结果，从中观测到重建图像的PSNR值不断上升，其中第50帧图像的初始PSNR值为25.2252 dB，迭代重建后的PSNR值是26.9248 dB，信噪比提高了2dB，取得了较好的重建效果。图2为Coastguard快艇飞驰河面视频的处理结果，尽管其第50帧图像的初始PSNR=21.1207dB，迭代重建后的PSNR=23.217dB，单帧恢复效果尚可，但图3（b）中的重建PSNR值曲线图呈现显著的下降态势，究其原因在于快艇高速运动造成相邻两帧差异过大，背离了本算法的假设前提。

6 结语

采用基于Beltrami模型的半隐式格式算法结合SURE算法来实现受损彩色图像的优质重建，是一种有效处理方法，特别是针对相邻帧之间差异较小的视频，结果尤为理想。对于相邻帧之间画面差异较大的视频，本算法的重建效果有待提高。

参考文献

[1]章毓晋.图像处理和分析基础[M].北京：清华大学出版社，1999.

[2]夏良正.数字图像处理[M].南京：东南大学出版社，2003.

[3]路庆春.正则化超分辨率图像重建算法研究[D].合肥：中国科学技术大学，2010.

[4]Goldstein T， Osher S. The split Bregmanmethod for L1-regularized problems[J]. SIAM Journal on Imaging Science， 2009， 2（2）： 323-343.

[5]Xiang Z J， Ramadge P J. Edge-preserving image regularization based on morphological wavelets and dyadic trees[J].IEEE Transactions on Image Processing， 2012， 21（4）： 1548-1560.

[6]Rosman G， Dascal L， Tai X C， et al.On semi-implicit splitting schemes for the Beltrami color image filtering[J].Journal of Mathematical Imaging and Vision， 2011，40： 199-213.

[7]王澤龙，朱炬波.Beltrami流及其在图像去噪中的应用[J].国防科技大学学报，2012，34（5）：137-141.

[8]IdrissiSidiYassine， Samir Belfkih. Texture image segmentation using a new descriptor and mathematical morphology[J].The International Journal of Information Technology， 2013， 10（2）： 204-208.

[9]Aaron W， Ron K. Efficient Beltrami flow in patch-space[C].In “Third International Conference on Scale Space and Variational Methods in Computer Vision （SSVM 2011） [M]，”BrucksteinAMet al. （Eds.）， LNCS 6667，BerlinHeidelberg： Springer-Verlag， 2012： 134-143.

[10]Dascal L.， Rosman G.， Kimmel R. Efficient Beltrami filtering of color image via vector extrapolation[J].In Scale Space and Variational Methods in Computer Vision. Lecture Notes on Computer Science， 2007， 4485：92-103.

[11]C.stein.“Estimation of the mean of a multivariate normal distribution[J]， 1981：1135-1151.

[12]R.Giryes， M.Elad， Y.C.Eldar. The projected GSURE for automatic parameter tuning in iterative shrinkage methods[D]. 2010.

[13]S. Ramani， T. Blu， M. Unser. Monte-Carlo Sure： A Black-Box Optimization of Regularization Parameters for GeneralDenoising Algorithms[J].IEEE Transactions on Image Processing， 2008，17（9）： 1540-1554.

[14]P. Hansen D.P. OLeary， “The use of the L-curve in the regularization of discrete ill-posed problems[J]，” SIAM J. Sci. Comput.， 1993，14（6）：1487-1503.