自适应约束下的双边全变差正则化超分辨率重建*

周 芹，马志强，单 勇，党建国

(1.空军工程大学 信息与导航学院，西安710077;2.解放军94188 部队，西安710077)

1 引 言

目前，很多图像受到成像系统和成像条件的限制，使得图像的空间分辨率得不到提高，而硬件方面的改进已经达到了瓶颈，因此，通过软件的算法和仿真来提高图像的空间分辨率成了一种有效的途径，即超分辨率图像的重建技术。图像超分辨率(Super Resolution，SR)重建是指利用信号处理的技术从一幅或多幅观测到的低分辨率(Low Resolution，LR)图像来获得一幅清晰的高分辨率图像(High Resolution，HR)［1］，它在视频监控、卫星遥感图像以及医疗诊断中具有重要的应用价值。

1984年，Tsai 和Huang［2］首先提出了将频域方法应用到SR 重建中，然而基于频域的SR 重建方法必须满足全局一致运动，并且难以利用图像的先验信息，因此其发展受到了限制。后来，许多学者将SR 重建问题引入到空域中。由于空域法不仅能够方便地引入图像的先验知识，而且能够模拟各种退化模型，具有很好的灵活性，因此SR 重建技术在空域的研究得到了很大程度的发展。空域方法主要有［3］非均匀插值法、迭代反投影法、凸集投影法、最大后验概率法、正则化方法以及基于学习的方法。其中，正则化方法［3－7］能够充分地引入图像的先验信息，将SR 重建的病态反问题转化为良性问题，使得重建结果可以得到稳定的解并加快算法的收敛性，因此，正则化方法成为了图形领域的一个研究热点。

由于退化因素的存在，图像的一个像素点会对其他的像素点产生影响，因此，图像的细节信息要得到准确的描述，一般需要考虑图像先验模型中的当前像素与周围像素的关联性和边缘保持性。Rudin等人［6］提出的全变差(Total Variation，TV)先验模型和Farsiu 等人［7］提出的双边全变差(Bilateral Total Variation，BTV)先验模型都在一定程度上保留了图像的边缘信息，但是由于模型对相同位置上的邻近像素点都采用相同的平滑系数，所以大大削弱了算法保持边缘的能力。因此，在保持边缘方面也有许多学者进行了研究［8－12］，并取得了很好的效果。而且代价函数中正则化参数的选取对重建结果有直接的影响，然而当前的选取方法复杂度高且不易实现。针对上述问题，本文提出了将当前像素的局部邻域内的像素差值加入到权重系数的计算中，并引入自适应正则化参数，以便得到目标函数的全局最优解，使得重建结果具有更好的视觉效果。

2 经典BTV 先验模型的超分辨率重建

退化模型描述了从真实场景到观测到的多幅低分辨率图像的整个过程，因此退化模型的准确建立是非常重要的。假设某一HR 图像经过降质得到N帧LR 图像，降质过程包括运动变形、大气和光学模糊、下采样以及加性噪声等，则退化模型可表示为

式中，Dk是下采样矩阵;Bk是系统的模糊矩阵;Fk是运动矩阵，可通过运动估计求得;Nk是噪声矩阵。

在大多数情况下，由于所用的成像条件相同，且下采样因子相同，所以将其简单地写成

由于模糊、噪声等退化因素的影响和LR 图像数量的不足，导致超分辨率图像重建方法是一个具有病态特性的反问题，为了克服病态特性，引入正则化进行约束，从而稳定解并加速算法的收敛性。

Farsiu 等人［7］提出的基于BTV 先验模型的代价函数为

第一项是数据一致项，主要用来衡量观测到的低分辨率图像与降质后的低分辨率图像的相似程度;第二项是正则项，主要用于平滑约束，并保留具有高频特性的图像边缘和纹理信息;λ 为正则化系数，主要用来衡量数据一致项和正则项的贡献量;Slx和Smy分别表示图像在水平和垂直方向平移的像素个数;P 是像素邻域的阶数，即选取窗口的半径;α为权重，标量，0 ＜α ＜1。

由于权重系数α 是定值，使得模型对当前像素相同位置上的邻近像素点都采用相同的平滑系数，所以大大削弱了算法保持边缘的能力;每次迭代过程中，正则项对重建结果的贡献量也是变化的，所以上述恒定的正则化参数也会影响重建结果得到全局最优解。本文针对这两个局限性对其进行改进。

3 基于自适应约束的超分辨率重建

3.1 自适应约束权重矩阵的设计

由式(3)可知，双边全变差的正则化函数可表示为

式中，l、m 分别表示图像沿x、y 方向平移的像素个数，令则其表示像素X(i，j)与之间的灰度值差值的绝对值，0≤X'(i，j)≤255。

选用一个滑动窗口计算各像素点的局部邻域残差均值(Local Neighbour Residual Mean，LNRM)，对各像素进行邻域约束:

式中，N 是滑动窗口的大小，(i，j)分别表示当前像素位置的横、纵坐标，的物理意义同上，(珋，珋)属于以(i，j)为中心、大小为N× N 的邻域，LNRM(i，j)表示像素X(i，j)在该邻域内的局部残差均值。N 的选取会对重建结果产生一定的影响，如果太小，则起不到邻域约束作用，易受到对准误差、噪声的影响;如果太大，邻域约束作用不明显，弱化高频与低频区域间的差异，极易退化为全局加权方法［10］。

本文提出的自适应约束权重矩阵的设计步骤如下:

首先根据重建图像的局部邻域残差均值确定当前像素属于平坦区域还是边缘区域:给定阈值T，如果中心像素的LNRM 小于T，则该像素处于对比度低的光滑区域;如果中心像素的LNRM 大于T，则该像素处于对比度高的边缘区域。此处的阈值T 应使上述过程能够区分出图像中的主要边缘区域;

然后，根据文献［13］中提到的沿边缘方向扩散快，应具有较大的扩散系数，而垂直边缘方向扩散慢，应具有较小的扩散系数，在平坦区域采用相同的扩散程度，且扩散系数较大的原理，设计自适应约束正则化函数的权值。可分为以下两种情况:

(l)若当前像素点属于对比度低的光滑区域，则其相同位置上的邻近像素点的权值相同，取α(i，j)=1，表示对局部邻域像素采用各向同性扩散，以便快速平滑噪声;

(2)若当前像素点为边缘像素，则沿边缘方向上(LNRM 相对较小)使用相对较大的权值，以便快速扩散;垂直边缘方向上(LNRM 相对较大)的正则化函数使用较小的权值，以此对图像的高频信息施加较小的惩罚约束，从而保护图像的边缘信息。

根据以上分析，本文设计的权重系数为

式中，T 表示阈值，能够区分主要的边缘区域;τ 指修饰因子;LNRM(i，j)表示像素X(i，j)在该邻域内的局部残差均值;αi，j表示像素点对当前像素点X(i，j)的加权系数，0≤αi，j≤1。令加权系数矩阵则式(4)可表示为

3.2 正则化参数的自适应确定

由文献［14］可知，过大的正则化系数会导致重建图像过度平滑;正则化系数过小，又可能会导致图像的过度锐化，也不能有效克服噪声，因此，正则化参数对重建结果有着直接的影响，它的恰当选取不仅能保证代价函数得到一个全局最优解，还能很好地保持图像边缘信息。而现有的选取方法如人工选取方法复杂度高，难以确定全局最优值。所以根据文献［4］的推导，本文定义正则化参数的自适应选取方法为

式中，γ 为控制参数，其必须满足

3.3 代价函数的求解

根据以上分析，代价函数可表示为

对其求导，并采用梯度下降法对其迭代求解，迭代公式为

式中，β 表示迭代步长。迭代停止条件为

3.4 SR 图像重建算法的流程

本文算法的流程如下:

(1)输入LR 图像序列，选取其中的一帧作为参考帧，利用Lucas－Canada 光流法对图像序列进行配准;

(2)对参考帧进行插值得到初始的HR 图像X(n)=X(0);

(3)根据得到的HR 图像进行超分辨率重建:首先利用更新的X(n)，将其代入公式(8)，求得自适应的正则化参数λ;再将更新的X(n)其代入公式(6)，得到加权系数矩阵α;最后，将它们代入超分辨率重建的代价函数中，利用公式(11)和公式(12)得到此次迭代所求出的HR 图像X(n);

(4)判断是否满足迭代停止条件，若满足，则得到的HR 图像即为重建结果;否则，返回步骤3。

4 实验与结果分析

为了进一步验证提出的自适应约束的BTV 正则化超分辨率算法的有效性，将本文算法与双三次线性插值(Bicubic)、Tikhonov 算法(以下简称TK 算法)以及经典BTV 重建算法作对比。Bicubic 算法和TK 算法是经典的对比算法，而采用经典BTV 重建算法作为对比算法，主要是用于突出本文算法的有效性。实验的测试代码使用Matlab2007 软件编写，仿真环境为:Pentium Dual－Core E5200 处理器、2 GB 内存的Windows XP 操作系统。为了对重建结果进行定量评价，采用峰值信噪比(PSNR)的评价标准衡量算法的鲁棒性。PSNR 的公式表示为

式中，N1和N2分别为LR 图像像素的行数和列数，L表示图像量化的灰度级别，X(i，j)和(i，j)分别表示参考图像中的像素点和重建图像的像素点。

实验分别采用230×230 的Lena 图像和309×309 的tape 图像和288×288 的Peppers 图像进行实验，进行相应的仿射变换、高斯模糊(标准差为5)、下采样(因子为2)产生4 幅低分辨率图像。实验中，首先将图像的灰度级进行归一化，限定最大迭代次数为90，并用自适应约束的BTV 正则化进行SR重建，采用梯度下降法对其进行迭代。对于经典BTV 重建算法，参数选择为:P =4;λ =0.001;α=0.1，迭代步长0.25。本文算法的参数选择为:P=N=4;T=0.001;τ=0.001，迭代步长0.25，权重系数矩阵的算法代入式(6)，λ 的计算代入式(7)，得到的重建结果如图1和图2所示。其中，(a)表示参考帧的低分辨率图;(b)表示目标区域的Bicubic 的重建结果;(c)表示目标区域的Tikhonov 重建结果;(d)、(e)分别表示经典BTV 算法和本文算法对目标区域的重建结果。表1表示当最大迭代次数为90 时的PSNR 值。图4是重建Lena 图像时不同重建算法的PSNR 随迭代次数的变化示意图。

图1 Lena 图像的超分辨率重建结果Fig.1 Super－resolution reconstructed result of Lena image

图2 Tape 图像的超分辨率重建结果Fig.2 Super－resolution reconstructed result of Tape image

图3 Peppers 图像的超分辨率重建结果Fig.3 Super－resolution reconstructed result of Peppers image

表1 PSNR 值的比较Table 1 The comparison of PSNR

由图1和图2及图3可以看出，Bicubic 重建结果比经典BTV 算法以及本文算法明显较差，TK 算法的重建结果在边缘处比较模糊，经典BTV 算法在图像重建过程中，边缘纹理等细节过于平滑，造成高频信息的丢失。而本文算法考虑了各像素的邻域信息，对相同位置的邻近像素点自适应的选择其加权系数，在高频范围内的重建结果明显优于BTV算法，视觉效果更好，如Lena 图像重建结果中帽子上的纹理和Tape 图像重建结果的圆形区域的内环以及Peppers 图像的青椒的梗。由图4可知，当迭代次数过少(如小于30)时，效果相当，随着迭代次数的增加，PSNR 的值随之增加，当迭代次数达到一定的值时，PSNR 的值趋于稳定，重建效果好，提高了算法的鲁棒性。经典BTV 正则化算法模型即公式(3)中，权重系数α 是一个恒定值，因此在迭代求解过程中，权重系数α 仍是常量;而本文算法模型即公式(10)中，权重系数α 是一个矩阵，它随着每次迭代估计的高分辨率图像X 的更新而更新，因此在迭代过程中，本文算法的时间复杂度相对较高，例如Lena 图像采用经典BTV 算法的时间为20 s，而采用本文算法需要3.9 min。实验结果表明，与Bicubic算法、Tikhonov 算法和经典BTV 算法相比，本文提出的自适应约束的BTV 正则化超分辨率重建算法能够很好地保持图像的边缘纹理细节，得到更好的重建结果。

图4 Lena 图像不同重建算法的PSNRFig.4 Lena image’s PSNR with different reconstructed algorithm

5 结束语

本文针对经典BTV 先验模型对相同位置上的邻近像素点都采用相同的平滑系数，导致算法的边缘保持能力被大大削弱的不足，提出了一种自适应约束的BTV 正则化先验模型，并将其应用到图像的超分辨率重建中。该算法将图像局部邻域残差均值用于权重系数的计算，提高了算法的鲁棒性、边缘保持能力;并引入自适应选择正则化参数的方法，降低了计算的复杂度，而且能确定代价函数的全局最优值。实验结果表明，该算法可有效地增强高分辨率图像高频细节区域的视觉效果。然而，关于窗口大小N 的选取仍没有准确的方法确定，所以如何有效确定窗口N 的值使得重建效果最优是下一步研究的内容。

［1］ Park C P，Park M K，Kang M G. Super－resolution image reconstruction:A technical overview［J］. IEEE Signal Processing Magazine，2003，20(3):21－34.

［2］ Tsai R Y，Huang T S. Multi－frame image restoration and registration［J］.Advance in Computer Vision and Image Processing，1984，1(2):317－339.

［3］ 邵文泽.基于图像建模理论的多幅图像正则化超分辨率重建算法研究［D］.南京:南京理工大学，2008.SHAO Wenze. Image Modeling Based Regularized Multi－Frame Super－ Resolution Reconstruction ［D］. Nanjing:Nanjing University of Science and Technology，2008.(in Chinese)

［4］ Song H H，Zhang L，Wang P K，et al. An Adaptive L1－L2 Hybrid Error Model To Super－Resolution［C］//Proceedings of 2010 17th IEEE International Conference on Image Processing. Hong Kong:IEEE，2010:2821－2824.

［5］ 杨欣，周大可，费树岷.基于自适应双边全变差的图像超分辨率重建［J］.计算机研究与发展，2012，49(12):2696－2701.YANG Xin，ZHOU Dake，FEI Shumin. A Self－Adapting bilateral total variation technology for image super－resolution reconstruction［J］. Journal of Computer Research and Development，2012，49(12):2696－2701.(in Chinese)

［6］ Rudin L，Osher S，Fatemi E. Nonlinear total variation based noise removel algorithms［J］.Physical Review D，1992，60:259－268.

［7］ Farsiu S，Robinson D. Fast and Robust Multiframe Super Resolution［J］.IEEE Transactions on Image Processing，2004，13(10):1327－1344.

［8］ 蒋建国，董艳春，齐美彬，等. 边缘增强型非局部模型超分辨率重建算法［J］. 中国图象图形学报，2011，16(10):1772－1778.JIANG Jianguo，DONG Yanchun，QI Meibin，et al. Edge－enhanced nonlocal model super－resolution reconstruction［J］.Journal of Image and Graphics，2011，16(10):1772－1778. (in Chinese)

［9］ 邓承志，田伟，汪胜前，等. 近似稀疏正则化的红外图像超分辨率重建［J］. 光学精密工程，2014，22(6):1648－1654.DENG Chengzhi，TIAN Wei，WANG Shengqian，et al. Super－resolution of approximate sparsity regularized infrared images［J］. Optics and Precision Engineering，2014，22(6):1648－1654. (in Chinese)

［10］ 安耀祖，陆耀，赵红. 一种自适应正则化的图像超分辨率算法［J］.自动化学报，2012，38(4):601－608.AN Yaozu，LU Yao，ZHAO Hong. An Adaptive－regularized Image Super－ resolution［J］. Acta Automatica Sinica，2012，38(4):601－608. (in Chinese)

［11］ 蒋晓慧，赵勋杰，李成金，等.自适应加权的总变分正则化图像超分辨率重［J］. 红外技术.2014，36(4):290－293.JIANG Xiaohui，ZHAO Xunjie，LI Chengjin，et al. A Super－Resolution Algorithm Based on Adaptive Weighted Total Variation［J］. Infrared Technology，2014，36(4):290－293. (in Chinese)

［12］ 梁风梅，邢剑卿，罗中良，等.基于Huber 函数双边全变分的多帧文档图像超分辨率重建［J］.中山大学学报(自然科学版)，2014，53(4):74－78，82.LIANG Fengmei，XING Jianqing，LUO Zhongliang，et al.The Super－ resolution Reconstruction of Muti－ frames Document Images Based on Huber Function and Bilateral Total Variation［J］. Acta Scientiarum Naturalium Universitatis Sunyatseni，2014，53(4):74－78，82. (in Chinese)

［13］ 陈建军，田逢春，邱宇，等. 非线性各向异性扩散的图像修复［J］. 重庆大学学报，2010，33(10):94－97，101.CHEN Jianjun，TIAN Fengchun，QIU Yu，et al. Image inpainting based on nonlinear anisotropic diffusions［J］.Journal of Chongqing University，2010，33(10):94－97，101. (in Chinese)

［14］ 陈为龙，郭黎. 基于L 曲线的自适应时空正则化视频超分辨率重建［J］. 电讯技术，2014，54(7):888－892.CHEN Weilong，GUO Li. Video Super－Resolution Reconstruction Based on L－ curve Adaptive Spatial－Temporal Regularization［J］. Telecommunication Engineering，2014，54(7):888－892.(in Chinese)