基于图像法向量方向角的放大模型

张善卿，孙冬梅，王佛荣，任小斌

(1.杭州电子科技大学图形图像研究所，浙江 杭州 310018;

2.河南中原高速公路股份有限公司，河南 郑州 450002)

摘要：图像的放大或者超分辨率复原是图像处理中所致力解决的重要问题。以往的图像放大算法往往具有比较严重的方片及边缘锯齿与模糊现象，为此，从基于变分的图像复原LOT模型出发，把图像放大中待填补的点看成是图像复原中待修复的点，提出了一种基于图像单位法向量方向角的放大模型，并运用增广拉格朗日法，给出其进行数值计算方案，通过实验验证了新模型的有效性。

关键词：图像复原；超分辨率；法向量；增广拉格朗日

DOI: 10.13954/j.cnki.hdu.2015.02.014

基于图像法向量方向角的放大模型

张善卿1，孙冬梅1，王佛荣1，任小斌2

(1.杭州电子科技大学图形图像研究所，浙江 杭州 310018;

2.河南中原高速公路股份有限公司，河南 郑州 450002)

摘要：图像的放大或者超分辨率复原是图像处理中所致力解决的重要问题。以往的图像放大算法往往具有比较严重的方片及边缘锯齿与模糊现象，为此，从基于变分的图像复原LOT模型出发，把图像放大中待填补的点看成是图像复原中待修复的点，提出了一种基于图像单位法向量方向角的放大模型，并运用增广拉格朗日法，给出其进行数值计算方案，通过实验验证了新模型的有效性。

关键词：图像复原；超分辨率；法向量；增广拉格朗日

DOI:10.13954/j.cnki.hdu.2015.02.014

收稿日期：2014-08-27

基金项目：国家自然科学基金资助项目(61370218)；浙江省自然科学基金资助项目(LY14F020043)

作者简介：张善卿(1971-)，男，河南济源人，副教授，图像处理.

中图分类号：TP391

文献标识码：A

文章编号：1001-9146(2015)02-0056-04

Abstract:Image magnification or super-resolution restoration is an important problem to be solved in image processing. The previous algorithms of image magnification always generate square slice and saw tooth edges and so on. In this paper， we propose a novel magnification model based on the LOT model. In this model， we use the direction angle of image instead of image normal vector in LOT model to fill the repaired pixels and reconstruct the image. We also give a numerical solution algorithm with the augmented Lagrangian method. The programming experiments verify the effectiveness of the new model．

0引言

如何提高图像的空间分辨率，改善图像质量，一直以来都是图像处理中所致力解决的重要问题。根据实现方法的不同，图像的放大方法分为基于重建和基于学习的方法[1]。目前，基于重建的图像放大常用算法，包括插值的方法、基于小波变换的方法[2]以及基于偏微分方程的超分辨率复原方法[3]等。偏微分方程在图像复原中的应用主要可分为两类[4]。一类是基本的迭代格式，通过随时间变化的更新，使图像向所要得到的效果逼近。这类方法典型代表是P-M模型[5]。另一类是基于变分法的思想，通过使图像的能量函数最小化，图像达到平滑状态。这类方法典型代表是ROF模型[6]。Lysaker-Osher-Tai在此基础上提出一种较有效的改进模型，即LOT模型[7]。

本文利用改进的图像复原的LOT模型，把图像放大中待填补的点看成是图像复原中待修复的点，提出了一种基于图像法向量方向角的放大模型，并运用增广拉格朗日法，给出其进行数值计算方案，通过实验验证了模型的有效性。

1图像复原LOT模型

在图像降噪中，ROF模型是一个较成功的去噪模型，它在去除噪声的同时，能有效地保持图像中的不连续区域[8]。ROF模型描述为极小化能量问题，即：

(1)

模型式(1)用于图像放大时出现“块状”效应及可能产生虚假轮廓，而这正是图像放大中要致力解决的问题。而LOT模型对ROF模型进行了改进。具体讲，LOT模型分两步来进行。

1)通过ROF模型得到的平滑图像单位法向量n0：

(2)

2)基于单位法向量n重新构造一幅图像，使其单位法向量和第一步得到的单位法向量匹配，即极小化如下表达式：

(3)

式中，σ为噪声图像u0中噪声的标准差。对式(2)和式(3)变分求解，就是LOT模型复原结果。

但是，LOT模型仍有可改进的地方：1)单位法向量n有两个分量，用方向角θ代替，变成一个变量起到降维的作用。2)目前，LOT模型基本采用Chambolle对偶算法实现[9]，它计算量相对比较大，迭代次数多，可以采用性能更好的增广拉格朗日法[10]进行实现。

2基于单位法向量方向角的图像放大模型

本文在LOT模型基础上提出一种新的图像放大模型，其基本思想是对于一幅初始的小尺寸图像I0，通过双线性插值放大，得到目标尺寸图像的初始估计I1；对I1的方向角θ1用式(3)进行处理，得到平滑后的方向角θ；最后，把I1看成是带噪声的图像，用式(3)模型进行复原处理，得到最终的放大结果。

若用ROF模型来平滑图像I1的单位法向量，则有：

(4)

由于n=(nx,ny)是单位法向量，用极坐标表示为n=(cosθ,sinθ)，θ为方向角。则有：

(5)

(6)

最小化式(6)得到平滑后的θ后，可以重新构造其单位法向量n=(cosθ,sinθ)，用于重构清晰的目标图像[8]。为此，求解如下的极小化问题：

(7)

3模型的数值实现

为快速求解式(6)与式(7)，本文采用增广拉格朗日算法。以式(6)为例，求解步骤推导如下。

首先，在式(6)中，以φ来近似dθ，得：

(8)

式(8)对应的增广拉格朗日泛函为：

(9)

对式(9)求偏导，并在偏导数为0处以求得极值，故可得：

(10)

为了求得极值，对式(10)推导可得其迭代的算法。

初始化：θ0=0,φ0=0,λd=0,λ=1,γ=1,r=1

fork=1,2,3,…

forn=0,1,…,N

end

end

其中，F,F-1分别为傅里叶变换和逆变换，Δ表示二阶微分算子，div表示梯度算子。

4实验结果与分析

实验环境选为Intel(R)i5-2400、CPU 3.10 GHz、内存4 G的win7系统下的Matlab2008a版本。选取一组图片，对其用不同的方法放大4倍，得到的不同效果的放大图像，实验结果如图1、图2所示。并求其与原图像的信噪比(PSNR值)，PSNR值越大，则与原图像越接近。实验数据如表1所示。

表1　实验数据对比图片

图1　lenna原图与放大结果

图2　人像原图与放大结果

从表1的结果可以看出，基于方向角的图像放大模型的方法相对于线性插值法在图像的平均梯度和PSNR值方面都有所提高，图像平均梯度越大表明图像越清晰，图像信噪比越大表明图像质量越好。同时，我们可以从图1和图2中直观地看出，相比较于传统的插值放大算法，本文采用的模型，视觉效果也明显的改善，特别是在处理方向比较明显的图像时，如图2所示。另外，采用速度更快的增广拉格朗日算法[11],可使运行时间达到数秒级。

5结束语

通过研究改进的图像复原LOT模型，提出了一种基于图像单位法向量方向角的放大模型，并运用增广拉格朗日法，给出其进行数值计算方案。通过实验验证了本文模型的有效性，放大图像的视觉效果有明显提高，实验数据也表明了模型的优越性。

参考文献

[1]卓力，王素玉，李晓光.图像/视频的超分辨率复原[M].北京:人民邮电出版社,2010：22-27.

[2]Guo W S, Chen F, Sun Z Y, et al. A New Infrared Image Magnification and Enhancement Method Based on Wavelet Transform[J]. Applied Mechanics and Materials. 2012,198:238-243.

[3]王大凯,彭进业.图像处理的偏微分方程方法[M].北京:科学出版社,2002:154-157.

[4]Ma M, Zhao L. A Partial Differential Equation Algorithm for Image Denoising[J]. Advanced Materials Research.2013,816:554-556.

[5]党艳军,杨林,林家瑞.利用小波变换实现ECG信号去噪[J].武汉科技学院学报,2005,18(10):48-50.

[6]Rudin L I, Osher S, Fatemi E. Nonlinear total variation based noise removal algorithms[J]. Physica D: Nonlinear Phenomena,1992,60(1):259-268.

[7]Vese L A, Osher S J. Numerical methods for p-harmonic flows and applications to image processing[J]. SIAM Journal on Numerical Analysis,2002,40(6):2 085-2 104.

[8]董芳芳.图像恢复与分割中的新模型及快速算法[D].杭州:浙江大学,2010:31-34.

[9]Chambolle, A. An algorithm for total variation minimization and applications[J]. Journal of Mathematical imaging and vision,2004,20(1-2),89-97.

[10]TaiX C, Wu C. Augmented Lagrangian method, dual methods and split Bregman iteration for ROF model[J]. Scale space and variational methods in computer vision. Springer Berlin Heidelberg,2009,5 567:502-513.

[11]Mahdavi A, Shiri M E. An augmented Lagrangian ant colony based method for constrained optimization[J]. Computational Optimization and Applications,2014:1-14.

An Image Magnification Model with Image

Normal Vector Direction Angle

Zhang Shanqing1， Sun Dongmei1， Wang Forong1， Ren Xiaobin2

(1.InstituteofGraphicsandImage，HangzhouDianziUniversity，HangzhouZhejiang310018，China;

2.HenanZhongyuanHighwayCo.，Ltd.ZhengzhouHenan450002，China)

Key words: image restoration; super-resolution; normal vector; the augmented Lagrangian