基于改进复扩散耦合非局部均值滤波器的图像放大

海　　　涛，席　志　红

（1.哈尔滨工程大学信息与通信工程学院，黑龙江　哈尔滨 150001；2.南阳师范学院物理与电子工程学院，河南　南阳 473000；3.石油装备智能化控制河南省工程实验室，河南　南阳 473000）

基于改进复扩散耦合非局部均值滤波器的图像放大

海涛1，2，3，席志红1

（1.哈尔滨工程大学信息与通信工程学院，黑龙江哈尔滨 150001；2.南阳师范学院物理与电子工程学院，河南南阳 473000；3.石油装备智能化控制河南省工程实验室，河南南阳 473000）

为了提高偏微分方程放大算法对纹理细节的放大效果，利用改进的复扩散模型耦合均值滤波器，提出了一种图像放大算法。改进的非线性复扩散模型能够很好的定位图像边缘，通过冲激滤波器对边缘进行锐化，同时耦合非局部均值滤波器，保持图像内部的自相似特性，利用非局部信息重建高分辨率图像，提高小边缘、细节放大效果。算法结合非局部信息和局部信息对图像进行放大，增强纹理细节，使图像更加自然，同时减弱对边缘的过度增强，具有较好的放大效果，仿真实验验证了算法的优良性能。

图像放大；非线性复扩散；非局部均值滤波器；冲激滤波器

网址：www.sys-ele.com

0　引　言

随着信息技术的发展，数字图像得到更加广泛的应用，图像分辨率增强是图像处理技术中的一个重要内容，又称为图像放大。图像放大中的线性插值放大，存在图像边缘部分重建模糊的不足［1］；非线性图像放大能够很好增强边缘部分，如基于边缘插值［2］，基于变换域正则化方法图像放大［3］，基于偏微分方程方法的图像放大［4 7］。

二阶偏微分方程具有较好的边缘增强特性［4，8 9］，本质上基于像素的局部信息还原图像，难以区分小细节，小边缘和噪声，因此对小细节和小边缘处理效果不佳［10］。文献［11］提出了运用非局部均值滤波器去除噪声的方法，由于利用了图像全局信息，去除噪声效果显著。把非局部处理方法与其他局部处理技术结合，成为图像处理领域的热点：非局部方法与主成分分析结合，非局部方法和自回归模型结合等，非局部方法也被引入图像偏微分方程处理方法中，主要有两种，通过图谱理论把非局部处理方法和偏微分方程结合［12 14］，其中文献［14］采用非局部TV进行图像放大，这种方法中所有像素采用非局部方法计算节点之间的相似度权重，计算量比较大；另一种偏微分方程直接和非局部滤波器通过正则化方法耦合，文献［15］线性逆扩散和非局部滤波器相结合，逆扩散增强边缘，非局部滤波器增强纹理，由于线性逆扩散对图像的纹理和小边缘产生较大失真，耦合效果并不好。

非局部均值滤波器虽然能够很好处理图像中的纹理细节和平坦部分［16］，但是对于强边缘附近噪声处理效果较差，文献［17-18］提出了复扩散耦合冲激滤波器的图像增强算法，利用复扩散能够准确定位图像边缘与冲激滤波器能有效增强边缘的优点，具有较好的处理效果。本文对复扩散耦合冲激滤波器进行改进，同时耦合非局部均值滤波器，提出一种图像放大算法。

1　非局部均值滤波器正则化实现

式中，x∈Ω，y∈Ω；u（x+·）是以x为中心的固定大小邻域的像素，一般邻域选矩形；Ga是高斯核函数；h是滤波器参数；C（x）是一个归一化常数：

非局部均值滤波器［11，16］表达式如下：

x像素点的去噪利用了图像中与之相似像素的加权平均，相似度越大，权重越大，因此滤波器具有全局特性，对具有较多相似结构的纹理和小边缘有较好的处理效果。

改进文献［16］对局部邻域模型的建模，得到式（2）实现非局部均值滤波器的正则化最小能量泛函：

式（4）对u的变分为

2　改进的复扩散耦合非局部均值滤波器放大模型

高倍数的图像放大，图像的先验模型对放大效果影响较大，文献［4-5］对于通过光电转换设备得到的图像进行建模，如式（1）所示，模型中光电转换对场景的低通效应主要是由光电硬件的点扩散函数造成，用h表示，u为场景图

式中，h，u均为连续函数不利于数字化处理。文献［6-7］对模型式（5）进行了研究，通过高分辨率数字图像和低分辨率图像获取模型的对比，提出了直接由高分辨率图像到低分辨率图像的模型，如式（6）所示，并给出了获取h（i，j）的一种方法，本文设定h（i，j）已知，采用式（6）模型：

复扩散具有能够准确定位图像边缘的优点，提出新的复扩散改进了原复扩散扩散初期为线性扩散和不能对不同图像结构自适应改变扩散阈值缺点［17］。偏微分方程可以通过正则化能量泛函理论得出，易于和其他正则化函数叠加，因此可直接实现非局部均值滤波器和偏微分方程的耦合。

2.1改进复扩散模型

文献［17］把线性复扩散和冲击滤波器结合，得到复扩散冲击滤波器，增强被模糊的边缘部分，同时解决了边缘在冲击滤波器的作用下的错位问题，其扩散方程如下：

像，↓M为下采样矩阵，υ（i′，j′）为低分辨率图像。式中，arctan（）反正切函数；Im（）取虚部运算；a为正实数；θ的取值保证实部为正；θ很小时扩散图像的虚部满足下式［17］：

λ=|λ|ejθ，θ∈（-π/2，π/2），为实正数，式（7）冲激滤波器是对边缘进行锐化，复扩散在切向和梯度方向都是线性正扩散，以达到消除边缘噪声的同时锐化边缘。对于图像分辨率增强，复扩散对边缘的正向扩散，容易模糊边缘，而且在扩散初期t接近于零，冲激滤波器基本不发挥作用，因此对式（7）进行改进，即

其他参数同式（7）。用一个变阈值k的梯度方向的非线性复扩散系数代替了原来常模值的λ，k由局部方差约束变化，边缘细节部分局部方差较大，k变小，平滑部分k变大，由图像的虚部与θ的比值除以扩散时间t，使图像二阶拉普拉斯导数的逼近更加准确，不再受扩散时间t的影响，复扩散能够准确地实现图像二阶拉普拉斯导数，以此进行边缘判定能够准确地定位图像边缘。～λ在同位线切向扩散为正常数，用来减小插值图像的锯齿波效应。

2.2改进复扩散耦合非局部均值滤波器模型

一般的偏微分方程的正则化最小能量泛函为Ω

结合式（4）得到偏微分方程和非局部均值滤波器耦合模型的最小化能量函数为

因此在式（6）约束条件下，可以得到分辨率增强的模型为

变分法求解式（11），保真项采用文献［9］的双正交映射操作，实现模型式（6）的约束，可得

结合第2.1节中的复扩散非局部均值滤波器耦合冲激滤波器，替代式（12）中的第一项得到本文的图像分辨率增强模型如式（13）所示：

3　改进的复扩散耦合非局部均值滤波器算法实现

复扩散通过最速下降法实现式（8），非局部均值是式（4）最小化的静态解，在式（13）中，采用复扩散和非局部均值滤波器交替进行的实现方法。文献［18］探讨了非线性复扩散的稳定性问题，提出了保证稳定性的离散化方法，最大扩散步长不大于0.05，如果采用一次复扩散迭代后实现一次非局部均值滤波器，整体计算量非常大，由于非均值滤波器是式（2）的静态解，因此，实现时相对复扩散可采用长步长实现，复扩散步长为Δt，采用文献［18］的离散化方法，采用Neumann边界条件，非局部均值滤波器步长为TI。算法实现流程如下：

步骤1设定TI，T0=0，n1=0，初始化图像u0，采用滤波器G对低分辨率图像插值，u0=（（（v）↑M）*g），u0= u0，n=0，G为给定的H双正交滤波器［9］。

步骤2如果TI＞T0执行式（14），否则执行式（15）。

式中，Re（）为取实部运算。

步骤3如果T＞n TI，返回步骤2，否则，算法结束。

实验参数为4倍放大时，参数取值为c0=0.5，α∈［1，2.5］，θ≤0.1π，d（Im（u））中|λ|∈［0.2，0.5］，λ1=1可取得较好效果。仿真中本文算法参数为：局部方差窗口为7× 7，c0=0.5，α=1，θ=0.1π，|λ|=0.2，λ1=1，4倍放大扩散总时间为T=2 s，为了保证参数一致性，16倍放大采用两次4倍放大级联实现，每次参数不变，非局部均值的参数为：搜索窗口13×13，邻域窗口5×5，h=4。

4　仿真结果及比较

为验证算法的有效性，设定仿真方案如下：给定高分辨率自然图像，利用给出的低通滤波器h低通滤波后下采样，得到低分辨率图像，对得到的低分辨率图像进行分辨率增强，增强后的图像和给定的高分辨率图像进行比较，通过主观视觉效果、峰值信噪比（peak signal to noise ratio，PSNR）和平均结构相似性测度（mean structural similarity measure，MSSIM）［19］进行比较。在仿真中设定h 已知，为σ=0.5的高斯低通滤波器：

h由一维滤波器h1=（0.106 3，0.787 4，0.106 3）的张量积得到，h1关于2倍下采样双正交滤波器为［9］：g1=（-0.033 9，0.251 1，0.565 6，0.251 1，-0.033 9），g是g1的张量积为二维滤波器，考虑2倍的上采样后的矩阵表示为G。

仿真分两部分：第一部分为在双正交映射下，分别单独使用非局部均值滤波器和单独使用改进的复扩散对图像进行放大，把这两种算法和本文的耦合算法进行比较；第二部分为耦合算法和其他方法进行比较，选文献［4］，文献［9］，文献［20］，文献［21］进行比较。文献［4］和文献［9］都是基于偏微分方法，本文中分别简称为RM算法和XH算法，文献［20］基于样值训练和稀疏分解相结合的一种单幅图像放大方法，简称为ZE算法，文献［21］是采用凸集映射耦合BM3D滤波器的图像放大算法，简称为XL算法。PSNR和MSSIM以图1中3幅图像为原始图像进行计算，视觉效果通过图像中的白色方框内的图像进行放大显示。

图2为4倍部分Lena放大图像，首先比较图2（a），图2（b）和本文算法的图2（c），容易看出，采用非局部均值法放大的图像强边缘锯齿波很严重，改进的复扩散边缘效果比较好，定位准确，和原图像图2（d）比较，明显锐化过度，本文的算法改进了这一不足，本文双方视觉效果更加逼近原图像，并且眼睛瞳孔边缘效果明显好于图2（a）和图2（b）。比较本文算法和其他几种算法可以看出，无论是帽沿的前边缘，还是脸和帽子之间的边缘，本文算法的处理效果都要好于其他几种算法，而且眼睫毛和眼睑附近的小边缘，本文算法的视觉效果也是最好的。

图1　仿真图像

图2四倍方法部分Lena图像比较

图3～图5分别为16倍部分Lena、部分Pepper、部分Flower放大图像。从图3可以看出，图3（a）帽沿前边缘的锯齿波效应很严重，图3（b）的边缘很清晰，Lena的鼻梁上小边缘被过度锐化，并且Lena的脸部被过度平滑了，本文耦合算法改善以上的不足，具有较好的效果。和其他算法相比，本文算法处理的Lena图像无论是在头发部分的小边缘，还是强边缘都比其他算法视觉效果要好。XL算法在强边缘处存在锯齿波效应，但其帽沿上小边缘效果较好，ZE算法强边缘和头发细节都不如本文算法，XH算法强边缘处有锯齿波效应，RM算法强边缘被过度增强。

从图4可以比较出强边缘和小边缘，本文算法处理的Pepper图像中柄上右侧强边缘效果最好，改进了图4（a）边缘锯齿波效应，改善了图4（b）边缘过度增强的不足，以及平滑部分存在过平滑的视觉感受；和其他算法比较，除柄上正面的边缘不如ZE算法外，其他视觉表现都是最好的，ZE算法正面的边缘恢复的很直，但其他边缘表现不如本文算法。

图5为花瓣图像，图5（a）边缘锯齿效应非常明显，图5（b）中分片的阶梯效应更加明显，而本文算法则有较好的改善，边缘部分在继承了复扩散定位准确优点的同时，也改进了强边缘容易过度增强的不足。和其他算法比较，可以看出本文算法视觉效果是最好的。

表1为各种算法对图1中部分Lena图像4倍放大时的PSNR和MSSIM对比。首先容易看出，本文耦合算法均大于单独放大的PSNR和MSSIM；比较和其他几种算法的PSNR和MSSIM，本文算法也是最高。表2为各种算法对图1图像16倍放大时的PSNR和MSSIM对比，从表2可以看出，非局部均值放大算法和复扩散算法单独的PSNR和MSSIM都不如本文的两者耦合算法，比较其他几种算法，本文的PSNR和MSSIM均为最高。本文算法具有较好的视觉效果，较高的PSNR和MSSIM值，仿真实验验证了本文算法的有效性。

图3 16倍方法部分Lena图像比较

图4 16倍方法部分Pepper图像比较

图5 16倍部分Flower图像比较

表2 16倍放大PSNR和　MSSIM　对比

5　结　论

本文提出一种局部处理方法和非局部处理方法相结合的图像分辨率增强算法，充分利用改进复扩散对边缘定位准确和易于对边缘增强的优点，同时耦合非局部均值滤波器，通过非局部均值滤波处理，利用图像中的非局部信息，对放大图像进行进一步处理，保持和增强图像的小边缘细节部分，仿真实验证明了本文算法具有较好的性能。非局部方法和经典的局部处理方法相结合是图像信息处理的一个研究方向［22 23］，相对于非局部偏微分方程，本文的耦合方法既有不足也有优点，不足是两种方法没有同时进行迭代，优点是对两种处理方法直接权重选择比较灵活，避免了非局部方法繁杂运算的缺陷，本文算法只探讨了整数倍的图像放大，任意倍数的图像放大是进一步的研究方向。

［1］Malgouyres F，Guichard F.Edge direction preserving image zooming：a mathematical and numerical analysis［J］.Society of Industrial and Applied Mathematics Journal on Numerical Analysis， 2001，39（1）：1-37.

［2］Li X，Orchard M T.New edge-directed interpolation［J］.IEEE Trans.on Image Processing，2001，10（10）：1521-1527.

［3］Mallat S，Yu G S.Super-resolution with sparse mixing estimators［J］.IEEE Trans.on Image Processing，2010，19（11）：2889 2900.

［4］Roussos A，Maragos P.Reversible interpolation of vectorial images by an anisotropic diffusion-projection PDE［J］.International Journal of Computer Vision，2009，84（2）：130-145.

［5］Belahmidi A，Guichard F.A partial differential equation approach to image zoom［C］//Proc.of the International Conference on Image Processing，2004：649-652.

［6］Aly H A，Dubois E.Design of optimal camera apertures adapted to display devices over arbitrary sampling lattices［J］.IEEE Trans.on Signal Processing Letters，2004，11（4）：443-445.

［7］Aly HA，Dubois E.Specification of the observation model for regularized image up-sampling［J］.IEEE Trans.on Image Processing，2005，14（5）：567-576.

［8］Aly HA，Dubois E.Image up-sampling using total-variation regularization with a new observation model［J］.IEEE Trans.on Image Processing，2005，14（10）：1647-1659.

［9］Xi Z H，Hai T，Xiao Y H.Reversible image interpolation based on hybrid anisotropic partial differential equation diffusion［J］. Systems Engineering and Electronics，2013，35（5）：1098-1103.（席志红，海涛，肖易寒.基于混合非线性扩散偏微分方程的可逆图像放大［J］.系统工程与电子技术，2013，35（5）：1098-1103.）

［10］Jagtap S H，Patil M M，Ruikar S D.Multiscale geometric representation for single image super-resolution［J］.International Journal of Engineering&Adυanced Technology，2012，1（4）：219-224.

［11］Buades A，Coll B，Morel J M.A review of image denoising algorithms，with a new one［J］.Multiscale Modeling and Simulation，2005，4（2）：490-530.

［12］Gilboa G，Osher S.Nonlocal linear image regularization and supervised segmentation［J］.Multiscale Modeling and Simulation，2007，6（2）：595-630.

［13］Gilboa G，Osher S.Nonlocal operators with applications to image processing［J］.Multiscale Modeling and Simulation，2008，7（3）：1005-1028.

［14］Yang Y F，Wu T T，Pang Z F.Image-zooming technique based on Bregmanized nonlocal total variation regularization［J］.Optical Engineering，2011，50（9）：62-65.

［15］PeyréG，Bougleux S，Cohen L.Non-local regularization of inverse problems［C］//Proc.of the European Conference on Computer Vision，2008：57-68.

［16］Kindermann S，Osher S，Jones P W.Deblurring and denoising of images by nonlocal functionals［J］.Multiscale Modeling and Simulation，2005，4（4）：1091-1115.

［17］Gilboa G，Sochen N A，Zeevi Y Y.Regularized shock filters and complex diffusion［C］//Proc.of the European Conference on Computer Vision，2002：399-413.

［18］Bernardes R，Maduro C，Serranho P.Improved adaptive complex diffusion despeckling filter［J］.Optics Ex press，2010，18（23）：24048-24059.

［19］Wang Z，Bovik A C，Sheikh H R.Image quality assessment：from error visibility to structural similarity［J］.IEEE Trans.on Image Processing，2004，13（4）：600-612.

［20］Zeyde R，EladM，Protter M.On single image scale-up using sparse-representations［C］//Proc.of the International Conference on Curυes and Surfaces，2012：711-730.

［21］Li X.Patch-based image interpolation：algorithms and applications［C］//Proc.of the International Workshop on Local and Non-Local Approximation in Image Processing，2008：127-132.

［22］DongWS，Zhang L，Shi GM，et al.Nonlocal centralized sparse representation for image restoration［J］.IEEE Trans.on Image Processing，2013，22（4）：1620-1630.

［23］Dong W S，Zhang L，Lukac R，et al.Sparse representation based image interpolation with nonlocal autoregressive modeling［J］.IEEE Trans.on Image Processing，2013，22（4）：1382-1394.

席志红（1965-），通讯作者，女，教授，博士，主要研究方向为非线性信号处理。

E-mail：xizhihong@hrbeu.edu.cn

Image enlargement based on improved complex diffusion coupling to nonlocal means fitler

HAI Tao1，2，3，XI Zhi-hong1
（1.College of Information and Communication Engineering，Harbin Engineering Uniυersity，Harbin 150001，China；
2.Physics and Electronic Engineering College，Nanyang Normal Uniυersity，Nanyang 473000，China；
3.Oil Equipment Intelligent Control Engineering Laboratory of Henan Proυince，Nanyang 473000，China）

In order to improve the zoomed effect of the method based on partial differential equation，combining the improved complex diffusion model and the nonlocal means filter，the image enlargement method is proposed.Having the advantage of precision location of the edges，with the edges sharpened by the shock filter，the improved anisotropic complex diffusion couples to the nonlocal means filter to keep with the similarity of the diffused image，the high resolution image is reconstructed.Not only using the local information of the image but the image's nonlocal information，the method makes the zoomed image more natural，at the same time，attenuates the edge's over-sharpen，therefore the enlarged image has better visual effective.The simulations prove the prominent performance of the proposed method.

image enlargement；anisotropic complex diffusion；nonlocal means filter；shock filter

TN 911

A

10.3969/j.issn.1001-506X.2016.05.32

1001-506X（2016）05-1182-07

2015-07-23；

2015-08-31；网络优先出版日期：2015-12-23。

网络优先出版地址：http://www.cnki.net/kcms/detail/11.2422.TN.20151223.1019.004.html

国家自然科学基金（60875025）；河南科技厅项目（142102310562）；南阳师范学院校级项目（ZX2015004）资助课题

海涛（1974-），男，讲师，博士，主要研究方向为基于偏微分方程的图像分辨率增强、复原、去噪。

E-mail：nytcht@163.com