基于L曲线调参的FOTV-ADMM超分辨率图像重建*

徐 文，杨晓梅，徐秋怡，田巧玉，刘 凯

(1.四川大学锦江学院 电气与电子信息工程学院，四川 眉山 620860； 2.四川大学 电气工程学院，成都610207；3.中央民族大学 信息工程学院，北京100081)

0 引 言

大数据信息时代，超分辨率图像重建技术通过软件编程的方式来提高图像的分辨率，在没有替换原有的成像设备前提下，从包含不同细节的低分辨图像中采集有用信息融合成一幅高分辨图像。其技术主要的思想是用同一场景的图像序列的时间分辨率来换取更高的一个空间分辨率[1]。通过超分辨重建的方法处理视频图像就是从多个低分辨率图像中连续帧之间的相关联系来得到原始图像中高分辨图像的相关信息，获得更清晰、分辨率更高、内容信息更加丰富的图像视频信息。超分辨率图像和视频重建在监控设备、卫星图像和医学影像等领域都有重要的应用价值。

20世纪80年代，Tsai和 Huang[2]首先发现了基于序列或多帧图像的超分辨率重建问题，他们通过实验分析且证明了从互相平移得到的图像序列中能够获取到分辨率更高的静态图像，并且给出了在从时域转换到频域里解决问题的方法。近年来，压缩感知增强技术和超分辨率图像复原技术为图像复原的研究注入了新的力量[3-9]。人工智能中深度学习的发展，突破了图像的分割和分类的传统技术，特别是基于卷积神经网络(Convolutional Neural Network,CNN)的单幅图像重建(Super-Resolution CNN，SRCNN)[10]算法能够快速重建高分辨率的图像。但SRCNN算法对网络参数敏感，要求训练参数稠密，减缓了训练速度，对细节恢复效果欠佳。VDSR(Accurate Image Super-Resolution Using Very Deep Convolutional Networks)[11]算法提出只针对残差进行训练，减轻了网络的负担，又加速了学习速率。再之后的SRGAN(Super-Resolution GAN)[12]等算法将生成式对抗网络(Generative Adversarial Network,GAN)用于SR问题,提升重建图片的真实感。

从数学角度看，超分辨率重建是一个典型的病态不适应问题[13]。 对于不适应问题，正则化的求解方法是非常有效的。正则化的方法为保证求解过程的稳定性，通过加入性质不同的先验信息来约束重建过程，从而将超分辨率图像重建由病态转为良态问题。相对于深度学习图像处理问题，基于三层神经网络SRCNN算法虽然通过使用较大的卷积核可以减少计算量，但卷积计算时大量丢失高频信息，对于纹理的处理仍然出现过平滑，特征的提取不够准确，重建质量受到影响。SRGAN算法能提升高频图像真实感，但仍存在放大细节部分的像素块模糊[12]。 考虑到此类模型训练的数据量庞大与研究设备费用高昂问题，本文仍坚持以传统非深度学习的方法为研究重点，探讨正则项的选取对于图像高频纹理细节重建保持问题，分析超分辨率图像重建的过平滑现象根源，改善图像重建质量。

2 超分辨率图像重建方法

本文提出基于传统的全变分正则化(Total Variation，TV)模型引入了交替方向乘子法(Alternating Direction Method of Multipliers，ADMM)[14]。 ADMM重建算法将有约束的问题转化为无约束的问题，在求解模型中某一个变量的同时固定另一个变量，通过固定迭代的方式更新模型中的每一个变量达到求解目的。针对TV-ADMM重建效果中出现的问题，本文引入分数阶全变分(Fractional Order Total Variation,FOTV)正则项约束的模型，同样使用ADMM算法进行求解，改善超分辨率图像重建效果。

2.1 ADMM算法

ADMM算法是专门用于解决可分离凸规划问题而被提出的一种方法，适用于各类优化问题。ADMM算法一般解决的问题形式如下[14]:

minf(x)+g(z)

(1)

s.t.A(x)+B(z)=C。

(2)

式中：x∈n,z∈m,A∈p×n,B∈p×m,C∈p，p、m、n分别为空间的维度；f(x)和g(z)表示的是凸函数；增广拉格朗日(Lagrangian)函数用于求解凸优化问题，

Lρ(x,z,λ)=f(x)+g(z)+λT(Ax+Bz-C)+

(3)

式中：λ为Lagrangian 乘子，ρ>0为惩罚参数。

ADMM算法的迭代步骤如下：

xk+1=arg minxLρ(x,zk,λk) ，

(4)

zk+1=arg minzLρ(xk+1,z,λk)，

(5)

λk+1=λk+ρ(Axk+1+Bzk+1-C) 。

(6)

式中：ρ>0是惩罚参数。ADMM迭代算法包括x、z变量极小化和一个对偶变量的迭代。为方便计算，将ADMM算法迭代步骤等价为下列式子，定义参量

r=Ax+Bz-C，

(7)

计算得到

(8)

(9)

(10)

uk+1=uk-Axk+1+Bzk+1-C。

(11)

乘子法和ADMM乘子法类似，把x、z两个变量一起求解，而ADMM是将目标函数分离求解，和Gauss-Seidel方法迭代一步类似。和乘子法相似，只是用zk+1最小化式子：

(12)

其中用到了对偶式子

(13)

ADMM算法的有效性主要由选取的拉格朗日(Lagrange)乘子决定，可以从算法的收敛性分析中得出。

2.2 基于TV-ADMM的超分辨率图像重建

超分辨率图像退化模型表示为[15]

Y=DHMu+n。

(14)

式中：u为高清图像，Y为低分辨率图像，D为下采样因子，H为模糊因子，M为运动因子，n为随机噪声，μ为正则化参数，本文中没有移位变换所以M不考虑为1。基于TV全变分约束的正则化图像重建模型描述为以下形式：

(15)

模型由保真项和正则项组成，其中正则项φ(u)=TV(u)为全变分[16]可以表示为图像像素离散梯度之和，即离散梯度的l1范数形式：

(16)

(17)

(18)

超分辨率图像重建问题(15)是病态的逆问题，ADMM算法通过引入变量d替换原模型中的不可微项φ(u)，可以得到与其等价的约束优化问题：

(19)

对于约束优化问题，其增广拉格朗日乘子函数

(20)

式中：<>表示内积。从而将式(20)转换为两个子问题m、n。

(1)子问题m：固定u求d

(21)

子问题m可以通过收缩阈值方法求解：

(22)

(23)

(2)子问题n：固定d求u

(24)

问题(24)等价于

(25)

本文中φ(u)=u为正则项，其中Y是输入的低分辨图像。用快速傅里叶变换处理公式(25)，得

μHTDT(DHu-T)+λT+βTu-βTd=0，

(26)

(27)

更新

λk+1=λ-γβ(dk+1-u) ，

(28)

Yk+1=Yk+(Y-DHuk+1) 。

(29)

2.3 基于L曲线调参的FOTV-ADMM图像重建

L曲线是以(‖Axμ-b‖2,‖xμ‖2)为坐标所构成的一条单调递减曲线，该项对应于本文模型(15)中的‖Y-DHu‖，这些点与正则化参数呈一一对应的关系。图1为Tikhonov正则化的L曲线[17]，其中圆圈表示TGSVD正则化的L曲线。

图1 Tikhonov正则化的L曲线

‖Axμ-b‖2为残差项，‖Lxμ‖2为正则化解，对于L曲线法来说，作为基本问题需要同时考虑到正则化解和残差项。图1中L曲线水平部分与垂直部分的相交处作为正则化最优参数解。由于正则化参数过大会引起正则化误差主导水平位置对应的正则化解，过小则会使垂直部分对应的正则化解主要受到b中的误差影响，而在相交处，均衡了都较小的一个，因此这个相交点就对应了一个最优的正则化参数。所以采用L曲线法，实际上就是为了求出曲线相交处的位置。

自适应的离散L曲线算法的关键之处就是适量的移除曲线上的点，来尽可能快速地找到该曲线的相交处。自适应算法的流程如下：

Step1 初始化处理，将所有残差项和正则化解为0的点进行移除。

Step2 选出所有的转折点。

Step3 选出真正的相交处。

本文基于L曲线曲率最大的规则即曲线是二次可微的，求解最大曲率点K(μ)：

(30)

式中：ρ=‖Axu-b‖2,η=‖xμ‖2，ρ′表示的是对μ求导。但如果采用的正则化方法求得的正则化参数是非连续变动的，则该曲线不可微，所以不能直接求出曲率，需要利用一条曲线去拟合这些离散点去选取正则化参数，接着再寻找相交处的位置，然后从离散点中选择离拟合曲线相交处最近的点，这个点就是最佳正则化参数。

分数阶理论中出现了不同定义的分数阶函数，利用其中的Grümwald-Letnikov(G-L)定义构造分数阶梯度算子。一般意义下的二次项系数定义为

(31)

式中：

(32)

(33)

(34)

(35)

(36)

分数阶可以表示为

(37)

其中根据分数阶不同阶次的幅频曲线，a的取值范围为1

在求代价方程(15)最小值的过程中，基于G-L定义选取分数阶作为正则项约束，重建问题(15)表示为

(38)

(39)

A=u-μHTDT(DHu-Y)。

(40)

类似于全变分求解，根据分数阶的约束问题，本文使用ADMM算法求解，引入变量p表示au,原目标问题变为有约束的优化问题：

(41)

对于分数阶优化问题，其增广拉格朗日乘子函数

(42)

ADMM算法将问题(41)转换为两个子问题求解。

(1)子问题1:固定u求p

(43)

可以通过收缩阈值方法求解子问题1:

(44)

(2)子问题2:固定p求u

子问题2的求解中涉及到正则化参数μ的选取。根据正则项变化连续，本文首先计算该点曲率K(μ)，将其设置为最大曲率点K(μ)max，与之后迭代过程中通过残差项计算曲率再更新参数μ。

(45)

问题(45)等价于

(46)

使用快速傅里叶变换处理公式(46)，得

(47)

更新拉格朗日乘子和近端映射算子：

λk+1=λ-γβ(pk+1-au)，

(48)

Ak+1=u-μk+1HTDT(DHu-Yk+1) 。

(49)

基于参数自适应的FOTV-ADMM算法流程如下：

Step1 初始化ε=1×10-4,γ=2,μ=0.000 3,β=0.008,a=1.2,Y0=Y,u0=FillUnknown(Y)。

Step2 计算Ak+1=uk-μHTDT(DHuk-Yk)。

Step4 引入变量p=au。

Step6 更新正则化参数μk+1。

Step8 迭代更新λk+1=λk-γβ(pk+1-uk+1),Yk+1=Yk+(Y-DHuk+1)。

Step9 若‖uk+1-uk‖2≤ε停止迭代。

Step10 输出uk+1。

其中ε为迭代终止阈值，在本文中的u0由Y采用双线性插值方法填充得到。本文算法均可通过matlab/C++编程实现。算法流程图如图2所示。

图2 算法流程

3 实验与结果分析

3.1 实验设置及评价指标

选取Matlab2014b作为软件仿真平台,深度学习对比算法环境为Window7+caffe架构+cuda6.0+NVIDIA333.11。分别选取Lena(512×512)、Lena(256×256)、Baboon(512×512)、Caneraman(256×256)、Barbara(512×512)、Pepper(490×490)、Girl(280×280)作为2倍超分辨率图像的实验原图,如图3所示。

图3 原始超分辨率图像

超分辨率图像重建的结果往往依靠人眼视觉来判断,因人而异，作为主观评价，不能做到统一。

在选择重建效果评价标准上本文选择峰值信噪比(Peak Signal-to-Noise Ratio,PSNR)和结构相似性度量(Structural Similarity,SSIM)两种公认客观的评价指标来证明本文提出方法的有效性，两种指标越大就代表重建的效果越好[16]。

3.2 各图像的2倍超分辨率重建结果对比

实验选取图1的5幅原始图像来做2∶1等间距下采样，之后以2倍超分辨率来进行实验，对比的算法为Bilinear Interpolation双线性插值法、Bicubic interpolation双三次插值法、深度学习算法SCRNN和VDSR算法、TV-ADMM和FOTV-ADMM以及基于L曲线调参的FOTV-ADMM算法(简写为AFOTV)，模糊核选取高斯模糊。表1为在2倍超分辨率下各算法的客观实验效果对比，表2为Lena512在不同算法下2～8倍数超分辨重建实验结果，表3为选取Cameraman256灰度图像加入高斯噪声均值为0方差从0.001～0.02变化的高斯噪声各算法的重建实验结果对比，所有实验迭代次数为50次。由于篇幅限制只选取部分主观实验结果展示，图像Lena512帽子边缘细节图对比分析如图4所示，Barbara衣服纹理部分如图5白框标注所示。图6为Lena512图L曲线参数调节结果

表1 2倍超分辨率各算法的PSNR和SSIM值对比 单位：dB

表2 Lena(512)2～8倍放大的各方法PSNR和SSIM值对比 单位：dB

表3 不同方差的高斯噪声下各算法的PSNR和SSIM值对比 单位：dB

图4 2倍超分辨率Lena帽子细节图实验效果展示

图5 2倍超分辨率Babara围巾细节图实验效果展示

图6 Lena512图L曲线参数调节结果

(a)不同放大倍数下各算法重建PSNR值曲线

(b)不同噪声下各算法重建PSNR值曲线图7 各算法在不同条件下重建效果曲线图

图7(a)为TV-ADMM和FOTV-ADMM算法以及AFOTV-ADMM算法细节放大图。从主观实验图中可以看出在Lena帽子的边缘和头发的纹理细节上FOTV重建的图像比其他方法重建图像更清晰，细节保留效果TV-ADMM法容易丢失部分图像细节纹理信息，帽沿边缘羽毛出现过平滑现象；Bilinear法整体效果较模糊、细节不清晰；Bicubic从Barbara细节图上的纹理效果重建来看稍逊于AFOTV和算法。

FOTV模型算法有独特的幅频特性优势，能很好地保留图像边缘特征，更多的图像纹理信息也能保留，有提升高频的作用，中频也随之增强，非线性保留低频部分。利用分数阶不仅能保持图像边缘特征，对于处理平滑区域内灰度变化小的纹理细节信息也有很好的效果。TV模型是比较经典的模型，现实生活中，很多信号是非线性不连续的，这种约束方法常常模糊图像的边缘。AFOTV模型通过L曲线调节正则化参数，使复原图像边缘更加清晰，纹理部分也更接近原始图形，更好地保留了图像纹理信息。深度学习算法在图像亮度方面的改善是比较明显的，信噪比(Signal-to-Noise Ratio,SNR)值也有比较好的表现，但整体由于深层卷积操作，求解最优均方误差(Mean Square Error,MSE)还是会带来过平滑现象，对细节的恢复也存在一定问题。VDSR算法采样残差网络的思想加速了网络学习速度提升了效率能获得稳定效果，但总的来说深度学习算法学习要求时间较长，设备性能要求普遍较高。

由表2可知，放大倍数越大，AFOTV算法处理的峰值信噪比值也更大一些。图6中AFOTV算法在2倍放大时处理效果较佳，结构相似度的值要比TV算法大；在其他倍数，较深度学习网络有较大的差距，但结构相似度性上表现更好。表3和图7表明，在噪声较大的时候得益于TV的过平滑重建现象，TV的去噪能力较其他几种算法好，但对细节的还原度上有待改进；FOTV和AFOTV算法对纹理细节恢复较好，但在对高频噪声抑制方面性能还有待提升。

4 结束语

图像中灰度变化较缓慢的区域对应低频平滑部分，TV-ADMM算法对于图像低频信号的重建有较好的效果，但由于图像边缘的灰度值变化快，将连续高频率的光滑细节处理成分段等值信号容易出现阶梯效应和过平滑现象。本文提出的FOTV-ADMM算法实验结果表明，该算法适合于边缘比较锐利陡峭的图像，防止出现过平滑现象的同时能有效保留图像的细节和结构相似度。对于灰度值变化快的区域，增大正则化参数有利于提升重建质量但不能过大造成平滑，L曲线的调节选参不同于传统手动调参算法，能有效改善重建质量，在国防监控，医学诊疗图像恢复等领域具有较大的实用价值。下一步将在降低算法复杂度和减少训练时间上开展更多的研究应用。