基于改进总广义变分的红外图像超分辨率算法

苏冰山 陈继光 陈雨

摘要：本文提出一种新的红外图像超分辨率算法。算法将一种改进型的二阶总广义变分模型与红外图像的高频估计结合起来：首先根据相位一致算法提取可见光图像和红外图像的边缘;然后将提取的图像边缘按照相关边缘和非相关边缘分类;分类后依据可见光图像与红外图像的二次仿射变换关系模型，得出相关边缘红外图像的高频估计;最后将高频估计图像与改进的二阶总广义变分模型结合起来，得到新的正则化模型，由此模型重建高分辨率红外图像。实验结果证明本文算法优于其他算法。

关键词：红外图像超分辨;总广义变分（TGV）;正则化;多传感器;高频估计

中图分类号：TP391       文献标识码：A

文章编号：1009-3044（2019）22-0193-02

开放科学（资源服务）标识码（OSID）：

红外图像反应场景的辐射情况，对外界光照条件没有要求，成像条件是全天候的，红外图像在军事侦察、医疗卫生和安防监控等领域应用广泛。然而由于红外图像的成像原理和硬件技术水平的限制，可获得的红外图像的边缘不够清晰、分辨率较低并且存在噪声。

为了解决红外图像分辨率低的问题，文献[1]通过最小角度回归算法和基于稀疏表示的超分辨率方法重建红外图像;文献[2]借助孔径编码器和稀疏表示完成对红外图像的超分辨重建;文献[3]通过划分区域求得自适应全变分因子合成高分辨率红外图像。以上方法均是利用同一种传感器获得的图像进行红外图像的超分辨率重建，由于红外图像自身的局限性如边缘模糊，存在噪声等特点导致获得的高分辨率红外图像质量不高

可见光成像设备技术成熟且价格相对低廉，可以方便地拍攝高分辨率可见光图像，同时，直接拍摄的高分辨率可见光图像边缘细节清晰，可以有效弥补红外图像的不足。文献[4]利用非局部均值滤波正则化和最小二乘法结合实现多传感器深度图像的超分辨率重建，该方法即为基于多传感器的方法。本文首先根据相位一致算法提取可见光图像和红外图像的边缘;将提取的图像边缘按照相关和非相关边缘分类;依据可见光图像与红外图像的二次仿射变换关系模型，得出相关边缘红外图像块的高频估计，与一阶梯度锐化算子改进的总广义变分模型结合起来，得到新的正则化模型，并由此模型重建高分辨率红外图像。算法中对边缘像素进行分类，合理的考虑了不同类型图像的相关性，限制了可见光图像的无关信息对重建红外图像的干扰。

1 本文算法框架

本文重建高分辨率红外图像的算法框架如图1，该算法迭代求解出最优化条件下的超分辨率重建图像[IH]：

[IH=argminI{αR（I）+D（I，FS）}]                        （1）

上式由正则约束项[R（I）]和数据项[D（I，FS）]组成，[I]为红外图像超分辨率重建后的结果，[FS]为低分辨率红外图像的高频估计，标量参数[α]为平衡正则约束项与数据项之间关系的权重值。正则约束项利用图像的先验约束条件对重建的近似解空间进行约束，进而求得最优解。

2 本文算法流程

2.1 边缘提取和边缘像素的相关性分类

图像边缘细节清晰则超分辨重建图像会有更加理想的视觉效果。因此提取图像边缘细节区域对算法十分重要。本文采用相位一致性算法提取可见光图像的边缘信息[SVIS（i，j）]和红外图像的边缘信息[SIR（i，j）]。

同一场景的可见光图像和红外图像之间存在相关性和互补性，为了利用相关边缘信息提高红外图像分辨率，避免非相关边缘对红外图像超分辨重建结果造成影响，将存在相关性的图像块提取出来是必要的。因此在提取边缘信息后将边缘区域分为相关边缘和非相关边缘。在边缘信息分类时我们采用相关系数分类法加以分类。

根据相关系数将图像边缘分类为相关边缘和非相关边缘的步骤是：首先分别提取红外与可见光图像边缘，然后采用归一化互相关方法来测定二者边缘像素的相似度：

[S（i，j）=SVIS（i，j）SIR（i，j）-SVIS（i，j）SIR（i，j）（S2VIS（i，j）-SVIS（i，j）2）（S2IR（i，j）-SIR（i，j）2）]     （2）

[SVIS（i，j）]和[SIR（i，j）]是指以像素[（i，j）]为中心的大小为5×5的加权平均图像块，当对应像素点为中心的图像块的归一化互相关系数大于[Ts]，且提取的图像块的边缘强度[T]大于[Te]，当满足这两个条件时，则认为对应的图像块相关，两个不同传感器获取的图像块之间可以通过仿射变换，本文算法中[Ts]取0.05，[Te]取0.05。

2.2 边缘像素的高频块估计

相关边缘像素可以通过仿射变换关系估计红外图像的高频细节。可认为不同传感器获取的图像在局部邻域内存在仿射变换关系，本文利用如下二次关系模型：

[Mk，lxIR=（xHσM2k，lxVIS+yHσMk，lxVIS+ze）]for[?（k，l）∈Ωc]   （3）

式中[Mk，l]指对图像以像素[（i，j）]为中心取块操作，[Hσ]代表高斯模糊核的卷积矩阵，标准差为[σ]，[e]代表单位矩阵，[x]，[y]，[z]分别代表局部仿射变换中的参数，[Ωc]指可见光图像和红外图像相关边缘像素集。

边缘点[（k，j）]的参数[x]，[y]，[z]，可以通过平方误差函数估算：

[E（x，y，z，σ）=Kk，lxIR-（xHσK2k，lxVIS+yHσKk，lxVIS+ze）22+λ1x2+λ2y2=（i，j）{xp2VIS，σ（i，j）+ypVIS，σ（i，j）+z-pIR（i，j）}2+λ1x2+λ2y2]       （4）

公式中[xVIS]和[xIR]分别为可见光图像和红外图像相关边缘的图像块，[pIR]代表一个红外图像块，[pVIS，σ]代表被标准差为[σ]的高斯核模糊的可见光图像块，[（i，j）]代表图像块中的像素点，公式中[λ1x2]和[λ2y2]是正则化项，[x]，[y]，[z]可以通过下面近似形式来计算：

[?E/?x|σ=σc=0]，[?E/?y|σ=σc=0]，[?E/?z|σ=σc=0]，[?]               （5）

[xyz=（i，j）P4VIS，σc+λ1，（i，j）P3VIS，σc，（i，j）P2VIS，σc（i，j）P3VIS，σc，（i，j）P2VIS，σc+λ2，（i，j）PVIS，σc（i，j）P2VIS，σc，（i，j）PVIS，σc，（i，j）1-1×（i，j）P2VIS，σcPIR（i，j）PVIS，σcPIR（i，j）PIR]    （6）

获得估计的参数后，红外图像的高频部分可以通过以下方式计算：

[Fk，l=xHσlK2k，lxVIS+yHσlKk，lxVIS+z-Kk，lxIR]                    （7）

高频部分决定了红外图像的细节部分，细节越丰富则超分辨重建的红外图像质量相对越好，相关边缘进行高频估计后，改进的TGV模型与估计的高频细节[Fk，l]结合起来并进行多次迭代运算，得到高分辨率红外图像。

2.3 高频块估计与改进的TGV模型的结合

TGV模型由任意阶多项式组成，本文采用改进的TGV表达式如下：

[ ][T=mins{α2?I+α1?I-s+α0?s+D（I）-Is2}]  （8）

其中[?I]为一阶梯度锐化算子，[s]为TGV正则化算法中的对称矩阵，标量[α2]、[α1]和[α0]为权重参数。

本文将上一步骤中得到的高频估计设为[Fs]，并将高频估计作为数据项引入已经改进的TGV正则化模型，将正则约束项与数据项结合起来，得到算法的目标函数：

[IH=α2?I+α1?I-s+α0?s+D（I）-Is2+D（I）-Fs2]           （9）

目标函数结合梯度下降法求得最优解。由此（9）式转化为：

[IH=minI，smaxp，qα2?I+α1?I-s，p+α0?s，q+i=1Mj=1N（Ii，j-ISi，j）2+i=1Mj=1N（Ii，j-FSi，j）2]               （10）

在主-对偶优化算法中，主变量[I]，[s]和对偶变量[p]，[q]通过迭代计算求解。第一次迭代时，[I=IS]， 令[s]， [p]， [q]=0，步长[θp]，[θq]均设为大于0的常数。迭代计算的三个过程如下：

第一，对偶变量通过梯度上升迭代更新：

[pn+1=pn+θpα2?In0+α1?In0-sn0max（1，pn+θpα2?In0+α1?In0-sn0）]          （11）

[qn+1=qn+θqα0?sn0max（1，qn+θqα0?sn0）]                                （12）

第二，主變量通过梯度下降迭代更新：

[In+1=In+kI（α2+α1）?Tpn+1+IS+FS1+kI]                     （13）

[sn+1=sn+ks（α1pn+1+α0?Tqn+1）]                          （14）

上式中[kI]、[ks]为步长。

第三，主变量优化：

[In+10=In+1+μ（In+1-In0）]                                （15）

[sn+10=sn+1+μ（sn+1-sn0）]                                （16）

[I0]和[s0]为迭代计算的中间结果，[μ]的值在每次迭代计算时都进行更新。本文由以上计算过程得到收敛的优化解。

3 实验结果与分析

本文采用同场景且配准的可见光图像和红外图像进行实验。实验将最近邻插值算法、Choi[5]的算法、David[6]的算法以及本文算法进行对比，以求评价本文算法的效果。算法中取图像块的大小为[5×5]，[σ]为2，[σl]为0.3，[Ts]取0.05，[Te]取0.05，[λ1]和[λ2]取0.5，[ω]取0.01，[η]取0.01，[θp]取0.33，[θq]取0.5，[μ]的初值取0.77，[α0]取0.1，[α1]取25，[α2]取0.05。

图2为实验结果。

图2   低分辨率轮船图像超分辨重建得到的高分辨率红外图像（a）为最近邻插值算法所得结果;（b）为Choi算法所得结果;（c）为David算法所得结果;（d）为本文算法所得结果;（e）为真实的高分辨率红外图像;（al）-（el）分别表示（a）-（e）矩形标注部分的局部放大图

根据实验结果，本文算法重建效果最好，本文算法利用相位一致性算法提取可见光图像边缘并对边缘像素加以分类，限制了可见光图像无关信息的干扰，同时将二次仿射变换得到的高频估计加入算法模型使得重建图像边缘较清晰。

4 结论

本文对二阶总广义变分模型进行了改进。传统的TGV模型在计算多传感器图像超分辨率时对正则约束项加权，容易导致可见光图像的噪声混入重建图像。本文利用相位一致算法提取红外和可见光图像的边缘并进行相关性分类，避免了非相关边缘对重建图像的干扰，然后对相关性分类以后的红外和可见光图像边缘进行二次仿射变换，将得到的高频估计图像与改进的TGV模型结合起来，与其他算法相比本文的方法不仅有更好的视觉效果，PSNR也有提高。

参考文献：

[1]  戚曹，朱桂斌，唐鉴波，等. 基于稀疏表示的红外视频图像超分辨率算法[J]. 计算机工程， 2016.42（3）：278-282.

[2] 王新华，欧阳继红，庞武斌. 压缩编码孔径红外成像超分辨重建[J]. 吉林大學学报（工学版）， 2016.46（4）：1239-1245.

[3] 翟海天，李辉，李彬. 基于区域划分的红外超分辨率重建[J]. 光学精密工程，2015.23（10）：2989-2996.

[4]  Jaesik Park，Hyeongwoo Kim，Yu-Wing Tai，Michael S. Brown，Inso Kweon.High Quality Depth Map Upsampling for 3D-TOF Cameras. IEEE International Conference on Computer Vision， 2011， 24（4）：1623-1630.

[5] Kyuha C，Changhyun K，Myung H K.Resolution Improvement of Infrared Images Using Visible Image Information[J]. IEEE Signal Processing Letters. 2011，18（10）：611-614.

[6] David F， Christian R， Rene R. Image Guided Depth Upsampling using Anisotropic Total Generalized Variation[A]. IEEE International Conference on Computer Vision[C]. 2013：，1-8.

【通联编辑：光文玲】