超分辨率技术在红外微扫描中的应用

吕 侃，王世勇

（中国科学院 上海技术物理研究所，上海 200083）

在众多的成像应用中，都需要高分辨的图像。例如，在医学成像中高分辨率的X-RAY/CT/MRI等图像有助于医生更好地诊断病情；在军事上高分辨率的卫星图像有助于更好地侦查敌情；在司法中对关键图像信息的准确获取有助于更好地了解案情。但是相对于需求而言，在很多场合能够得到的图像分辨率总是不能满足应用的要求。为了在现有探测器基础上实现图像分辨率的提升，超分辨率（SR）技术应运而生。经过多年的发展，目前SR已经是数字图像处理中最热门的领域之一，许多较为成熟的算法也一一提出。在红外成像领域中，受限于红外探测器材料以及制造工艺，获得的红外图像的分辨率多是落后于可见光，因此SR技术在红外中的应用显得尤为有意义。

1 超分辨率技术概述

目前泛指的SR[1]是指在一系列低分辨率图像的基础上，应用信号处理技术来获得高分辨率图像。超分辨率这个名词特别指出了处理后图像对应于原有图像的分辨率提升。超分辨率技术一般都以图1所示的成像模型为基础进行建模。在这个成像模型中，获得的图像序列经过了几个阶段的降质过程，主要包括以下几个方面：变形（warping），指图像的几何形变，在多帧图像之间往往存在着相对位移；模糊（blur）,光学系统的点扩散函数造成的模糊，探测器的点扩散函数造成的模糊等；以及探测器的降采样过程和成像中的加性噪声。

图1 成像系统模型Fig.1 Imaging model

现有的超分辨率技术从图1的参考模型出发，大致分为两类。传统的SR技术一般考虑的是基于多帧的相互亚像素级位移，利用各帧图像之间互补信息重建出高分辨率图像，其中对于模糊因子的考虑非常少，通常只考虑探测器的点扩散函数。这类技术已经提出了很久，经过长期的发展一些已经是比较成熟的算法，比如凸集投影算法（POCS），反向投影迭代算法 （IBP），基于贝叶斯估计的最大后验概率算法（MAP）以及ML等。总体而言传统的SR算法模型直观，计算也不是很复杂，已经被证明在一定程度能够提升图像的分辨率。最近几年来SR技术中比较热门的是对成像过程中模糊因子的估计，多通道盲反卷积（MBD）[2]已经被证明了在各通道互质的情况比较有效，并且在此基础上衍生出将估计模糊因子和传统SR技术结合的超分辨算法，其中一类被称为盲反卷积 SR（BSR）。

SR技术在红外成像领域具有很大的应用前景，而实际测试则相对较少。本文通过红外微扫描技术获得多帧具有亚像素位移的图像，然后对其进行多种SR算法计算，根据光学参数分析具体图像空间分辨率变化。

2 实验中所用超分辨率算法

2.1 IBP算法

IBP重构思想可以用方程表示为：

式中，gl＋1，gl分别为第 l＋1，l次迭代得到的高分辨（HR）图像；HiBP为第i幅低分辨率（LR）图像的反向投影矩阵；HiP为正向投影矩阵；fi为第i幅LR；fiBP为低分辨率成像模型下反向投影得到的第i幅LR。

实现过程主要包括：首先进行初始估计得到g0，然后根据式（1）和式（2）进行迭代计算，其中投影矩阵一般考虑降采样因素和探测器点扩散函数。

2.2 POCS算法

POCS算法是一种基于集合理论的图像重建方法，所重建图像的可行域是1组凸集约束集合的交集，而这些凸集约束集合由重建图像的各种先验知识，如能量有限、正定性、有界性等组成。在这里应用的POCS算法主要应用了残差约束和有界性约束。

幅值有界性约束 CA={g（x，y）∶|α≤g（x，y）≤β}，投影可以写成：

基本实现过程主要包括：首先进行初始估计得到g0，然后根据式（3）和式（4）进行逐点迭代计算，其中（3）中的 hi与 IBP算法中一样考虑降采样因素和探测器点扩散函数。

2.3 BSR算法

BSR算法是在MBD算法的基础上发展起来，结合了对成像中模糊因子的估计和MAP算法，同时估计高分辨图像和模糊因子PSFS。算法是通过对最小化正则化能量方程来实现，其过程相对较为复杂，具体实现过程参看文献[3－5]。

3 实验数据和分析

3.1 红外微扫描平台介绍

目前认为实现超分辨率的一大前提是多幅LR图像之间具有亚像素级的位移，这样才能包含彼此互补的信息，从而重建出比原LR分辨率高的HR。微扫描指的是对探测器进行亚像素级的位移，所以通过微扫描能够得到相互之间具有亚像素位移的图像序列，从而在此基础之上进行SR算法。本实验所用微扫描平台的具体实现是通过PI的高精度单轴偏转镜实现了可控微小角度偏转从而实现目标在光路中的微小移动，反映到探测器上实现亚像素位移。

根据傅里叶光学，由于衍射效应光学系统存在着截止频率，理想光学系统的最小分辨率即瑞利分辨率r=1.22 λF，其中λ是工作波长，F是光学系统的F数。当光学系统确定时，探测器的工作波长越长，r越大，成像分辨率就越低。为了验证超分辨率算法的效果，在实验中采用长波红外探测器。因为在红外长波中，一般的衍射限都比目前的探测器像元大，那么所获得图像分辨率会受限于光学衍射限。对这些图像进行SR算法计算，可以通过图像衍射限附近分辨率的提升来计算SR算法效果。

平台的工作平均波长λ=10 μm，光学F数 F=2.65，可以得到衍射限大小1.22 λF=32.33 μm，对应到物面上大小为0.96 mm，相应的空间分辨率为0.52 cy/mm，探测器像元间距为25.4 μm，对应到物面上大小为0.75 mm，相应的空间分辨率为0.67 cy/mm。

3.2 实验方法

为了便于检验应用SR算法后的分辨率提升效果，采用两种方法，一种是采用类似分辨率板的目标，如图2所示，鉴于采用的是线列探测器，只测量垂直方向上的空间分辨率变化，所以只观察图像垂直方向上的条纹。图2在垂直方向具有18条明暗条纹，条纹垂直宽度从上往下由2.4 mm递减至0.7 mm，从而可以根据调制传递函数（MTF）定义根据不同的宽度的明暗条纹亮度计算出此宽度对应的空间频率处MTF值，这是一种比较直观的方法。另一种方法是采用ISO 12233标准[6]中定义的计算空间频率响应（SFR）的方法。这种方法在测量垂直方向的分辨率时要求水平方向的斜向明暗直线，在实验中是对图3中上方的斜边进行计算。因为SFR是对线扩散函数的傅里叶变换，那么SFR的模值即为MTF值，所以两种方法是可以相互验证的。

3.3 实验数据

在实验中，控制微扫描镜进行多次亚像素位移获得7幅图像，对获得图像进行降噪等预处理后截取包含目标的120×120像素图像部分进行以上3种SR算法计算。

对明暗条纹目标的计算结果如图4，为了方便比较，将原始LR图像进行两倍双线性插值 （对单帧图像进行双线性插值几乎不会改变图像分辨率）后和3种算法得到的图像列出。直观上可以看到在原始图像中，最下方的明暗条纹由于其空间分辨率已经在衍射限附近甚至以下，在图像中显得很模糊，已经很难看清。而IBP，POCS，BSR 3种算法得到的图像都可以看清全部条纹，其中BSR算法得到的图像效果尤为出色。关键空间频率处MTF值如表1所示。

图2 明暗条纹目标Fig.2 Pattern target

图3 斜边目标Fig.3 Slanted edge target

图4 明暗条纹目标重建结果Fig.4 Reconstructed pattern target

图5 垂直方向亮度值Fig.5 Vertical brightness

图6 垂直方向MTF值Fig.6 Vertical MTF

对图3按照ISO-12233标准进行测试，具体计算过程可以看以参见文献[6]，测量出的SFR值如图7，对比图6可以看到测出的SFR值普遍要比上述估算方法来的大，这可能是由于误差，噪声诸多因素影响，但是2种方法得到的结论是一致的。

图7 SFR值Fig.7 SFR value

4 结束语

上述实验的结果表明了通过对微扫描获得红外LR图像序列进行超分辨率算法计算，得到的HR图像的空间分辨率确实得到了提升，实验中得到的提升幅度在30%左右，同时在长波红外情况下HR图像的空间分辨率可以突破光学衍射限。而IBP，POCS，BSR 3种方法的比较表明BSR方法作为新兴的SR算法，由于其建模的全面性，能够达到比传统SR更好的效果。

[1]Park C S，Park K M，Kang G M.Super-Resolution image reconstruction：a technical overview [J].IEEE Signal Processing Magazine，2003，20（3）：21－36.

[2]Sroubek F，Cristobal G，Flusser J.Simultaneous super-resolution and blind deconvolution[C]//4th AIP International Conference and the 1st Congress of the IPIA，[S.l.]：IOP Publishing，2008：1-8.

[3]Harmeling S，Sra S，Hirsch M，et al.Multiframe blind deconvolution，super-resolution，and saturation correction via incremental EM[C]//Image Processing（ICIP），2010 17th IEEE International Conference，[S.l.]：[s.n.]，2010：3313-3320.

[4]Sroubek F，Flusser J.Multichannel blind iterative image restoration[J].IEEE Transactions Image Processing，2003，12（9）：1094-1106.

[5]Sroubek F，Cristobal G.A unified approach to superresolution and multichannel blind deconvolution[J].IEEE Transactions Image Processing，2007，18（9）：2322-2332.

[6]The International Organization for Standardization，ISO 12233：2000.Photography-electronic still-picture cameras-Resolution measurements[S].2000.