超分辨率重构技术用于红外扫描系统的关键

吴 艳， 安博文， 叶洪涛， 林 川

(1.广西工学院电控系，广西 柳州 545006; 2.上海海事大学，上海 200083)

0 引言

红外波段相对于可见光波段，观测天候性更好，可以全天获取图像，但由于红外传感器件受制造材料、工艺等因素的影响，获得的原始红外图像存在非均匀性和盲元等，处理相对可见光更复杂，红外波段图像质量也远低于可见光图像，空间分辨率远小于可见光［1］。超分辨率重构(Super－Resolution Reconstruction，SRR)技术是提高遥感图像空间分辨率最有前景的方法。对于SRR在遥感领域的应用，目前典型的有德国的红外遥感器 HSRS、莱卡公司数字航空相机 ADS40［2］、法国SPOT－5［3］和欧盟的MSG。在国内，多家研究机构和高校在超分辨率重建技术方面都已做了许多研究工作，为该项技术在国内的研究和发展奠定了一定的理论和工程基础。然而，目前在国内，该技术在工程上的成功应用还没有实例，因此，利用SRR技术提高红外扫描成像系统的空间分辨率，并从工程实验的角度研究SRR应用于红外扫描成像系统需要解决的问题意义重大。

1 SRR技术简介

SRR是从多幅有欠采样的互有子像素位移的图像融合出一幅更高分辨率的图像［4－6］。它是图像融合的一个分支，相对一般的图像融合技术，待重构的源图像有一定约束条件:必须是同一个波段，必须具有非整数像元位移。SRR技术是硬软结合的技术。通过硬件平台获得多幅有子像元位移的图像，它的本质是利用空间换取时间带宽，以获得更高的采样频率，获得的多幅图像经重构能否有更好的质量、更高的空间分辨率除了满足SRR技术适用的基本条件［7］，还受重构算法、待重构图像错位量的估算及待重构图像本身噪声因素的影响。

2 错位量估计与噪声的影响分析

对于重构算法的研究，在文献［8］中已说明，本文研究待重构图像的错位量与待重构图像的噪声对SRR的影响，并在工程应用上对这两个关键问题进行有效解决。图1与方程组(1)从SRR原理来解释配准误差对重构效果的影响，图2与方程组(2)从SRR原理来解释待重构图像的噪声对重构效果的影响。

图1 探测元错位不一致采样重构示意图Fig.1 Reconstruction sketch map for sensor sampling with nonuniformal displacement

如图1所示，若探测元1、探测元2、探测元3均错位4/9个像元，如果错误地估算为均错位1/3个像元来重构，重构图像按方程组(1)解，显然方程组(1)中各方程的系数是从各探测元错位1/3像元得出的，由于各待重构图像错位量估计不准，方程系数错误，从方程组(1)反演出来的图像不是正确的重构图像。按图1所示，各探测元采样图像像元与重构图像像元满足方程组(1)所示关系为

从SRR原理来解释噪声对重构效果的影响，图2为受噪声干扰重构示意图(图中x1、x2、x3排中单个像元噪声值用nxx表示，nxx为0则没受噪声干扰)，从重构方程组(2)可知，重构过程在增加有用像素，提高空间分辨率的同时，受噪声干扰像元也会相应增加，重构图像的噪声扩散了，因此，如果低分辨率图像x1、x2、x3受噪声干扰概率大，受干扰像元多，干扰噪声幅值大，即加到像元的nxx值大，则重构图像可信度降低，当SNR低到一定程度时重构图像就不可信。图像的质量由空间分辨率与SNR两个指标共同决定，因此，当待重构图像的SNR低到一定的值时，重构图像的空间分辨率的增加低于噪声扩大带来的恶化效果时，图像重构不再有意义。

图2 考虑噪声的重构示意图Fig.2 Reconstruction sketch map with noise

3 待重构图像错位量的估算

在扫描成像中主要通过多路分光或线阵探测器的错位排列来实现亚像元序列图像的获取。为了减少待重构图像配准的难度，准确获得多幅具有一定错位量的图像，目前研究较多的是线阵探测器错位排列的获取方式［9］，通过线阵探测器的错位排列来实现SRR的排列方式主要有3种。

1)两路探测器线阵列沿线阵方向错开半个像元，在扫描方向上错开n个像元(n为正整数)，并且两排线阵列保持很高的配准精度。德国的红外遥感器HSRS、莱卡公司数字航空相机ADS40以及西安光学精密机械研究所做的研究采用了这种方法，见图3。

图3 探测器错位排列方式1Fig.3 The first mode of sensor arrangement

2)两路探测器线阵列沿线阵方向错开半个像元，在扫描方向错开(n+0.5)个像元(n为正整数)，法国SPOT－5采用了这种方法，见图4。

图4 探测器错位排列方式2Fig.4 The second mode of sensor arrangement

图5 探测器错位排列方式3Fig.5 The third mode of sensor arrangement

按以上几种排列方式，通过在推扫方向取不同的采样频率，可以得到采样密度不同、错位量可估计的低分辨率图像。

4 基于图像序列的同位像素比较滤波法

对低分辨率图像进行滤波，在SNR获得提高的同时必然伴随着分辨率的下降，不同的滤波算法平滑效果不同，因此，对于噪声比较明显的低分辨率图像重构之前的滤波至关重要。对于白噪声与散粒噪声目前比较典型的有自适应滤波(维纳滤波)、中值滤波［10－11］，本文介绍基于序列的同位像素比较滤波法，这种方法对白噪声、散粒噪声都适用，在进行SRR仿真分析时效果好于维纳滤波和中值滤波。基于序列的同位像素比较滤波法流程如图6所示。

图6 基于图像序列的同位像素比较滤波法流程Fig.6 Filtering of relative pixel comparation based on image sequence

5 图像序列同位像素比较滤波法对重构效果的分析

采用课题研究组自行研制的红外扫描相机同时获得四列探测器扫描图像，图7、图9、图11、图13分别为四列探测器获得的原始图像与去除背景噪声后的图像，图8、图10、图12、图14分别为四列探测器获得的图像进行灰度一致性调节后的图像与进行非均匀性校正和基于图像序列逐像素滤波后的图像。

图7 探测器阵列1获得的原始图像与除去背景噪声之后的图像Fig.7 Raw image and the denoised image of sensor array 1

图8 灰度值调整之后的图像与非均匀性校正并基于序列的同位像素滤波后的图像Fig.8 The image after grey－level adjusting and the one after nonuniformity correction and filtering

图9 探测器阵列2获得的原始图像与除去背景噪声之后的图像Fig.9 Raw image and the denoised image of sensor array 2

图10 灰度值调整之后的图像与非均匀性校正并基于序列的同位像素滤波后的图像Fig.10 The image after grey－level adjusting and the one after nonuniformity correction and filtering

图11 探测器阵列3获得的原始图像与除去背景噪声之后的图像Fig.11 Raw image and the denoised image of sensor array 3

图13 探测器阵列4获得的原始图像与除去背景噪声之后的图像Fig.13 Raw image and the denoised image of sensor array 4

图14 灰度值调整之后的图像与非均匀性校正并基于序列的同位像素滤波后的图像Fig.14 The image after grey－level adjusting and the one after nonuniformity correction and filtering

图15 为4个通道图像经去除背景噪声、灰度一致调节、非均匀性校正后(图8、图10、图12、图14左边图)的重构图像，图16是非均匀性校正并基于图像序列的同位像素滤波后(图8、图10、图12、图14右边图)的重构图像［5］，通过图15与图16可以看到，基于序列的同位像素滤波后重构图像效果明显要好，图15与图16相关评价指标如表1所示。分别取图15与图16中的一部分得出其梯度图像如图17所示，图17左边为图15的梯度图，右边为图16的梯度图，从图17可以明显看到，图16的梯度图轮廓要比图15的梯度图清晰。

图15 四通道获得的图像非均匀性校正后重构结果图Fig.15 Reconstructed image from four channel images after nonunformity correction

图16 四通道获得的图像非均匀性校正并同位像素滤波后重构结果Fig.16 Reconstructed image from four channel images after nonunformity correction and filtering

图17 图15与图16的梯度图Fig.17 Gradient images of Fig.15 and Fig.16

表1 图15与图16评价指标Table 1 Evaluating indexes for Fig.15 and Fig.16

6 结束语

文中对SRR技术应用于红外扫描成像系统需要解决的两个关键问题:待重构图像错位量估计与待重构图像噪声去除进行了理论分析与实验研究。研究表明:通过采用固定错位量的多排传感器，并精确计算其曝光时间，可以准确估算待重构图像的错位量;对待重构图像中噪声的去除，提出的基于图像序列的同位像素比较滤波法，可以有效减少待重构图像噪声对重构效果的影响。对这两个问题的实验研究，相对于已有的大量理论研究，可以提供更为客观的工程应用参考。

［1］ 吴艳，陈凡胜.SRR在我国静止气象卫星红外通道应用可行性的研究［J］.红外与激光工程，2010，39:335－339.

［2］ REULKE R，BECKER S，HAALA N，et al.Determination and improvement of spatial resolution of the CCD－linescanner system ADS40［J］.ISPRS Journal of Photogrammetry and Remote Sensing，April，2006，60(2):10.

［3］ 谭兵，邢帅，徐青，等.SPOT5超模式数据处理技术研究［J］.遥感技术与应用，2004，19(4):249－252.

［4］ HENDRIKS L，CRIS L，VLIET V，et al.Improving resolution to reduce aliasing in an under sampled image sequence［J］.SPIE，2000，2965:214－222.

［5］ ELAD，M，FEUER A.Restoration of a single superresolution image from several blurred，noisy and undersampled measured images［J］.IEEE Transactions on Image Processing，1997，6(12):1646－1658.

［6］ MERINO M T，NUNEZ J.Super－resolution of remotely sensed images with variable－pixel linear reconstruction［J］.IEEE Transactions on Geoscience and Remote Sensing，2007，45:1446－1457.

［7］ 吴艳，陈凡胜，陈桂林.图像复原与SRR适用基本条件及提高空间分辨率上限的研究［J］.红外与毫米波学报，2010，29(5):351－356.

［8］ 吴艳，陈凡胜.基于IBP的实用的SRR重构算法研究［J］.红外技术，2009，31(12):720－723.

［9］ 周峰.提高线阵采样式光学遥感器图像空间分辨率的新方法研究［J］.宇航学报，2006，27(2):227－232.

［10］ GONZALEZ R C，WOODS R E.Digital image processing［M］.2nd ed.Prentice Hall，Upper Saddle，2002.

［11］ ELAD M，FEUER A.Superresolution restoration of an image sequence:Adaptive filtering approach ［J］.IEEE Transactions on Image Processing，1999，8(3):387－395.