基于深度学习的毫米波和亚毫米波成像仪的图像增强技术

胡伟东,张文龙,安大伟,王 璐,陈 实,岳 芬,LIGTHART Leo P.

(1. 北京理工大学，北京 100081；2. 国家卫星气象中心，北京 100142；3. 代尔夫特理工大学，荷兰 代尔夫特 2628 CN)

0 引言

毫米波和亚毫米波成像仪(MMSI)是中国风云四号地球同步轨道气象卫星上的重要载荷。其极化方式分为水平和垂直两种，54，118，183，380，425 GHz的5个频段可用于获取地球亮温数据。在空间遥感和地球观测方面，MMSI具有巨大潜力且被广泛应用，还可连续观测云层变化，弥补气象卫星无法观测恶劣天气，如风暴、飓风、台风和冰雹等方面的不足。由于天线尺寸、系统噪声和下采样的限制，MMSI的低频通道空间分辨率较低，影响数据的进一步使用，例如有些地球物理参数的求取需要组合应用不同波段的亮温数据[1-5]，故有必要采取一些技术来解决该问题。

BG(Backus-Gilbert)反演算法最初由Backus和Gilbert[6-7]提出，其利用天线方向图中地面重叠区域的冗余信息和天线方向图的先验知识从天线温度反演出与地面真实场景更加接近的亮温值，消除重叠模糊的影响。图像去卷积算法由Sethman等[8-9]提出，通过傅里叶变换在频域上构建Wiener滤波器进行滤波，得到没有被平滑的亮温分布的估计，在算法处理过程中降低了重叠模糊的影响。SIR(Scatterometer Image Reconstruction)算法最初用于散射计图像的分辨率增强，是乘法代数重建技术 (Multiplicative Algebraic Reconstruction Technique，MART)的变形，该方法首先由Long等[10-11]发现并用于提高微波成像仪亮温数据的分辨率。该算法基于迭代过程实现，首先将成像仪测量的像元分配到矩形网格上，使用迭代过程从初始亮温估计出更加接近真实场景的亮温图像，并为每个像元提供亮温的最大熵估计。其中BG反演算法和SIR算法模型构建较为复杂，需要考虑天线的增益等，且不能有效控制噪声。图像去卷积算法在分辨率提升较高时会产生振铃效应，同时也伴随着噪声增大。

星载微波成像仪的非过采样通道的地面像元没有重叠，针对这种情况，文献[12]中提出将超分辨(super-resolution)图像重建算法应用于毫米波与亚毫米波探测仪非过采样通道中。但在进行超分辨图像重建的过程中，插值过程一般采用简单的线性插值或双三次插值，导致插值后的结果过于平滑。近些年，卷积神经网络(CNN)也被成功应用于图像超分辨率[13]、去噪[14]和去模糊[15-16]等方面。本文只考虑亮温数据的图像超分辨率问题，目的是为训练一个有效的卷积神经网络模型，以解决下采样引起的图像退化问题。与传统的双三次插值方法不同，基于学习思想的卷积神经网络模型将超分辨的过程定义为一个待学习的映射函数，通过数据驱动的思想和端对端的训练方法来获得该映射函数，无需预处理，训练好的模型能得到更精细的重建结果。

1 设计思路与方法

超分辨卷积神经网络(SRCNN)被直接用于学习映射函数f′=F(g)，式中：g为观测到的天线温度图像，可用于恢复图像F(g) ，使其尽可能接近地面真实高分辨率亮温图像f。采用基于学习思想的卷积神经网络模型可实现该映射函数F。卷积神经网络能通过特征变换将观测图像数据重建为理想的高分辨数据，特征变换的过程即实现卷积核的卷积操作。卷积核的模型参数可通过在样本集上训练获得；最优的CNN模型权重参数可通过最小化卷积神经网络的输出结果和高分辨率图像之间的误差学习获得。为获取低分辨率与高分辨率遥感图像之间端对端的映射F，需确定SRCNN网络架构中的相关参数ψ=(W1,W2,W3,B1,B2,B3)。定义损失函数：重构出的高分辨率亮温图像F(gi,ψ)与理想高分辨率亮温图像f间最小误差函数，用于判断训练过程中这些参数是否最优化，表达式为

(1)

式中：n为训练集中样本的个数；f为理想亮温图像；g为f下采样退化后的结果；ψ为网络模型参数；L为关于ψ的损失函数。在该过程中，卷积神经网络模型可直接学习高分辨率图像f和低分辨率图像g间的映射，不需预处理。

卷积神经网络模型包含3个卷积层，描述如下：

1)特征提取和表示。该操作从低分辨率的亮温图像中提取块图像，并把每个块图像表示为高维向量。块图像的选取是在原始图像上采用大小为(33，33)、步长为1的滑动窗口提取，目的是更有效地提取图像局部特征。

2)非线性映射。将每个高维向量非线性地映射到另一个高维向量上进行多次特征变换。

3)重建。将以上高维向量聚合在一起，生成最终的高分辨率亮温图像。期望该图像与地面真实亮温f尽可能接近。

第1层卷积层用于从低分辨率的亮度温度图像g中提取特征，在第1层中，用于特征提取的卷积核数为n1，故输出为n1维向量。从低分辨率图像中提取的n1维向量被下一层使用。第1层的映射函数可写成

F1(g)=max(0,W1⊗g+B1)

(2)

式中：g为观测到的亮温数据；W1和B1分别为卷积核和偏差；⊗为卷积运算。

第1层从低分辨率图像中提取了n1维特征，在第2次运算中，将这些n1维向量映射成n2维向量。第2层的映射函数为

F2(g)=max[0,W2⊗F1(g)+B2]

(3)

式中：W2为第2个卷积层的权重参数，包含n2卷积核；B2为n2维。第3层定义了一个卷积层，从n2维向量生成最终的高分辨率图像，其映射函数为

F3(g)=W3⊗F2(g)+B3

(4)

式中：W3为第3层卷积层参数的权重，卷积层的第3层直接输出高分辨率图像，无任何后处理。实验中使用的卷积神经网络由3层组成。使用标准的反向传播作为训练算法。

2 仿真实验及结果分析

应用SRCNN模型重建低分辨率的亮温图像。

2.1 实验设置

风云四号气象卫星于2016年12月11日发射，MMSI的真实亮温数据尚未对外公开，故利用风云三号卫星微波辐射成像仪(MWRI)的亮温数据做模拟实验。MWRI是中国的风云三号极轨卫星上的一种毫米波、亚毫米波载荷。MWRI可测量水平和垂直极化中的10.65，18.70，23.80，36.50，89.00 GHz的亮温。

选取2017年3月到6月的40幅图像作为数据集的高分辨率图像，其中包含了各种亮温变化，可为模型提供丰富信息。高分辨率图像通过下采样来获得低分辨率的图像，高分辨率和低分辨率图像被用作训练SRCNN模型的数据集。在制作好的数据集中取出35张图像用于训练，剩下的5张图像用于测试。

文献[13]中提出了SRCNN的基准模型，并在文献[17]中得以应用，卷积神经网络由 3层卷积层组成，卷积核数量分别为64、32、1，卷积核尺寸分别为9、1、5。因本文使用的数据集较小，卷积神经网络的模型使用了一组较小的超参数：卷积核的数量分别为20、10、1，卷积核尺寸分别为9、1、5。在训练过程中，使用Caffe进行1.5×107次训练，得到了最优的结果。

在风云四号卫星模拟数据和数据集中的测试图像上测试训练好的模型。用峰值信噪比(PSNR，RPSN)和结构相似度(SSIM，RSSIM)评估经过训练的模型。RPSN表示顶点信号到达噪声比率，是峰值信号和干扰图像质量的背景噪声之间的工程性专业用语，也是权衡图像失真或者信号失真的指标。其数学表达式为

RPSN=10lg[(2n-1)2/EMS]

(5)

(6)

式中：EMS为均方误差，表示算法处理前和处理后的图像的接近程度；I1(i,j)，I2(i,j)分别为参考图像I1和待评价图像I2在相同位置处的亮温值；h和w为图像的长和宽。RPSN和EMS是基于参考图像I1和待评价图像I2之间对应像素点的误差，即根据误差敏感度对遥感图像亮温值做相关计算和统计，进而评价其质量好坏。峰值信噪比值与失真情况对应相反关系，其值越大，表征待评价图像I2越逼近参考图像I1。

结构相似度基于图像的结构性、像元间的关联性以及人眼对其结构变化的敏感程度，从图像结构、图像对比度及其亮度三个方面的信息考虑参考图像I1和待评价图像I2间的相似程度，其数学表达式为

(7)

式中：C1,C2可确保式中分母不为零，从而增加计算的稳定性，一般C1=[K1×(2n-1)]2，C2=[K2×(2n-1)]2，对应的K1=0.01，K2=0.03，n=8；μI1,μI2分别为参考图像I1和待评价图像I2的均值，表示二者的灰度信息分量；σI1,σI2分别为参考图像I1和待评价图像I2的方差，表示二者的对比度信息分量；σI1I2为参考图像I1和待评价图像I2的协方差，可以表示为

(8)

2.2 风云四号卫星模拟数据的实验结果

因风云四号卫星中MMSI的真实亮温数据尚未公开，故使用国家卫星气象中心提供的183 GHz正演模拟数据验证模型，如图1所示。

模拟亮温数据为183 GHz通道的台风场景信息，其分辨率为24 km×24 km。用双三次插值模拟下采样处理过程，得到退化图像，实验结果如图2所示。

SRCNN重构图像呈现的细节比双三次重建图像更详细，台风的轮廓更清晰，更接近最初的图像(见图1)。对于任何模型，根据最初的高分辨率图像和重建图像之间的峰值信噪比和结构相似度评估其性能。

在本实验中，原始高分辨率图像与双三次重建图像之间的RPSN和RSSIM分别为38.17 dB和0.95。原始高分辨率图像与SRCNN重建图像之间的RPSN和RSSIM分别为39.86 dB和0.97。经过SRCNN的重建，RPSN和RSSIM分别增加了1.69 dB和0.02。该特征表明：与传统的双三次重建图像相比，SRCNN重构图像更接近初始图像。在图2中，选择绘制了第60行的数据。SRCNN重建图像的细节比双三次重建图像更接近初始图像。

2.3 数据集实验结果

地面分辨率为9 km×15 km的5幅89 GHz的测试图像数据集被用来进一步评估模型。实验使用双三次插值模拟下采样的处理过程，得到了退化图像。模型的评估参数见表1，图3为测试图像的实验结果。

表1 数据集测试图像的评价指标

表1列出了数据集中5个测试图像的评价指标。SRCNN模型通过学习低分辨率图像和高分辨率图像之间的映射关系来重构图像，与双三次重建方法相比，RPSN平均提高了1.13 dB。

图4为图3中的桑给巴尔岛区域。图4 (b)中桑给巴尔岛的边缘和细节受下采样的影响较模糊。双三次插值方法处理后，桑给巴尔岛的轮廓更加明显，但仍然缺乏一些细节。CNN模型具有强大的非线性映射能力，图4(d)结果显示，SRCNN模型能很好地重构原始图像的细节信息。

图5选择和绘制了60行数据，SRCNN重构图像的数据分布比双三次重建图像更接近原始图像。尽管双三次重建图像的结果更平滑，但细节重构的结果不够准确。通过数据分布，SRCNN重构的结果包含了更多原始图像信息，得到了很好的结果。

3 结束语

本文介绍了卷积神经网络在风云卫星亮温图像增强上的应用。虽然深度学习在计算机视觉和模式识别领域已经取得了很大的成果，但在遥感数据中的应用，尤其是微波遥感数据，仍然有很多问题值得研究。

与传统的插值方法不同，SRCNN方法提高了风云卫星亮温图像的峰值信噪比，得到的结果较传统方法更精细。本文提出的基于深度学习的方法不需要设计复杂精确的插值模型，因神经网络可在数据集中自动学习高分辨率图像和低分辨率图像之间的映射关系，直接输出高分辨率图像。实验结果表明：使用SRCNN的增强图像提供了更多的细节。评价指标展示了SRCNN对MMSI亮温数据的有效性。由于亮温图像的图像细节变化较为平缓，故在做模型设计时，如何使模型有效提取特征需要引起重视。基于深度学习的超分辨模型适用于非过采样亮温数据的超分辨，也可在其他微波探测仪数据中改进使用，具有很强的普适性。由于深度学习模型具有很强的拟合能力，故在样本集上进行训练时容易产生过拟合的现象，必须采取正则化的方法防止过拟合。此外，深度学习模型需对大量样本进行特征学习，但在气象遥感领域，目前公开用于学术研究的数据集很少，故本文使用的数据集具有一定的局限性，仅验证了算法的可行性。未来希望能够有更权威的辐射计亮温数据集推动该领域的发展。

利用SRCNN遥感图像增强技术不仅有效提高了亮温图像的质量，而且提高了地面目标的识别能力。与传统方法相比，增强的亮温图像更接近地面的真实信息，为物理参数的反演、天气预报等工作的开展提供了新思路，具有一定的参考价值。未来希望能将辐射计亮温数据的获取、重构和参数反演有效整合。数据获取过程中受哪些退化因素的影响，影响程度如何；可采用哪种方法进行补偿或重构；重构后的数据对参数反演的定量指标有何影响；如果在工程实践中运用重构后的数据进行反演会提升反演精度，代价是什么：这些都是工程实践上需研究的问题，也是下一步需要扎实做的工作。

[1] WANG J R, TEDESCO M. Identification of atmospheric influences on the estimation of snow water equivalent from AMSR-E measurements[J]. Remote Sensing Environment, 2007, 111(2/3): 398-408.

[2] NORMAN C G. Classification of snow cover and precipitation using the special sensor microwave imager[J]. Journal of Geophysical Research: Atmospheres, 1991, 96(D4): 7423-7435.

[3] RALPH R F, ERIC A S, WESLEY B, et al. A screening methodology for passive microwave precipitation retrieval algorithms[J]. Journal of the Atmospheric Sciences, 1998, 55(9): 1583-1600.

[4] PAMPALONI P, PALOSCIA S. Microwave emission and plant water content. A comparison between field measurement and theory[J]. IEEE Transactions on Geoscience and Remote Sensing, 1986(6): 900-905.

[5] MIN Q, LIN B. Remote sensing of evapotranspiration and carbon uptake at Harvard forest[J]. Remote Sensing of Environment, 2006, 100(3): 379-387.

[6] BACKUS G, GILBERT F. Numerical applications of a formalism for geophysical inverse problem[J]. Geophysical Journal International, 1967, 13: 247-276.

[7] BACKUS G, GILBERT F. The resolving power of gross Earth data[J]. Geophysical Journal International, 1968, 16(2): 169-205.

[8] SETHMANN R, BURNS B A, HEYGSTER G C. Spatial resolution improvement of SSM/I data with image restoration techniques[J]. IEEE Transactions on Geoscience and Remote Sensing, 1994, 32(6): 1144-1151.

[9] SETHMANN R, HEYGSTER G, BURNS B. Image deconvolution techniques for reconstruction of SSM/I data[C]∥Proceedings of the 11th Annual International Geoscience and Remote Sensing Symposium, Espoo, Finland, 1991, 4: 2377-2380.

[10] LONG D G, HARDIN P J, WHITING P T. Resolution enhancement of spaceborne scatterometer data[J]. IEEE Transactions on Geoscience and Remote Sensing, 1993, 31(3): 700-715.

[11] LONG D G, DAUN D L. Spatial resolution enhancement of SSM/I data[J]. IEEE Transactions on Geoscience and Remote Sensing, 1998, 36(2): 407-417.

[12] DI Paola F, DIETRICH S. Resolution enhancement for microwave-based atmospheric sounding from geostationary orbits[J]. Radio Science, 2008, 43(6): 1-14.

[13] DONG C, CHEN C L, HE K, et al. Learning a deep convolutional network for image super-resolution[J]. 2014, 8692: 184-199.

[14] JAIN V, SEUNG S. Natural image denoising with convolutional networks[C]∥Advances in Neural Information Processing Systems, Vancouver, British Columbia, Canada, 2009: 769-776.

[15] SCHULER C J, HIRSCH M, HARMELING S, et al. Learning to deblur[J]. IEEE Transactions on Pattern Analysis and Machine Intelligence, 2016, 38(7): 1439-1451.

[16] WEI Y, YUAN Q, SHEN H, et al. A universal remote sensing image quality improvement method with deep learning[C]∥2016 IEEE International Geoscience and Remote Sensing Symposium, Beijing, China, 2016: 6950-6953.

[17] DUCOURNAU A, FABLET R. Deep learning for ocean remote sensing: an application of convolutional neural networks for super-resolution on satellite-derived SST data[C]∥9th IAPR Workshop on Pattern Recognition in Remote Sensing (PRRS), Cancun, Mexico, 2016: 1-6.