基于稀疏分解和预滤波处理的机载SAR图像超分辨率重建

王 昕，崔 烨，宋晓众

(南京邮电大学 通信与信息工程学院，江苏 南京 210003)

作为一种经典的二维高分辨率遥感测绘成像系统，合成孔径雷达（Synthetic Aperture Radar，SAR）［1］在过去几十年得到了迅速的发展和应用。 SAR 图像分辨率的高低会直接影响后续目标检测、识别以及分类等处理的性能。 因此，改善系统成像分辨率一直是该领域的重要研究方向之一。 低分辨率的图像经过系列处理得到高分辨率图像的过程也即超分辨率重建的过程。 结合图像的去噪算法［2－3］，可以广泛应用在卫星成像、目标检测等多个领域。 近年来，随着对机器学习技术的深入研究，光学图像的超分辨率重建性能得到了改善。 2014 年，Dong 等［4－5］学者首次在光学图像的超分辨率处理任务中使用深度学习的方法，提出了以卷积神经网络（Convolutional Neural Network，CNN）为根基的超分辨率网络架构（Super-Resolution CNN，SRCNN），实现了新的突破。 后续更多基于深度学习的框架被提出，残差结构［6－7］、密集连接［8］、跳跃连接等结构被加入到网络框架中，使超分辨率重建结果得到了大幅提升。 但是，上述深度学习训练模型直接应用于实际雷达图像的超分辨率处理时效果并不好。

此外，也有学者在SAR 图像处理领域应用这些针对光学图像处理的超分辨率算法。 其中，文献［9－10］应用生成对抗模型的超分辨率网络架构（Super-Resolution Generative Adversarial Network，SRGAN）对Terra-SAR 图像进行超分辨率重建结果。文献［11－12］结合极化信息设计实现了全极化复数SAR 图像的超分辨率重建。 然而，这些研究需要构建大量的雷达遥感图像进行训练，无法处理相干斑噪声以及模糊核不匹配造成的重建性能下降。

针对上述问题，本文提出了一种基于预滤波处理的SAR 图像超分辨率重建流程。 其中，对现有超分辨率机器学习模型重建SAR 图像效果不理想的原因进行了分析，研究了相干斑噪声、加性噪声以及模糊核不匹配对重建性能的影响。 然后，基于图像稀疏分解以及模糊核校正实现了实测低分辨率SAR 图像的预滤波处理，使其适用于已有的光学图像超分模型，改善图像重建性能同时实现相干斑抑制。

1 雷达图像模型

雷达发射线性调频脉冲信号［13］，接收经系统函数和后向散射系数作用后的回波信号，并对信号处理后得到SAR 图像。 雷达图像本质上是被照射场景目标的距离投影，图像中包含的信息是地面目标对雷达波束的反射信息。

当线性调频信号作为发射信号时，回波信号可表示为

其中，t代表距离向的时间，又称为快时间，γ为方位向上的时间，也称为慢时间，c代表光速，调频斜率由Kp表示，散射系数由σ表示。

对以上回波信号进行成像处理，可以得到SAR图像为

其中，Wr和Wa分别距离向和方位向窗函数。 由式（2）可以发现，SAR 复数图像可以视为理想高分辨率回波信号二维频谱经过加窗处理后得到。 对典型的低分辨率SAR 图像，其距离和方位向窗函数对应的窗长度变窄，使得图像分辨率下降，相干斑噪声更加严重。 这与传统光学图像的低分辨率处理模型存在较大的差异，其低分辨率光学图像通常表示为

其中，Il和Ih分别表示低分辨率和高分辨率光学图像，k为下采样模糊核，⊗表示卷积操作。 与式（2）不同，式（3）中的光学图像信息为实数数据，不包含相位信息，模糊核也通常视为双三次方插值核。 现有光学超分辨率训练数据中，通常认为光学图像下采样后分辨率随之下降，但是不存在噪声增加的情况或者图像中不存在噪声。

2 基于字典稀疏表示和预滤波处理的超分辨率重建

现有SAR 图像超分辨率网络架构通常直接利用光学图像深度学习的训练模型。 然而，实际SAR图像通常经过相干处理方法得到，相干斑和噪声严重，与训练的光学图像之间存在较大的差别。 此外，随着分辨率的降低，SAR 图像相干斑变得更为明显，与通过光学图像幅度上等比例减少像素点的下采样操作得到的训练数据之间存在信噪比上的差异。 为了实现真实SAR 低分辨率图像的超分辨率重建处理，本节对图像进行了分解，去除相干斑噪声，针对SAR 图像提出了基于预滤波处理的超分辨率重建方法。

2．1 基于多尺度联合字典的图像稀疏分解

在成像原理方面，SAR 图像和光学图像存在本质的差异，SAR 图像中所包含的信息是地面目标对雷达波束的反映［13－14］。 而自然光学图像是通过光谱的形式展现对地面目标能量的反映，两类图中的噪声、色调等都有差别，在视觉效果上，自然光学图像更为平滑。 因SAR 图像成像机理的原因，受相干斑干扰严重，而且包含振幅信息的程度远低于光学图像，导致低分辨率SAR 图像的质量更差。

SAR 图像中的相干斑噪声为乘性噪声，与原始图像信号为相乘关系，在图像上呈现为一种黑白点状相间存在的颗粒状纹理，受相干斑噪声干扰的图像一般被建模为

其中，像素点坐标为（x，y），观测到的含噪图像为f，噪声为μ，理想的信号为z，∗符号表示信号间的相乘运算。

SAR 图像中包含不同类型目标的反射信息以及相干斑噪声。 通常，相干斑噪声对超分重建的影响较大。 在进行滤波处理时，设定越大的滤波窗口，去除相干斑的能力就越强，但同时对图像边缘细节的保留能力就越差。 为了更好地保持抑制相干斑与保留边缘细节信息，本节拟基于多尺度字典实现SAR 图像的分解。 其中，字典设计了不同尺寸的窗口大小，以实现将图像分解得到结构和相干斑噪声信息的目的。 其中，定义多尺度过完备字典D， 对SAR 图像取对数，然后构建系列最优化函数

2．2 预滤波

当下大多数基于机器学习进行超分辨率处理的网络，对输入图像下采样的方式较为敏感，一般都是针对自然光学图像进行处理，训练和验证采用的数据都为光学图像，而且在训练网络时采用的高低分辨率图像数据中，低分辨率图像都是通过固定的双三次插值等比例去除像素点的下采样方式由高分辨率图像生成，导致网络模型更适合处理通过同样下采样方式得到的低分辨率图像的重建任务。

校正滤波器［15］是一种轻量级的直接作用在低分辨率图像上的滤波方法，作为超分辨率重建的前置操作，其主要目的是校正网络输入的低分辨率图像的下采样内核，使其更接近于通过双三次插值降采样得到的低分辨率图像，从而使低分辨率图像更适合重建网络的处理。 采用校正滤波作为重建前的预处理操作，相对于将算法更换为SAR 图像数据库对网络模型进行重新训练的方法更为简单，避免了相干斑噪声的进一步放大。 在整个低分辨率SAR图像超分辨率重构的流程中应用校正滤波，可以实现在重建图像的同时削弱相干斑噪声的目的。 然而，实际低分辨率SAR 图像为复数数据，系统模糊函数与插值模糊核有所区别，不能直接应用上述校正处理。 因此，拟构建复数卷积神经网络（CNN）实现图像稀疏分解后强散射和结构信息分量的校正和超分辨率处理。

单图像超分辨率的模型可以描述为

其中，x∈Rn代表潜在的HR 图像，y∈Rm代表观测到的低分辨率图像，k∈Rd（d≪n） 为模糊核，∗表示线性卷积算子，↓α代表采样因子为α的下采样操作。 式（6）还可以更简洁地表示为

其中，S∗表示从Rn→Rm的一个线性算子，它表示整个下采样的操作过程，即对图像模糊处理再采样的组合。

校正滤波器的核心思想是修改观测到的低分辨率图像y ＝S∗x，y代表通过任意降采样过程获得的低分辨率图像，目的是使y更接近由R∗x表示的理想低分辨率图像ybicubic，ybicubic表示通过下采样降质操作得到的低分辨率图像，主要是通过等比例减少像素点的双三次插值方法得到的，与后续采用的超分辨率网络更匹配，R∗表示双三次核的下采样算子，R表示Rm→Rn，代表上采样算子，则假设信号x可以由R（R∗R）－1算子从样本R∗x中完整恢复出来，公式表示为

H表示Rm→Rm，为校正算子，设y ＝S∗x，，当下述条件成立时

此时当H ＝（S∗R）－1时，可证明假设成立

然而，实际低分辨率图像的降采样内核通常未知，需要从已知的低分辨率图像y中估计出降采样内核k和校正滤波器h。 因此在降采样内核未知的情况下，将k设定为式（11，12）目标函数的极小值。

其中， ‖‖Hub代表Huber 损失， ‖mcen·k‖1和‖k‖1为正则化项，其中‖mcen·k‖1保证k密度集中，‖k‖1保证k的稀疏性；α为比例因子。 式（11）中包含两个未知变量，分别为图像模糊核以及真实高分辨率图像，其中两个算子H和S∗均取决于降采样内核k。 为同时实现模糊核的校正和超分辨率处理， 可以采用复数卷积神经网络（Convolutional Neural Networks， CNN）［16］来对分解后图像的信息分量进行处理。

初始输入时，设定模糊核为插值模糊核，并估计H为含校正滤波器h的卷积

应用校正滤波器的超分辨率图像可以表示为

在复数CNN 中，将kbicub作为k的初始值，初始迭代次数设置为250 次，在每次迭代中，都可以得到下采样内核k的估计值，将估计的模糊核用于计算校正滤波器h和超分重建操作得到高分辨率图像的真实估计值，如图1 所示。

图1 基于预处理的SAR 图像超分辨率流程图

3 仿真实验

对超分辨率重建流程效果的评定，本文采用实测数据进行对比验证。 实测数据来源于AFRL 实验室的 SAR 图像。 该实验基于的硬件平台为3.20 GHz CPU 和16 GB RAM 的计算机，软件平台为64 位Windows10 操作系统和Matlab R2018b 仿真软件。 本文将主观的视觉评价指标与客观PSNR 评价指标相结合进行结果评价。 PSNR 指标是对超分辨率重建效果进行评价的最常见指标，是基于重建结果和参考图像的像素点误差进行评估的，PSNR 值越大，则代表重建图像与参考图像之间像素点的差距越小，即网络重建结果在像素方面更接近真实高分辨率图像。

对于通过机器学习方式来实现图像重建的超分辨率网络， 本文采用光学图像处理领域的LapSRN［17－18］网络及DBPN 网络对所提出的超分辨率预滤波流程进行验证。 采用直线航迹机载SAR降采样2 倍时的低分辨率图像作为超分辨率流程的输入。

值得强调的是，从实际角度考虑，SAR 低分辨率图像对应的频谱带宽更低，与光学图像的降采样操作有所区别。 本文通过高分辨率SAR 数据频域滤波处理生成低分辨率图像，更加贴近于现实的情况。 其中，高分辨率SAR 复数图像通过傅里叶变换被变换到频域进行加窗的操作降低带宽，再通过反变换得到低分辨率图像。 由于雷达系统分辨率与回波数据的距离和方位向带宽有关，上述操作获取的低分辨率图像与实际低分辨率图像更相符。 随着分辨率的降低，雷达图像更加模糊，相干斑噪声的影响也更为明显。 与光学图像在幅度域等比例减少像素点的降采样操作获得的图像相比较，SAR 图像中的信噪比更小。 幅度域降采样方式得到的低分辨率SAR 图像如图2（a）和图2（b）所示，本文采用的低分辨率SAR 图像如图2（c）和图2（d）所示。

图2 低分辨率图像

图3 和图4 分别为进行GammaMap 滤波处理后的低分辨率图像以及进行GammaMap 滤波后再校正滤波的低分辨率SAR 图像，可以发现校正之后，图像细节更加清晰，并且通过校正操作后，图像的相干斑噪声并没有被再次放大。 图5 为真实高分辨率SAR 图像，图6 和图7 分别为低分辨率SAR 图像直接进行LapSRN 网络重建以及经过本文预滤波处理流程后进行LapSRN 的重建结果，图8 和图9 分别为低分辨率SAR 图像直接进行DBPN 网络重建以及经过本文预滤波处理流程后进行DBPN 的重建结果，从图6 与图7 以及图8 与图9 的对比中可以看出，通过预滤波处理后的重建结果更为平滑，且相干斑噪声被抑制，图像中的细节信息也有被完整保留，目标的边缘更加聚焦，更为清晰，验证了本文针对SAR 图像预滤波重建流程的有效性。 表1 在客观评价指标上也展现了本文方法的积极效果，通过本文提出的超分辨率流程处理后，相较于直接通过网络处理SAR 低分辨率图像，PSNR 指标大约提升2.4 dB。

表1 PSRN 指标

图3 稀疏分解去相干斑结果图

图4 盲校正结果图

图5 高分辨率图像

图6 低分辨率图像直接LapSRN 重建结果

图7 低分辨率图像预滤波处理后LapSRN 重建结果

图8 低分辨率图像直接DBPN 重建结果

图9 低分辨率图像预滤波处理后DBPN 重建结果

4 结束语

针对SAR 低分辨率图像，本文提出了一种基于预滤波处理的超分辨率重建流程，通过对SAR 低分辨率图像进行去相干斑和校正内核的预滤波处理，可以提高SAR 低分辨率图像通过超分辨率网络重建后的质量，并且在处理流程中做到了对相干斑噪声的抑制。 实验结果从主观视觉角度和客观评价指标上分析证明了该处理流程的有效性，为SAR 图像的超分辨率重建提供了新的思路。