光学合成孔径图像超分辨率重建技术研究

刘玉雯，吴玲玲，聂 亮，陈 靖

(西安工业大学 光电工程学院，西安 710021)

0 引言

空间遥感的发展对于高分辨率图像的要求不断提高，对于单孔径(主镜)望远镜而言，较高的空间分辨率需要大孔径支持[1]。入瞳直径越大，光学系统的空间分辨率越高。光学合成孔径通过组合子光学系统，等效单一大口径，提高系统分辨率。光学合成孔径的设计虽然降低了生产成本，但成像时会有中频信息的缺失，光瞳优化、相位调制、图像复原等都是补偿中频信息的关键技术。

2002年，Fienup对比不同噪声模型及填充因子，采用极大似然法和维纳滤波进行图像复原研究[2]；2010年，Stokes研究提高Golay9图像中频对比度问题[3]；2010年，李波对比维纳滤波、最小二乘滤波和极大似然盲去卷积在Golay3的复原作用[4]；2010年，魏小峰等人实验得出维纳滤波算法效果较好，而盲解卷积法能最大程度实现复原效果[5]；2017年，陈灏对不同光瞳排布进行仿真，提出改进维纳滤波算法得到最适宜的复原结果[6]；2019年，姜艳超通过仿真实验发现WDALRD算法能够有效保留图像纹理和边缘信息[7]；2020年，唐睢使用U-Net卷积网络复原三臂形光学合成孔径的图像，能实现图像的快速盲复原[8]；毕玉萍提出SRGAN融合拉普拉斯金字塔思想，通过分阶段重建图像提升图像的重建质量[9]；江玉宁提出改进SRGAN残差块并融合纹理损失的重建算法，降低训练难度及图像伪影问题[10]。

基于深度学习的超分辨率重建算法首次应用于光学合成孔径图像复原领域。本文将分析合成孔径成像退化原因，选定合成孔径系统参数后，对选定的遥感图像进行仿真数据集构建，提出一种改进的SRGAN算法对光学合成孔径成像进行复原研究。

1 光学合成孔径

1.1 光学合成孔径分析

光学合成孔径是将多个小孔径光学系统按照一定的组合规律排列，组成等效的大型综合光学系统。每个子孔径收集的光线汇聚到共同的焦平面上，进行相干叠加，光学合成孔径的分辨率高于任一子系统。子孔径的排列形式有环形、三臂形、Golay及其组合的复杂形式，相比三臂形和Golay形排布，环形结构均匀排列，填充因子范围较广，有较大的装调余量，易于加工装调，故应用较广泛。

本文将研究合成孔径环形七孔结构的图像仿真及复原。由环形七孔的子孔径坐标和光瞳函数等，可得其光瞳排布和MTF分布，如图1所示。

根据图1可知，合成孔径的MTF主峰明显，次峰按规则分布扩展，中低频下降较快，这是成像模糊的主要原因。

光学合成孔径是子孔径相干叠加的组合形式，导致其成像退化的因素除光学合成孔径固有的中频信息损失，还有装调误差引起的散焦和混叠，成像系统的噪声及未知因素。所以，光学合成孔径成像需要进行复原处理，而复原难点及重点是恢复图像的中低频信息。

1.2 光学合成孔径仿真成像

光学传递函数(OTF)反映系统的空间频率响应特性。对于已知光瞳函数P(x,y)的理想系统，对合成孔径点扩散函数PSF作傅里叶变换后进行归一化处理或对光瞳函数进行归一化自相关处理，可得到系统的光学传递函数OTF。根据合成孔径成像的傅里叶变换规律，可模拟合成孔径成像，并根据仿真结果进行图像复原研究。分别采用环形七孔的不同填充因子做合成孔径的仿真图像比较，如图2所示。

图2 合成孔径仿真成像

由图2可知，填充因子数较小，即光学系统进光量较少，成像模糊，缺少纹理等细节特征，符合合成孔径的成像规律。随着填充因子的增大，图像的模糊程度减少，但轮廓特征分辨率仍较低。仿真图像与原图对比后的图像质量评价如表1所示。

表1 环形七孔仿真图像质量评价

据表1结果显示，填充因子越小，图像质量越差，分辨率越低，更需要进行图像复原处理。本文针对填充因子为0.35的环形七孔光学合成孔径系统进行仿真数据集构建及图像复原研究。

2 图像超分辨率重建

2.1 传统超分辨率重建算法

传统超分辨率重建算法先将低分辨率图像进行宽高维度的放大，图像直接放大后会有空白像素，使用插值法进行像素填充，最终生成近似的高分辨率图像。这种重建算法实际是将原图按相近的像素进行扩充，效果不理想。

基于深度学习的超分辨率重建算法通过神经网络直接学习低分辨率图像到高分辨率图像的映射函数。超分辨率卷积神经网络(SRCNN)首次将卷积神经网络融入超分辨率重建技术中，从低分辨率图像中提取图像块，每个图像块被卷积核生成多维特征矩阵；其次，将特征矩阵通过非线性映射，生成更高维的特征矩阵；最后将高维特征矩阵重建成高分辨率图像。

SRCNN网络由三部分组成，首先从低分辨率图像中提取图像块，每个图像块被卷积生成多维特征矩阵；其次，将特征矩阵通过非线性映射，生成更高维的特征矩阵；最后将高维特征矩阵重建成高分辨率图像。SRCNN首次将卷积网络加入超分辨率重建方法中，通过卷积网络学习图像特征，故重建效果略优于插值的重建算法。SRCNN使用的网络层数较少，计算参数相对较少，网络计算较快。

2.2 改进的SRGAN算法

在2.1节中提到的SRCNN是让卷积逐像素块学习，将学习到的像素特征添加到特征矩阵的空白位置，输出高分辨率图像。但该方法缺乏对于中频细节特征的处理，这正是合成孔径成像中急需解决的问题。

SRGAN的输入是轮廓较模糊的低分辨率图像，经过生成对抗网络中的生成器、判别器，迭代优化后生成的高分辨率图像作为合成孔径复原图像。SRGAN将生成对抗网络GAN融入图像超分辨率重建中，GAN的作用是增加一个鉴别网络和两个损失，用一种交替训练的方式训练两个网络。原SRGAN网络的结构如图3所示。

图3 SRGAN结构图

生成网络是通过迭代生成近似甚至优于输入图像的高分辨率图像；判别网络比较生成图像与输入图像，输出0或1作为判别结果；VGG16/19的加入是为提取生成图像和输入图像的特征，进行特征层的比较。SRGAN网络根据感知损失和对抗损失，让生成网络和判别网络交替学习，其中对抗损失值越接近1表示生成效果越好。相比于原SRGAN网络，本次对SRGAN内部的生成器网络改进如下：

1)构建多尺度残差结构。光学合成孔径图像需要复原缺失的中频信息，结合ASPP网络设计思想，将生成器残差网络结构变为三层残差提取网络，在不改变特征图大小的同时控制感受野，有利于提取多尺度信息。改进的SRGAN生成器的残差结构如图4所示。

图4 去除BN层的SRGAN生成器结构

在残差网络内部设置不同尺度的卷积核，提高特征网络的感受野，将不同层次的图像信息进行融合，使输出图像具有纹理及抽象信息。在本次设计中将激活函数变换为LeakyReLU函数，该函数计算高效、收敛快速，在一定程度上缓解了梯度消失。

2)选用部分残差块作多尺度融合。特征网络的设计一般是从网络深度或网络宽度进行改进，这些设计是通过增大模型容量提高准确率，而这些设计的计算量巨大且效率不高，需要大量的人工调参。

多尺度特征提取网络并联了3个尺度的卷积核，可以让网络充分感知图像的特征信息。多尺度网络若使用过多，则会增加整体模型的复杂度和推理时间。本次设计只改变原生成器网络中的2个残差块即B2和B7模块，并在多尺度特征融合后，使用(1,1)卷积核作尺度压缩。改进的SRGAN结构如图5所示。

图5 改进的SRGAN结构

随卷积网络的特征提取，图片分辨率会越来越小，到最后小目标的特征信息可能就会丢失，从而对小目标轮廓复原效果不好。本次设计使用的(3,3)、(5,5)、(7,7)卷积核能较好地适应大目标与小目标的图像信息，让模型学习更加稳定高效。

2.3 超分辨率重建图像评价指标

峰值信噪比和结构相似度是超分辨率重建常用的2种图像质量评价指标。

PSNR即峰值信噪比，借助均方误差来计算图像失真情况，PSNR值越大代表失真图像与参考图像越接近。PSNR是目前图像处理领域最广泛的数值评估方式之一，但其像质评价结果可能与人眼视觉感受有差异。PSNR计算如式(1)、(2):

(1)

(2)

其中：I、K表示原图与输入图像，mn表示图像尺寸，MAXI2为图像最大可能像素值。

SSIM即结构相似度，是一种符合人眼直觉的图像质量评价标准，计算参考图像与失真图像之间的差距，最后用计算出的值作为指标来衡量失真图像的质量，其计算公式如式(3)：

(3)

其中：μ代表均值，σ代表方差，σIK表示协方差，c1、c2为常数。SSIM从亮度、对比度、结构对图像进行评价，其结果越接近1表明图像越相似，复原效果越好。

3 实验结果与分析

随机选出NWPU VHR-10遥感图像中部分图像，根据1.2节的系统参数仿真合成孔径成像结果，构建复原数据集。

本次网络构建基于Python 3.74和Pytorch 1.6框架搭建，在Tesla K80显卡和NVIDIA GeForce GTX 1080Ti GPU的配置环境下完成训练和测试。

3.1 数据增强后的SRGAN图像复原结果

数据增强主要采用图像亮度变化和图像随机翻转处理，针对光学合成孔径所成的灰度图像，亮度改变可增加数据集图像的灰度差异变化，增强模型的学习能力。

对2个数据集进行对比训练，其中original数据集包括40张图像，augment数据集包括320张数据增强后的图像，对每个数据集进行100个epochs的训练。随机选取augment数据集的测试结果，分别为SRGAN迭代1、10、20、50、100个epoch的复原效果图，如图6所示。

图6 SRGAN迭代效果

根据图6选取的5个迭代epoch，记录每个epoch的复原图像与原图对比后的像质评价结果，如表2所示。

表2图像增强像质评价结果

根据表3的评价结果，SRGAN在原数据集上训练的PSNR值比数据增强后的数据集低3 dB，整个测试过程原数据集的PSNR均值为23.6 dB，数据增强数据集的PSNR均值为26 dB。

数据增强数据集的损失函数表现均优于未作数据预处理的原数据集，在数据集一定的情况下，数据增强处理可增加模型训练的稳定性和准确性。

3.2 改进SRGAN结构后的图像复原结果

根据2.2节的算法改进，将生成器中的B2和B7变换成多尺度特征提取网络，生成器中的激活函数全部使用LeakyReLU，所有卷积核在提取图像特征时均不改变图像尺度，将原SRGAN网络与改进后的SRGAN网络在数据增强数据集上训练100个epochs，显示前50个epochs的损失函数如图7所示。

图7 两种SRGAN网络的损失值比较

由图7可知，改进算法的感知损失收敛速度低于原算法，说明多尺度特征提取网络会占用一定的计算时间。改进算法的感知损失下降较为平稳，证明其在较少迭代次数后，就能有效学习图像特征。对抗损失代表了经模型判别器鉴别后的复原效果，对抗损失越接近1代表与原图像越接近，失真程度越少。改进算法的对抗损失在迭代过程中在1附近小幅波动，证明改进算法复原效果较好，可使模型学习更加稳定。

3.3 多种超分辨率重建算法的复原结果对比

传统超分辨率重建算法选用最近邻插值、双三次插值、SRCNN算法。将上述3种方法与原SRGAN算法和本文提出的改进算法进行复原效果对比。

为使SRGAN网络运行更加稳定，均使用倍率因子为4作为网络输入。所有网络均使用数据增强数据集进行复原效果对比。5种复原算法的最终复原效果如图8所示。

图8 复原算法对比

根据图8所示的算法复原效果对比，使用PSNR和SSIM对上述算法作像质评价，如表3所示。

表3 多种复原算法像质评价结果

根据表3像质评价结果，上述复原算法均能提升仿真图像的复原效果。SRCNN通过卷积网络学习图像特征，故重建效果略优于插值的重建算法。改进算法相比原SRGAN算法PSNR提升2 dB。对比上述5种复原算法，改进的SRGAN对光学合成孔径的复原效果最好，PSNR值可达30 dB。

4 结束语

本文通过仿真分析发现，合成孔径成像系统固有的中频信息缺失是系统成像退化的主要原因，在不改变光学合成孔径成像系统结构的前提下，提出一种改进的超分辨率生成对抗网络，对合成孔径图像进行复原研究。通过对光学合成孔径系统的计算及结构分析，确定本文研究的系统参数，并根据系统参数构建合成孔径仿真数据集。由于合成孔径成像为灰度图像，使用数据增强算法对仿真数据集进行亮度调整。本文的改进算法变换SRGAN生成网络的残差结构，设置不同卷积核增加网络感受野，从3个尺度提取图像特征。与传统超分辨率图像复原算法相比，本文算法在运行中更加稳定，收敛速度较快，对光学合成孔径的图像复原效果最好，与原仿真图像相比峰值信噪比提升10 dB。