基于残差卷积神经网络遥感图像超分辨率重建

2021-10-16周长才

长春工业大学学报 2021年4期

刘爽，周长才，王昕

(长春工业大学计算机科学与工程学院，吉林长春 130012)

0 引言

图像的超分辨率重建是一种将模糊的低分辨率图像转变为相对应的清晰的高分辨率图像技术[1]。传统的图像超分辨率重建算法主要分为基于插值[2]和重建[3]的方法，近年来，基于学习[4]的方法成为研究热点,2014年，Dong C等[5]首次提出超分辨卷积神经网络(Super-Resolution Convolutional Neural Network， SRCNN) 算法，将深度学习引入到图像重建领域，SRCNN结构非常简单，仅用三个卷积层就完成了图像的重建，并取得了较好的重建效果。

2016年，Kim J等[6]提出 VDSR 算法，该算法共有20个卷积层，并引入了全局残差学习，与浅层模型算法相比，该算法对自然图像的重建取得了更好的效果。本研究对遥感图像进行重建，对VDSR图像的重建进行改进，使其更适合遥感图像重建。

1 遥感图像超分辨率重建框架

1.1 网络结构

改进的网络模型结构如图 1 所示。

图1 改进的网络结构

模型一共20层，输入层为双三次插值(Bicubic)后的低分辨率图像；中间的18层结构相似，每一层都包括64个3×3的卷积核；最后一层用于图像重建，卷积核尺寸为3×3；激活函数由ReLU函数修改为LeakyReLU函数；为了保证输入图像与输出图像尺寸保持不变，在卷积前对图像边缘进行边框扩充(Padding=1)。

1.2 激活函数的改进

残差网络在训练时可能会出现梯度消失(爆炸)的情况，使训练不易收敛， VDSR 算法使用修正线性单元(ReLU)激活函数，其表达式为

ReLU(x)=max(x,0)。

(1)

ReLU 函数在大于0的区域梯度为常数，可以缓解梯度消失问题。ReLU函数只有线性关系，如果有一个很大的梯度流过一个 ReLU 神经元，那么ReLU很容易就“die”了，这个问题可以用带泄露线性整流(Leaky Recitiffied Linear Unit， LeakyReLU)函数应对，因此，在每个卷积层中使用LeakyReLU函数作为修正单元，以此来增强网络训练的稳定性,其表达式为

(2)

式中：x----输入信息;

a----参数，设为0.05。

1.3 学习规则的改进

在图像超分辨率重建中，VDSR使用了均方误差(Mean Squared Error， MSE)损失函数，而MSE有平方项，加大了误差对图像超分辨率的影响[7]；平均绝对误差(MAE)[8]是另一种常用的回归损失函数，对于超分辨率任务，MAE损失函数有更好的性能和更快的收敛速度[9]，因此,文中使用MAE损失函数替代MSE损失函数。

(3)

(4)

式中：N----训练样本的数量；

xi----第i个样本的实际值；

xk----第i个样本的预估值。

Adam在模型训练过程中采用可调整的学习率，区别于学习率保持稳定不变的随机梯度下降(SGD)，使每一次迭代的学习率都有一个较好的数值，并使训练质量提高[10]。因此,文中使用动量为0.9的Adam[11]优化器替代SGD算法[12]，对模型参数进行优化，不断降低与高分辨率图像之间的差异。Adam 具体表达式为:

(5)

(6)

(7)

式中：gt----t时间步的梯度;

mt----对梯度gt的一阶矩估计；

vt----对梯度gt的二阶矩估计；

β1,β2----参数，分别取0.9和0.999；

ε---- 取 10-8,以防止除数为0；

α----初始学习率，设为0.001。

2 实验分析与结果

2.1 实验环境与数据集

实验采用硬件平台为i7 中央处理器,以及GTX 2080Ti 图形处理器；网络模型为PyTorch框架，使用 PyCharm2020.1.3 x64进行搭建。训练时，放大因子(scale)取3，图像批处理大小(batchsize)为64，动量(momentum)为0.9，权重衰减(weight-decay)参数为0.000 1，初始学习率(Learning Rate，lr)设为0.001，每隔10个epoch降低0.1，一共训练50个epoch。

文中选用遥感图像数据集UCMerced_LandUse，这个数据集共包含 21 个类别，图像像素分辨率为 12×12 dpi，图像像素大小为 256*256。在每个类别图像中随机选取50幅图像生成训练数据集，通过旋转和缩放的方式进行数据增广，在每个类别剩余图像中随机选取30幅图像生成测试数据集。