基于稀疏表示的无人机图像超分辨率重建研究

摘 要：图像分辨率是衡量无人机图像质量的重要指标，然而受图像传感器和光学器件的限制，无人机图像的清晰度难以达到要求，针对上述问题，利用无人机图像库训练得到高、低分辨率图像块字典。同时提出一种基于范数的优化模型，利用全局约束的则化协同表示求解低分辨率图像在上述联合字典下得到高分辨率图像，使之复杂度大大降低且重建速度得到较大提升。通过重建实验对比表明，这种字典的构造方法能使重建出的无人机图像更具表现力。

关键词：稀疏表示;图像超分辨率;正则化协同;联合字典

无人机航拍在交通监控、环保监测等许多户外视觉系统中现已得到广泛应用。高分辨率（High resolution，HR）的无人机图像能够提供更高的像素密度，可提供更加准确的信息。然而，由于户外环境复杂，并且无人机携带的成像设备受成本、飞行载重等因素制约，成像结果无法满足实际需要。因此，提升成像质量成为无人机航拍应用的关键问题。

超分辨率重建技术作为一种提高图像分辨率的有效方法，现主要分为基于插值的超分辨率算法[1]、基于重建的超分辨率算法[2]和基于学习的超分辨率算法[3]。基于插值的超分辨率算法相对简单，具有较低的运算复杂度，但是重建出的高分辨率图像的边缘会产生阴影。基于重建的超分辨率算法将很多先验知识作为约束，但是这类方法重建出的图像会过于平滑，损失了较多细节。总体而言，基于学习的超分辨率重建方法是目前研究的主流方向，其效果也是最好的。

1 无人机图像的稀疏字典

无人机图像超分辨率过程包括LR图像去噪、插值和去模糊、对LR图像的现有成像模型进行处理。LR成像过程可以通过以下方式建模：

其中D是模糊运算符，H是下采样运算符，n是在LR图像生成中引入的噪声，x是目标HR图像，y是观察到的LR图像。在图像超分辨率重建中，利用图像先验知识对高分辨率图像的估计过程进行约束以使结果唯一。

对已有的高分辨率特征图像块集Qh和得到的低分辨率特征图像块集Ql，Dh令表示高分辨率字典，Dl表示低分辨率字典。高低分辨率字典都采用K-SVD进行训练，对应得到高分辨率字典训练如下：

X表示对应字的低分辨率字典的稀疏表示矩阵。对应得到高分辨率字典的训练形式：

X表示对应字的高分辨率字典的稀疏表示矩阵，对公式（2）和（3）进行合并训练，使高分辨率字典和低分辨率字典具有相同的稀疏表示，形式如下：

其中：

M和N对应高低特征图像块以向量表示的维度，利用上述方法，以公式（4）的形式输入，联合HR和LR样本集，采用稀疏编码的方法训练得到具有相同稀疏表示的双字典Dh和Dl。

2 全局稀疏约束的正则化项

考虑到一幅自然图像中通常会存在相似的结构，即存在结构相似的图像块，图像恢复中经常利用这种全局相似性作为图像块恢复时的约束条件，并取得较好的效果，在图像去噪问题中尤为明显。如果对已求得的所有待恢复图像块的稀疏表示系数进行聚类，那么理论上结构相似的图像块的表示系数也应该具有类似的分布。基于此考虑，Dong等人在提出结构聚类型字典时也提出了稀疏系数的聚类，用数学表达式可以记为，

其中，X是N个图像块的联合（以列的形式），Λ是所有系数列αi的联合。上式通过迭代求解，在每次迭代得到系数Λ后，将所有系数αi聚成K类，βk是第K类系数的类中心，在每次迭代时约束第K类的系数αi向此类的类中心βk靠近。

本文的思想是将全局稀疏约束与联合稀疏约束的思想结合起来，对相似块的表示系数进行相似约束。

3 实验结果及分析

本文具体实验过程和步骤如下：

Step1：设置字典训练参数。字典大小设置为1024，图像块大小为5×5，λ=0.06，采样图像块数量为100 000，缩放因子为4。

Step2：获取训练样本图像。在无人机图像退化模型的基础上获得训练样本。使用双三次插值将LR图像插值放大到和HR图像同大小的图像。

Step3：训练字典。對HR图像和LR图像分别进行分块，分快的大小为5×5，然后，使用（5）式的方法对图像块进行训练，得到高低分辨率图像训练字典Dh和Dl。

Step4：无人机图像设置重建参数，λ=0.06，图形快之间的最大重叠数为4，缩放因子为4，反投影法的迭代次数为30。在重建过程中，对原始HR测试图像进行2倍下采样处理得到LR图像，并使用双三次插值法。使用本文的方法，对LR图像进超分辨率重建，获得HR图像。

评价超分辨率图像质量主要分为主观评价和客观评价，前者是通过观察人员的主观感受来评价重构图像质量，后者是根据量化指标来衡量输出图像质量。我们选取了均方误差MSE，峰值信噪比PSNR和结构相似度SSIM来综合评价重构图像性能。其中，MSE如下所示：

式（7）h、w、k中分别表示图像的长，宽和通道;式（8）中的n等于8;式（9）中的l（x，y）、c（x，y）、s（x，y）分别表示图像的亮度、对比度和结构相似度。MSE越小代表重建图像和原始图像误差越小，PSNR和SSIM越大表示重构图像越接近原始图像。

4 不同方法超分辨率重建效果对比

分别使用双三次插值法，OMP法和本文方法对无人机图像进行超分辨率重建所示。使用RMSE和PSNR对图像重建结果进行客观评价，评价结果和运行时间如表1所示。

表1的实验数据表明，本文算法的主观目视效果和客观评价指标均有所提高，运行用时最少。

5 结论分析

本文在传统的图像超分辨率重建的基础上，根据全局稀疏约束正则化项的思想，对稀疏表示的超分辨率正则化约束项进行改进，并将其用于无人机图像的稀疏表示的超分辨率重建，结果表明，算法效果和视觉效果显著提升。运行时间也得到大幅改善。在基于稀疏表示的无人机图像超分辨率重建技术上，图像的纹理信息提取和字典的训练效率还有许多改善的地方，故将来要针对此进行进一步的改进。

参考文献

[1]苏衡，周杰，张志浩.超分辨率图像重建方法综述[J].自动化学报，2013，39（08）：1202-1213.

[2]潘宗序，禹晶，肖创柏，孙卫东.基于自适应多字典学习的单幅图像超分辨率算法[J].电子学报，2015，43（02）：209-216.

[3]李素梅，雷国庆，范如.基于卷积神经网络的深度图超分辨率重建[J].光学学报，2017，37（12）：132-140.

作者简介

邓凯（1992-），男，汉，贵州，学生，研究生，重庆交通大学土木工程学院，研究方向：地质灾害检测预警。