海上舰船目标图像退化函数研究∗

张 坤 李天伟

（海军大连舰艇学院航海系 大连 116018）

1 引言

近年来，图像超分辨率技术得到了有效发展，广泛应用于各种领域，如视频监控、医学成像、高清晰度电视、遥感、手机与数码相机等［1］。目前深度卷积神经网络（CNN）方法在单幅图像超分辨率（SISR）领域取得了非常大的进展［2～3］。但为了训练一个可用的深度网络，基于该算法的图像超分辨率方法需要一个很大的数据集［4］。在海上舰船目标图像的超分辨任务中，实地采集大量同时包含高低分辨率的成对图像数据有很多难以克服的困难。因此为了有效利用现有海上舰船目标高分辨率（High-Resolution，HR）图像数据，需要一种退化函数，能把清晰的海上目标图像处理成低分辨率图像（Low-Resolution，LR），以最大的接近实际采集的海上舰船目标退化图像，而后用生成的数据集训练超分辨率所用的深度网络。

现有基于CNN 的SISR 方法主要假设低分辨率（LR）图像由高分辨率（HR）图像经过双三次（bicubic）降采样得到，因此当真实图像的退化过程不遵循该假设时，其超分辨结果会非常差［5］。实验表明，实际采集的海上舰船目标图像和其降采样图像并不完全符合双三次降采样特征，因此本文以互信息为评价准则，通过与实际采集的降采样图像对比的方法，基于二次线性差值方法和高斯低通过滤器为基础，构建一种有效的模拟海上目标图像退化函数的方法，该方法可对现有数据进行有效拓展。

2 目标图像采集方法

本文对实验数据进行了实地的采集，通过选择合理的地理位置，在港口和舰船的通航路线附近架设双目摄像机，对停泊和航行中的舰船目标进行拍摄。实验使用用两台大华DH-IPC-HF5431组成双目摄像头，共同对同一海上目标图像进行采集。摄像机调至固定化参数，参数如表1。

表1 双目摄像机参数

摄像机架设方式如图1所示。

图1 摄像机架设方式

在实际图像采集中，由于目标距离摄像机较远，可以假设海上舰船目标同时在长焦和广角图像的中间，从而忽略镜头畸变的影响。

最终得到如图2 所示包含该同一目标的低分辨率（LR）和高分辨率（HR）图像，以一组图像为例。

图2 低分辨率和高分辨率图像（左HR右LR）

3 bilinear 差值和高斯低通过滤器在图像退化模型中的应用

3.1 图像退化模型

在通常的图像退化模型中，一般包含一个退化函数和加性噪声［6］，如图3所示。

但在海上舰船目标图像的图像退化过程中，由于使用了相同型号的摄像机同时采集低分辨率（LR）和高分辨率（HR）图像，所以两幅图像有相同的加性噪声，而任务目标为把低分辨率（LR）尽量的恢复到高分辨率（HR）图像，因此在这里只需要考虑退化函数，如图4所示。

图3 图像退化模型1

图4 图像退化模型2

即为

H[f(x,y)]可化为卷积显示，这样式（1）可写成g=h*f，其中h 可分为h1 和h2，其中h1 为图像分辨率退化函数，h2 为图像清晰度退化函数，因此退化函数可写为

在图像复原中，有3 种主要的估计退化函数的方法:1）观察法，2）实验法，3）数学建模法［6］。本文使用实验估计法，使用与获取退化图像的设备相似的装置进行实验。从理论上讲，可以得到一个准确的退化估计函数。

3.2 图像分辨率退化函数

由高分辨率图像（HR）向低分辨率图像（LR）转化过程中，需经历图像差值过程，现有的图像差值算法主要有最近邻插值（nearest），双线性差值（bilinear），双三次插值（bicubic），lanczos 插值［7］等，本文采用的方法采用为双线性差值。

双线性插值，又称为双线性内插。在数学上，双线性插值是由两个变量的插值函数的线性插值扩展，其核心思想是在两个方向分别进行一次线性插值。假如我们想得到未知函数f在点P=（x，y）的值，假设我们已知函数f在Q11=（x1，y1），Q12=（x1，y2），Q21=（x2，y1），及Q22=（x2，y2）四个点的值。

在x，y方向分别差值，得到

若选择一个坐标系统使得f的四个已知点坐标分别为（0，0）、（0，1）、（1，0）和（1，1），那么插值公式就可以化简为

或用矩阵运算表示为

3.3 图像清晰度退化函数

图像滤波器兼有模糊处理和减小噪声的作用，为使退化后的图像接近实际采集的低分辨率图像，同时减小低分辨率图像的噪声，需要对经分辨率退化函数处理的图像进行进一步的处理。

理想的低通滤波去掉了高频信息，即细节信息，保留了低频信息代表了原图像概貌［8～9］。理想的低通滤波器模板为

其中，D0表示通带的半径。 D(u,v)计算方式也就是两点间的距离，计算公式如下:

虽然低通滤波器滤除了高频成分，所以使得图像模糊。但由于理想低通滤波器的过度特性过于急峻，所以会产生了振铃现象，为弥补这种不足，本文采用高斯低通滤波器可有效避免此类现象，Guassian 低通滤波器［10］是一种线性平滑滤波，其函数为

D0表示通带的半径。高斯滤波后图像被平滑的程度取决于标准差。它的输出是领域像素的加权平均，同时离中心越近的像素权重越高。因此，相对于均值滤波［11］（mean filter），它的平滑效果更柔和，而且边缘保留的也更好，不会产生振铃现象。

4 实验结果与分析

为测试本文所运用bilinear 差值和GLPF 图像退化函数的有效性，本文使用Intel ⓇCore i7-7700@3.60GHz、RAM 16.00 GB 的机器，在Matlab 2014b 平台下编程设计了相关实验。实验采用上文所述实地采集的数据，从中挑选50 对图像作为验证数据。使用余弦相似度［9］作为评价指标，其公式为

xi和yi为二维图像合成的一维向量。通过与nearest 插值，bicubic 插值，box 插值，lanczos2 插值，lanczos3 插值等常见差值方法的对比，对同样50 副图像进行差值和比较，得出各差值方法与原LR 图像的余弦相似度均值、方差和运行时间，实验结果如表2。

表2 差值效果对比1

相比于一般使用的bicubic 差值，bilinear 差值在余弦相似度上数值更大而方差更小，平均运行时间较短，生成的图像更接近于实际采集的低分辨率图像（LR）。

在采用双线性差将高分辨率图像转换成低分辨率图像后，使用清晰度过滤器对图像进行进一步的处理，实验使用均值滤波器、圆形均值滤波器、motion滤波器等滤波器作为对比，过滤器参数如下:

表3 过滤器参数

实验图像在经过bilinear 差值处理成目标分辨率后，再使用图像过滤器进行进一步的实验，经过不同的过滤器处理后，再次与原低分辨率图像（LR）进行比较，得到数据如表4。

表4 差值效果对比2

可以看到高斯低通滤波器最接近实际采集的低分辨率图像且方差最小，平均运行时间较短。经bilinear 差值和高斯低通滤波器处理后，得到经退化函数处理的低分辨率图像，部分对比图像见图5。

图5 部分对比图像和其余弦相似度

实验结果表明，该算法能有效模拟海上舰船目标图像的退化过程，生成的图像与原LR 图像的余弦相似度平均在0.997以上。

5 结语

本文运用双线性插值和高斯低通滤波器相结合的算法实现了对海上舰船目标图像的退化过程。实验证明，该算法思想简便，能高效地完成大规模数据的处理，达到了预期的效果。实验结果表明，以余弦相似度作为评价指标，原LR图像与经退化函数处理的HR 图像有超过0.997 的余弦相似性。但是，该算法并未考虑实际的物理过程，对理论上图像退化过程研究不深入，在雨雾的天气条件下退化图像和实际图像可能有较大差别，需要进一步结合天气等物理特性进行进一步优化［12～13］。