改进的卷积神经网络红外图像超分辨率算法

廖小华，陈念年，蒋 勇，祁世风

改进的卷积神经网络红外图像超分辨率算法

廖小华，陈念年，蒋 勇，祁世风

（西南科技大学 计算机科学与技术学院，四川 绵阳 621010）

基于卷积神经网络的图像超分辨率算法可以分为图像尺寸放大和图像细节恢复/增强两个步骤，在细节恢复过程中，卷积层直接从输入图像中学习特征并将该特征作为下一个卷积层的输入数据。为了加强输入图像和卷积层各通道图像的特征表达能力，提出了一种新的卷积神经网络算法，该算法对输入图像和通道图像进行选择性灰度变换而增强特征表达的能力。实验结果表明，在公共红外图像数据集和实验室采集的红外图像数据集上，所提方法的超分辨率重建效果均优于当前的几种典型算法，能够恢复的细节信息更多。

红外图像；超分辨率；深度学习；灰度变换

0 引言

红外热像仪利用红外探测器获取目标和背景的辐射热量之差而形成红外图像。因为红外成像技术具有隐蔽性好、穿透性强、辨识性高等优点，红外图像在军事、航天、监控、工业等领域中得到了广泛应用[1]。由于红外光波容易被大气中的水分吸收及红外成像系统的限制性[2]，红外图像存在空间分辨率低、成像质量差等问题。图像超分辨率重建技术是指利用单帧或多帧低分辨率图像恢复一帧高分辨率图像的图像处理技术。相较于研究如何突破硬件上的障碍，运用图像处理技术以提高图像质量是一种更加经济实用的方法[3]。

目前，可见光图像超分辨率重建技术的研究集中于空域[4]，空域的重建算法主要分为插值法[5]、重构法[6]和学习法。受限于低分辨率图像内部先验信息的匮乏，插值法与重构法获取的重建图像仍然不能满足业界对高分辨率图像的需求。学习法是一种利用图像外部先验信息的方法，通过将大量高分辨率图像和低分辨率图像进行成对训练以获取样本对之间的映射关系从而实现图像的超分辨率重建。

基于学习的图像超分辨率方法主要有字典学习法和深度学习法。Yang[7]等假定高分辨率和低分辨率图像具有相同的稀疏表示系数，通过联合学习获取训练图像的过完备字典而完成单帧图像超分辨率重建。由于稀疏表示兼具图像压缩的作用，所以通过字典学习的方式获得的图像存在过平滑现象。随着深度学习的发展，Dong[8]等提出一种基于卷积神经网络的图像超分辨率重建算法（Image Super-Resolution Using Deep Convolutional Networks，SRCNN），不同于字典学习法，SRCNN实则为一种基于空间滤波的图像处理技术。因为SRCNN中包含了有限多个可供训练的卷积核，因此理论上SRCNN可以提取目标图像的任何特征以达到提高图像分辨率的目的。Kim[9]等提出残差卷积神经网络算法用于图像超分辨率重建，残差网络避免了深层卷积网络难以训练的问题。卷积层的加深会带来大量的训练参数，Kim[10]等提出递归卷积神经网络算法，该算法通过多个卷积层共享参数的方式减少了训练参数。Tai[11]等结合残差网络和递归网络的优点提出深度递归残差网络算法，该算法利用递归学习减少训练参数的同时辅以残差学习，使得网络层数达到了52层之多，在当时取得了目前技术水平的实验效果。Jia[12]等提出一种多尺度的卷积神经网络算法，利用两种不同尺寸的卷积核在输入图像上进行特征提取而重建出理想的高分辨率图像。文献[8-12]均采用了先对目标低分辨率图像插值放大再进行图像细节恢复/增强的策略，这表明低分辨率目标图像在整个超分辨率重建过程中只有尺寸放大的步骤而无尺寸缩小的处理。Haris[13]等提出一种基于迭代反投影思想的卷积神经网络算法，该算法可以让低分辨率图像随着卷积层的推进而实现图像尺寸的放大与缩小。

基于卷积网络的图像超分辨率算法实际分为图像尺寸放大和图像细节恢复/增强两个步骤，但无论是只有尺寸放大还是既有尺寸放大也有尺寸缩小的神经网络，此类算法均存在以下问题：卷积网络直接在输入图像上进行特征提取且未给予各卷积层输出的特征图像过多地关注。由于红外图像存在对比度低、细节信息大量丢失等问题，若直接在低分辨率红外图像上进行特征的提取，则难以保证获取到足够有效的特征信息；再者，卷积层各通道的特征图像也存在特征表达能力不足的情况。针对上述存在的问题，本文结合灰度变换提出一种改进的卷积神经网络算法，通过对输入图像和特征图像进行选择性灰度变换而增强其表达特征的能力。在不采取子块化处理的情况下对红外低分辨率图像进行训练，得到一种新的基于深度学习的图像超分辨率重建算法。

1 本文方法

1.1 卷积网络与灰度变换

卷积神经网络图像超分辨率算法是一种基于空间滤波的图像处理方法，卷积网络可以通过一系列的卷积核提取输入图像的不同特征。因为卷积核较多，所以一个训练好的卷积网络能够提取出图像超分辨率重建所需的多种图像特征，最终对不同的特征图像进行融合而实现图像超分辨率重建。图1展示了卷积网络提取到的部分特征图像以及对应的输入图像和标签图像。

图1中，(a)和(b)分别表示输入图像和标签图像，(c)～(f)表示卷积网络中部分通道提取到的特征图像。其中，(d)表示该网络对图中人物较感兴趣。

前已述及，当前基于深度学习的图像超分辨率重建算法分成图像尺寸放大和图像细节恢复/增强两个步骤。灰度变换[14]作为一种简单且有效的数字图像增强技术而倍受关注。徐军[15]等首先将红外图像分割成目标区、过渡区和背景区3种区域，然后对各区域进行不同方式的灰度变换而完成红外图像的增强处理。本文采用马尔科夫随机场算法对实验室采集到的红外图像进行区域分割，分割的结果如图2所示。

图2 马尔科夫随机场图像分割

图2中，(a)表示原始图像，(b)表示分割结果，(c)～(e)表示红外图像分割出来的不同区域。其中，(c)表示在图像恢复/增强过程中的关注对象为图中人物，(d)表示关注对象为图中的树木和建筑，(e)表示关注对象为图中的地面区域。

综上，可以认为红外图像的不同区域等同于卷积神经网络中不同通道提取的特征图像。因为对红外图像的不同区域进行不同的灰度变换可以达到有效恢复/增强图像的目的，那么，若对卷积网络的特征图像也进行有选择的灰度变换，则有望进一步提高卷积神经网络的超分辨率重建效果。

1.2 改进的卷积神经网络

为了增强输入图像和特征图像的特征表达能力，本文结合灰度变换对SRCNN网络结构进行加强处理，提出一种改进的卷积神经网络算法并实现了针对红外图像的超分辨率重建。所提算法对输入的低分辨率红外图像进行可训练的灰度变换，这直接提高了输入图像的特征表达能力；对特征图像进行选择性灰度变换，则间接加强了输入图像中的有效特征且对无效的特征进行抑制。本文算法的神经网络结构如图3所示，图3的算法完整流程为：

Step 1：读入待超分辨率重建的图像并进行插值放大，得到神经网络的输入数据；

Step 2：低分辨率图像在进入第一个卷积层之前进行一次灰度变换以增强输入图像的特征表达能力，令经过灰度拉伸的输入图像为0：

0＝11×(1)

Step 3：对0进行第一次卷积运算，得到第一个卷积层的输出0：

0＝1*0＋1(2)

Step 4：对特征图0的各个通道分别进行灰度变换，令增强后的0为1：

1＝2×0＋2,＝1, 2, …,0(3)

Step 5：将1进行第二次卷积运算，得到第二个卷积层的输出2：

2＝2*1＋2(4)

Step 6：对特征图2的各个通道分别进行灰度变换，令增强后的2为3：

3＝3×2＋3,＝1, 2, …,2(5)

Step 7：将3进行第三次卷积运算，得到神经网络的输出图像：

＝3*3＋3(6)

Step 8：令：

＝{1,2,3,1,2,3,11,2,3,2,3}

则待优化的损失函数为：

Step9：更新神经网络的参数并进行下一轮迭代，制止迭代终止或Loss满足给定的阈值条件。

当要求图像卷积之后的尺寸不变时，图像分块化操作会加重卷积运算的计算量，本文所提算法与SRCNN均不对图像进行分块操作。

2 实验与分析

本实验使用的软硬件平台为：Linux操作系统Ubuntu16.04，Intel XeonE5-1630 v3@3.7GHz四核处理器，16GB内存，Nvidia GTX1080Ti 11GB显卡。实验程序在Tensorflow1.2框架下使用Python2.7.15语言编写。

2.1 数据集与评价指标

文中以公共红外图像数据集TNO（TNO Image Fusion Dataset）和实验室采集的红外图像进行实验分析，对TNO中的红外图像进行数据增强而得到288张训练数据和48张验证数据，测试数据为实验室采集的红外图像。数据增强的方式为：①进行4个角度的旋转（45°，90°，135°，180°）；②4个尺寸的缩放（1/2，1/3，1/4，1/5）；③5个比例的裁剪（0.3，0.5，0.6，0.8，0.9）；④2个方向的翻转（水平、垂直）。经增强后的部分红外图像如图4所示。

采用峰值信噪比（Peak Signal to Noise Ratio，PSNR）作为评价指标，PSNR的定义为：

式中：MSE（mean-square error，MSE）表示两幅图像之间的均方误差，MSE的定义为：

图3 改进的卷积神经网络

图4 数据增强

2.2 消融实验

为了验证灰度变换对增强卷积网络超分辨率重建效果的有效性，本文分别以数据集Image91和Set5作为训练集和测试集进行2倍放大验证实验，所得结果如图5、图6所示。

如图5，Proposed-Line-Line表示21、2、2、3、3均存在且可训练，即对输入图像和特征图像都进行线性灰度变换；Proposed-Line-No表示11存在且可训练，即只对输入图像进行线性灰度变换，而特征图像不进行灰度变换；Proposed-No-Line表示2、2、3、3均存在且可训练，即对输入图像不进行灰度变换，而对特征图像进行线性灰度变换；SRCNN表示11、2、2、3、3均不存在，即不对输入图像和特征图像进行线性灰度变换。

图5 2倍率下不同添加方式的线性灰度变换PSNR曲线

图6 2倍率下线性灰度变换与非线性灰度变换的PSNR曲线

因此，由Proposed-No-Line和SRCNN可知对卷积后的特征图进行灰度变换有利于图像超分辨率重建；由Proposed-Line-No和Proposed-No-Line可知对输入图像进行灰度变换比对卷积后的特征图进行灰度变换更有利于图像超分辨率重建，这存在的一种解释是对输入图像进行灰度变换可以提高低分辨率图像像素之间的差异性，从而直接增强低分辨率图像的特征表达能力并间接提升卷积运算提取特征的能力；由Proposed-Line-Line可知对输入图像和卷积后的特征图分别进行灰度变换有利于提高图像超分辨率重建的效果。

如图6，Proposed-Exp-Line表示11、2、2、3、3均存在且可训练，即对输入图像进行指数灰度变换，而对卷积后的特征图进行线性灰度变换；Proposed-Exp-No表示11存在且可训练，即对输入图像进行指数灰度变换，而对卷积后的特征图不进行灰度变换。

因此，由Proposed-Line-Line和Proposed-Exp-Line可知对输入图像进行线性灰度变换比指数灰度变换更能提高算法的重建效果，这存在的一个解释是线性变换会对全局像素进行相同的对比度拉伸或压缩，而指数变换具备局部拉伸和局部压缩的双重特点。相比之下，线性变换更容易提升低分辨率图像的特征表达能力。

2.3 不同算法的结果比较

将本文算法与经典算法进行比较，以公共红外图像数据集TNO进行模型的训练与验证，以实验室采集的红外图像进行算法测试。采用峰值信噪比作为定量评估指标，并绘制出不同迭代次数时模型的重建效果曲线。

受实验环境、迭代次数的影响，实验结果与SRCNN原文献略有不同，但文中所提算法与复现的SRCNN在数据处理方式和实验参数设置方面均保持一致。图7展示了所提方法与SRCNN在3倍放大尺寸下峰值信噪比随迭代次数的变化曲线。能够看出，相比于SRCNN，本文方法的重建效果和收敛速度都有所提高。

图7 3倍率下不同算法的PSNR曲线

表1给出了不同算法在公共数据集上的PSNR对比；图8给出了不同算法在实验室采集的红外图像上的视觉效果比较。

由表1、图8(a)～(e)可知，本文提出的算法在超分辨率重建效果上均优于几种经典算法；由图8(f)～(g)可知，SRCNN的重建图像边缘较宽，这表明从SRCNN中恢复的红外图像其梯度信息不如本文提出的算法。

表1 3倍率下不同算法对公共红外图像的超分辨率重建比较

图8 3倍率下不同算法对实验室采集图像的超分辨率重建比较

3 结论

本文在现有的卷积神经网络上进行改进，根据灰度变换和空间滤波各自的优势提出一种新型神经网络算法并应用于红外图像超分辨率重建。将文中方法与经典重建算法进行比较，实验结果表明，提出的算法能够恢复更多的细节信息并加快神经网络的收敛速度。

目前，基于深度学习的图像超分辨率重建技术研究主要集中在卷积层如何连接上，这制约了此类算法的进一步发展，新型网络结构单元的设计在今后的研究中应该被重视。

[1] 陈钱. 红外图像处理技术现状及发展趋势[J]. 红外技术, 2013, 35(6): 311-318.

CHEN Qian. The Status and Development Trend of Infrared Image Processing Technology[J]., 2013, 35(6): 311-318.

[2] 江静, 张雪松. 图像超分辨率重建算法综述[J]. 红外技术, 2012, 34(1): 24-30.

JIANG Jing, ZHANG Xuesong. A Review of Super-resolution Reconstruction Algorithms[J]., 2012, 34(1): 24-30.

[3] 李方彪, 何昕, 魏仲慧, 等. 生成式对抗神经网络的多帧红外图像超分辨率重建[J]. 红外与激光工程, 2018, 47(2): 26-33.

LI Fangbiao, HE Xin, WEI Zhonghui, et al. Multiframe infrared image super-resolution reconstruction using generative adversarial networks[J]., 2018, 47(2): 26-33.

[4] YUAN Q, ZHANG L, SHEN H. Regional spatially adaptive total variation super-resolution with spatial information filtering and clustering[J]., 2013, 22(6): 2327-2342.

[5] ZHOU F, YANG W M, LIAO Q M. Interpolation-based image super-resolution using multisurface fitting [J]., 2012, 21(7): 3312-3318.

[6] Simon Baker, Takeo Kanad. Limits on super -resolution and how to break them[J]., 2002, 24(9): 1167-1183.

[7] YANG J C, Wright J, HUANG T S, et al. Image super-resolution via sparse representation[J]., 2010, 19(11): 2861-2873.

[8] DONG C, Loy C C, HE K, et al. Image Super-Resolution Using Deep Convolutional Networks[J].., 2014, 38(2):295-307.

[9] Kim J, Kwon Lee J, Lee K M. Accurate image superresolution using very deep convolutional networks[C]//, 2016: 1646-1654.

[10] Kim J, Kwon Lee J, Lee K M. Deeply-recursive convolutional network for image super-resolution[C]//, 2016: 1637-1645.

[11] TAI Y, YANG J, LIU X. Image Super-Resolution via Deep Recursive Residual Network[C]//2017(CVPR), 2017: 2790-2798.

[12] JIA X Y, XU X M, CAI B. (2018) Single Image Super-Resolution Using Multi-scale Convolutional Neural Network[C]//, 2017: 149-157.

[13] Haris M, Shakhnarovich G, Ukita N. Deep back-projection networks for super-resolution[C]//, 2018: 1664-1673.

[14] 孔琛, 孙坚. 线性灰度变换算法在红外测温系统中应用[J]. 红外技术, 2008, 30(8): 465-467.

KONG Chen, SUN Jian. Application of the Linear Gray Level Transformation Method in Infrared Temperature Measurement System[J]., 2008, 30(8):465-467.

[15] 徐军, 梁昌洪, 张建奇. 一种红外图像增强的新方法[J]. 西安电子科技大学学报, 2000(5): 546-549.

XU Jun, LIANG Changhong, ZHANG Jianqi. A new approach to IR image enhancement[J]., 2000(5): 546-549.

Infrared Image Super-resolution Using Improved Convolutional Neural Network

LIAO Xiaohua，CHEN Niannian，JIANG Yong，QI Shifeng

(Southwest University of Science and Technology, College of Computer Science and Technology, Mianyang 621010, China)

Image super-resolution algorithms based on convolution neural network can be classified into two steps: image size enlargement and image detail recovery/enhancement. During the detail recovery process, the convolution layer learns the feature directly from the input image and takes the feature as the input data of the next convolution layer. In this study, a novel convolution neural network algorithm is proposed to enhance the feature expression ability of input and channel images in convolution layers by the selective gray transformation of the input and channel images. The experimental results demonstrate that the super-resolution reconstruction effect of the proposed method is superior to several typical algorithms in both conventional infrared images and the infrared images collected from our laboratory, and the proposed method can be applied to recover more details.

infrared image, super-resolution, deep learning, gray scale transform

TP39

A

1001-8891(2020)01-0075-06

2019-07-08；

2019-12-17.

廖小华（1991-），男，湖南怀化人，硕士研究生，主要研究方向为数字图像处理。E-mail：xiaohualiao0319@163.com。

陈念年（1977-），男，硕士，副教授，硕士研究生导师，主要从事机器视觉高精密测量、图像处理方向的研究。E-mail：cnnnet@qq.com

西南科技大学研究生创新基金（19ycx0054）。