基于编码一解码对称神经网络的高分辨率图像重构机理研究

熊锐 张雷洪 蒋周杰 王建强 覃榜道 赖纯莉

摘要：针对目前许多图像重构算法存在重构出来的图像不清晰、分辨率低等问题，提出了一种基于编码一解码对称神经网络的高分辨率图像重构算法。首先将图像进行压缩获取低分辨率图像，然后将低分辨率图像作为输入图像经过编码一解码对称神经网络，并利用其中的卷积神经网络进行编码得到特征图像，最后再利用反卷积神经网络进行解码实现图像的细节恢复。实验结果表明，经过基于编码一解码对称神经网络重构出来的图像比之前的低分辨率图像更加清晰，图像的分辨率得到了提高。

关键词：卷积神经;反卷积神经;编码;解码;重构

中图分类号：TP311.1 文献标志码：A

引言

随着越来越多的智能服务出现，人类将进入一个新的智能时代，而深度学习无疑是这股智能浪潮的前沿科技。深度学习是通过提取和组合低层特征形成高层特征来表示其属性类别，便于数据的表示。目前常用的深度学习有三种，分别是卷积神经网络、受限制波兹曼机以及自编码神经网络。1986年，Rumelhart等提出的反向传播算法解决了多层神经网络的训练问题。1990年，Cun等首次提出了卷积神经网络（convolut-ional neural network，CNN），其特点在于卷积层采用局部连接和权值共享的方式进行连接，从而大大降低了需要训练的参数数量，通过降采样层来降低维度，使网络具有更高的鲁棒性，同时能够有效地防止拟合。卷积神经网络作为深度学习的网络模型之一，是专门做图像信息处理的深度神经网，应用于大多数的计算机视觉领域，目前正处于陕速发展阶段。因此，本文将卷积神经网络与反卷积神经网络相结合，提出了一种基于编码一解码对称神经网络的高分辨率图像重构算法。此算法的特点在于：先将压缩图像作为输入图像，经过编码阶段，利用卷积神经网络来获得特征图像;然后再经过解码阶段，利用反卷积神经网络来实现图像细节的恢复，以期取得更好的图像重构效果。

1图像处理的神经网络

1.1卷积神经网络

圖1为卷积神经网络结构，该结构是由多个卷积层与池化层相互交替组合而成。卷积神经网络与其他神经网络的不同之处在于采用了转换图像的过滤器，称之为“卷积过滤器”。使用卷积过滤器可使经卷积层后生成的特征图像突出了原始图像的独特特征。在卷积层中，每层设置了多少个卷积过滤器，相应地将会产生多少个特征映射，最后这些特征映射经过激活函数就可以得到特征图像。

由于神经网络输出端输出的实际值与理论值会存在一定的误差，所以需要通过一个算法来降低输出误差，以此达到优化整个神经网络的目的。因此利用反向传播算法对神经网络结构中的各个权重以及参数进行优化。

1.2反卷积神经网络

反卷积神经网络是在卷积神经网络的基础上对其进行改进得到的。图2为反卷积神经网络结构，其结构与卷积神经网络不同之处在于去掉了卷积神经网络中最后的全连接层，在网络中加入反卷积层。为了得到比输入图像尺寸更大的输出图像，对输入图像进行上采样操作来扩大图片尺寸，同时通过使用反卷积过滤器对图像进行卷积以此来填充图像的内容，使得图像内容变得丰富。这样一个由反卷积层、上采样层组成的层次化的反卷积神经网络结构有助于提取图像的细节特征。

为了得到更高的神经网络重构图像分辨率，本文将卷积神经网络与反卷积神经网络相结合，采用一种基于编码一解码对称神经网络的图像高分辨率重构方法。

2基于编码一解码对称神经网络的图像重构

在典型的卷积神经网络中，网络初始端通常是多个卷积层和池化层的交替组合，在靠近输出层的最后几层网络是全连接网络。但是在卷积层提取图像特征时，会丢失一些细节信息，如边缘、纹理等，随着网络层数的加深，细节信息的丢失会逐渐增加，这不利于图像超分辨率重构及恢复。因此，为了避免过多的细节丢失，本文删除了池化层，并在卷积神经网络后增加了一个反卷积神经网络，卷积神经网络充当编码器用以得到特征图像，反卷积神经网络充当解码器用以恢复原始图像。

图3为编码一解码对称神经网络结构示意图，主要有两部分构成。第一部分（编码）为基于卷积神经网络的特征提取，给定原始图像和随机初始化卷积过滤器矩阵，利用卷积神经网络直接对原始图像进行操作生成特征映射，卷积过滤器矩阵的值是在训练过程中经不断优化确定的。第二部分（解码）为基于反卷积神经网络的图像细节的恢复，将经卷积神经网络得到的特征图像作为反卷积神经网络的输入，反卷积核是经卷积过滤器矩阵变换得到，在一定程度上可以理解为，卷积神经网络中的卷积核与反卷积神经网络中的反卷积核是共享的。

为了衡量基于编码一解码对称神经网络对图像压缩重构的效果，引入损失函数并采用均方误差表示损失函数，其表达式为式中：w为全连接层的网络权重;β为池化层的网络权重;K为卷积核参数;b为各层的偏置参数;m为训练样本的个数;tm为第m个样本预测出来的真值;ym为第m个样本在原来样本中的值，也就是标准答案。由于本文网络结构中并没有涉及全连接层以及池化层，所以参数w和β忽略不计。

损失函数可以用来衡量网络结构的好坏，损失函数越小说明网络结构和参数越符合训练样本。因此训练的过程就是不断地改变参数，从而得到更小的损失函数的过程。在理想情况下，当我们取到损失函数的最小值时，就得到了最优的参数，记为

minE（θ）（3）

式中θ为所有参数的总称。

3实验分析

3.1实验效果

基于编码一解码对称神经网络的图像压缩重构机理仿真采用MATLAB实验平台。在实验中，所用到的训练数据是MNIST数据库，它包含70 000张手写图像数字的图像，通常用60 000张图像做训练，再用剩下的10 000张做验证，每一张都是28x28像素数的黑白图像。考虑到训练时间，本文只采用10 000张图像，其中用于训练的图像为8 000张。如图4所示，本文选用图像数据库中的数字“2”、数字“7”和数字“1”作为仿真对象，这些数字均为28像素×28像素的二值图像。

本文所采用的压缩方式为：首先确定图像在尺寸上进行压缩的倍数，本文进行两倍的压缩;其次调整图像的尺寸，使调整后的尺寸能够压缩为原先的两倍;再次以补零的方式进行填充，使图像恢复为原先的尺寸，如图5所示;最后将恢复后的低分辨率图像作为编码一解码对称网络的输入图像来进行接下来的操作。

将编码一解码对称神经网络结构中的每个隐藏层中的节点个数设置为20个，那么会生成20个卷积滤波器以及20个特征图像。以数字“2”为例，如图6所示，图中（a）为生成的卷积滤波器，（b）为卷积之后的图像，（c）为卷积之后经过激活函数之后的特征图像。图7为经反卷积操作之后数字“2”、数字“7”和数字“1”的重构图像。

3.2可行性分析

为了客观精确地衡量基于编码一解码对称神经网络的图像重构质量，这里引入了均方差（mean square error，MSE）和峰值性噪比（peaksignal-to-noise ratio，PSNR），可分别表示为：式中：MSE为原图像与重构图像之间的均方误差;M、N分别为图像的宽度和高度;R（i，j）为原始图像对应像素点的值;F（i，j）为恢复图像对应像素点的值;amax为图像中最大像素点的值。PSNR值越大，说明两幅图越相似，即恢复的图像质量越高。

表1分别列出了压缩之后的低分辨率图像和基于编码一解码对称神经网络的图像高分辨率算法重构出来的图像。经计算可以得到，低分辨率图像的PSNR值比本文方法重构出来的PSNR值要低，说明低分辨率图像经基于编码一解码对称网络的图像高分辨率算法之后分辨率、清晰度都得到了提高，说明本文所提出的方法可行。

3.3效果对比

本文将基于编码一解码对称神经网络的图像高分辨率重构算法与基于深层前馈卷积神经网络的图像重构算法进行比较。其中基于深层前馈卷积神经网络的图像重构算法主要用于消除图像中的噪声，同时其本身的体系结构也可以通过被训练来重构压缩图像以及提高图像分辨率。为了客观地对这两种算法进行评价，本文采用了相似度参数s，对于大小为MxN的图像，s的数学表达式如下：

式中：x为原始图像;x'为裁切过的重构图像。

图8比较了用不同重构算法得到的图像，其中：（a）为原始图像;（b）为基于编码一解码对称神经网络的图像高分辨率重构算法重构出来的图像（本文算法）;（c）为基于深层前馈卷积神经网络的图像重构算法重构出来的图像。由此得出：（1）基于编码一解码对称网络的图像高分辨率算法重构出来的图像效果在图像清晰程度、细节纹理方面要优于基于深层前馈卷积神经网络的图像重构算法重构出来的图像;（2）经相似度公式计算得到基于编码一解码对称网络的图像高分辨率算法重构出来的图像相似度值为0.996 5，而基于深层前馈卷积神经网络的图像重构算法重构出来的图像的相似度值为0.866 4。由此可见，基于编码一解码对称网络的图像高分辨率算法重构出来的效果更佳。

4结论

本文提出了一种基于编码一解码对称神经网络的图像高分辨率重构方案。首先将图像在尺寸上进行两倍的压缩以获取低分辨率的压缩图像，然后将此压缩图像作为输入图像，再经过编码一解码的对称神经网络的图像重构算法重构图像。本文采用MATLAB软件进行仿真实验，并进行了可行性分析和效果对比分析。实验结果表明，基于编碼一解码对称神经网络的图像高分辨率算法能重构出清晰度更高，质量更好的图像。