基于深度残差网络的强辐照图像去噪方法研究

李 婷，张 静,2，王 姮，张 华，胡浩行，刘理想

(1.西南科技大学信息工程学院，四川绵阳 621000；2.中国科学技术大学信息科学技术学院，安徽合肥 230026)

0 引言

在强辐照环境下的工程作业任务中，一般通过遥操作机器人上携带的CCD相机获取现场视频或图像信息。清晰的现场视频图像可保障作业任务高效地完成。然而，CCD相机在强辐照环境下受到高能粒子影响后，产生的辐照损伤效应[1]会导致获取的视频信息含有严重的污染噪声，极大地影响了作业效率。因此图像去噪工作至关重要。传统的去噪算法如中值滤波算法、曲波变换和小波变换法等对去除图像中的高斯噪声效果良好，但对于辐照环境下受污染图像去噪受到了限制[2]。由于辐照图像的噪声具有复杂性，传统的噪声处理方法在改善图像质量的同时也使得很多细节信息如物体边缘变得模糊，反而使图像质量降低[3]。目前，卷积神经网络作为一种典型的深度学习方法，具有自动提取图像特征、权值共享等优良特性，在图像去噪领域得到了广泛的应用[4]。Divakar N等人提出了卷积神经网络的图像盲去噪模型，不需要先验信息，输入为含噪图像，输出为清晰图像[5]。但是大多数用于图像去噪的神经网络层数都比较多，这会导致模型涉及大量的参数，计算成本很高，耗时长。He K等人提出了深度残差学习，减少了对网络的训练时间的同时，也解决了网络层数过多难以训练等问题[6]。同时，残差学习在图像处理方面可靠性也得到了验证[7-8]。本文将卷积神经网络(CNN)引入到图像去噪中，提出了一种基于深度残差网络的强辐照图像去噪模型。该网络在降低辐照噪声的同时能较好地保持图像细节。

1 CNN去噪原理

图像去噪的目标是给定一组噪声图像和干净图像组成的训练数据集，CNN能自主学习噪声图像到干净图像的映射。CNN输入二维图像，卷积层通过滑动窗口的形式提取和映射图像的细节特征。特征提取时，前一层的特征图与可训练的滤波器进行卷积来提取图像信息特征，然后通过激活函数生成特征图。将提取到的特征图在更高层进行组合得到全局特征。通常，设置不同的滤波器对同一特征图进行卷积能得到不同的特征表达，进而达到提取特征的目的。一般地，可用如下公式表示卷积操作：

(1)

2 基于深度残差网络的强辐照图像去噪

2.1 残差学习和批归一化算法

网络深度的增加带来的主要问题是梯度消失和梯度爆炸。在CNN中引入残差学习策略能很好地解决CNN随深度增加带来的网络退化问题[6]。图1为普通网络与残差网络传递过程对比。假设最优解映射H(x)=x。对于普通网络，直接拟合H(x)=x表示最优解映射。但是在残差网络中，对于任意堆叠的两层网络，需找到一个映射H(x)对应的残差元。这里是指映射H(x)和x的差值，即F(x)=H(x)-x。此时最优解映射为

H(x)=F(x)+x

式中：F(x)为残差映射；x为输入信号。

图1 普通网络与残差网络传递过程对比

当F(x)无限接近于0时，即完成了最优解映射H(x)=x。采用相同的卷积层拟合出F(x)比H(x)更容易。

在深度神经网络训练的过程中，各层的输入分布会随着前一层的参数变化而变化。这将会直接影响神经网络的收敛速度和稳定性。为了减少数据分布变化，本文通过使用批归一化算法来解决这个问题[9]。

批归一化算法主要的思想是变换重构。假设某一批次输入数据的集合为{t1,…,tm}，其中，数据的数量为m。样本进行归一化后输出数据集合为{I1,…,Im}。这里引入2个可学习的重构参数λ和μ。 为了让网络可以学习恢复出原始网络需要学习的特征分布，因此构建公式：Im=λtm+μ。算法步骤如下：

Step1：计算输入数据均值：

(2)

Step2：计算输入数据方差：

(3)

Step3：对数据进行归一化：

(4)

式中ε为防止方差为0时设置一个常量，一般取接近于0的数。

Step4：训练参数λ和μ：

(5)

2.2 网络结构

图像去噪过程中，辐照噪声图像y(x)为整个网络模型的输入，然后通过网络训练得到残差噪声图像S(x)。最后间接地获得映射，整个过程可以表示为

X(x)=y(x)-S(x)

式中X(x)为经过训练间接得到的去噪图片。

本文的网络结构如图2所示。该网络是基于经典的VGG网络模型修改而得[10]。本文在原VGG网络上增加了网络层数，去掉了池化层和全连接层。因为池化层可能导致图像丢失一些细节信息，不利于图像恢复；而全连接层的作用是主要实现分类，不适合图像去噪。

图2 深度残差神经网络结构

该网络是由20层具有残差结构的级联卷积层组成。为有效防止网络训练过程中梯度消失等问题，网络需设置残差连接。在残差结构中，首先在模型所有残差块外加一个短连接支路，称为第一级短连接支路；然后在第一级短连接支路设置了4个相同的残差块，且每个残差块均由4个卷积层和1个短连接组成。图3为残差块结构。

图3 残差块结构

为了确保输入图像和输出图像大小一致，采用了Padding=same的填充方式。该网络有3种卷积方式，分别如下：

(1)卷积+relu层:输入的噪声图像经过第1层的特征提取后用修正线性单元激活函数(ReLU)进行激活。这里特征提取的卷积核为3*3*1。

(2)卷积+批归一化+relu层：该卷积方式在第2到第19层。在卷积层和relu层之间添加了批归一化算法，是为了对每次前向传播的过程中对数据进行正态分布的归一化调整。卷积核大小为3*3*64。

(3)卷积层：这一层作为整个网络的输出，卷积核大小为3*3*64。

2.3 网络训练及评价指标

由于图像去噪的目的是得到与真实干净图像尽可能相近的图像。这里采用期望残差噪声图像与来自噪声输入的估计残差图像之间的平均均方误差作为损失函数来学习可训练参数。对于整个网络，通过学习噪声图像得到的代价函数为

(6)

式中：N为每个训练批次的样本数量；S(ym；θ)为期望的残差噪声图像；ym-Xm为经过网络后生成的残差噪声图像。

代价函数值越小，去噪效果越好。

3 实验结果及分析

3.1 训练数据及实验环境

实验采用小批量梯度下降法训练网络。实验中Mini-batch大小为128，epoch设置为50；在这50个迭代次数中，学习率从10-1到10-3呈指数衰减。本实验使用Opencv库进行图像处理，采用Tensorflow深度学习框架训练网络，均用python语言编写。实验仿真的计算机配置为2颗intel(R)Xeon(R)E5-2620 V4CPU@2.10 GHz,GPU为2块NVIDIA TITAN Xp，运行内存为64 GB。本文实验平台搭载的操作系统为64位Ubuntu16.04.2LTS，同时使用Anaconda3集成开发工具。

3.2 强辐照图像去噪实验

实验的数据来源于某辐照厂60Co耐辐照性能测试时CCD相机采集的现场图像。其中，CCD相机所处位置检测到的γ射线辐射强度约为80 Gy/h、累积辐照为100 Gy。训练样本选取大小均为960 pixel×576 pixel的500张的强辐照噪声图像和500张无噪声图像。由于深度神经网络训练需要大量的数据样本，为了提高模型的泛化能力，本文采用数据扩增的方式对样本集进行扩增。即对数据集中的图像进行旋转变换和上下翻转，最终得到的2 000幅图像作为实验训练数据集。

实验选取了3个标准灰度强辐照噪声图像(全景、局部1、局部2)为例说明本文算法的去噪效果。利用已训练好的网络模型对图像进行测试处理，并与当前去噪效果良好的BM3D算法、WNNM算法及TNRD算法进行对比测试。表1给出了4种算法处理辐照噪声图像后的PSNR值。可以看出，本文算法去噪后的PSNR均高于其他算法的0.33～1.27 dB。其中，全景图像使用本文算法后提高了13.10 dB；局部1图像使用本文算法后提高了12.60 dB；局部2图像使用本文算法后提高了9.31 dB。

表1 辐照图像去噪PSNR值 dB

图4为3个辐照噪声图像使用4种算法去噪效果直观图。观察局部图像细节可以发现，4种去噪算法均能有效提高辐照噪声图像的质量。其中，BM3D算法和WNNM算法虽然去除了噪声，但是图像的边缘细节部分已经模糊；TRND效果次之；本文算法去噪图像轮廓清晰，纹理细节保留更加完整。

3.3 模拟噪声实验

为了验证该网络的强适应性，还进行了一个盲高斯去噪实验来进一步验证该网络的去噪能力。对选择的30张辐照环境下低噪声图像分别添加标准差为25、50和75的高斯白噪声进行去噪。并与当前去噪效果良好的BM3D算法、WNNM算法及TNRD算法进行对比测试，如表2所示。可以看出，当噪声标准差为25时，本文方法去噪后的PSNR均高出其他算法0.53～0.88 dB；当噪声标准差为50时，本文方法去噪后的PSNR均高出其他算法0.46～0.69 dB；对于3种噪声程度不同的图像，本文算法去噪后得到的PSNR均最高，说明有更好的图像去噪能力。

图4 4种算法去噪效果对比

表2 不同噪声级别时4种算法PSNR结果 dB

在视觉可视化方面，图5为灰度鱼眼图像添加标准差为50的高斯白噪声环境下，与BM3D、WNNM和TNRD算法进行对比的主观去噪效果图。可以看出，本文的算法结果明显优于其他3种算法，去噪的图像更清晰，边缘细节保留的得更完整。

3.4 运行时间实验

除了视觉质量之外，图像去噪的另一个重要方面是测试运行时间。表3为测试核环境下鱼眼图像、局部1图像和全景图像使用不同算法的整体去噪时间对比结果。可以看出，本文算法去噪时间最短，对比TNRD算法，计算耗时降低了约1/5，计算效率明显提升。

表3 4种算法去噪时间对比 s

综合以上实验可以得到，本文算法具有更好的去噪效果，不仅有很好的主观去噪结果，还降低了去噪的时间复杂度，提高了去噪效率。同时，算法克服了大多数算法强辐照环境下适应性差的缺点，在未获取测试图像噪声先验的情况，也能自适应去噪。

(a)原始图像

(b)噪声图像

(c)BM3D算法

(d)WNNM算法

(e)TNRD算法

(f)本文算法

4 结束语

本文将卷积神经网络引入强辐照图像去噪任务中，提出了基于深度残差神经网络的图像去噪方法。该方法将残差学习和批归一化算法引入到深度卷积神经网络模型中，降低了网络训练难度，提高了训练速度和性能。实验结果表明：所提方法在主观视觉和客观评价指标上均优于其他方法，算法的适应性也得到了提高，且该算法不局限于强辐照图像去噪，对盲高斯噪声图像去噪也具有适用性。