全局特征双注意力融合对抗网络的水下图像增强

刘 旭， 林 森， 陶志勇

(1.辽宁工程技术大学电子与信息工程学院，辽宁 葫芦岛 125000； 2.沈阳理工大学自动化与电气工程学院，沈阳 110000)

0 引言

海洋资源的开发推动了我国国民经济的发展，具有广阔前景。在复杂的水下环境中进行探索时，清晰的水下光学图像尤为重要。然而，光在水中传播时经过吸收和散射，严重影响了成像过程，导致图像出现模糊、对比度变差等问题[1]。因此，研究水下图像增强等清晰化技术具有重要意义，将为水下探测车研究[2]、水下生物学[3]、考古学，以及水下设施检查和维护等奠定基础。

由于水下环境的可变性，传统的增强方法无法自适应地改善图像的退化效应。随着深度学习的发展，卷积神经网络(Convolutional Neural Network，CNN)已用于水下图像处理、图像去雾等低质量图像修复任务[4]。LI等[5]提出了一种基于CNN的实时水下图像颜色校正网络，但该网络仅对特定条件下拍摄的图像有效，不能适应多变的水下环境；FABBRI等[6]针对水下自主机器人，提出了一种水下图像增强网络，来改善场景视觉质量；LI等[7]提出了一种基于弱监督颜色迁移的水下图像颜色校正方法，通过学习水下图像和大气图像之间的映射功能，减弱网络训练时对水下配对图像的需求，但其高度依赖于不同场景的训练图像。

然而，光在水中发生散射等因素会导致雾化和色偏区域的局部特征在不同通道或像素中分布不均，大部分基于CNN的增强网络对不同通道或像素中的局部特征做相同的处理，对雾化、色偏严重区域效果不明显。针对此问题，本文提出了全局特征双注意力融合对抗网络(Global feature Dual attention fusion Generative Adversarial Network，GfDaf-GAN)，根据雾气和光照程度分布情况，将一般区域与严重区域的局部特征分别按像素和通道分离，通过网络学习得到不同的权重，提升网络的增强效果。首先，利用卷积层不断对输入图像进行下采样，代替平均池化提取输入图像的全局特征；然后，针对雾气和光照程度分布不均的问题，提出全局特征双注意力融合模块，有效增强不同类型的水下图像；最后，在网络训练过程中，添加一定的陆地条件信息作为限制，提升网络的稳定性。

1 相关工作

1.1 特征注意力机制

特征注意力机制是将注意力集中于局部关键信息的机制。Squeeze-and-Excitation Network[8]是一种经典的注意力机制下的深度学习网络，它将特征图中各个通道进行加权，将重要特征通道与信息冗余的特征通道分开。

大多数水下图像增强网络都会平等地对待每幅图像中不同通道和不同像素中的局部特征，但水下图像由于光在水中发生散射等原因，往往都存在着局部特征在不同通道与不同像素中分布不均的情况。为处理这种情况,本文在生成网络中利用注意力机制，按照图像中雾气分布与光散射、反射情况，在不同的像素和通道区域中自适应地学习并得到不同的权重，使网络更加关注雾化、色偏、光照不均等问题严重的区域。

1.2 条件生成对抗网络

由于条件信息具有一定的限制性，cGAN[9]比原始GAN[10]具有更好的稳定性和更强大的表达能力，并在图像增强和恢复的任务中有出色的表现。GfDaf-GAN算法应用条件生成对抗网络，在一定的陆地条件信息作用下，使GAN网络模型在水下图像增强任务中得到充分的运用。GfDaf-GAN算法的流程如图1所示。

图1中，GfDaf-GAN算法首先将输入图像Z和从室外清晰图像中提取的陆地条件信息C输入生成网络(Generator Network)中，得到生成图像Z′。然后，将生成图像和拥有陆地条件信息的目标图像C′输入鉴别网络，分别计算对抗损失LGAN，L1损失L1和感知损失LVGG，通过3种损失函数的线性组合以及生成图像Z′的损失D-Loss(Fake)，得到生成网络损失G-Loss。D-Loss与G-Loss反向传递不断更新网络参数，最终获得色彩鲜明、清晰、去雾效果良好的水下图像。

图1 GfDaf-GAN算法流程图Fig.1 Flow chart of the GfDaf-GAN algorithm

2 本文GfDaf-GAN算法

针对水下图像出现颜色偏差、雾化和细节模糊等问题，提出基于全局特征双注意力融合生成对抗网络的水下图像增强GfDaf-GAN算法，图2为算法的网络结构图。

2.1 生成网络与鉴别网络

如图2所示，GfDaf-GAN的生成网络由全局特征提取模块(Global Feature Extraction Block，GFEB)及全局特征双注意力模块(Global Feature Dual Attention Fusion Block，GFD-AFB)构成，分别完成全局特征的提取和学习任务。鉴别网络采用基于马尔可夫模型的PatchGAN[11]结构，与全局鉴别算法相比，其计算效率更高，应用领域更加广泛。

2.2 全局特征提取模块

不同于平均池化，算法利用卷积层不断对输入进行下采样，图2中GFEB输出图像维度达到1×1×64时，得到图像全局特征fg即全局特征收集向量(Global Feature-collect vector，GF-cv)。与平均池化相比，逐步下采样的优势在于两个方面：首先，可以自由选择不同分辨率下特征图数量；其次，可以同时提取更多尺度的局部特征，便于其在生成图像时恢复更多的细节信息。同时，GFEB在逐步下采样的过程中利用了文献[12]中的残差模块(Residual Block)，有效避免全局特征在提取过程中部分缺失的情况发生。

图2 GfDaf-GAN算法网络结构图Fig.2 Structure of the network of the GfDaf-GAN algorithm

2.3 全局特征双注意力融合模块

GfDaf-GAN算法生成网络中的GFD-AFB，由通道注意力(Channel Attention,CA)，像素注意力(Pixel Attention,PA)和全局特征融合单元(Fusion of the Global Features Unit，FGFU)构成。

CA通过全局平均池化的方式，将不同通道的全局特征信息代入由两个连续的卷积层(Convolution Layer，Conv Layer)构成的通道滤波器中，即

gU=HGPF(FI)=XU(i,j)fg

(1)

式中：FI代表输入；XU(i,j)代表第U个通道中(i,j)位置的值；HGPF是全局池化函数。通过式(1)稳定全局特征图fg的大小为1×1×64,然后将获取到的特征gU，通过两层Conv Layer和Sigmoid，以及LReLU激活函数传递(如式(2)所示)，神经元学习得到不同通道下不同的权重值为

CCAU=σSigmoid(Conv(δLReLU(Conv(gU))))

(2)

式中：σSigmoid代表Sigmoid激活函数；δLReLU代表LReLU激活函数。

(3)

FGFU位于下侧支路，控制全局特征图fg的大小为1×1×64，通过Conv Layer学习不同区域特征对应的权重值，对其全局特征进行细微调整，即

fg-A=Conv(fg,W)

(4)

fg-A复制H×W次，将得到的fg-B重新插入不同特征匹配到的通道中，即

fg-B=Copy(fg-A,nnum=H×W)

(5)

fg-C=Reshape(fg-B,ssize=(H×W×64))

(6)

式中，H和W分别为输出特征图的高度和宽度,本文均设定为64。

最后，将具有相同尺寸的单元输入和输出特征图通过维度连接层，进行特征整合，即

fg-Out=Concat(fg-C,fg)

(7)

为稳定fg-Out不同像素点上的特征信息，本文在FGFU和PA中间加入一层Conv Layer和LReLU激活函数，即

fg-Out_stable=δLReLU(Conv(fg-Out))

(8)

PA使网络更加关注不同像素上的关键性信息特征。将稳定后的特征图fg-Out_stable作为输入，通过两层Conv Layer和Sigmoid函数及LReLU激活函数传递，使输出特征图的大小由1×1×64变为H×W×1，式(9)为神经元学习得到不同像素下的权重值，即

PPAg-Pixel-A=σSigmoid(Conv(δLReLU(Conv(fg-Out_stable))))。

(9)

(10)

(11)

GFD-AFB不平等地处理不同通道和像素中的特征，减少了网络在冗余信息上的计算量，使网络更加关注重要信息；使网络具有覆盖所有像素和通道的能力；更加灵活地适应复杂水下成像环境，在去雾等方面具有一定的优势。

2.4 损失函数

2.4.1 对抗损失函数

GfDaf-GAN算法是基于生成对抗网络模型，对抗损失函数为

LGAN=E(a)[lbD(a)]+E(b)[lb(1-D(G(b)))]

(12)

式中：b为退化图像；a为目标图像；E为期望。

2.4.2 L1损失函数

选用L1损失[13]来减少伪影，即

(13)

式中：p代表像素，P为该像素所代表的色块；x(p)与y(p)分别代表经过处理后图像色块的像素值和目标图像色块的像素值。

2.4.3 感知损失函数

利用感知损失函数[14]进行特征重建，定义为

(14)

式中：H，W，C分别表示图像高度、宽度和通道数；V表示VGG-19中Conv4_3层非线性变换。

2.4.4 整体损失

最后，确定整体损失为上述3种损失的线性组合，

以加快网络参数收敛,即

L=λLGAN+αL1+(80-α)LVGG

(15)

式中,λ，α为常数,分别设置为2，26。

3 实验分析与结果讨论

为验证GfDaf-GAN算法增强效果，将其与经典算法和新颖深度学习算法进行对比。通过比较复杂水体环境中不同雾化与不同光照程度的图像，及Canny算子边缘检测结果，验证算法在不同水体环境下对雾化、光照不均等问题的增强效果，及图像对比度、纹理细节、轮廓细节增强等方面的作用。

3.1 数据集及实验环境

从EUVP[15]以及UIEB[16]中筛选出的6000幅配对图像，80%作为GfDaf-GAN的数据集，20%作为测试集，并加入U45[16]数据集同样作为测试集，来体现算法的拓展性。实验基于Pytorch框架，配置为Intel®CoreTMi7-8750H，NVIDIA TITAN Xp，32.0 GiB RAM，对比实验的配置相同。

3.2 主观评价与定性分析

为验证算法在复杂水体环境下的对比度及纹理细节增强方面的作用，对4幅不同浑浊度与不同色偏程度的代表性水下图像进行实验，如图3所示。

图3 复杂水体环境下对比实验Fig.3 Comparative experiment under complex water environment

将本文算法与限制对比度的自适应直方图均衡化(Contrast Limited Adaptive Histogram Equalization, CLAHE)[16]、全局直方图拉伸(Relative Global Histogram Stretching,RGHS)[17]、水下图像增强网络(Underwater image enhancement Network,Water-Net)[16]、改善视觉感知的快速增强(Fast underwater Image Enhancement for Visual Perception，FunIE)[15]、增强与超分辨率并行(Simultaneous Enhancement and Super-Resolution，SESR)[18]、水下图像增强的深度残差框架(Underwater Image Enhancement with a Deep Residual Framework，UResnet)[19]和基于多级特征融合的图像增强(Multi-Level Feature fusion-based conditional GAN，MLF)[12]等算法进行分析比较。

CLAHE处理后的图像整体对比度有明显提升，但颜色补偿过强，导致图像细节模糊。FunIE，SESR，MLF对Image1和Image2中的绿色色偏基本无效，在Image3和Image4中FunIE对蓝色色偏有明显改善，SESR和MLF图像雾化现象仍然严重，视觉效果较差。Water-Net虽然对图像色偏有一定改善，但整体偏红色且对比度较差，在Image3中也存在雾化现象。RGHS，UResnet和本文算法结果图像明显优于其他几种算法，但RGHS对绿色色偏处理效果一般，在Image1和Image2中Uresnet存在黄色色偏，RGHS图像曝光严重、整体泛白，在Image3和Image4中UResnet处理后的图像对比度较低，表明GfDaf-GAN算法较其他算法有明显优势。

图4所示为选用Canny算子进行图像边缘检测实验的结果，从图4观察可知，本文算法增强后的图像轮廓清晰，边缘明显且容易辨别，图像纹理细节恢复良好，图像整体层次分明，相比原图提升较大。

图4 边缘检测实验Fig.4 Edge detection experiment

3.3 客观评价与定量分析

通过水下图像质量评价综合指标(Underwater Co-lor Image Quality Evaluation，UCIQE)[16]，水下图像质量测量指标(Underwater Image Quality Measures，UIQM)[16]和模糊评价指标(Blur-Metric)[20]对图像质量进行客观测评与定量分析。UCIQE和UIQM数值越大，表明图像质量越好，Blur-Metric数值越小，表明图像模糊程度越小。表1为图3对应各算法处理的4幅图像的UCIQE，UIQM，Blur-Metric指标测评均值，加粗数值为最优值。从表1可知，本文的GfDaf-GAN算法处理后的图像有更好的色彩、清晰度和对比度表现。

表1 指标评测结果Table 1 Quantitative results

为进一步证实本文算法的高效性，比较各深度学习算法的计算量(FLOPs)和参数量(Trainable params)，结果如表2所示，相比于目前新颖算法，本文算法在计算量和参数量方面均占有明显优势。

表2 计算量与参数量评测结果Table 2 FLOPs and parameter evaluation results

4 结论

针对水下图像中雾气和光照程度分布不均造成的颜色失真、雾化程度高等诸多问题，提出全局特征双注意力融合对抗网络的水下图像增强算法。首先，利用卷积层不断对输入图像进行下采样，进而代替平均池化来提取输入图像的全局特征；其次，通过构建全局特征双注意力融合模块，以适应不同的水体环境；最后，在训练过程中加入一定的陆地条件信息作为限制，提升对抗网络的稳定性。实验结果表明，GfDaf-GAN算法的指标均值均优于其他对比算法，增强后的图像轮廓清晰，证明GfDaf-GAN算法能适应多变的水体环境，能显著改善水下图像雾化和光照不均等问题。在未来工作中考虑在PA后加入图像对比度校正矩阵，提升不同像素点的对比度，进而优化GFD-AFB的处理效果，使网络获得更具视觉表现力的增强图像。