基于灰度归一化融合深度神经网络的水下图像增强方法∗

2021-05-25

舰船电子工程 2021年4期

（上海海事大学商船学院上海 200000）

1 引言

随着海洋经济越来越受到重视，水下机器人应用也越来越广泛，为了可以在危险的水下环境工作，水下机器人应用技术也成为了研究的热点［1］。图像作为水下机器人识别环境的重要手段之一，在获取海洋信息方面具有特殊的意义。水下环境有太多不确定因素导致水下图像不清晰，通常会有“雾化”和色偏现象，其原因是因为水中的杂质会使光发生散射从而产生“雾化”现象，而水体对于不同波长光的吸收能力的不同导致水下图像产生了颜色失真的现象［2］，水体对图像的影响让水下图像的应用变得困难，目前对于水下图像的增强方法研究可以分为基于非物理模型的图像增强算法和物理模型的图像复原算法［3］，改善图像质量可以让水下机器人应用更加高效便捷。

水下图像处理方法有白平衡算法［4］，和直方图均衡化算［5］（Histogram Equalization，HE），自适应直方图均衡化法［6］（Contrast Limited Adaptive His-to⁃gram Equalization，CLAHE），retinex算法［7］以及暗通道先验算法（Dark Channel Prior，DCP）［8］等，以上方法对于部分水下图像处理有一定效果，但不具备普适性。近些年深度学习对于图像增强的研究进展非常快，利用神经网络训练生成无偏差图像也成为水下图像处理的的一种新方法。

另外，基于颜色恒常理论为基础改进的水下图像增强算法也具有很好的效果［9］，颜色恒常理论指出，物体的颜色取决于不同波长光的反射能力且不受光照不均匀的影响，retinex算法以颜色恒常理论为基础，通过模拟人眼视网膜的成像原理实现水下图像的色彩校正和对比度增强，Zhuang［10］等采用多尺度retinex算法对水下图像进行处理得到对比度较高的图片。白平衡方法是根据图像呈现的色温来纠正图片色彩偏差的，根据白平衡算法提出的多种改进算法也获得了较好的结果。直方图均衡化方法是将图像的灰度直方图中的灰度区间集中部分均匀拉伸，扩大图像的灰度值范围并增加对比度，从而突出细节效果。暗通道先验法由He［11］于2009年提出，统计分析大量户外无雾图片R、G、B三通道像素值后建立去雾模型，应用在普通图像去雾场景，对水下增强没有效果，Chiang［12］将波长补偿和DCP结合增强水下图像，汤忠强［13］等通过亮通道和暗通道的作差得到景深图，取反景深图得出透射图，最后校正图像颜色调整亮度得出增强图像。

应用深度学习进行水下图像处理的越来越广泛，Ding等［14］提出利用卷积神经网络生成水下高清图像，利用自适应色彩纠正方法恢复图像色彩，再利用超分辨率重构去除图像模糊。Wang等［15］提出基于端到端网络UIE-net，训练网络估算三色通道的衰减系数，修正图像的色彩和对比度。

2 研究内容

2.1 图像归一化原理

图像归一化常被用于医学图像增强领域，水下图像存在模糊和对比度低等问题和医学图像类似，可以通过提高图像对比度使图像中的特征对比明显，使图像变得清晰。归一化就在保留具有价值的灰度差异的同时，减小甚至消除图像中灰度不一致而进行的图像转换方法，灰度图像具有256个灰度级，图像的实际灰度范围没有占满全部灰度级，而是集中在一个区段，归一化处理可以使图像像素亮度分布平衡，减少光照不均匀造成的影响［16］。其数学表达式如式（1）所示：

式中：N(i，j)为原图像的灰度值；I(i，j)变换后的灰度值；min为原图像中灰度最小值，max为灰度最大值。

2.2 GAN原理

GAN（Generative Adversarial Network）全称为生成对抗网络［17］，是近年来图像处理领域最广泛应用的深度学习网络，主要结构包括一个生成器G（Generator）和一个判别器D（Discriminator），生成器可以捕捉真实的数据分布，并生成接近真实的数据分布，而判别器则判断是否属于真实数据分布，并输出数据分布的概率，通过这种对抗学习的方式，来学习数据分布的生成式模型，其网络架构如图1所示。GAN的优化过程是两个网络之间的博弈过程［18］，其优化的方向是达到纳什平衡，GAN的目标函数如式（2）所示：

式中Ex～pdata(x)和Ex(z)～pz(z)分别表示判别器分布概率的数学期望。

SRGAN是用于图像超分辨率复原的对抗生成网络，其损失函数包括感知损失（perceptual loss）和对抗损失（adversarial loss），感知损失通过神经网络提取出特征与目标图片的特征进行对比得出损失函数，进一步训练使生成的图像与目标图像更接近。

如图2所示，生成器结构中的网络共有23层，包括卷积、批量归一化、ReLU激活层，首先低分辨率图像通过一个64通道步长为1的卷积层，然后通过16个残差网络结构，每一个残差卷积块包括6个64通道步长为1的小块，提取出的特征在残差块中采用跳跃连接，每一层的结果与上一层的输出叠加在一起，经过卷积层后与第一层的卷积结果再叠加，可以防止低层特征损失；反卷积层的上采样使图片的长或宽扩张，经过两个上采样变为原来的4倍，然后利用一个3通道的卷积对原来的通道数进行一个调整，最终得到一个4倍分辨率的图片。

图2 SRGAN网络结构

判别器网络结构只有一个64通道步长为1的卷积层，以及重复多个卷积结构，卷积层分为步长为1和2的两种，重复交叉分布在网络中，通过重复结构之后，原始输入图片长和宽变为变为原始图像的1/16，在最后一个通道数为512的输出之后，通过一个全连接层和sigmoid函数激活得到判别结果，再接一个维度为1的全连接层来输出结果。

在训练过程中，高清训练集输入网络会先生成一幅低分辨率图像，低分辨率图像通过生成器生成一幅虚假的高分辨率图像，此时，将高分辨率的真实图像与生成的虚假高分辨率图像传入判别模型中判别真假，在对比过程中生成训练判别模型的损失函数；同时，真假图像传入VGG网络后，获取图像的特征并进行对比，再得到生成模型的损失函数，如图3所示。

图3 训练流程

SRGAN损失函数如下所示：

内容损失包括MSE损失函数如下所示：

式中W和H代表图像的宽和高，表示高分辨率的图像，ILR为低分辨率图像，G表示生成器，通过与之间的误差得到MSE，提高信噪比。

基于ReLU的VGG损失函数如下所示：

式中φi，j表示某个卷积层的特征图，用于计算与生成图像之间的欧式距离，以便生成更好的细节。

对抗损失如式（6）所示：

对抗损失用于计算生成的图像判定为真实图像的概率，其中N表示像素数。

3 本文算法

首先将图像通过灰度归一化进行一次预处理，受汤忠强［13］等启发，将图像水下模糊图像分解为三通道的并对其进行处理，对三通道的灰度图像分别进行归一化，使其像素的灰度值分布在0～255之间，再将三通道的灰度图融合，得到的图像通过SRGAN网络进行超分辨率重构获得清晰的水下图像，算法流程如图4所示。

利用归一化后的图像与上文搭建的深度学习网络可以很好地获得清晰的水下图像。

4 实验环境与结果分析

4.1 环境配置

本文用于归一化算法测试的的水下图像为50张，深度学习超分辨率重构的高清图像集包括800张，经过旋转扩充为1500张。

灰度归一化算法基于Python3.6环境，SRGAN用TensorFlow框架的Keras模型进行实验，CPU为i7处理器，GPU为 NVIDIA GTX1080 Ti，显存为64GB。生成器残差块层数为16层，初始学习率为0.0001，衰减率为0.1。

4.2 主观分析图像

为验证本文算法的效果，复现了其他三种水下图像处理算法，分别为UDCP、Retinex算法和UCM方法，与本文算法进行视觉对比。

选取8张图片分别用以上四种方法处理，如图5所示。其中UDCP基于水下暗通道先验复原方法是估计背景光选取暗通道中最亮的点作为背景光，使目标和背景对比更鲜明，同时对于整体背景颜色过暗的图像修正效果不佳；UCM算法［19］通过统计方法对R、G和B颜色通道进行对比度拉伸方法实现对比度增强，在HIS颜色模型中对饱和度S和强度I对比度拉伸来增加饱和度，对图像的作用比较明显，过度饱和会使图像的整体颜色偏红，对背景颜色较深的图像效果较好。从对比结果中可以看出本文算法能够更好地适应各种水下图像场景的色彩纠正。

图5 水下图像处理方法对比

4.3 客观分析

除了视觉主观上对比以外，更对以上四种算法进行质量评价。评价使用的四种方法分别是图片结构相似性算法（SSIM）、峰值信噪比（PSNR）、水下彩色图像质量评价（UCIQE）和熵（Entropy）［20］。SSIM值和PSNR的值越高代表图像失真越小；PSNR是重建质量的测量方法，通过MSE定义，分值越高图像质量越好；UCIQE是针对水下图像分别从色度、饱和度和对比度进行评价的综合指标，分值越高代表恢复质量越好；Entropy的分值高表示图像包含的信息越多。

从表1中的数据可以看出本文提出的算法在各项指标中分值较高，结合主观评价的结果证明本文所提出的方法可以有效地处理水下图像。