面向无人船感知的低对比度水面图像增强方法

赵瑞祥，畅海峰，白晓勇，彭银银，吕 武

(中船航海科技有限责任公司 信息产品部, 北京 100070)

0 引 言

无人船环境感知算法依赖高质量图像，如果观感器获取的图像质量不佳，会给后续的高级视觉任务产生严重的影响。在实际应用过程中，光电传感器所获取的图像会受到环境能见度、目标背景光谱对比度和天气状况等因素影响。图像对比度为图像中明暗区域最亮的白和最暗的黑之间不同亮度层级的差距[1]，在海面常见的雨、雾和低照度等环境条件下，光电传感器捕获的图像较暗，对比度较低，导致图像质量退化[2]，对后续的高级视觉任务造成不利影响。因此本文将对上述问题产生的图像退化现象进行低对比度图像增强技术的研究。

针对低对比度图像增强技术的需求，本文研究了MSR（Multi-Scale Retinex）图像增强算法。由于MSR 模型参数是人工设置的（一般为高斯核），没有依赖实际的退化图像数据，因此算法对图像的增强程度具有局限性。针对上述问题，本文提出一种基于卷积神经网络的MSSEN（Multi-Scale Squeeze and Excitation Networks）模型来进行低对比度图像增强。首先，根据MSR 的结构，利用inception（多尺度特征图）模块[3]与res-block（残差块）模块[4]构建MSRN（Multi-Scale Retinex Networks）。其次，增加了多尺度模块滤波器的尺度多样性，使得算法从图像的局部到全局都可以有更佳的增强效果。最后，对不同尺度的滤波器引入通道级的视觉注意力机制技术，使得算法主动筛选出更佳的滤波器，从而达到更好的图像增强效果。训练好的MSSEN 既可以单独处理对比度图像，也可以后续接入高级视觉任务的网络，2 个网络共享权重，进行参数微调之后便可以端到端的在低对比度图像上进行高级视觉任务。

1 正 文

1.1 基于Retinex 理论的低对比度水面图像增强原理

对比度指图像灰度反差的大小，其受入射光影响[1]。Retinex 理论认为图像可以分解为入射光部分与反射光部分[5]，如图1 所示。

上述的Retinex 成像原理将入射部分与反射部分分离开建模，可表示为：

其中：I(x,y)为观察到的图像；R(x,y)为物体反射特性；L(x,y)为入射光图像。反射图像是图像的内在属性，应该最大程度保留，而入射图像影响了图像像素的动态范围与对比度，应当尽量去除。通常把反射图像作为空间平滑图像的估计，则有如下公式：

式中：log(·)函数用于平滑图像。

根据单尺度Retinex（SSR）理论，可利用中心环绕函数辅助求解，其公式转化为：

这里R(x,y)为输出图像，括号中 ∗表示卷积运算，F(x,y)为高斯中心环绕函数，其表达式为：

式中：σ为高斯函数的标准差，也称为环绕尺度；λ为一个尺度系数，它保证整个函数满足以下约束：

由以上公式可以分析出，SSR 算法中通过高斯核与入射图像的卷积运算，计算像素点与其邻域加权平均的作用，来估计图像中光照强度的变化程度。同时去掉L(x,y)的作用，仅保留了I(x,y)的属性。改变卷积与对数运算的顺序，可得到下式：

中心环绕函数F(x,y)通常采用低通函数，卷积运算后能够提取出图像的低频部分。从观测图像中去掉低频部分，就可获得高频分量，即图像边缘信息。所以SSR 算法对增强图像中的边缘信息有着较好的效果。

多尺度Retinex（MSR）算法基于SSR 发展而来，其在实现颜色恒常性的色彩增强的同时，也能够提升图像信噪比、抑制背景干扰。MSR 具体可表示成多个SSR 算子的加权和：

式中：为MSR 算法输出的第i个通道分量；n为尺度数；ωn为对应的第n种尺度的权重；为SSR 输出的第n个尺度下的第i个通道分量。通常，取N=3,，式子展开后为：

将不同的高斯环绕函数F(x,y)展开代入上式得：

由式 (9) 可知，只需设置好高斯环绕函数的参数，便可进行图像增强计算。整个MSR 算法流程如图2 所示。

图2 MSR 算法流程图Fig. 2 The overview of MSR algorithm

1.2 基于MSSEN 的低对比度水面图像增强技术

MSR 算法采用多尺度结构，其中的高斯环绕函数的参数是人工设置的。监督学习通过误差反向传播技术[6]能够很好地指导模型参数进行学习。鉴于此，本文提出了多尺度知识抽取网络（Multi-Scale Squeeze and Excitation Networks，MSSEN）, 使得模型参数可以从大量数据中自动学习。MSEEN 提升了网络抽取图像特征的能力，使得模型能够更好地对低对比度水面图像进行增强。

图3 展示了MSSEN 的整体结构，MSSEN 是一个能进行端到端训练的全卷积网络，它主要由MSRN、IEM 与SRM 串联而成。

图3 MSSE Net 模型网络架构图Fig. 3 The overview of MSSE Net

1）MSRN

对于MSRN 模型，由于初始的MSR 算法采用3 个不同尺度的高斯环绕函数，本文也采用3 种不同尺度的卷积核，其感受野从小到大设置为5×5，15×15和25×25（单位：像素）。通过Inception 结构后，将3 个张量在通道维度上结合。这一运算符合MSR 中对不同尺度SSR 加权的结果。

多尺度的并行特征抽取结构使得模型能够提取到不同尺度的局部图像的特性细节。MSFEM 卷积核感受野尺度k范围如下式：

式中：slow与sup分别是尺度下界与上界参数，本文取2 与24，可根据算法性能与时间效率的均衡性来调节上下界范围。

每个尺度通过一层卷积层完成特征抽取，输出通道数为16 的特征图，进入下一个模块。

2）IEM

特征重要性抽取模块，引入SENet[7]中的通道级的注意力机制，给不同尺度的特征图以及不同通道特征进行权重的重新分配。

在MSR 算法中，对3 个不同尺度的高斯环绕函数的结果采用了平均加权的策略，后来改进的带颜色恢复的MSR 算法中提出了颜色恢复因子来调节不同色彩通道的权重比例，公式为：

式中，ci(x,y)是第i个通道的权重系数，它是图像的自适应函数。

因此，改进了在MSR 中对每个通道进行平均加权的方法，对每个尺度输出的特征图进行特征通道级的注意力机制计算，为每个特征通道分配权重，使得网络能够学习到不同通道的重要程度，如图4 所示。

图4 特征重要性抽取模块示意图Fig. 4 The channel attention module

首先是进行知识嵌入的操作，从输入的特征图U中获取每个通道的全局特征信息嵌入，即特征向量。这一步骤通过全局平均池化（GAP）模块[8]来实现，计算公式为：

式中：uc为U第c个通道，W和H为特征图U的形状参数。

式 (13) 便可将W×H×C的输入U映射为1×1×C的特征向量z，所求取的z代表着每个通道特征的分布情况，具有全局性。

获得特征向量z后，就可通过z来计算分配给每个通道的权重。也就是说，需要一个非线性变换来将z映射为s，它们两者的维度相同，等于U的通道数C，可以采用全连接层来学习这种映射关系：

式中：W1与W2为全连接层的参数；δ(·)为ReLu 激活函数，用于提升映射的非线性能力；σ(·)为sigmoid 激活函数，用于将s中的系数映射到0～1 之间。

学习出权重系数向量s后，将U中每个通道的特征图uc与对应的sc相乘，便得到了加权后的特征图U′：

式中：为U′中第c个通道的特征图；sc为其对应的权重系数，为标量。

3）SRM

特征转化与残差模块作用为减少特征图通道并将其恢复到RGB 颜色空间。由于图像增强任务是点对点（point-to-point）的回归，采用三层编解码（encode-deconde）结构[9]来提升网络性能

最后引入的残差结构，可从两方面阐述其意义。首先，残差模块可以减缓梯度消失的程度，使得网络参数更容易学习。其次，如果去掉残差模块，网络估计的是增强后的图像，损失函数如下：

式中：N为训练样本数量；Xi与Yi分别为第i个低对比度图像样本与它对应的标签（高质量图像）；λ为正则化系数；W为网络参数。

根据Retinex 理论，观测图像由物体的反射部分与入射图像组成。加入残差模块，损失函数如下：

2 个损失函数的差异在于均方根误差MSE 函数中，f1(Xi)为网络估计增强后的图像；f2(Xi)为网络估计入射图像部分；Xi−f2(Xi)是增强后的图像。入射图像f2(Xi)，这部分会调节像素动态范围，相对于完整的增强图像f1(Xi)，其分布比较集中，方差较小，在整个回归任务中，寻优解空间范围大幅度下降，网络更佳容易收敛。

1.3 融合低对比度增强的高级视觉任务

水面目标的检测、识别与跟踪是无人船自主巡航时需要完成的最核心任务。在海面常见的雨、雾和低照度等环境条件下，光电传感器捕获的图像较暗，对比度较低，导致图像质量退化，对后续的高级视觉任务造成不利影响。此时，增强算法处理后的图像是为后续的高级视觉任务服务，本文提出的MSSEN 模型是端到端的神经网络模型。因此，可以作为一个模块与高级视觉任务（如目标检测识别）的神经网络相结合，共享参数，端到端的处理低对比度环境下水面目标的检测识别任务。

如图5 所示，首先训练好低对比度图像增强的网络MSSEN，然后训练目标检测识别的网络。最后用两部分预训练权重初始化2 个网络组合成的网络的参数，然后用检测识别任务的损失函数作为监督进行训练，减小参数更新的学习率，进行参数微调。

图5 低高级视觉任务结合模式Fig. 5 The combination of low-level and high-level visual task

1.4 实验结果分析

1.4.1 数据集生成

为了对MSSEN 模型进行监督训练，需低对比度图像（样本）与高质量图像（标签）的配对图像组合，由于没有这种类型的公开数据集，本文生成一个用于低对比度增强任务的数据集。从BSD 数据集[10]与UCID 数据集[11]中采集水面图像，并且结合从网络中收集一些高质量图像作为标签，然后为上述每一张图像生成与其对应的低对比度图像。首先，将图像转换到HSV 空间，并且将V 通道的值乘上一个范围在0.3～1 之间的随机缩放因子；然后对图像进行伽马变换（Gamma Transform），变换参数gamma 值在1～3 的范围中随机选取。由上述方式一共生成5 372对样本对，如图6 所示。

图6 低对比度水面图像增强数据集Fig. 6 The dataset for low-contrast water surface image enhancement

1.4.2 实验环境与设置

实验环境为64 位的Linux（Ubuntu16.04）系统，Inter 酷睿i7-7700K 处理器，32 GB 内存，Nvidia GTX GeForce 1 080 显卡，8 GB 显存。

在MSSEN 模型中，采用Adam 优化器[12]更新网络参数，一个批次16 个样本，学习率初始化为10−3，每隔100 个epoch 衰减一次，衰减率为0.5，一共训练200 个epoch 网络收敛。

1.4.3 实验结果分析

图7 展示了本文提出MSEEN 算法与MSR 算法分别在图像增强数据集中与实拍图像中的低对比度图像增强实验的效果对比。可以看出，MSR 算法在一定程度上提升了图像对比度，但存在着涂抹感严重，图像边缘不分明的情况。本文提出的基于卷积网络的图像增强算法不仅提升了图像对比度，而且能使得增强后的图像更接近真实图像。相较之下，MSEEN 模型在色彩、饱和度等视觉观感上都显得更加自然，其边缘与纹理等结构信息也更佳清晰。

除了视觉上主观的对比，本文还采用峰值信噪比PSNR 与结构相似性SSIM2 个图像恢复的指标来对不同算法的效果进行量化，在测试集上计算这2 个指标，然后取平均值记录在表1 中。在2 个指标中本文提出的MSEEN 模型都取得了最高分，说明经过MSEEN 算法增强后的低对比度图像能够最大程度消除背景噪声，保留有效信息。同时，具有高信噪比的图像有利于进行图像检测识别任务[13]。

表1 增强图像的PSNR/SSIM 对比Tab. 1 Comparison of PSNR/SSIM on enhanced images

无人船的环境感知模块中加入低对比度增强算法的意图是为后续的高级视觉任务输出高质量图像，以提升高级视觉任务算法的性能。因此，评价低对比度图像增强算法不仅需要从输出的图像质量方面进行比较，也可从图像增强对高级任务带来的提升方面进行比较。

表2 为检测算法作用于不同低对比度图像增强算法增强后的测试集后得到的mAP。实验结果表明，在低对比度成像环境中，本文提出的MSSEN模型能为后续高级视觉任务的提升带来较大贡献。独立2 个网络的权重直接结合使用存在局限，而采用2 个网络的权重作为参数初始化，再进行微调训练，使得2 个网络的权重相互作用，能使得算法性能进一步提升，使其更佳接近高质量成像环境下的算法性能。

表2 低对度图像增强对检测算法的提升Tab. 2 Improvement of detection algorithm by low-contrast image enhancement

2 结 语

本文针对无人船视觉任务中遇到的低对比度成像环境问题进行探讨并提出一些解决方案，首先探讨了MSR 算法的理论与一些不足，然后利用卷积网络重构MSR 算法，提出MSRN 模块，使得MSR 算法的参数能够自适应学习。随后，提出MSSEN 模型，引入视觉注意力机制与编解码结构等，这些改进使得提出的MSSEN 模型能有效利用卷积计算的信息，提升了网络抽取特征的性能，并且在模型训练时易于收敛。通过大量实验验证，提出的MSSEN 模型能有效增强低对比度图像，使其不但在视觉观感上更加接近没有退化的高质量图像，而且在PSNR 与SSIM 等量化指标上取得不错的表现。除此之外，基于提出的图像增强网络，提出了一种低级视觉任务与高级视觉任务结合的模式，使得低对比度图像增强与检测识别任务能够端到端的训练并运行，提升了整个算法的性能与效率。