水下图像增强复原对深度学习目标检测精度的影响研究

杨谢柳，门国文，梁文峰，王 丹，谢正义，范慧杰

（1.沈阳建筑大学 机械工程学院，沈阳 110168；2.中国科学院沈阳自动化研究所 机器人学国家重点实验室，沈阳 110016）

0 概述

近年来，随着人口的不断增加，陆地资源日渐紧缺，拥有丰富矿产、生物等资源的海洋成为各国开发的重点。由于水下环境的特殊性，人类无法长时间水下作业，因此水下机器人成为完成水下任务的主要工具。借助视觉方法自动感知水下环境、判断目标位置和类别等信息，是水下机器人自动完成水下任务的一种重要途径。随着深度学习的快速发展，基于深度学习的目标检测方法因其速度快、精度高而被广泛应用于水下机器人。

水及水中的悬浮颗粒会对光线产生吸收和散射作用，且吸收和散射程度因波长而异，使得水下可见光图像往往存在颜色失真、模糊、对比度低、信噪比小等问题。为恢复颜色正常且清晰的水下图像，大量的水下图像增强复原方法被提出。水下图像增强复原方法虽然能够改善图像视觉质量、提高局部特征点匹配、轮廓检测等低层次视觉任务的精度［1-3］，但是对目标检测和识别等高层次视觉任务的影响并不明确。因此，研究水下图像增强复原方法对基于深度学习的水下目标检测精度的影响是非常必要的。

本文使用10 种传统的和4 种基于深度学习的水下图像增强复原方法对数据集进行处理，利用3 种典型的基于深度学习的目标检测方法（YOLOv5、SSD 和Faster R-CNN）进行目标检测，在水下机器人采摘大 赛（Underwater Robotic Picking Contest，URPC）2018 和URPC2019 数据集上进行单域和混合域实验，探讨当训练集和测试集均属同一数据集时水下图像增强复原方法对深度学习目标检测精度影响。通过自建数据集进行测试实验，分析跨数据集检测时水下图像增强复原方法对深度学习目标检测精度的影响。

1 相关工作

1.1 水下图像增强复原

目前，提升水下图像质量的方法可分为基于水下光学成像模型的图像复原方法和与光学成像模型无关的图像增强方法2 类。图像复原方法通过逆向求解水下光学成像模型参数来获得清晰图像，而图像增强方法通过调整图像像素值来提高图像视觉质量。

在水下图像复原方面，为实现水下光学成像模型的逆向求解，许多先验假设已被提出，常用的有暗通道先验（Dark Channel Prior，DCP）［4］、红通道先验（Red Channel Prior，RCP，）［5］、水下暗通道先验（Underwater Dark Channel Prior，UDCP）［6］、水下光衰减先验（Underwater Light Attenuation Prior，ULAP）［7］、模糊先验（Blurriness Prior，BP）［8］、最大强度先验（Maximum Intensities Prior，MIP）［9］、图像模糊与光吸收（Image Blurriness and Light Absorption，IBLA）先验［10］等。随着深度学习的不断发展，卷积神经网络也逐渐被用于水下图像复原，包括利用卷积神经网络实现深度图的提取［11］、背景光估计及端到端的水下图像复原［12-13］等。

在水下图像增强方面，白平衡方法经常被用于水下图像的色彩校正［14-15］，直方图拉伸常被用于改善水下图像的视觉效果［16-17］，通过在频域内增强高频信号抑制低频信号也可提升水下图像的视觉效果［18-19］。深度学习在水下图像增强方面也逐渐得到应用，主要可分为基于卷积神经网络的增强方法［20-21］和基于生成对抗网络的增强方法［2，22-24］。

传统的水下图像增强复原方法原理简单易于实现，但容易产生人工噪声、过度增强等问题。基于深度学习的图像增强复原方法能够从大量数据中自动学习水下图像与增强图像之间的映射关系，但是理想图像缺失是基于深度学习的水下图像增强复原方法面临的主要困难。

1.2 基于深度学习的目标检测模型

根据是否有区域候选框生成网络，基于卷积神经网络的目标检测模型可分为两阶段目标检测模型和单阶段目标检测模型。目前，典型的两阶段目标检测模 型主要有R-CNN、SPP-Net、Fast R-CNN、Faster R-CNN、FPN、Mask R-CNN 等，单阶段目标检测模型主要有YOLO 系列、SSD、RetinaNet、RefineDet等。其中，R-CNN、Fast R-CNN、Faster R-CNN、YOLO系列、RetinaNet 等已被用于水下目标的检测［25-27］。两阶段目标检测模型的检测精度更高，一阶段目标检测模型的检测速度更快，但YANG 等［27］在URPC数据集上进行的对比实验结果表明，YOLOv3 的检测精度和检测速度均优于Faster R-CNN。

1.3 水下图像增强复原对深度学习目标检测精度的影响

在基于深度学习的目标检测中，水下图像增强复原方法可通过图像预处理方式或数据增强方式参与训练。数据增强方式是指将增强或复原后的图像和原图像同时参与模型训练。图像预处理方式是指用增强或复原后的图像代替原图像进行训练。

CHEN 等［28］对URPC 数据集中的各训练图像随机使用限制对比度的自适应直方图均衡（CLAHE）、IAASharpen、IAAEmboss 和 Random Brightness Contrast 4 种增强方法中的一种进行增强预处理，利用Faster R-CNN 进行目标检测，发现使用增强方法进行预处理后MSCOCO 的mAP 指标提高0.3 个百分点，mAP50指标提高0.6 个百分点。

CHEN 等［29］在URPC2018 数据集上使用基于滤波和生成对抗网络的图像增强复原方法对图像进行处理，使用单阶段目标检测模型SSD、RetinaNet、RefineDet 和DRN 进行目标检测，探讨水下图像增强复原对深度学习目标检测精度的影响。实验结果表明，水下图像增强复原方法无论作为图像预处理方法还是图像增强方法都无法提高深度学习目标检测精度，但是实验只在单阶段目标检测模型上对2 种水下图像增强复原方法进行对比，更多类型的目标检测模型和水下图像增强复原方法是否也支持上述结论仍待进一步研究。

PENG 等［30］采 用GDCP、IBLA、Water-Net 和UWCNN 4 种水下图像增强复原方法对URPC2019数据集进行处理，使用单阶段目标检测模型YOLOv5 进行目标检测，研究增强复原方法对目标检测精度的影响。其结论为图像增强复原方法作为预处理方法不能提高深度学习目标检测精度，但作为数据增强方法可以提高深度学习目标检测精度。该结论与CHEN 等［29］的结论存在矛盾之处。

2 数据处理与目标检测模型

该部分将对实验中所使用的水下图像数据集、14 种典型的水下图像增强复原方法和3 种基于卷积神经网络的目标检测模型进行介绍。

2.1 数据集

卷积神经网络的训练需要大量的数据，但现有用于水下目标检测的数据集比较少。本文所使用的数据集 是URPC2018 和URPC2019。URPC2018 数据集共包含3 641 张图像，包括海星、海参、扇贝和海胆4 种海洋生物。该数据集中的图像具有较严重的色偏、图像模糊且对比度低，因此，在该数据集上研究水下图像复原与增强算法对目标检测精度的影响是合适的。在实验中按比例7∶1∶2 划分数据集，2 548 张图像用于训练、361 张图像用于验证和732 张图像用于测试。URPC2019 数据集只是在URPC2018 数据集的基础上新增了1 056 张图像，实验中按比例7∶1∶2 划分数据集，训练集3 288 张、验证集470 张和测试集939 张。

2.2 水下图像增强复原方法

本文选取14 种典型的水下图像增强复原方法进行实验，包含6 种图像复原方法DCP［4］、UDCP［6］、MIP［9］、ULAP［7］、GB［31］和IBLA［10］，以及8 种图像增强方 法 ICM［32］、HE［33］、CLAHE［34］、UCM［16］、UWCNN［20］、Water-Net［21］、FUnIE-GAN［23］和UIEDAL［24］。其中，UWCNN、Water-Net、FUnIE-GAN 和UIE-DAL 是基于深度学习的方法，其他是传统方法。上述增强复原方法对水下图像的处理结果如图1 和图2 所示（彩色效果见《计算机工程》官网HTML版）。Water-Net 和UCM 对色偏校正和对比度提高都有明显效果，CLAHE 和ICM 在对比度提升方面有一定的效果，HE 能够在一定程度上提高对比度，但同时引入红颜色色偏。

图1 原图1 的增强复原图像Fig.1 Enhancement restoration images for original image 1

图2 原图2 的增强复原图像Fig.2 Enhancement restoration images for original image 2

2.3 目标检测模型

本文将使用单阶段目标检测模型YOLOv5 和SSD，以及两阶段目标检测模型Faster R-CNN 进行水下目标检测。网络模型的优化器均为SGD。网络模型的主干网络和参数设置如表1 所示。

表1 目标检测模型的主要参数Table 1 Main parameters of object detection models

3 实验与讨论

本文实验所使用电脑的主要配置如下：内存32 GB、Intel®CoreTMi7-9700K CPU 和NVIDIA GeForce RTX 2070 SUPER GPU（8 GB）。第3.1 节和第3.2 节所用的数据集为URPC2018，第3.3 节所用的数据集为URPC2019。对所有的检测模型都进行了充分训练，均使用mAP 作为目标检测精度的评价指标。

增强复原处理会导致图像的数据域发生变化［29］，因此本文将同类图像作为单域图像，如原始图像为单域图像，经同一增强或复原方法处理后的图像也属于单域图像。训练域和测试域不相同时称为交叉域测试。交叉域测试示意图如图3 所示。根据训练集混合方式的不同，将混合图像数据集分为完全混合域、二类混合域和加倍二类混合域。

图3 交叉域测试示意图Fig.3 Schematic diagram of cross-domain test

3.1 单域训练同域及交叉域测试

在本实验中，通过在单域图像上训练、在同域及交叉域图像上测试，验证增强复原方法对目标检测精度的影响。

1）使用YOLOv5、Faster R-CNN 和SSD 3 种目标检测模型在原始图像和各增强复原方法处理后的单域图像上分别进行模型训练，得到3×（14+1）=45 个训练模型。

2）图4 所示为YOLOv5 模型在示例图像上的检测结果。对上述45 个训练模型进行同域测试，记为实验A，实验结果如表2 所示。为简化表示，将原始图像训练模型同域测试的mAP 记为mAP_baseline。在3 种目标检测模型上mAP_baseline 分别为75.1%、74.2%和71.1%，高于所有增强复原图像训练模型同域测试的mAP。

表2 单域训练同域测试结果Table 2 Results of single-domain training and same-domain test %

图4 YOLOv5 同域检测结果的对比Fig.4 Comparison of YOLOv5 in the same-domain detection results

3）使用原始图像测试集对上述45 个训练模型进行交叉域测试，记为实验B，实验结果如表3 所示。对于原始图像训练的模型，该实验依然为同域测试实验，因此结果与表2 相同。从表3 可以看出，在交叉域测试实验中所有训练模型的mAP 较同域测试的mAP 有大幅下降，也均低于mAP_baseline。

表3 单域训练原始图像交叉域测试结果Table 3 Results of single-domain training and original image cross-domain test %

4）在原始图像训练的模型上对各增强复原图像测试集进行交叉域测试，记为实验C，结果如表4 所示。MIP增强复原方法在3种目标检测模型上的mAP分别为74.6%、71.6%和69.6%，但仍低于mAP_baseline。

表4 原始图像训练模型增强复原图像交叉域测试结果Table 4 Results of original image training model and enhancment restoration image cross-domain test %

3.2 混合域训练

为更加全面地研究水下图像增强复原对目标检测算法性能的影响，本文采用原始图像和增强复原图像组成不同类型的混合域图像数据集，对3 种目标检测算法进行训练和测试。

3.2.1 完全混合域

从原始图像训练集和14 种增强复原图像训练集中各随机选取1/15 的图像，从每个数据集中选取的图像不重复，组成1 个图像数量不变的混合训练集，称为完全混合域图像。本文采用完全混合域对上述3 种目标检测模型进行训练，对原始图像测试集及各增强复原图像测试集分别进行测试，记为实验D，测试结果如表5 所示。从表5 可以看出，与单域训练交叉域测试相比，由于完全混合域的训练图像类型更多，其测试mAP 更加集中，因此mAP 最小值远大于单域训练交叉域测试中mAP 的最小值。3 种目标检测模型在原始图像测试集上的mAP 分别为73.4%、71.3%和69.7%，仍高于所有增强复原图像测试集的结果，但完全混合域训练的模型在各类测试集上的mAP 均低于测试集所在域的单域训练同域测试mAP。

表5 在完全混合域上的测试结果对比Table 5 Comparison of test results on fully mixed-domains %

3.2.2 二类混合域

由于YOLOv5、Faster R-CNN 和SSD 3 种深度学习目标检测模型在前述实验中的表现是基本一致的，因此后续仅使用YOLOv5 进行实验。

将原始图像训练集中的图像随机选取1/2，再分别从14 种增强复原图像的训练集中各选取1/2（与原始图像训练集中选取的图像不重复），将原始图像中选取的图像分别与14 种增强复原图像中选取的图像进行混合，组成14 个混合训练集，每个训练集称为1 个二类混合域。本文分别使用这14 个二类混合域对YOLOv5 进行训练，采用与训练集图像类型相同的2 种测试集分别进行测试，记为实验E，结果如表6 所示。

表6 在二类混合域上的测试结果对比Table 6 Comparison of test results on two-class mixed domains %

从表6 可以看出，原始图像测试集的mAP 依旧高于增强复原图像测试集的mAP，与完全混合域训练模型测试的mAP 相比，无论是增强复原图像还是原始图像，二类混合域的mAP 均有提升。

3.2.3 在URPC2018 数据集上的加倍二类混合域

将原始图像训练集分别与14 种增强复原图像的训练集进行合并，组成14 个图像数量加倍的混合训练集，称为加倍二类混合域。同时，将原始图像训练集原样复制，生成图像数量加倍的原始图像训练集。训练和测试过程与二类混合域相同，记为实验F，测试结果如表7 所示。一方面，二倍原始图像训练集的测试mAP 比单倍原始图像训练集的mAP 有所下降，说明训练数据重复对提高检测精度无益；另一方面，与二类混合域训练模型测试的mAP相比，在加倍二类混合域训练的模型上，增强复原图像测试的mAP 除CLAHE 方法以外，其他方法的mAP 均有提升，原始图像测试的mAP 除DCP、ULAP和Water-Net 方法以外，其他方法测试mAP 也均有提升。在所有14 种增强复原方法的加倍二类混合域训练模型中，只有MIP 方法的训练模型在原始图像上的测试mAP 略高于单倍原始图像训练模型的同域测试mAP，提高0.1 个百分点。

表7 在加倍二类混合域上的测试结果对比Table 7 Comparison of test results on doubling the two-class mixed domain %

3.3 在URPC2019 数据集上的加倍二类混合域

本文将在URPC2019 数据集上验证上述加倍二类混合域实验结论，为减少计算量，在上述14 种增强复原方法中随机选取9 种对数据集进行处理，包 括Water-Net、IBLA、UWCNN、MIP、ICM、GB、CLAHE、UCM 和UDCP，然后与原始图像训练集组成9 个加倍二类混合域，用YOLOv5 进行训练和测试，记为实验G，结果如表8 所示。YOLOv5 在单倍原始图像训练集上的同域测试mAP 为83.7%，可见，二倍原始图像训练集的测试mAP 相比单倍原始图像训练集的测试mAP 有所下降，同时，在所有9 种增强复原方法的加倍二类混合域训练模型中，只有UCM 和UDCP 方法的训练模型在原始图像上的测试mAP（83.9%、84.1%）略高于单倍原始图像训练模型的同域测试mAP，分别提高0.2 和0.4 个百分点。

表8 在URPC2019 数据集上加倍二类混合域上的测试结果对比Table 8 Comparison of test results on the doubling the two-class mixed domain on the URPC2019 dataset %

3.4 跨数据集测试

为研究增强复原处理方法对跨数据集检测精度的影响，本文从网络中搜集570 张水下图像并进行标注，建立了跨数据集测试集，示例图像如图5 所示（彩色效果见《计算机工程》官网HTML 版）。该测试集包括海星317 个、海 参251 个、扇 贝55 个、海 胆244 个。与URPC2018 数据集相比，该测试集中模糊、色偏等退化现象较轻，每幅图像包含的目标个数较少，目标相对较大。

图5 跨数据集测试图像示例Fig.5 Example of cross-dataset testing images

3.4.1 单域训练同域测试

本文在URPC2018 数据集中单域训练的15 个YOLOv5 目标检测模型上进行跨数据集同域测试，记为实验H，结果如表9 所示。从表9 可以看出，原始图像训练模型同域测试的mAP 为49.6%，14 个增强复原方法同域测试的结果中，有9 种方法测试的mAP 高于49.6%，5 种方法测试的mAP 低于49.6%，其中最高为MIP 方法，mAP 为56.7%；最低为FUnIE-GAN 方法，mAP 为38.6%。与实验A 中表2 的数据相比，跨数据集的测试精度比同数据集的测试精度下降了约34 个百分点。

表9 在跨数据集测试实验中的单域训练同域测试结果Table 9 Results of single-domain training and same-domain test in cross-dataset test experiment %

3.4.2 加倍二类混合域测试

在URPC2018 数据集的原始图像与增强复原图像组成的加倍二类混合数据集训练的15 个YOLOv5检测模型上进行跨数据集测试，记为实验I，结果如表10 所示。从表10 可以看出：1）与跨数据集测试中单域训练同域测试mAP（见表9）相比，加倍二类混合域训练模型的测试mAP 大幅度提升；2）在14 个模型（不包含2×original 模型）中有12 个模型在原始图像上的测试mAP 高于在增强复原图像上的测试mAP；3）在原始图像上，14 个模型中有13 个模型的测试mAP 高于2×original 模型，最高mAP 为63.2%，与同数据集测试mAP（75%）的差距大幅缩小。

表10 在跨数据集实验中加倍二类混合域上的测试结果Table 10 Results of doubling the two-class mixed domain test in the cross-dataset experiment %

3.5 讨论

训练和测试的域差异对测试mAP 的影响：由实验A、实验B 和实验C 可以看出，当测试集与训练集不在同一域时，测试mAP 大幅下降。为定量描述，本文采用各增强复原图像训练集与原始图像训练集的平均结构相似度（SSIM）表示各增强复原图像域与原始图像域的接近程度，SSIM 计算结果如表11 所示。

计算交叉域测试实验B 和实验C 中各增强复原方法对应的mAP 与SSIM 的相关系数如表12 所示。平均SSIM 与交叉域测试mAP 有较高的正相关性，说明训练和测试图像之间的亮度、对比度和结构等特征差距越小，交叉域测试mAP 越高。由表11 可以看出，HE、UIE-DAL 和FUnIE-GAN 3 种增强复原方法处理后的图像与原图像的SSIM 最小，因此交叉域测试时的域差异最大，导致其检测精度降低。

表12 交叉域测试mAP 与平均SSIM 的相关系数Table 12 Correlation coefficient between mAP and average SSIM for cross-domain test

训练域数目对测试mAP 的影响：在实验A、E 和D 中，实验训练域数目分别为1、2 和15。表13 所示为对比这3 组实验中YOLOv5 模型在增强复原测试集上的测试mAP（表中2 类和original 对应点的mAP见表6）。除Water-Net 方法以外，其余13 种增强方法的测试mAP 随着训练域数量的增加而降低。因此，在训练集图像数量相同的情况下，训练域数目的增加并不能提高深度学习目标检测模型的检测精度。

表13 训练域数目对测试mAP 的影响Table 13 Effect of training domain number on test mAP %

训练集图像数目对测试mAP 的影响：在实验E和实验F 的混合域训练实验中，训练域的数目相同，但实验F 中训练图像数是实验E 的2 倍，从表7 可以看出，实验F 中增强复原测试集14 个mAP 中有13 个高于实验E 中对应mAP，原始图像测试集14 个mAP中有11 个高于或等于实验E 中对应的mAP。因此，训练集图像数目的增加在一定程度上有利于mAP的提高，但简单的数据重复是无用的。

预处理方式和数据增强方式对测试mAP 的影响：在单数据集实验A、B、D 和E 中，图像增强复原方法是作为图像预处理方法参与的实验，而在实验F和实验G 中，图像增强复原方法是作为数据增强方法参与的实验。虽然数据增强方式得到的测试mAP优于图像预处理方式，但是与原始图像训练和测试相比，目标检测精度的提升并不明显（本文实验中mAP 的最大增长量为0.4 个百分点）。当训练集和测试集均属同一数据集时，水下图像增强复原方法无论是作为数据增强复原方法还是图像预处理方法，对深度学习目标检测模型检测精度的提高效果均不明显。在跨数据集测试实验H 中，图像增强复原方法作为图像预处理方法参与了实验，9/14 的增强复原方法对目标检测精度的提升有效；在跨数据集测试实验I 中，图像增强复原方法作为数据增强方法参与了实验，在原始图像上13/14 的增强复原方法对目标检测精度的提升有效，且mAP 提升最高可达12.4 个百分点。

4 结束语

本文在URPC 数据集上进行大量的对比实验，详细深入地探讨了图像增强复原方法对深度学习目标检测模型精度的影响。实验结果表明，尽管数据集存在较严重的图像退化现象，但是在单数据集实验中，水下图像增强复原方法无论作为图像预处理方法还是数据增强方法，对深度学习目标检测精度的提升都无明显效果，而在跨数据集实验中，增强复原方法作为图像预处理方法和数据增强方法，能有效提升检测精度，作为数据增强方法时的提升效果更优。因此，在跨数据集目标检测应用中，将水下图像增强复原方法作为数据增强方法参与检测模型的训练，以提升目标检测精度。然而，本文仅在有限的数据集上进行实验，水下图像增强复原方法在其余数据集上的表现是本文研究的重点方向。