水下生成图像真实性评价方法研究

刘怀周，王双园，白国振，张鹏举

（1.上海理工大学机械工程学院；2.上海理工大学深海高端装备复杂系统研究院，上海 200093）

0 引言

机器学习通常建立在大量有效数据学习的基础上，因此数据质量问题是机器学习领域的重要研究内容之一。在水下机器视觉研究中，由于水下图像获取成本高，通常使用人工合成或模拟生成图像作为样本。因此，建立一个有效、客观的水下生成图像质量指标，对评价生成图像质量以及机器学习算法的优化至关重要。图像质量评价可分为主观图像评价和客观图像评价。主观图像评价被认为是最可靠的结果，但对于实时系统而言，该方法代价昂贵、耗时且不切实际。客观图像质量评价方法根据是否存在代表原始信号的参考图像可分成3 类：全参考图像评价、半参考图像评价和无参考图像评价［1］。对于无法获得参考图像的水下生成图像，需要一个无参考的客观图像质量评价方法来评价图像质量，其能够识别出水下生成图像与真实水下图像的差异，并符合人类的视觉感官系统。

近年来，生成对抗网络得到了广泛研究［2］。为了定量评估GAN 网络，人们相继提出了各种评价指标，如Incep⁃tion 分数、Mode 分数、Kernel MMD、Wasserstein 距离、Fre⁃chet Inception 距离与基于1-最近邻（1-NN）的双样本测试指标等。这些评价指标基于生成样本与真实样本之间的距离度量，主要是对生成模型的评估，而无法评价单个生成样本质量。此外，还有大气彩色图像质量评价指标［3-5］和其它水下图像质量评价指标，如UCIQE［6］、UIQM［7］、CCF［8］等。然而，由于水下图像存在色偏、模糊、低光照和噪声复杂等问题，因此现有的自然彩色图像质量评价指标不能有效应用于水下图像。当前水下图像质量评价指标主要为针对水下图像增强与恢复的评价指标，很少有针对水下生成图像质量的评价指标。

本文提出一种水下生成图像的客观评价指标。由于生成图像与真实水下图像在内容、结构和纹理等方面千差万别，为了使提取的图像特征不受影响，本文首先采用超像素分割算法进行预分割，然后通过改进的MSRM 融合算法分离出背景和前景，并保持较好的边缘信息，最后在背景图中提取特征，拟合多元高斯模型，用马氏距离度量单个生成图像与真实水下图像的相似性。实验结果表明，与MSRM 算法相比，改进的MSRM 算法能够更好地提取物体边缘轮廓，与现有水下图像质量评价方法相比，本文提出的UGIQE 方法更加有效，与人类视觉感官系统具有更高的一致性。

1 图像背景与前景分割

1.1 超像素生成

为提高分割效率、降低计算复杂度，首先采用超像素进行图像预处理。目前常用的超像素算法有：Lazy Ran⁃dom Walk（LRW）［9］、Linear Spectral Clustering（LSC）［10］、Coarse-to-Fine Topology-Preserving（CFTP）［11］、Content-Adaptive Superpixel（CAS）［12］、Simple Liner Iterative Cluster⁃ing（SLIC）［13］、Fast Linear Iterative Clustering（FLIC）［14］等。其中，SLIC 算法不仅可以产生大小均匀、结构紧凑、边缘依附较好的超像素，而且计算速度较快，因此本文选用SLIC算法作图像预分割。SLIC 算法是一种简单的线性迭代聚类，先将图像RGB 颜色空间转化为LAB 空间，再以LAB 颜色特征和位置特征作为度量标准对图像像素进行局部聚类，最后形成一个个超像素。其算法流程如图1 所示。

1.2 改进的MSRM 算法

MSRM 算法是在保持目标标记区域超像素集合不变的情况下，尽可能多地合并背景标记超像素区域和未标记的超像素区域，直至合并完所有背景区域，没有新的区域需要合并。其主要分为两个阶段：第一阶段，将与背景标记区域相邻的未标记超像素合并到背景标记区域；第二阶段，未标记区域相互合并，此时的未标记区域可能包括目标区域和背景区域，两个阶段循环进行，直到没有新的区域需要合并，循环结束。其算法流程如图2 所示。

Fig.1 SLIC algorithm flow图1 SLIC 算法流程

Fig.2 MSRM algorithm flow图2 MSRM 算法流程

利用SLIC 算法产生超像素经过人工标注前景与背景后，通过基于区域最大相似度算法（MSRM）进行区域合并，最后得到前景与背景的分割图。MSRM 算法用颜色直方图描述区域特征，首先将RGB 颜色空间中的每个通道均匀量化为16 级，每个区域有16*16*16=4 096 级颜色，利用巴氏系数［15］测量区域间颜色特征的相似性，该系数定义如下：

因此，本文引入图像梯度方向直方图（Histogram of Ori⁃ented Gradient，HOG）特征［16］。图像局部目标的表象和形状能够被HOG 特征的梯度与边缘方向密度分布很好地进行描述。基于超像素的HOG 特征度量步骤如下：首先计算超像素区域内在180 个方向上的梯度，从而得到180*1 归一化HOG 特征，然后利用巴氏系数测量区域间HOG 特征的相似性，该系数定义如下：

其中，α是HOG 特征的权重系数，α∈[0,1]。

MSRM 算法与改进的MSRM 算法比较如图3 所示。从原始图a1和b1的黑色矩形框中可以看出水下礁石模糊的轮廓，礁石与背景颜色很难区分。当直接使用MSRM 算法时，此时礁石边缘被背景区域合并，导致分割不完整。采用改进的MSRM 算法可保持较完整的边界轮廓，对通过颜色特征难以区分的模糊边界具有较好的区分效果。

Fig.3 Background and foreground segmentation effect of MSRM algorithm and improved MSRM algorithm图3 MSRM 算法和改进的MSRM 算法背景与前景分割效果

另外，本文对前景与背景分割精度进行了定量评估，使用分割正确率R 作为评估标准。R 表示为：

由此可计算出图a1采用MSRM 算法分割的正确率为96.7%，改进后的MSRM 算法分割正确率为98.8%，精度提高了2.1%。图b1采用MSRM 算法分割的正确率为97.8%，改进后的MSRM算法分割正确率为99.2%，精度提高了1.4%。

1.3 背景区域分块与提取

通过改进的MSRM 算法可实现背景与前景的分离，对背景区域进行特征提取与拟合多元高斯分布，需要去除背景区域的空白部分，并把背景区域分成若干小块。主要分为3 个步骤：①把图像分成P*P 的图像块；②检测图像块中是否有空白区域（空白区域RGB 三通道的值均为255）；③若有空白区域（即背景块）则舍去，若没有空白区域则保留。若背景块数量小于12，则把图像分成更多的（p-20）*（p-20）图像块，直到背景块数量达到12 结束循环（注：背景块数量大于等于12 时，在进行拟合多元高斯分布时其均值和协方差矩阵数值稳定）。

2 背景区域特征提取与建模

2.1 颜色特征

Lab 是一种基于生理特征的颜色系统，其采用数字化方法描述人的视觉感应。Lab 颜色空间中的L 分量用于表示像素亮度，取值范围为［0，100］，表示从纯黑到纯白；a 表示从红色到灰色再到绿色的范围，取值范围为［127，-128］；b 表示从黄色到灰色再到蓝色的范围，取值范围为［127，-128］。因此，可采用Lab 颜色空间的a、b 两个颜色通道作为颜色特征。

由于水对光的吸收，导致水下图像通常会偏绿或偏蓝。图4 为来自海洋牧场的真实水下图像及UWCNN［17］生成图像，其中图4（a）是水下偏蓝图像，图4（c）、图4（e）是UWCNN 生成的两种偏蓝类型图像。图4（b）中的背景在Lab 颜色空间分别取a、b 两个颜色通道的平均值，则a=-45.82，b=8.21；图（d）中的背景a=-14.56，b=-6.32；图4（f）中的背景a=-24.73，b=2.28。从图8 中可以看出，图4（e）比4（c）更偏蓝一点，因此图4（e）背景中的两个颜色通道平均值与图4（a）更加接近。

Fig.4 Real underwater images and generated images图4 真实水下图像与生成图像

2.2 饱和度特征

色彩饱和度（saturation）是指色彩的鲜艳程度，也称为纯度。在色彩学中，原色饱和度最高，随着饱和度的下降，色彩变得暗淡直至成为无彩色，即失去色相的色彩。

如图4 所示，图4（b）中的背景饱和度平均值s=0.65，图4（d）中的背景饱和度平均值s=0.29，图4（f）中的背景饱和度平均值s=0.37。随着颜色的加深，图像的色彩饱和度不断增加，水下图像具有较高的饱和度。

2.3 对比度特征

对于水下图像，对比度下降通常是由后向散射引起的。在本文中，对比度是通过在图像上应用logAMEE 进行测量的［18］。

其中，图像被分成k1*k2个区域，⊕、Θ、⊗是克罗内克和、差与积运算。

分别对图4 中的背景图（b）、（d）、（f）测量对比度，由于背景区域的像素强度接近，导致其对比度很低。在计算图像对比度的过程中，发现背景区域会降低图像整体的对比度。采用加权平均方式计算对比度，可减少背景区域的影响，即分别计算原图与背景图的对比度，然后乘以权重系数η（通常取η=0.5）。因此，图4（a）的对比度Contrast=0.23，图c 的对比度Contrast=0.16，图4（e）的对比度Contrast=0.07。图4（e）中图像出现了雾状，对比度最差，图4（c）中图像物体边缘模糊不清，所以图4（a）相比图4（c）、图4（e）更为清晰，对比度较高。

2.4 多元高斯模型

多元高斯分布是指一元高斯分布在向量形式的推广，其概率密度函数形式如式（7）所示，主要参数为各个变量的均值和协方差矩阵。选择一张测试图像并分割出12 个背景图，在每个背景图中提取4 个特征，然后将12 组特征拟合成多元高斯分布，利用最大似然估计［19］得到均值和协方差矩阵，最后用马氏距离度量测试图像与真实水下偏蓝图像分布之间的距离。距离越小，则生成的图像与真实的水下图像越相似。

其中，(x1,…,xk)是提取的特征值，k=4；v和∑是多元高斯模型的均值与协方差矩阵。

其中，v1、v2和∑1、∑2是测试图像与真实水下图像多元高斯分布的均值及协方差矩阵。

3 实验评估

本次实验的真实水下图像来自海洋牧场的偏蓝图像，部分图像如图5 所示。在水下图像中分割出500 个背景图，背景图的尺寸范围从32*32 到128*128，并在每个背景图中提取两个颜色通道（a，b），以及饱和度和对比度等4 个特征。然后将500 组特征拟合成多元高斯分布得到均值和协方差矩阵。

Fig.5 Underwater blueish image图5 水下偏蓝图像

3.1 主观评价

为了测试所提出指标的性能，本文使用来自海洋牧场的真实水下偏蓝图像作为参考图像，并使用UWCNN 生成TypeI、TypeII、TypeIII 以及UWGAN［20］生成TypeIV、TypeV的偏蓝图像作为测试图像。邀请10 名学生分别对生成的每一张测试图像进行主观评价，受邀者根据1-5 的尺度对测试图像与参考图像的相似度进行评分。相似度越高，评分越接近1，相似度越低则越接近5，最后计算平均得分。为了说明所提出的客观评价指标与主观评价的相关性，采用皮尔逊相关系数（PRCC）和Spearman 的秩序相关系数（SRCC）进行验证。本文将提出的UGIQE 指标与目前先进的水下彩色图像评价指标UCIQE、UIQM 及大气彩色图像评价指标NIQE 进行对比，结果如表1 所示。

Table 1 Comparison of UGIQE and advanced image evaluation indexes表1 UGIQE 与先进的图像评价指标对比

从表1 可以看出，本文提出的UGIQE 指标与主观图像质量评价有较高的相关性，且性能优于UIQM、UCIQE 和NIQE，可以很好地评价生成图像质量。

3.2 生成图像质量评价

近年来，研究者大多使用生成的水下图像训练模型实现水下图像的增强与复原，生成图像的真实性决定了模型的准确性。图6 为UWCNN 生成TypeI、TypeII、TypeIII 以及UWGAN 生成TypeIV、TypeV 的偏蓝图像。对比各类方法生成图像的效果，TypeIV 与海洋牧场真实的水下偏蓝图像较为相似，生成图像效果较好。将UGIQE 指标与先进的图像质量评价指标进行比较，结果如表2 所示。从表中可以看出，UCIQE 与UIQM 指标对TypeI、TypeII 和TypeIV 3 种类型图像的区分度低，无法判断哪种生成图像效果较好。虽然NIQE 在数值上具有一定区分度，但无法根据数值大小判断生成图像质量高低。相反，本文提出的UGIQE 指标具有较好的区分度，从中可以看出TypeIV 类型数值最小，与真实的水下偏蓝图像相似度较高，图像效果较好，并且与主观评价一致。

Fig.6 Five types of underwaterblueish image图6 生成的5 种类型水下偏蓝图像

Table 2 Comparison of UGIQE index and advanced image quality evaluation index表2 UGIQE 指标与先进的图像质量评价指标比较

4 结语

本文提出一种水下生成图像评价指标UGIQE，首先采用超像素分割算法进行预分割，然后通过改进MSRM 融合算法分离出背景和前景，最后在背景图中提取特征，拟合多元高斯模型，用马氏距离度量单个生成图像与真实水下图像的相似性，从而建立客观定量评价指标。实验结果表明，与现有水下图像质量评价方法相比，本文提出的UGIQE 方法更加有效，与人类视觉感官系统具有更高的一致性。此外，该方法能有效评价水下图像生成模型的性能，并帮助模型选择最优参数。