基于人类视觉系统的水下图像质量评价方法

赵 馨,侯国家,潘振宽,李景明,王国栋

(青岛大学 计算机科学技术学院,山东 青岛 266071)

0 概述

由于海洋、河流和湖泊等水下资源丰富,水下图像处理技术引起研究人员的广泛关注,并成为重要的研究课题。高质量的水下图像对于该技术的研究至关重要,因而建立有效、客观的水下图像质量评价(Image Quality Assessment,IQA)对于高质量水下图像的应用具有重大意义。

水下图像质量评价包括主观评价和客观评价[1-3]。主观评价是测试人员通过对目标图像进行观察做出的评价。一般采用平均主观得分(Mean Opinion Score,MOS)或平均主观得分差异(Differential Mean Opinion Score,DMOS),即人眼对无失真图像和有失真图像评价得分的差异[4]来进行主观评价。但是在实际应用中,主观评价常受到测试人员的知识水平、观测时间、所处位置的光照等诸多因素限制,需要测试人员进行多次重复实验来提高评价的准确度。此外,主观评价的不确定性导致其无法用数学模型进行描述,因而难以实现高质量的评价[5]。客观评价是通过一定的算法采用数学手段对图像视觉质量的评价。客观评价包括全参考图像质量评价(Full-Reference Image Quality Assessment,FR-IQA)、半参考图像质量评价(Reduced-Reference Quality Assessment,RR-IQA)和无参考图像质量评价(No-Reference Image Quality Assessment,NR-IQA)[6-7]。因为水下图像处理技术发展时间较短,研究人员对于该技术还未达到共识,同时因为无法获取高质量的水下参考图像,所以现存的水下图像质量评价多数为无参考图像质量评价。

在水下图像处理技术发展的早期,研究人员对水下图像质量评价主要是主观评价或者对大气图像质量的客观评价,得到的结果不能准确地反映水下图像的实际质量[8-10]。近年来,一些无参考图像的水下图像质量客观评价方法被相继提出。这些方法是在捕捉人类视觉系统(Human Visual System,HVS)的客观性和感知的基础上,结合水下图像的光吸收和散射效应对水下图像进行的综合评价。文献[11]提出对比度是度量水下图像质量的合理依据。文献[12]针对存在噪声影响的水下图像提出基于加权灰度尺度角(Weighted Gray Scale Angle,WGSA)的图像清晰度评价标准。文献[13]根据文献[14]的结果确定了衡量直方图与指数分布接近程度的稳健性指数,该指数的数值范围为(0,1)。对于大部分对比度较好且无噪声的图像,除了梯度幅度直方图在均匀区域对应的低梯度下有一个小峰值外,其他直方图接近指数分布。

文献[17]受HVS启发针对水下图像退化的特点提出了水下图像质量度量(Underwater Image Quality Metric,UIQM)方法,这是一种无参考图像的水下图像质量评价方法。UIQM以水下图像色彩测量(Underwater Image Colorfulness Measure,UICM)、水下图像清晰度测量(Underwater Image Sharpness Measure,UISM)和水下图像对比度测量(Underwater Image Contrast Measure,UIConM)3个分量的线性组合作为评价依据。

文献[18]将水下图像从红绿蓝(Red Green Blue,RGB)颜色空间转换到更加符合人类视觉感知的CIELab颜色空间,通过将图像的色度测量分量、对比度测量分量和饱和度测量分量进行线性组合,提出一种量化水下图像非均匀颜色退化现象、模糊现象以及对比度变化的水下彩色图像质量评价(Underwater Color Image Quality Evaluation,UCIQE)方法。

上述水下图像质量评价方法虽然对于水下图像退化的部分方面能得到较有效的结果,但是大部分评价方法与基于人类客观视觉的平均主观评价关联度较低。因此,建立客观、有效且与人类主观评价关联度较高的水下彩色图像质量评价指标成为水下图像处理领域的研究重点。

本文提出一种水下图像质量评价(Underwater Image Quality Assessment,UIQA)方法。以色彩饱和度测量分量、亮度对比度测量分量和图像清晰度测量分量作为评价依据,对影响评价结果的各分量进行研究,通过与其他水下图像质量评价方法进行对比,分析与人类主观评价的相关性。

1 基于HVS的水下图像质量评价指标

光在水中的吸收和散射会影响水下成像系统的整体性能。光的吸收会导致水下图像颜色退化或者过度饱和,光的散射会导致水下图像模糊和对比度降低(水中浮游生物和悬浮颗粒会使目标图像的边缘结构和相对对比度发生变化)。同时,由于人存在视觉差异,水下图像属性的变化会导致视觉感观不同。

文献[15]基于HVS的特性发现将图像和统计数据相结合可以有效表示色彩。文献[16]用红-绿色通道和黄-蓝色通道在相对颜色空间中定义颜色,对于彩色图像i存在以下关系式:

α=R-G

(1)

β=0.5×(R+G)-B

(2)

其中,α为红-绿通道,β为黄-蓝通道,R为红通道,G为绿通道,B为蓝通道。

基于相对颜色空间,文献[17]提出的U2QM方法用公式表示为:

UIQM=c1×UICM+c2×UISM+c3×UIConM

(3)

其中,c1、c2和c3分别为线性组合中各测量分量的权重因子。权重因子根据质量评价的具体要求而定:当对图像颜色要求较高时,c1数值较大;当对图像对比度要求较高时,c2数值较大;当对图像清晰度要求较高时,c3数值较大。

文献[18]提出的UCIQE方法用公式表示为:

UCIQE=c1×σc+c2×conl+c3×μs

(4)

其中,σc为图像色度测量分量,conl为图像对比度测量分量,μs为图像饱和度测量分量,c1、c2和c3分别为线性组合中各测量分量的权重因子。

文献[16-18]提出的用于水下图像质量评价的UIQM方法和UCIQE方法虽然能得到较合理的图像质量评价结果,但是存在缺陷。其中,UIQM方法将色彩、清晰度和对比度作为评价水下图像质量的依据,虽然该方法覆盖范围较广,但其权重参数采用的是手工赋固定值的方法,而水下图像的颜色退化类型较多且复杂,固定的权重参数会造成图像质量评价结果与人类视觉感知不一致。UCIQE方法虽然通过预测采用针对某一数据集最优化的权重参数,但其只将基于CIELab空间的色度、饱和度和对比度作为评价水下图像质量的依据,并未考虑清晰度等其他因素,造成该方法覆盖范围不足,导致评价结果不理想。本文提出一种UIQA方法,针对上述两种方法存在的问题进行如下改进:

1)对于颜色分量(色彩分量和色度分量),采用UCIQE方法基于CIELab相对颜色空间的色度求出图像颜色饱和度,既保留了色度对整体图像质量评价的影响,又兼顾了颜色饱和度分量测量。

2)对于对比度分量,在UIQM对比度分量UIConM的基础上进行改进,采用暗通道对比度提取测量的方法[19],UCIQE方法对对比度变化的把握更具敏锐性。

3)保留了对水下图像清晰度分量的测量,在一定程度上弥补了UCIQE方法中测量范围不足的缺陷。

4)采用多重线性回归方程对数据估算出最优化权重参数。

2 UIQA方法

基于HVS对颜色、边缘结构和相对对比度变化的敏感性[20],本文提出的水下图像质量评价指标UIQA方法以基于CIELab表色系的色彩饱和度(UIQA_saturation)、基于暗通道理论的对比度(UIQA_contrast)和边缘结构清晰度(即锐度,UIQA_sharpness)作为测量分量。

2.1 水下图像色彩饱和度测量分量

水下图像随着水深的增加会发生严重的颜色退化,造成图像模糊不清。由于红光的波长最短,红光会先消失,因而水下图像以绿色为主色调。此外,有限的光照条件也会导致水下图像出现褪色现象[21]。

在研究水下图像色彩时,需考虑其与主观测试数据的相关性。因此根据HVS的特性,UIQA方法选择CIELab表色系作为量化图像的颜色空间。CIELab表色系为统一的颜色空间,假设Ip是图像在CIELab表色系中的像素值,图像有N个像素,则Ip=[Lp,αp,βp],其中p=1,2,…,N。基于CIELab表色系的水下图像色彩饱和度可表示为:

(5)

(6)

其中,Cp为色度,LP为高度。

采用色彩饱和度描述图像颜色是因为色彩饱和度与人类对水下彩色图像感知的相关性较好。在获取水下图像过程中通常采用人工照明,易产生“雪海现象”,这是水下图像出现褪色的主要原因,该现象中产生的白色亮点会严重影响图像处理的效果。然而,图像色调的分布不会受到“雪海现象”的影响,因而UIQA方法采取了基于CIELab色系的色彩饱和度作为测量分量。

图1是采用自动颜色均衡(Automatic Color Equalization,ACE)算法[22]处理前后水下图像的色彩饱和度对比。由图1(a)可以看出,水下图像存在着严重的颜色退化现象。由图1(b)可以看出,ACE算法处理有效地平衡了色彩饱和度,色彩饱和度为水下图像赋予了更大的彩色测量值。结果表明,利用基于CIELab表色系的UIQA_saturation对水下图像的色彩质量进行了成功评价。

图1 采用ACE算法处理前后水下图像的色彩饱和度对比

2.2 水下图像对比度测量分量

对比度是图像中最亮区域和最暗区域之间亮度差异的尺度,对比度越大表明差异越大,对比度越小表明差异越小。图像对比度较小通常由图像像素分布不均造成,且对比度与视觉敏锐度成正比。水下图像对比度偏小通常由光的后向散射导致[23]。

在获取水下图像的过程中,拍摄设备离水平面的距离越远,图像中颜色较暗的景物越多。与大气中的图像相比,水下图像的明暗对比更不明显,暗通道的水下图像具有更小的对比度,因而图像增强前后其对比度变化更明显。

对于任意彩色图像,其暗通道Jdark可以用以下公式表示:

(7)

其中,Jc为彩色图像的每个通道,Ω(x)为以像素x为中心的一个窗口。

通过水下图像的暗通道图可测量出图像的对比度,用公式表示为:

(8)

其中,δ(i,j)=|i-j|为相邻像素间的灰度差,Pδ(i,j)为相邻像素间灰度差为δ的像素分布概率。

图2是采用自动红通道水下图像恢复(Automatic Red-Channel Underwater Image Restoration,ARC)算法[24]处理前后水下图像的对比度对比。由图2可以看出,经过ARC算法处理后水下图像的能见度比处理前显著提高,图像的对比度比处理前更大。

图2 采用ARC算法处理前后水下图像的对比度对比

2.3 水下图像清晰度测量分量

水下图像由于光存在前向散射,造成图像严重模糊,导致图像清晰度下降。图像锐度可以反映出图像细节和边缘的清晰程度。UIQA方法采用Sobel边缘检测器对RGB中每个颜色通道进行检测,得到其二值边缘映射,再将二值边缘映射值与图像的原始值相乘得到3个灰度边缘映射值,这是为了保留原始水下图像边缘的像素值。增强测量估计(Enhanced Measurement Estimation,EME)方法适用于测量背景均匀且显示非周期模式的图像[25],水下图像符合这一要求。因此,UIQA方法用EME方法测量水下图像边缘的锐度,锐度的计算公式如下:

(9)

(10)

图3是采用ARC算法处理前后水下图像的清晰度对比。由图3可以看出,经过ARC算法处理后的水下图像的清晰度比处理前有显著提高,图像的锐度比处理前更大。

图3 采用ARC算法处理前后水下图像的清晰度对比

2.4 水下图像质量评价指标

根据文献[26]中水下成像模型可知,水下图像为光的吸收和散射分量的线性叠加。而光的吸收和散射效应会导致水下图像颜色退化、清晰度降低和对比度下降。因此,本文利用线性叠加模型生成基于HVS的水下图像质量评价UIQA方法来评价水下图像的整体质量水平,相关评价指标表示如下:

UIQA=c1UIQA_saturation+c2UIQA_contrast+

c3UIQA_sharpness

(11)

其中,c1、c2、c3分别为线性组合中各测量分量的权重因子,权重因子根据质量评价的具体要求而定:当对图像色彩饱和度要求较高时,c1数值较大;当对图像对比度要求较高时,c2数值较大;当对图像锐度要求较高时,c3数值较大。通常水下图像使用固定的c1、c2和c3。

为确定测量水下图像褪色的最佳参数,进行一组主观测试如下:随机挑选40名志愿者并向每个志愿者展示了40幅水下图像,图像均来自网络并由不同设备在不同地点获取,且存在图像模糊、对比度和饱和度低、色偏、“雪海现象”等褪色问题。图像随机显示后,志愿者按照从0到1的评分区间对每张水下图像的质量进行评级,分数越高代表志愿者对图像的满意度越高。每幅图像显示4次,在上一幅图像评价结束前,志愿者无法对下一幅图进行评价。测试结束后计算MOS。

本文选择其中30幅图像,获取其 UIQA_saturation、UIQA_contrast和UIQA_sharpness的值,其中选出了5组不同场景且MOS不同的水下图像,如图4所示。表1为图4中各图像所对应的UIQA_saturation、UIQA_contrast、UIQA_sharpness和MOS值,利用多重线性回归(Multiple Linear Regression,MLR)的方法,得到c1、c2和c3的值分别为0.142 7、0.820 6和0.117 1。

图4 不同场景下的水下图像

表1 采用UIQA方法对图4中不同水下图像的质量 评价各分量和MOS结果

用其余图像对c1、c2和c3的准确性进行验证。图5是选取的3幅不同场景的水下图像,表2为图5中各图像所对应的UIQA_saturation、UIQA_contrast、UIQA_sharpness、UIQA分数和MOS值,可见图5(c)的MOS最高,图5(a)的MOS最低,采用UIQA方法得到的图像质量评价结果UIQA和MOS一致,这说明c1、c2和c3具有较高的准确性。

图5 不同场景下的水下图像

表2 采用UIQA方法对图5中不同水下图像的进行 质量评价各分量分数、UIQA分数和MOS值

3 实验结果与分析

UIQA方法可以从图像的色彩饱和度、对比度和清晰度3个属性分量独立评价水下图像质量。为证明UIQA方法的评价结果与目前评价效果较优的UIQM方法和UCIQE方法的评价结果一致甚至更佳,首先对UIQA方法中每个属性分量进行基准测试并与最优方法的属性分量进行比较,再分别采用UIQA方法、UIQM方法和UCIQE方法进行对比实验。其中UIQM方法中各测量分量的权重因子C1、C2、C3分别为0.028 2、0.295 3、3.575 3,UICQE方法中各测量分量的权重因子C1、C2、C3分别为0.468 0、0.274 5、0.257 6。3种方法得到的评价结果得分越高表示水下图像质量越好。

3.1 属性分量对比实验

图6为水下原始图像及其经过不同色彩增强算法处理后的结果。

图6 采用不同色彩增强算法处理前后的水下图像

图6(a)为未经处理的原始图像,可见其褪色明显,其中青绿色光投射过强,红通道退化严重。图6(b)～图6(e)为分别经过直方图均衡(Histogram Equalization,HE)算法、自动色彩均衡算法(Automatic Color Enhancement,ACE)算法、Iqbal算法[27]、融合增强(Fusion Enhance,FE)算法[28]等4种不同色彩增强算法处理后得到的图像。由图6(b)可以看出,采用HE算法处理后图像中出现了色彩过度增强的区域,且图像的原始色调发生改变。由图6(c)可以看出,采用ACE算法后图像获得较好的动态效果,但是色彩饱和度太低且对比度不足,图像较模糊。由图6(d)可以看出,采用Iqbal算法处理后图像的色彩饱和度明显增强,且整体颜色较和谐。由图6(e)可以看出,采用FE算法处理后图像的颜色恢复情况良好,色彩较自然。综上可见,和未经处理的图像色彩质量相比,图6(b)～图6(e)的色彩质量均有一定提高,其中图6(d)的色彩质量最好。

由表3可以看出,采用UIQM方法、UCIQE方法得到的水下图像质量评价颜色分量UICM、σc最大值出现在图6(b)和图6(c)处,只有采用UIQA方法得到的水下图像质量评价颜色分量UIQA_saturation最大值出现在图6(d)处,这说明采用UIQA方法得到的水下图像质量评价结果能更准确地反映图片实际质量情况。

表3 采用不同方法得到的水下图像质量评价颜色分量

图7为水下原始图像及其经过不同清晰化算法处理后的结果。图7(a)为未经处理的原始图像,可见其具有对比度低且物体边缘不清晰的问题。图7(b)～图7(e)为经过水下暗通道先验 (Underwater Dark Channel Prior,UDCP)[29]算法、ARC算法、多尺度相关小波(Multi-Scale Correlated Wavelet,MSCW)[30]算法、全色图像锐化(Panchromatic Image Sharpening,Pan)算法[31]等4种不同清晰化算法处理后得到的图像。由图7(b)～图(e)可以看出,处理后图像对比度比原始图像均有所提升,其中经过UDCP算法处理后的图像色彩明暗失衡,图像质量不佳;经过Pan算法处理后图像的色彩明暗对比度比其他算法处理后的更清晰。

图7 采用不同清晰化算法处理前后的水下图像

由图8可以看出,采用不同清晰化算法处理后图像的清晰度比原始图像均有所提升;经过UDCP算法、ARC算法、MSCW算法处理后图像中鱼群交叠处边缘模糊,局部细节不清晰;经过Pan算法处理后的图像更清晰,图像中鱼群交叠处及边缘更明显。

图8 采用不同清晰化算法处理前后的水下图像局部放大图

由表4可以看出,采用UIQM方法、UCIQE方法和UIQA方法得到的水下图像质量评价对比度分量UICM、σc和UIQA_contrast最大值均出现在图7(e)处,这说明采用上述3种方法得到的水下图像质量评价结果相近。采用UIQA方法得到的图7(a)～图7(e)的图像质量评价锐度分量UIQA_sharpness分别为0.887 1,0.816 6,1.065 8,1.047 1,1.402 2,其中最大值也出现在图7(e),由此可见,表4和图7的分析结果一致。

表4 采用不同方法得到的水下图像质量评价 对比度分量

3.2 UIQA方法与其他水下图像质量评价方法

为验证UIQA方法的鲁棒性,分别采用UIQA方法与UIQM方法、UCIQE方法等其他水下图像质量评价方法进行对比实验。图9(a)为未经处理的原始图像,图9(b)～图9(f)为分别经过Iqbal算法、UDCP算法、FE算法、ARC算法和Pan算法等图像增强算法处理后得到的图像。可见经过Iqbal算法处理后图像中的鱼类边缘更清晰,图像的色彩饱和度和对比度增强效果最佳;经过FE算法处理后图像质量仅次于经过Iqbal算法处理后的;经过Iqbal算法处理后的图像色调呈现为蓝色,整体色调不理想,鱼类边缘不明显且图像对比度较低。

图9 经过不同图像增强算法处理前后的水下图像

由表5可以看出,采用UIQM方法、UCIQE和UIQA方法得到的水下图像质量评价各分量平均值以及MOS的最大值均出现在图9(b)处,这与上述对图9的质量分析结果吻合,也说明采用上述3种方法得到的水下图像质量评价结果具有较好的一致性。

表5 采用不同方法得到的水下图像质量评价各分量 平均值以及MOS结果

为进一步证明UIQA方法与人类主观视觉具有更大相关性,在上述对比实验中应用皮尔森线性相关系数(Pearson Linear Correlation Coefficient,PLCC)、均方根误差(Root Mean Squared Error,RMSE)和斯皮尔曼秩相关系数 (Spearman Rank Order Correlation Coefficient,SROCC)进行分析。其中,PLCC和SROCC越接近1,RMSE越接近0,则该水下图像质量评价方法得到的结果与人类主观评价相关性越大。

由表6可以看出,与UIQM方法和UCIQE方法相比,UIQA方法中的PLCC、SROCC和RMSE指标均为最优,说明其得到的水下图像质量评分与人类主观评价具有较好的相关性,由此也证明UIQM方法具有鲁棒性,该方法更符合人类视觉的客观感知。

表6 采用不同方法得到的评价结果

综上可知,采用UIQA方法可以准确地得到符合HVS的水下图像质量评价结果,该结果与采用UIQM方法和UCIQE方法得到的结果基本一致,且采用UIQA方法得到的评价结果更符合人类的视觉感知,与人类主观评价相关性更大,更适合应用于实际水下环境,是一种较好的水下图像质量评价方法。

4 结束语

本文提出一种基于人类视觉系统进行水下图像质量评价的UIQA方法。将图像色彩饱和度、对比度和清晰度进行线性组合,对不同场景水下图像进行分析。实验结果表明,UIQA方法较UIQM方法和UCIQE方法与人类主观评价相关性更高,可以直观地反映出人类的真实感受。下一步将结合卷积神经网络对特殊水下图像质量进行研究,进一步优化水下图像质量评价方法。