基于直方图分布特性的水下图像颜色校正方法

雷小燕，张卫东，潘细朋

(1.南京交通职业技术学院 电子信息工程学院，江苏 南京 211188；2.河海大学 计算机与信息学院， 江苏 南京 210098；3.大连海事大学 信息科学技术学院，辽宁 大连 116026； 4.桂林电子科技大学 计算机与信息安全学院，广西 桂林 541004)

0 引 言

水下图像是人类获取水下信息的重要手段，海洋科研人员通过水下图像对海底资源进行开采和探测，海洋生物学家通过水下图像研究海洋生物的生活习性。然而水下成像环境复杂多样，再加上水下介质对光的散射和吸收作用，导致水下图像经常出现偏蓝或偏绿的颜色失真现象[1-9]，这类图像不能直接分析和应用，因此水下图像颜色校正成为水下图像处理的一个研究热点。本文根据自然图像直方图分布特性，从水下图像直方图分布出发，通过调整水下偏色图像的直方图分布来校正颜色失真。

1 相关工作

目前水下图像颜色校正技术主要分为两类：基于衰减补偿和基于动态拉伸的方法。基于衰减补偿的方法，是通过对衰减严重的颜色通道进行补偿，使各颜色通道间实现平衡[10-13]。基于动态拉伸的方法，是通过对各颜色通道进行动态拉伸，使各通道像素分布在整个像素范围内[14-22]。

基于衰减补偿方面，Ancuti等[10]以绿通道为基准，利用绿通道和红蓝通道之间的均值差，以及反颜色通道对红、蓝通道进行补偿，该方法仅适合于偏绿的场景。Xiang等[11]根据光传输过程中的衰减特性对红通道进行权重补偿，该方法仅适合于红色通道严重衰减的情况。Azmi等[12]用通道间的总像素强度值补偿严重衰减的通道，用绿通道补偿红、蓝通道，该方法仅适合于偏绿的场景，不具有通用性。Ancuti等[13]把RGB图像转换到LAB颜色空间，通过把严重衰减通道的反颜色通道均值往0上来拉进行补偿，但是当有多个通道衰减严重时，该方法效果不理想。

基于动态拉伸的颜色校正方法主要是基于灰度世界假设、完美反射理论和灰度边缘假设[14，15]。灰度世界假设认为整幅图像的RGB均值相等，体现为中性“灰”，但是当图像的颜色比较单一，或者是光照不足时，灰度世界假设的基本前提不再满足，该方法基本完全失效；完美反射理论是假设在一幅图像中,可以把完美反射体视为标准白色，但是当图像并无白色或者高光部分存在时，该方法也失效；灰度边缘假设认为自然界所有图像场景表面的平均反射差分是一个定值，但是当图像对比度低、可视化边缘少时，灰度边缘假设算法的假设条件遭到破坏，效果也不好。

近年来也涌现出了一些在上述理论基础上，改进的动态拉伸颜色校正方法[16-22]。Li等[16]采用了一种简单且有效的颜色校正方法，利用均值和均方差确定偏色图像像素分布的最大值和最小值，然后对偏色图像进行动态拉伸,以此来校正颜色，该方法对偏色现象不是很严重的情况能起到较好的校正效果。Zhang等[19]利用子区间线性变换对偏色图像进行校正，同样该方法在偏色现象严重时会失效。Fu等[20]根据灰度世界假设理论，采用分段线性变换来校正颜色，该方法也仅适合于偏色现象不是很严重的情况。Wong等[21,22]提出一种自适应灰度世界方法校正偏色图像。

以上基于衰减补偿方法大多都是针对某一类图像，在某些特定场景中，能取得很好的效果，但不具备通用性。基于动态拉伸的方法，在偏色现象不是很严重时，能取得一定的效果，但偏色现象严重时，直接进行动态拉伸会存在过校正。因此需要有一个能适合于大多数场景而又不会产生过校正现象的偏色图像校正方法出现。

2 本文方法

为了有效解决水下图像颜色偏色问题，本文提出一种基于直方图分布特性的水下图像颜色校正方法，从水下图像直方图分布考虑，通过调整水下图像直方图分布来改善水下图像的颜色失真。首先用最高像素分布均值通道自适应补偿另外2个颜色通道，然后对补偿后的图像进行动态拉伸，保证通道直方图分布整个像素范围。所提方法流程如图1所示。

图1 本文方法流程

2.1 本文动机

为了有效解决水下图像颜色偏色问题，本文参考陆地自然图像直方图分布特性，从水下图像直方图分布出发，通过调整水下偏色图像的直方图分布来消除偏色现象。水下偏色图像和自然图像直方图分布特性如图2所示，图2中第一行为原始图像，第二行为第一行图像对应的直方图分布，其中直方图纵坐标为频率，单位为%，横坐标是数目0-255。通过图2(a)、图2(b)水下偏色图像对应的直方图分布，发现水下偏色图像三通道直方图分布各异，相对比较集中，且三通道直方图之间没有相似性。通过图2(c)陆地自然图像直方图分布，发现自然图像三通道直方图分布相似且分布在整个动态范围。

通过分析自然图像直方图分布特性，能找到水下偏色图像采用上述介绍的基于衰减补偿和基于动态拉伸方法校正颜色失真效果不好的原因。图3是水下偏色图像基于衰减补偿和基于动态拉伸校正效果图。偏色图像采用文献[10]方法用中等强度绿通道补偿衰减严重的红通道，衰减补偿后红通道分布能上来一些，但补偿后最低强度和中间强度通道的直方图分布相对最高强度蓝通道分布要低，且三通道像素分布没有遍及整个动态范围，所以补偿后效果甚微，整个图像还是偏色。采用文献[19]基于动态拉伸方法校正后直方图像素分布遍布整个动态范围，但三通道间直方图分布不相似，因此校正效果也不好。

图2 原始图像及其直方图分布

同时由灰度世界假设理论可知，颜色丰富图像的RGB均值相等，体现为中性“灰”。换一句话来说就是，对8 bit图像来说，图像均值应该近似等于128。综上，理想的水下图像直方图分布应该具有以下3个特点：

(1)三通道直方图分布相似；

(2)三通道直方图分布遍及整个动态范围；

(3)三通道直方图均值都近似等于128。

为了使校正后水下图像直方图分布满足上述3个特点，本文先用最高像素分布均值通道补偿另外2个颜色通道，这样能保证补偿后的图像三通道直方图分布相似；然后对补偿后的图像进行动态拉伸，保证直方图分布遍及整个像素范围；同时拉伸过程中，利用均值和标准差来确定拉伸前的最小、最大范围，使直方图拉伸后的RGB均值近似等于128。

2.2 衰减通道的补偿

由上述可知，需要对衰减的颜色通道进行补偿，使各颜色通道直方图分布具有相似性。本文用最高像素分布均值颜色通道补偿另外两个颜色通道，因为最高像素分布均值颜色通道相对另外两个颜色通道，衰减最小，用它补偿另外两个颜色通道，能最大程度提高图像直方图分布，同时还能使另外两个颜色通道直方图分布和它相似。具体的补偿步骤如下：

(1)通道分解

把图像分解成红、绿、蓝三颜色通道。

(2)计算红、绿、蓝三颜色通道的平均值

Rmean=mean(mean(r(i,j)))

(1)

Gmean=mean(mean(g(i,j)))

(2)

Bmean=mean(mean(b(i,j)))

(3)

其中，mean是均值函数，r(i,j)/g(i,j)/b(i,j) 是上一步分解的红、绿、蓝颜色通道， (i,j) 为像素点，取值范围为0～255。Rmean/Gmean/Bmean是红绿蓝颜色通道对应的平均值。

(3)颜色通道排序。按照平均值高低给三颜色通道排序，分别表示为：Pfirst(i,j)、Psecond(i,j) 和Pthird(i,j)。 如果Rmean最高，则Pfirst(i,j)=r(i,j)。

(4)构建补偿因子。本文有2个补偿因子，分别为γ和β。γ表示最高和第二均值分布通道之间的补偿因子，β表示最高和第三均值分布之间的补偿因子，具体计算公式如下

(4)

(5)

(5)对第二、第三均值通道补偿。利用补偿因子和最高均值通道，对第二和第三均值通道进行逐像素补偿，补偿公式如下

Psecond(i,j)=Psecond(i,j)+γ*Pfirst(i,j)

(6)

Pthird(i,j)=Pthird(i,j)+β*Pfirst(i,j)

(7)

由上可知，第二和第三均值通道和第一均值通道相差越大，则补偿越大，反之则补偿越小。补偿前后效果图和对应直方图分布如图4(a)、图4(b)所示，发现补偿后的图像偏色现象基本去除，不存在明显的偏色问题。对比补偿前后直方图分布发现，相对补偿前图像三通道直方图分布各异，补偿后图像直方图分布具有一定的相似性，且像素值分布也大大提升。但是仅进行衰减通道补偿，图像效果还不理想，对应直方图分布还比较集中，没有遍及整个动态范围，因此还需要对补偿后的图像进行动态拉伸。

2.3 动态范围的拉伸

衰减补偿后的图像直方图具有一定的相似性，但分布还比较集中，因此还需要对其动态拉伸，使拉伸后直方图分布符合前节所述所有特点。统计学上，均值反映数据的集中趋势或者是期望值，标准差反映一个数据集的离散程度，因此我们采用均值和标准差来确定动态拉伸前的范围

(8)

(9)

其中，c∈{R/G/B}， 表示红、绿、蓝三颜色通道,Lmean和Lstd表示对应颜色通道的均值和标准差，Lmin和Lmax表示对应颜色通道的最小值和最大值，μ表示动态范围，经实验验证，动态范围不能太大也不能太小，取2～3之间时，效果较好，本文取μ=3。 然后通过式(10)进行颜色校正

(10)

3 实验结果与分析

为了评估所提方法的性能，本节通过主观分析、客观分析、运行时间和扩展应用几个方面，对比本文方法和现有颜色校正方法(文献[10]、文献[16]、文献[19]、文献[23])，结果如图5～图9所示，最后本节还进行了消融研究以及动态参数取值分析。本节实验图片除了图8来源于Liu等[24]提供的水下偏色图像，其余均来自网络。上述对比方法参数取对应文献参考值，实验平台为：CPU四核1.5 GHz、内存8 G；软件为Matlab R2017b，Windows 10操作系统。

3.1 主观分析

图5～图7分别是水下偏绿、偏蓝绿和偏蓝图像的对比效果图。文献[10]方法在偏绿和偏蓝绿的场景中，效果良好，因为其采用绿色补偿红色，然后再白平衡，而在偏蓝场景中，效果不理想。文献[19]方法能一定程度去除偏色现象，但效果不佳，去除后的图像还存在偏色现象。文献[16]方法相对另外两种方法适用性更好，但容易存在过校正现象，如图7存在过明亮区域。相比较而言，本文方法在不同偏色场景中都表现优异，也不存在过校正、过饱和现象，校正后的图像颜色丰富自然。

图8是从水下偏色图像数据集中选择的偏蓝、偏蓝绿和偏绿图像。发现文献[23]方法对各类图像都能适应，但处理后的图像过明亮，存在过饱和现象；文献[10]、文献[16]和文献[19]方法在偏绿的场景下能取得自然的效果，但对偏蓝图像不适应，处理后的图像还有明显的蓝色调。而本文方法在上述场景下都能获得自然的效果，也不存在过增强、过饱和现象。

图4 颜色通道衰减补偿和动态拉伸效果

图6 偏蓝绿水下图像对比效果

图7 偏蓝水下图像对比效果

3.2 客观分析

本节通过两个指标对上述方法的色彩校正能力进行客观分析：Avga和Avgb。Avga和Avgb分别为CIElab空间中通道a和通道b的平均值。Avga表示绿色到红色的分量，其中绿色在负方向，红色在正方向。Avgb表示蓝色到黄色的分量，其中蓝色在负方向。平均色度绝对值越大表示越严重的颜色偏色。

表1是图5～图7对应的Avga/Avgb指标评价结果。由表1可知，文献[10]和文献[19]方法不适应于偏蓝的场景，在第三个偏蓝场景中，Avgb数值分别高达：-14.82/-15.73。文献[16]的方法相对来说适应性要好，并且还能在个别场景中取得最好的Avgb分量值。但综合来看，本文方法最优，本文方法能在3种不同的偏色场景中取得综合最优值，仅在个别场景取得次优值。

表2是图8对应的Avga/Avgb指标评价结果。由表2可知文献[23]处理后的图像在偏蓝场景中有较高的Avga正值，说明存在红色过校正现象。而文献[10]和文献[19]的方法在偏蓝场景下Avga值都有较高的负值，说明偏色现象去除不理想。而本文方法在3个场景中都能取得较好的结果。

3.3 运行时间

运行时间是一个算法真实应用的重要指标，我们选取4种不同分辨率的图像进行实验。各算法运行时间见表3。

图8 偏色图像数据集对比效果

表1 图5/6/7对应的Avga/Avgb指标值

表2 图8对应的Avga/Avgb指标值

表3 算法运行时间对比/s

本文算法的运行时间优于文献[10]、文献[19]和文献[23]，微劣于文献[16]的算法。

3.4 扩展应用

本文还尝试将本文方法应用于沙尘天气偏黄图像，因为沙尘天气图像和水下图像相似，都严重偏色，如图9所示，表4是其对应的客观评价结果。发现文献[19]的方法处理后效果比较自然，但整个图像还存在一层淡黄色，表4中Avgb值有较高的正值，说明整个偏色现象去除不彻底。文献[16]的方法处理后图像颜色较自然，但在第三个场景中，处理后的人物轮廓颜色不自然。文献[23]方法处理后图像整体偏亮，且在第三个场景中，人物轮廓周围存在明显光晕现象，且处理后所有图像Avgb值都有较高的负值。相比较而言，本文方法处理后的图像最自然，具有最好的Avga/Avgb值。

图9 偏黄图像效果对比

表4 图9对应的Avga/Avgb指标值

3.5 消融研究

本节还分析了本文方法不同成分、不同次序的效果图，如图10所示，对应的客观评价见表5。发现仅用衰减补偿方法进行补偿，能去除一定的偏色现象，但效果不佳。仅用动态拉伸方法对偏色图像进行校正，存在过校正现象。先动态拉伸后衰减补偿的方法，效果和仅采用动态拉伸效

图10 本文不同成分和次序效果

表5 图10对应的Avga/Avgb指标值。

果没有什么区别，因为动态拉伸后，各通道均值近似相等，此时再用最强均值通道去补偿其它通道，补偿系数太小，因而效果和仅动态拉伸效果差不多。而本文方法取得的效果最好，图像看起来最自然，也不存在过饱和、过增强。

3.6 动态范围参数μ的数值分析

在2.3节中我们基于均值和标准差对通道补偿后的图像进行动态拉伸，以此来校正颜色。为了验证动态范围参数μ的取值对图像的影响，分别取μ=2、μ=2.2、μ=2.5、μ=2.8、μ=3进行实验分析。图11是参数μ不同取值对应的色彩校正效果图，通过色彩校正较好的还原图像的真实色彩，但μ取值较小时，图像的色彩会存在过增强现象。如表6所示，随着μ值增强，Avga值缓慢下降，Avgb值缓慢上升，综合来看，μ=3时Avga和Avgb值相加最低，最理想，最终取μ=3。

图11 参数μ不同取值效果

表6 参数μ不同取值对应的Avga/Avgb指标评价

4 结束语

本文从水下图像直方图分布特性出发，通过调整水下图像的直方图分布来改善水下图像的颜色失真，先用直方图均值分布最高的颜色通道对另外两个颜色通道进行自适应补偿，然后采用均值和标准差对补偿后的颜色通道进行动态拉伸，整个处理过程简单、有效，且能适用于水下大多数场景，通用性强。本文方法处理后的水下图像颜色丰富且自然，但水下图像除了颜色失真外，还存在对比度低、模糊等其它问题，因此仅采用颜色校正方法去除颜色失真还远远不够，还必须结合其它方法，如：对比度增强方法、去模糊方法等，才能得到清晰的水下图像，但本文方法可以作为水下图像预处理的选择之一。最后，如果水下图像三颜色通道都严重损毁，本文方法有可能存在过校正现象，因此，极端条件下的水下图像颜色校正是本文未来研究方向之一，同时进一步优化本文算法运行时间也是本文未来的研究方向之一。