基于色彩平衡及校正的水下图像增强算法

王梓丞，尹 勇

(大连海事大学 航海动态仿真和控制实验室，辽宁 大连 116026)

0 引 言

地球上海洋总面积占地球表面积的70.8%，随着近年来人类对于海洋的认识与探索不断加深，水下图像及视频信息在各行业，如利用水下机器人进行船体检测，桥体大坝检测，海底电缆及管道检测，海底石油勘探，水下搜救，海洋中生物及生态环境研究等应用范围日益增多。由于水体本身固有特性，水下照明/光学的物理性质，光束通过水体后会发生折射、散射和吸收问题，水下成像经常会导致成像结果模糊，分辨率低等特点，这对于水下环境中进行科学研究或资源勘探及利用等水下作业产生严重的影响。故在水下环境中实施观测及搜救等作业，需要对图像采集设备所采集的图像或者视频信息进行图像处理。图像处理目的是改善图像质量，而图像增强是改善图像质量最有效的方式。图像增强目的是改善图像的视觉效果，提高图像的质量和分辨率，使图像更加清晰，便于人和计算机对图像进一步的分析和处理。

该领域内一些专家学者针对水下图像模糊，色偏，非均匀光照等问题提出了各种针对水下图像增强的算法。现阶段主要以传统图像处理方法为主实现水下图像增强。Zhang等[1]提出了基于白平衡及相对全变分的低照度水下图像增强算法，校正色偏和增强图像细节。Wang等[2]提出了基于背景光估计与颜色修正的水下图像增强算法，去除水下图像模糊，改善图像的偏色，提升图像的清晰度。Yang等[3]提出了基于色彩衰减补偿和Retinex的水下图像增强算法，校正水下偏色图像，以及处理非均匀光照和低曝光问题。Ghani等[4]提出了整合同态滤波、重叠递归和双图像小波融合的深水图像增强方法，提升图像质量。Zhu等[5]提出了基于暗原色先验原理的水下图像增强算法，去除水下图像模糊特点，校正图像色偏问题，提高图像对比度。Zou等[6]提出了一种视觉显著性分割和Retinex算法相结合的水下图像增强方法，提高了水下非均匀光照条件下的清晰度。

现有文献描述的水下图像增强算法虽然在一定程度上可以对图像采集系统采集到的水下图像与视频信息进行增强，改善水下图像模糊的问题，但是针对各类复杂海域，图像色偏，图像非均匀光照的问题仍需进一步改进与提高。本文根据水下图像模糊，图像色偏，图像非均匀光照的特点，提出了一种基于色彩平衡及校正的水下图像增强算法。首先读取图像采集设备采集的原始水下图像或视频帧信息，经过自动白平衡算法处理色彩与色调问题；将色彩平衡后的水下图像或视频帧信息于R，G，B三通道分别利用单尺度Retinex理论的色彩恒常性进行算法运算；然后将经过单尺度Retinex算法处理后的R，G，B三通道分量分别进行对比度限制自适应直方图均衡；再经过R，G，B三通道自适应γ校正算法，分别对R，G，B三通道的亮度值进行自适应调整。最后对R，G，B三通道分量进行融合，得到增强后的水下图像或视频。

1 基于色彩平衡及校正的水下图像增强算法

1.1 自动白平衡算法

自动白平衡（Automatic White Balance , AWB）是摄像系统领域中非常重要的概念。在水下环境中，被拍摄物体受到外界自然光、摄像系统附加光源（如水下机器人搭载的可调照明设备）等的影响，通常给观测者模糊的视觉体验。通过自动白平衡算法，可以在一定程度上解决色彩还原问题与色调平衡问题，纠正或消除在水下环境中由于外界自然光、水质对光线的吸收或摄像系统自带照明设备而导致的偏色，以使图像的颜色保持恒定。现有的自动白平衡算法，主要有Gray World Method, Perfect Reflector Method等。本文算法采用Gray World Method，即灰度世界算法，其步骤可总结如下：

1)求取R，G，B三通道均值

提取彩色图像的R，G，B三通道，并分别对通道内的像素灰度值进行累加，遍历图像中所有像素，将遍历后的求和值除以图像的像素总数，求取三通道的均值，如下式：

2)求取图像灰度均值

对式（1）求得的R，G，B三通道均值求和后除以通道数，求取图像灰度均值，如下式：

3)求取三通道增益系数

将式（2）求得的图像灰度均值分别除以式（1）求得的R，G，B三通道均值，得到R，G，B三通道增益系数，如下式：

4)自动白平衡结果

将式（3）求得的R，G，B三通道增益系数，分别与输入图像中的R，G，B三通道对应像素的灰度值相乘，即可求得经过Gray World Method自动白平衡算法的结果，如下式：

1.2 Retinex水下图像增强算法

E.Land以人类视觉的亮度和颜色感知模型，提出了一种颜色恒常知觉的计算理论-Retinex理论（视网膜大脑皮层理论）。在水下环境中，根据Retinex算法原理，水下被观测物体周围的光线和被观测物体对于周围光线的反射，决定了水下光学成像系统对于水下被观测物体的观测效果。图像采集设备采集到的图像与视频信息，经过自动白平衡算法预处理后，由Retinex算法进行增强。该过程利用数学模型表述如下：

输入水下光学成像系统采集到的水下观测原始图像，即

其中，I(x,y)代表水下光学成像系统采集到的图像信号，本文中即经过自动白平衡算法后的原始图像（以下简称“原图像”），L(x,y)代表环境光的照射分量，R(x,y)代表携带图像细节信息的目标物体的反射分量。其步骤可总结如下：

1）将环境光照射分量与携带图像细节信息的目标物体的反射分量分离，故对该式两端取对数，一方面利于将乘法运算换算为减法运算，利于计算机进行处理；另一方面也可对图像中具有灰度值低的区域进行扩展拉伸, 进而补偿低曝光现象，即

变换得:

2）利用二维高斯模板对原图像做卷积运算，二维高斯模板函数，即

原图像经二维高斯模板卷积，相当于对原图像作低通滤波，经过滤波后的结果为：

3）在对数域，用原图像I(x,y)减去低通滤波后的图像，即可得到保留有高频分量的图像，即

4）对保留有高频分量的图像取反对数，即可得到R(x,y)，即

5）对R(x,y)做对比度限制自适应直方图均衡(Contrast Limited Adaptive Histogram Equalization , CLAHE)[7]，即可得到经过Retinex算法增强后的水下图像或视频。

1.3 RGB通道自适应幂律校正

文献[8]提出全局对比度增强不能同时增强图像中低光与高光部分，但是局部对比度增强可以通过使用临近像素同时增强阴影区域与高光部分。自适应局部幂律变换(Adaptive Local Power-Law Transformation,ALPLT)，利用矩形窗，在整幅图像中利用矩形窗遍历图像中各个像素点，以对图像进行校正。本文分别对R，G，B三通道进行自适应幂律校正，以校正R，G，B三通道亮度值。

γ校正最早用于阴极射线显像管（Cathode Ray Tube , CRT）显示器，可使图像看起来符合人眼特征。γ对应不同值对应的曲线如图1所示，矩形窗在局部像素块中平移示意图如图2所示。

图1 γ对应不同值对应的曲线Fig.1 γ Curves corresponding to different values

图2 矩形窗在局部像素块中平移示意图Fig.2 Schematic diagram of translation of rectangular window in local pixel block

算法原理如下：

其中：μ(x,y)为滑动窗口均值；x为图像宽度系数；y为图像高度系数；s为滑动窗口尺寸。

其中：E(x,y)代表经过自适应幂律校正增强后的像素亮度值，f(x,y)代表经过自适应幂律校正增强前的像素亮度值，γ代表幂值，α在多数计算机系统与标准显示器中应用非常广泛，主要用于幂律（伽马）校正，通常α值取2.2。

从式(12)～式(14)中可以看出，图像中一个暗色区域得到γ＜1，而同时图像中亮色区域得到γ＞1。

1.4 算法流程

1)采集图像或视频信息

通过软件读取图像采集设备采集的原始水下图像或视频信息。此处以一张水下机器人拍摄的原始水下检测图像为例，软件读取的水下图像如图3所示。

图3 原始水下图像Fig.3 Original underwater image

2)自动白平衡算法

原始水下图像经自动白平衡算法，以处理色彩与色调问题。R，G，B三通道分量分解灰度图如图4所示，R，G，B三通道分量融合图像如图5所示。

图4 经步骤2处理后R，G，B三通道图Fig.4 Three channel diagram of R, G and B after processing in step 2

图5 经步骤2处理后图像Fig.5 Image after processing in step 2

3)Retinex算法与CLAHE

将色彩平衡后的水下图像或视频帧信息进行R，G，B三通道分量分解，分别遍历R，G，B三通道各像素并对其进行基于单尺度Retinex算法运算，然后将R，G，B三通道分量分别进行对比度限制自适应直方图均衡。R，G，B三通道分量分解灰度图如图6所示，R，G，B三通道分量融合图像如图7所示。

图6 经步骤3处理后R，G，B三通道图Fig.6 Three channel diagram of R, G and B after processing in step 3

图7 经步骤3处理后图像Fig.7 Image after processing in step 3

4) 自适应幂律校正

分别对R，G，B三通道进行自适应γ校正，对三通道的亮度值进行自适应调整。最后对三通道分量进行融合，得到增强后的水下图像或视频。R，G，B三通道分量分解灰度图如图8所示，经本文算法增强后的水下图像增强图如图9所示，具体算法流程如图10所示。

图8 经步骤4处理后R，G，B三通道图Fig.8 Three channel diagram of R, G and B after processing in step 4

图9 经本文算法增强后的水下图像增强图Fig.9 Underwater image enhancement image enhanced by this algorithm

图10 基于色彩平衡及校正的水下图像增强算法流程图Fig.10 Flow chart of underwater image enhancement algorithm based on color balance and correction

2 实验过程、结果与分析

实验利用5幅水下原始图像，分别采用限制对比度直方图均衡(Contrast Limited Adaptive Histogram Equalization , CLAHE)算法，暗通道先验(Dark Channel Prior , DCP)算法，单尺度Retinex(Single Scale Retinex ,SSR)算法，带色彩恢复的多尺度视网膜增强算法(Multi-Scale Retinex with Color Restoration , MSRCR)与本文提出的算法，对结果进行主观比对，基于信息熵的清晰度评价函数Entropy，平均梯度强度与对比度系数分析经过图像增强前后的图像各方面指标，如图11～图15和表1～表3所示。

根据人类视觉主观角度分析图11～图15可知，本文提出算法增强处理后，图像中目标与背景细节改善较为清晰，有效解决偏色问题，针对图像整体视觉效果改善较为明显。

图11 结果1Fig.11 Result 1

图12 结果2Fig.12 Result 2

图13 结果3Fig.13 Result 3

图14 结果4Fig.14 Result 4

图15 结果5Fig.15 Result 5

由表1～表3，可得以下结论：

表1 图像增强效果客观评价（基于信息熵的清晰度评价函数Entropy）Tab.1 Objective evaluation of image enhancement effect(sharpness evaluation function Entropy based on information entropy)

表2 图像增强效果客观评价（基于平均梯度强度）Tab.2 Objective evaluation of image enhancement effect(based on average gradient intensity)

表3 图像增强效果客观评价（对比度系数）Tab.3 Objective evaluation of image enhancement effect (contrast coefficient)

1）由基于信息熵的清晰度评价函数Entropy的图像增强效果评价系数基本保持不变可以看出，本文提出的水下图像增强算法在图像增强处理前后图像信息保真度良好；

2）由基于平均梯度强度的图像增强效果评价系数可以看出，按平均梯度强度系数，本文算法＞CLAHE＞DCP＞MSRCR＞SSR＞原图像，经过图像增强处理后的算法，图像细节、图像纹理特征、图像清晰度、图像层次相较于图像增强处理前的水下图像具有更好的视觉特性；

3）由对比度对比系数可以看出，本文算法在图像对比度上具有较高的提升，图像整体对于人类视觉角度而言更好。

3 结 语

本文提出了一种有效的水下图像增强算法，利用自动白平衡算法，解决水下图像色彩还原问题与色调平衡问题。采用Retinex理论与CLAHE算法，去除水下图像模糊问题与进行色偏校正。结合自适应γ校正算法，对R，G，B三通道进行亮度自适应校正。综合实验结果，得出该算法可有效减轻或消除由于水下环境问题而导致的水下图像模糊，整体色彩偏色，对比度低的问题，图像失真率低，并可增强水下图像细节，益于辨析观测目标细节特征。经算法校正后图像整体便于人类视觉分析与计算机视觉后期分析，有利于对图像或视频中的目标进行检测或识别。