水下降质图像的偏振参数分区优化复原

李荣华， 蔡昌烨， 张圣辉， 徐云鹤， 曹昊天

（1. 大连交通大学 机械工程学院，辽宁 大连 116028；2. 大连市先进机器人感知与控制技术创新中心，辽宁 大连 116028）

1 引言

水下图像复原广泛应用于海洋考古、海洋军事、以及海洋生物学研究中［1-2］。水中模糊的图像阻碍着人类对于海洋的探索，这催生了水下图像复原和探测技术的发展。光在水下传播过程中，由于水下杂质粒子的散射和水的吸收作用，拍摄设备得到的水下图像会变的模糊，颜色会失真、图像对比度和图像亮度都会降低［3-4］。基于偏振信息的水下图像复原以及水下探测导航技术现如今应用广泛［5］，偏振是光的固有特性之一，基于偏振信息的水下图像恢复方法通常在同一场景中收集偏振图像，结合偏振信息，分离背景光和散射光，从而达到恢复水下图像的目的。

为解决水下图像模糊和信息衰减等问题，诸多学者提出了一系列提高水下成像质量的方法。Bazeille 等人通过小波去噪、颜色平衡等预处理方法增强了水下图像的对比度［6］。He 等人提出了一种基于暗通道先验（Dark Channel Prior，DCP）的图像增强算法［7］。Galdran 等人利用反向红色通道和蓝绿色通道最小化改进DCP 算法，并引入饱和度信息来减除主动光源的影响，对DCP 算法进行了优化［8］。结合偏振信息，Schechner 提出了一种基于物理模型的算法来反推水下图像退化过程，它考虑了图像退化的原因，并估计了水下成像模型中的参数，在一定程度上有效地提高了退化图像的可见性，但该方法假设是光照是均匀的，仍有一定的局限性［9-10］。之后，越来越多的研究者在此物理模型的基础上进行了改进。传统方法对于高偏物体（例如金属）的恢复效果很差，Huang 等人提出了一种基于曲线拟合来估计透射率和背景光的方法［11］。通过该方法，水中的高偏物体和低偏物体都能够得到很好的恢复，然而，由于引入了大量的非线性计算，虽然结果得到了优化，但是处理时间大幅度增加。胡浩丰等人提出了一种透射率校正的方法［12］，使用简单的多项式拟合来校正具有较高偏振度的物体的透射率，以恢复具有不同偏振度对象的图像，该方法的处理时间相较于Huang 等人的方法得到明显的缩短。范之国等人提出了一种全局参数估计的水下偏振复原方法，解决了人工取景估计参数不佳的问题［13］。2021年，褚金奎等人提出了基于特定偏振态成像的水下图像去散射方法，该方法使高浑水下偏振度、偏振角图像质量得到明显改善［14］。近期刘飞等人通过分析后向散射光的分布，根据偏振信息具有低阶特性，通过低秩稀疏矩阵分解估计后向散射光的偏振度和偏振角，复原出清晰的图像，突破了传统偏振成像方法中后向散射光假设的局限性［15］。传统方法对于要处理的整个图像是全局最优的，但对于图像内的每个目标不是最优的。这可能会导致某些目标物无法获得图像增强甚至发生退化。Zhang 等人通过旋转分析仪提取低偏高偏目标物连通域实现了从传统方法中的全局最优估计到局部最优估计的转变［16］。

本文针对现有水下图像偏振复原方法在硬件以及算法基础上进一步改进优化，使用主动偏振光源，搭配了多通道实时偏振探测系统获取0°，45°，90°，135°多幅偏振图像，基于水下图像复原模型，获取偏振信息。首先运用分块对比度加强和引导滤波对两幅偏振正交图像进行预处理，在水中目标反射光偏振度与目标的材质和表面结构高度相关，现实水下真实图像中目标往往拥有复杂的偏振特性，对于同时存在复杂目标的图像，传统方法是对整幅图像的偏振信息进行估计，但整幅图像的全局偏振信息并不适用于每个目标物，这可能会导致某些目标物无法获得图像增强甚至发生退化，其次本文根据偏振度图像各像素点的值进行分区，较其他方法优化了对低偏、高偏目标物区域的提取过程，并分别估计各目标物的目标光偏振度，改善了以往全局估计容易带来的偏差，最后对后向散射光偏振度进行了分区迭代优化，本文方法能够有效抑制后向散射光，实现更好的图像清晰化目的，改善最终图像质量。

2 水下偏振图像清晰化模型

迄今为止大部分基于水下图像复原方法中，都是以Jaffe-McGlamery 模型作为基础，在此基础上进行优化。本文的水下物理模型模型由主动光源、起偏器、探测目标、浑浊水体、检偏器、偏振相机组成。分析已知的光的散射特性，可知偏振成像模型所接收到的信息由目标光分量、前向散射分量和后向散射分量所组成。目标反射光是主动光源发出的在观测目标物表面反射的光，前向散射光是目标反射光在进入相机之前被水中的杂质散射而成的，散射光是造成图像模糊、对比度下降的原因。因此，构建水下偏振图像清晰化模型可以有效分离图像中的前向、后向散射信息，复原目标反射光。由于前向散射光对比后向散射光的强度极小，将前向散射光考虑在模型之内会显著增加算法的复杂度，且对图像质量提高作用不大。因此本文着重考虑水下偏振图像中目标反射光和后向散射光的关系。

根据主动光水下偏振成像示意图1 我们可知该系统接收到的总光信号I表示为：

图1 主动光水下偏振成像示意图Fig.1 Schematic diagram of underwater polarization imaging of active light

图2 四通道偏振图像拟合的最好最差图像Fig.2 Best and worst image fitted to the four-channel polarization image

其中：I(x，y)是水下偏振成像系统获得的图像，即相机所接收到的原始信息，S(x，y)是目标反射光，B(x，y)则是后向散射光。水下图像清晰化的目标就是对S(x，y)进行求解，克服原始图像I(x，y)中后向散射光B(x，y)的影响。

本文光的偏振信息由Stokes 矢量（参数I，Q，U，V）来描述，可以推导出斯托克斯矢量的表示方法：

其中：I表示总光强，即0°，90°两个偏振方向的光强分量之和，Q表示0°，90°两个偏振方向的光强分量之差，U表示在45°，135°两个偏振方向上的线偏振光分量的差值，V是左旋偏振光与右旋偏振光的差值。

因此斯托克斯矢量的参数之间可以表示为：

本文主要用线偏振光进行原始的信息采集，并没有采集圆偏振光，后续计算中使用线偏振度，所以假设圆偏振参量V=0，这一假设对于后续的图像复原影响微乎其微，可以忽略。因此公式可以进一步简化为：

根据偏振度的定义，结合公式（8），线偏振度的表示如式（8）所示：

不同偏振角度下光强拟合曲线公式如式（9）所示：

式中：α是指偏振方向与标准方向之间的夹角，通过多通道实时偏振探测系统获取0°，45°，90°，135°四幅不同偏振角度的图像结合Stokes 矢量便可以求解出I，Q，U，代入公式（9）即可求出处于不同偏振角度时的光强图像I（α）。通过I（α）后续可以得到光强最大和最小的两幅偏振图像，同时两幅图像的偏振角度正交，根据强度分别记为Imax(x，y)和Imin(x，y)。

结合式（1）两幅光强最大最小的两幅偏振图像也可用后向散射光和目标反射光来表示：

其中：式（10）中Smax(x，y)，Bmax(x，y)分别为光强度最大时的目标反射光和后向散射光。同理，式（11）中Smin(x，y)，Bmin(x，y)分别为光强度最小时的目标反射光和后向散射光。

米氏散射理论认为，后向散射光为部分偏振光，因此根据米氏散射理论与偏振度的定义，可以得出后向散射光的偏振度如下：

同理目标光偏振度Ptar可表示为公式（13）如下：

联立式（10）和式（11）可求得图像总光强用Itotal表示，为了简洁表示，对坐标量（x，y）进行了省略：

对式（10）～式（13）进行联立可得：

因此，根据式（14）和式（15），可以对目标反射光S和后向散射光B进行求解得：

经过上述的推导，根据式（16）和式（17）可知，根据水下偏振图像的原始信息，只需对目标反射光偏振度Ptar与后向散射光偏振度Pscat进行求解即可求出目标反射光和后向散射光，求解Ptar，Pscat，Imin，Imax，即可得出复原图像。

3 偏振参数分区优化复原方法

3.1 Imin，Imax分块对比度增强预处理

随着浑浊度的增大，目标区域S(x，y)越来越小，浑浊介质所带来的干扰B(x，y)越来越大，二者的比值，清晰度γ=S(x，y)/B(x，y)就越低，造成图像的对比度过低。而利用本文提出的方法实现的对比度增强，后续处理的结果会得到改善，并提升高浑浊度环境下的成像质量。由于两个正交偏振图像之间存在偏振关系，因此，单独对两个正交偏振图像进行对比度加强可能会破坏这种偏振关系，使偏振特性无法保证。偏振度是最重要和最基本的偏振参数，经常用于描述偏振特性，因此，为了保持偏振关系，我们只需要通过对比度加强方法处理其中一幅正交图像，然后根据两幅图像的偏振特性得到另一幅图像［17］。

原始正交偏振图像Imin，Imax对之间存在固有的偏振关系如公式（18）所示，偏振度P(x，y)可由式（8）得出，预处理后的图像间也应保持同样的偏振关系，即处理前后每一对正交偏振图像对的偏振度P(x，y)应保持不变。此外，由于混浊水体介质的信息衰减大，“最暗”（Imin）图像比“最亮”（Imax)图像受到更少后向散射光的退偏影响，目标反射光信息占比最大，因此，所以直接对“Imin”进行对比度加强预处理更为有效。再结合公式（19）可得到预处理后的Imax。

首先，通过分块处理，将图像分成H×W的小块，分离出每一小区域的高低频信息，引用加强因子β对高频信息进行加强。

其中：H表示每一小块的高，W表示每一小块的宽，表示Imin中的局部块的像素值之和。表示每个局部块像素均值。

因此对比度加强可表示为：

为了避免对比度加强后形成的块效应，使用引导滤波进行平滑处理：

其中：guidefilter（ ）为导向滤波过程；r为导向滤波的滤波半径，本文为5；eps 为极小数。

对比度公式如式（23）所示：

其中：N为图像中的像素总数，为Imin的平均值，如果β值太小，可能会导致增强图像中的纹理平滑和细节丢失。相反如果β值太大，可能会导致增强图像中的像素溢出和过饱和。经过多次调试将β值取2.5，预处理图像对比度最高，质量最好。

3.2 目标物分区提取，目标光偏振度估计

高偏物体与低偏物体偏振度差距过大，例如塑料等低偏物体的偏振度很小，接近于0，而高偏物体例如金属的偏振度可接近于1，可以根据这个特性，通过偏振度分区筛选高偏低偏物体区域，方便后续提取连通域，根据式（8）Stokes 矢量得到的偏振度图像。该图像每个像素点代表该对应点的偏振度值，根据不同的偏振度，建立合理的偏振度分区，方便将高低偏物体成功提取。

图3 为偏振度伪彩色图（彩图见期刊电子版），该伪彩色图可以表明，根据不同目标物偏振度值的差异，很容易将二者进行筛选，区分开来，方便对不同目标物进行提取，本文参考文献（16）方法通过旋转分析仪，获得不同偏振角度（不同亮暗）的偏振图像，根据不同偏振角度下高偏低偏物体具有亮暗差异来进行提取，该提取方法旋转角度过程过于繁琐，往往找不到合适的角度分离目标物，而本文提取的方法相比该方法更节省时间，准确率高，同时本文方法解决了传统方法在高浑浊度下提取困难的问题。

图3 偏振度伪彩色图Fig.3 Pseudo-color plot of polarization

首先本文对分区预提取的图像进行最大值滤波，最大值滤波的优点是可以去除图像中存在的暗点，并且也会使图像亮度增加，达到增强目标轮廓的作用，便于目标提取。

其中：Ichoosec是选定的分区后的图像；Ω(x，y)是在像素点的窗口，c 为图像三个通道；

之后使用Otsu 方法，根据方差分布的概率对图像进行二值化，分别提取目标物坐标信息。接下来用sobel 算子进行边缘识别，最后进行闭操作，实现对多个目标物的分别提取。

对目标物进行分别提取，用EME 对目标光偏振度在0～1 范围内，以0.01 为步长进行迭代估计，确定提取后目标物的偏振度。图像细节评价指标EME 的表达式如下：

其中：EME 是图像局域灰度变化程度的表现，图像局部灰度变化越强，图像的细节表现详细，计算出的EME 值也越高。根据公式（25）图像被分成K1×K2 个小区域，计算每个小区域中灰度最大的值与最小的值之比的对数均值，得到的即是评价结果，EME 经常被用来衡量图像的质量，EME 的值越大，图像质量越好。

3.3 后向散射光偏振度选区迭代优化

传统方法总是将计算后的后向散射光偏振度取平均值，计算过程详见式（12），后向散射光偏振信息的不均匀性一直是偏振水下成像中被忽视的一个特征，而且后向散射光偏振信息的准确估计对成像结果的质量起着重要作用。传统的偏振成像方法假定背散射光的偏振度和偏振角是恒定的，事实上，后向散射光的偏振信息是渐进的而不是恒定的，本文将对后向散射光偏振度进行选区迭代优化，提高图像质量。

最优迭代区间选定为：［0+a×0.1：0+a×0.1+b×0.1］，其中迭代系数a取值范围为0～100，迭代系数取值范围为b取0～100。当后向散射光偏振度在选定偏振度区间内的像素，其数值保持不变，区间外的像素使用周围邻域的中值替代。最后，利用EME 作为评价指标，筛选出EME 值最大的区间以及系数a和b。

4 实验与分析

4.1 实验环境

实验环境如图5 所示，主要部件包含偏振相机、偏振光源、线偏振片、玻璃水箱、目标物。相机使用加拿大LUCID VISION LABS 公司开发的搭载Sony IMX250 MYR 图像传感器的TRITON 彩色偏振相机TRIO50S-QC，该相机是四通道的分焦平面偏振相机，可以同时采集0°，45°，90°，135°四个偏振角度的偏振图像，无相位延迟，其中每幅图像的最大像素为2 448×2 048。该四通道分焦平面偏振相机解决了以往使用的偏振片旋转式偏振相机照片拍摄存在时延而造成的复原效果不良的问题。实验中，使用添加了USP-50C0.4-38 线偏振片的主动光源（Rawray 150W LED 灯）对目标进行照射，目标物放置在透明的高透亚克力水缸（透光度达96%以上）中，水箱的长宽高分别为40 cm，40 cm，50 cm，且在水箱内侧覆盖了黑色镀膜，以避免实验室外部环境光的干扰。并且为了模拟自然水体的浑浊，在水中加入了牛奶，通过加入脱脂牛奶的量来改变水体的浑浊程度，用来模拟浑浊水体，进行水下实验，最后用本文的方法得到优化后的实验图像。

表1 工作环境Tab.1 Working environment

图5 总体流程图Fig.5 Overall flowchart

图6 实验环境图Fig.6 Experimental environment diagram

图7 低浑浊水下实验1Fig.7 Low turbidity underwater experiment 1

4.2 实验结果

本文共进行三组实验，分别对低浑浊度下的无偏、高偏目标物，低偏、高偏目标物，以及为了模拟水下真实环境对高浑浊度低照度下低偏、高偏目标物进行复原。图10 为三维分列柱形图，展示了三组实验结果（表2～表4），由于实验结果EME 取值范围在5 以内，NIQE 在20 以内，Contrast 在50 以内，三者相差较大，为方便横向对比，使实验结果更为直观，对每组实验的同一评价指标数值按百分比占有量进行归一化处理（取值范围在0～1 之间）。其中EME（Enhancement Measure Evaluation）如式（25）所示，图像复原质量越好，得到的EME 也越大。NIQE（Natural Image Quality Evaluator）又名自然图像质量评价器，为无参考图像评价指标，图中NIQE 值下降显著，NIQE 值越小，图像越自然。Contrast 为对比度，Contrast 值越大，说明图像轮廓清晰，细节信息更丰富。由图10 三个实验结果可知，本文方法对同时存在多目标物，尤其在高偏、无偏以及高偏、低偏混合目标下较其他方法具有显著优势，本文方法能对高低偏物体进行分别优化，整幅图像的全局偏振信息并不适用于每个目标物，传统方法可能会导致某些目标物无法获得图像增强，甚至发生退化，本文方法针对多目标物进行图像复原，解决了在全局估计下部分目标物无法充分复原的问题。根据实验1 和实验2，在低浑浊度下，各目标物分别进行复原，图像复原效果显著，由于（原）图8（实验三）是在高浑浊度，低光照下（为模拟水下真实环境）进行，只能分辨图形基本轮廓，细节信息分辨不高，但较原始光强图（Intensity Image）表征的细节信息更为丰富，EME 值提升达379%，对比度则提升956%，同时较本文列举的其他方法提升显著，证实了本文算法在高浑浊度水下应用的可行性。

表2 实验1 图像质量对比Tab.2 Experiment 1 image quality comparison

表3 实验2 图像质量对比Tab.3 Experiment 2 image quality comparison

图8 低浑浊水下实验2Fig.8 Low turbidity underwater experiment 2

图9 高浑浊低光照水下实验3Fig.9 High turbidity and low light underwater experiment 3

图10 实验数据三维柱形图Fig.10 Three-dimensional histogram of experimental data

5 结 论

本文针对高浑浊度水下环境中，获取的图像存在对比度下降、清晰度低、信息衰减、目标复杂时难以完全复原等问题，搭建了水下偏振成像实验平台，提出了一种水下降质图像的偏振参数分区优化复原方法。通过对高低偏物体的偏振特性进行分区，优化了目标区域的提取方法，对高低偏水下目标的Ptar 进行分别估计，对Imin，Imax，Ptar，Pscat进行不同程度的改进优化，获取目标复原图像。本文实验结果的主观视觉质量提升显著，前两组实验在低浑浊度下对比原始光强图，客观评价指标的EME 值提升平均达554%，对比度则平均提升528%，第三组实验在低照度高浑浊度环境下对比原始光强图，EME 值提升达379%，对比度则提升956%。三组实验自然图像质量评价指标NIQE 值表现良好，图像更加自然。因此，本文的方法能有效地复原水下浑浊图像，增加图像对比度，改善图像质量，实现图像复原。本文研究结果为水下偏振图像复原和增强提供了研究基础，同时算法的鲁棒性和自适应能力还有待提高，这是我们今后需要进行改进提升的工作。