光滑物体表面反射光偏振特征分析及反射光分离技术*

张 焱，张景华，石志广，张 宇，凌 峰，刘 荻，索玉昌，师晓冉

(国防科技大学 电子科学学院 ATR 国防科技重点实验室， 湖南 长沙 410073)

光滑物体表面反射光主要包括镜面反射光和漫反射光，两者之间相互存在、共同作用[1-2]。其中，漫反射光主要和物体表面自身材质属性有关，如折射率、粗糙度等[3-4]，镜面反射光除和自身属性有关外，还和入射光源强度、入射方向等外部因素有关[5-6]。在光滑的物体表面，易产生镜面反射光[7]。由于镜面反射光会在物体表面呈现虚像，造成反射区域光照不均，且当反射光源较强时，还会在物体表面形成高亮区域，掩盖物体自身的颜色细节等属性，给图像分割、目标识别、立体匹配等图像处理和应用带来较大干扰[8-9]。随着现代化城市建设及室内装修过程中，玻璃、陶瓷、地板砖、金属、塑料等具有光滑表面结构的材质被大量采用，物体表面镜面反射光分离和抑制问题引起国内外学者的重点关注。

由于光滑物体表面镜面反射光和漫反射光均具有偏振效应，且两者之间偏振特征存在明显差异，因此利用偏振特征能够为镜面反射光分离和抑制提供有效先验信息。Ohnishi等[10]提出了一种基于旋转偏振片的反射光分离方法。该方法利用不同起偏角下光强大小不同的原理，通过旋转偏振片获取不同起偏角下的偏振图像，从而实现反射光的分离。Wolf等[11-14]通过假定物体表面漫反射光为自然光，镜面反射光为部分偏振光，且偏振度不随物体表面观测角的变化而变化，利用偏振探测器测量反射光中垂直方向光强分量和平行方向光强分量的比值，实现镜面反射光和漫反射光的分离。Nayar等[15]提出一种结合颜色信息和偏振信息的偏振成分分解方法，该方法假定不同颜色空间上偏振态是相互独立的，而漫反射成分位于RGB颜色空间中的线性子空间，同时假设邻域像素点具有相同的漫反射成分，通过求解相邻像素点漫反射线性子空间在RGB三维颜色空间上的交点，实现漫反射成分的估计。

尽管目前基于偏振特征的镜面反射光分离和抑制取得了一定的研究成果，但是依然存在以下两点不足：一是传统的基于旋转偏振片的方法不具备实时性和实用性，且难以完全分离镜面反射光；二是大多数基于偏振特征的反射光分离方法都是假定漫反射光是自然光，且漫反射光和镜面反射光是独立存在的，没有考虑两者之间的相互作用。而在现实世界中，光滑物体表面即包含以镜面反射为主导的区域又包含以漫反射为主导的区域，因此属于混合反射区域。由于混合反射区域中反射光组成较为复杂，即存在镜面反射光强度大于漫反射光强度的反射点，又存在漫反射光强度大于镜面反射光强度的反射点，尽管混合反射区域中物体表面的粗糙度、折射率等物理属性均相同，但是由于其镜面反射光强度和漫反射光强度的不同，导致各反射点处偏振角的不同，因此混合反射区域中镜面反射光和漫反射光的分离是光学领域的一项研究难题。

本文针对目前基于偏振特征的反射光分离技术存在的以上问题，通过对物体表面镜面反射偏振现象和漫反射偏振现象进行分析，建立了一种结合两者相互作用的偏振态表征模型，用于计算物体表面反射光的偏振状态。然后在偏振分析的基础上，基于物体表面漫反射光和镜面反射光在平行方向上和垂直方向上的分布特征，通过结合镜面反射偏振度和漫反射偏振度提出一种偏振正交分解的镜面反射光成分和漫反射光成分求解方法，并针对镜面反射偏振度和漫反射偏振度难以直接测量的难题，提出一种基于镜面反射光成分和漫反射光成分归一化互相关最小化的反射光分离策略，利用梯度下降法得到镜面反射光成分和漫反射光成分归一化互相关最小值，实现了光滑物体表面镜面反射光和漫反射光的分离。本文算法总体流程图如图1所示。

图1 本文算法总体流程图Fig.1 Flow chart of the proposed algorithm

1 物体表面反射偏振态模型构建

1.1 物体表面反射光组成

探测器接收到的物体表面反射光主要由镜面反射光IS和漫反射光ID构成[16-18]，其中漫反射光ID又可以分为漫反射偏振光IDp和漫反射自然光IDunpolar，如图2所示。

1)镜面反射偏振光IS：镜面反射偏振光由光滑物体表面直接反射外部光源产生，根据菲涅尔反射定律，光波发生镜面反射后，由自然光变为偏振光，且偏振方向垂直于入射面。

2)漫反射偏振光IDp：漫反射偏振光是由外部光源入射到物体内部，并经过内部分子、原子的折射返回物体表面产生。折射产生的偏振光其偏振方向平行于入射面。

3)漫反射自然光IDunpolar：漫反射自然光由粗糙物体表面反射周围光源产生，由于粗糙面元法向量的随机性，该部分漫反射光不是偏振光，而是自然光。

1.2 光滑物体表面反射偏振态表征模型

在本节中，通过对反射过程中镜面反射光和漫反射光的偏振传输过程进行分析，利用偏振光正交分解的方法，提出一种结合镜面反射和漫反射的反射光偏振态表征模型。

图2 物体表面光波偏振状态传输示意图Fig.2 Transmission diagram of polarization states of light wave on object surface

1.2.1 镜面反射光和漫反射光正交分解

物体表面镜面反射偏振光属于部分偏振光，可以分解为垂直入射面方向和平行入射面方向光强之和：

(1)

镜面反射过程中产生的偏振度为：

(2)

同样，对于漫反射偏振光，也可进行如下正交分解：

(3)

根据基尔霍夫定律和能量守恒定律[19]，反射率和发射率之和为1：

(4)

漫反射偏振光的偏振度为：

(5)

对于漫反射自然光，由于各个方向光强相同，则：

(6)

通过光波的正交分解，能够建立镜面反射偏振光偏振度和漫反射偏振光偏振度随观测角的变化模型。对典型光滑表面材质的物体(玻璃)的反射偏振度进行仿真，如图3所示，其中图3(a)为垂直方向和平行方向反射率仿真结果，图3(b)为垂直方向和平行方向发射率仿真结果，图3(c)为镜面反射偏振度和漫反射偏振度仿真结果，偏振度的正负表示偏振方向，正值表示垂直入射面的方向，负值表示平行入射面的方向。从图3中可以看出，镜面反射偏振光强主要分布在垂直方向上，具有较强的偏振效应，在布儒斯特角附近，偏振度达到1。漫反射偏振光强以平行方向为主，偏振度随观测角的增加而增加。

(a) 反射率仿真结果 (a) Simulation result of reflectivity

(b) 发射率仿真结果(b) Simulation result of emissivity

(c) 偏振度仿真结果(c) Simulation result of polarization图3 玻璃镜面反射偏振度和漫反射偏振度仿真Fig.3 Simulation of polarization generated by specular reflection and diffuse reflection respectively

由于物体表面总的漫反射成分ID等于漫反射偏振光IDp和漫反射自然光IDunpolar之和，即:

(7)

总的漫反射偏振度为：

(8)

图4为光滑物体表面漫反射光的光强分布图。从式(8)和图4仿真结果可以看出，总的漫反射光和漫反射偏振光具有相同的偏振方向。而由于受漫反射自然光的影响，总的漫反射偏振度小于漫反射偏振光的偏振度。

图4 漫反射光组成Fig.4 Composition of diffuse reflected light

1.2.2 结合镜面反射和漫反射的偏振态模型构建

由图2的反射模型可以看出镜面反射光和漫反射光是同时存在、相互作用的，所以必须建立一个结合两者共同效应的偏振状态传输模型，才能有效计算探测器接收到的偏振光的偏振状态。

探测器接收到的总的光强为：

I=IS+ID

(9)

对镜面反射成分和漫反射成分进行正交分解得：

I=R⊥(θ)PS+ε⊥(θ)PD+R‖(θ)PS+ε‖(θ)PD+IDunpolar

(10)

令I⊥表示探测器接收到的垂直方向总光强，则：

(11)

令I‖表示探测器接收到的平行方向总光强，则：

(12)

根据偏振度定义：

(13)

定义物体表面漫反射偏振光强IDp与镜面反射光强IS之比为：

(14)

定义物体表面漫反射自然光强IDunpolar与镜面反射光强IS之比为：

(15)

则目标物体表面的偏振度为：

从式(16)可以看出，物体表面的偏振态不仅和自身折射率有关，还和物体表面的镜面反射光强以及漫反射光强的大小有关。由于2α+β+(R⊥+R‖)·(1-α)>0，所以物体表面的偏振角由(R⊥-R‖)·(1-α)决定，即偏振角仅和α有关，而偏振度则由α及β共同决定。对于在光滑物体表面，由于表面面元法向量分布较为统一，漫反射自然光成分所占比例较小，β可近似为0，此时物体表面偏振度为：

(17)

选取不同的α值，分别为0.4、0.6、0.8、1、1.2、1.5、2，对不同探测角度下玻璃表面的偏振度进行仿真，如图5所示。其中，图5(a)是综合漫反射光和镜面反射光之后总的光强分布图，图5(b)是光滑物体表面不同反射比下偏振度变化规律。从图5仿真结果可以看出，镜面反射偏振光和漫反射偏振光由于偏振方向相互垂直，两者之间相互作用时会发生消偏现象，当镜面反射偏振光大于漫反射偏振光时，偏振方向垂直于入射面；当漫反射偏振光大于镜面反射偏振光时，偏振方向平行于入射面；而当反射比α在1上下变化时，偏振方向会发生90°变化。

(a) 总反射光(a) Total reflected light

(b) 不同反射比下偏振度变化规律(b) Variation of degree of polarization under different reflectance α图5 结合镜面反射光和漫反射偏振光的偏振态表示Fig.5 Simulation of polarization combined with specular reflection and diffuse reflection

(a) 实测可见光图像(a) Measured visible light image

(b) 不同偏振态对应的HSV色彩空间(b) HSV color space corresponding to different polarization states

(c) 实测偏振图像(c) Measured polarization image图6 偏振态实测结果Fig.6 Measured results of polarization states

图6(a) 是实际拍摄的室内环境中可见光图像。图6(b) 是偏振度ψ和偏振角ω对应的HSV颜色空间，图6(c) 是HSV颜色空间中显示的偏振图像。可以看出，图6(c) 区域A中偏振度较小，这是由于该区域反射的墙壁光强和自身漫反射光强近似相等，反射比α接近1，所以偏振度较小；区域B反射的是桌子光强，该光强明显弱于柜子自身漫反射光强，所以该区域以漫反射为主，偏振角在0°附近，偏振方向和入射面平行；区域C反射的门外太阳光强，镜面反射光大于漫反射光，反射光以镜面反射光为主，偏振角在90°附近，偏振方向和入射面垂直。从实际拍摄的偏振图像可以看出，反射光偏振态和漫反射光强及镜面反射光强密切相关，验证了本文提出的结合镜面反射和漫反射相互作用的偏振态表征模型的有效性。

2 光滑物体表面镜面反射成分和漫反射成 分分离

通过上节分析可知，物体表面偏振状态由镜面反射光和漫反射光共同决定，本节中将利用镜面反射光和漫反射光在垂直方向和平行方向上的光强分布关系，通过镜面反射偏振度和漫反射偏振度求解光滑物体表面镜面反射光成分和漫反射光成分。

2.1 光滑物体表面垂直方向和平行方向光强分 量提取

根据偏振光的表示形式[19-20]，偏振光在不同起偏角下的光强计算公式为：

cos2[φm-φ⊥(i,j)]

(18)

其中，φm为起偏角，φ⊥为垂直方向对应的起偏角。令φ0=0°，分别设置起偏角φm为φ0=φ0、φ4=φ0+45°、φ90=φ0+90°，获取对应的偏振图像为I0、I45、I90，将其代入式(18)可分别求得垂直方向光强I⊥和平行方向光强I‖如下[20]：

(19)

(20)

2.2 基于偏振正交分解的反射光分离

根据偏振正交分解原理，探测器接收到的光强在垂直方向上和平行方向上的分量为：

(21)

光滑物体表面镜面反射光和漫反射光都属于偏振光，令镜面反射光偏振度为γ，漫反射光偏振度为χ：

(22)

(23)

则：

(24)

(25)

将式 (24)、式(25) 代入式 (21) 求解得到漫反射光在垂直方向上和平行方向上光强分量：

(26)

同时求得镜面反射光在垂直方向上和平行方向上光强分量为：

(27)

总光强等于垂直方向和平行方向光强之和，因此可以求得光滑物体表面镜面反射光成分和漫反射光成分如下：

(28)

2.3 基于图像归一化互相关最小化的反射光分 离方法

已知镜面反射光偏振度、漫反射光偏振度以及垂直方向、平行方向光强，利用式(28)可以求得光滑物体表面每个像素点处镜面反射光强和漫反射光强，从而实现反射光的分离。但是光滑物体表面镜面反射光和漫反射光是相互存在的，无法直接利用探测器分别获取镜面反射光偏振度和漫反射光偏振度。

由于光滑物体表面镜面反射光和漫反射光包含不同的信息，在理想分离情况下，得到的镜面反射光成分和漫反射光成分具有最小的相关值。在利用偏振正交分解算法对反射光进行分离过程中，如果镜面反射偏振度或漫反射偏振度选定值大于或者小于真实镜面反射偏振度或漫反射偏振度值时，会发生反射光的过分离和欠分离[21]。无论是反射光的过分离还是欠分离，分离后得到的镜面反射光成分和漫反射光成分之间都具有较强的相关性。只有当选定的漫反射偏振度和镜面反射偏振度等于真实的漫反射偏振度和镜面反射偏振度时，分离后得到的镜面反射光成分和漫反射光成分之间的相关值才最小。因此，尽管光滑物体表面镜面反射光偏振度和漫反射光偏振度无法直接测量，可以通过计算分离后镜面反射光成分和漫反射成分之间的相关值，得到两者相关值最小时对应的镜面反射偏振度和漫反射偏振度，从而实现反射光的分离。

(29)

定义光滑表面镜面反射光成分和漫反射光成分归一化互相关f(γ,χ)为图像中所有像素点互相关之和：

(30)

为了求解镜面反射光成分和漫反射光成分互相关的最小值，本文采用梯度下降法，将镜面反射光成分和漫反射光成分归一化互相关f(γ,χ)看作镜面反射偏振度γ和漫反射偏振度χ的函数。通过对归一化互相关f(γ,χ)求偏导，并让其沿着梯度的方向下降，通过多次迭代后得到归一化互相关最小值。

由于图像噪声的存在，归一化互相关可能存在局部最小值。在收敛过程中，有可能收敛到局部最小值。为了避免归一化互相关收敛到局部最小值，本文通过采用镜面反射偏振度γ和漫反射偏振度χ等间隔全局搜索的方法，将镜面反射偏振度γ和漫反射偏振度χ的初值设置在全局最小值附近，然后再利用梯度下降法求解全局最小值。具体步骤如下：首先设置镜面反射偏振γ0=0，在0～1范围内(常见物体镜面反射偏振度处于0～1之间)每间隔0.05选取一次镜面反射偏振度，即γm=γ0+m·Δγ，Δγ=0.05。同时设置漫反射偏振度χ0=0，在0～0.5范围内(常见物体漫反射偏振度处于0～0.5之间)每间隔0.05选取一次漫反射偏振度，即χk=χ0+k·Δχ，Δχ=0.05。然后将选定的(γm,χk)代入式(28)中分离得到镜面反射光图像和漫反射光图像，计算两者之间的归一化互相关值f(γm,χk)。通过比较在等间隔遍历过程中不同镜面反射偏振度γm和漫反射偏振度χk获取的归一化互相关值，从而得到距离全局最小值最近的镜面反射偏振度γm0和漫反射偏振度χk0。获取全局最小值附近的镜面反射度γm0和漫反射偏振度χk0之后，以此为初值点，对f(γ,χ)进行求导，使其沿着梯度的方向下降，最终获得归一化互相关全局最小值及其对应的镜面反射偏振度γmin和漫反射偏振度χmin。

梯度下降过程为：

(31)

其中，ηγ、ηχ分别为镜面反射偏振度和漫反射偏振度的学习率。本文采用自适应调节的方式对学习率进行设置。考虑到镜面反射偏振度和漫反射偏振度的间隔设置为Δγ=0.05、Δχ=0.05，本文将前5次梯度下降迭代的步长设置为0.05/2n，其中n为梯度下降迭代次数，对应的学习率为：

(32)

第5次迭代后，保持学习率不变，直至迭代结束。通过上述方式，可以根据不同的场景对学习率进行自动设置，有效提升收敛速度。

归一化互相关按照上述方式进行梯度下降，当达到收敛条件时，迭代结束。本文设置的收敛条件有两个：一是前后两次迭代互相关损失之差的绝对值小于阈值t(本文中t设置为10-6)；二是迭代次数大于一定阈值N(本文中N设置为25)。收敛条件如下：

(33)

上述两个条件只要满足一个，我们就认为互相关损失已经收敛，停止迭代，此时相关值最小，镜面反射光成分和漫反射光成分实现了最优分离。

3 实验结果与分析

3.1 反射光分离结果分析

通过以下几种不同场景获取的反射光图像对本文提出的结合镜面反射和漫反射偏振特征的反射光分离算法进行测试，这几种场景包括了不同的反射面、反射光源、反射角等，能够综合评估反射光的分离效果。图7(a)～(c)是获取的可见光图像，图7(d)～(f)是偏振探测器获取的HSV色彩空间中表示的偏振图像。从图7可以看出，同一光滑物体表面，由于反射光源不同，表面偏振度和偏振角差异较大。利用本文反射光分离算法对上述场景反射光进行分离，并与现有算法进行比较，如图8～10所示，其中左图为分离后漫反射光图像，右图为分离后镜面反射光图像。图8是本文算法分离结果，本文算法结合了镜面反射光和漫反射光的偏振特征，利用镜面反射偏振度和漫反射偏振度实现了反射光的分离，从图8中分离结果可以看出，无论是图像中以镜面反射为主的像素点，还是以漫反射为主的像素点，均取得了较好的分离效果。图9是文献[10]中算法的分离结果。该方法通过获取不同起偏角下光强图像，将最小光强值作为漫反射成分，将最大值和最小值之差作为镜面反射成分。图9分离结果表明，该算法对于镜面反射光较强且反射角在布儒斯特角附近的像素点具有较好的分离效果，但是由于最小光强值并非完全是漫反射光成分，还含有部分镜面反射光成分，因此难以实现镜面反射成分的完全分离。图10是文献[14]提出的镜面反射光分离方法，该方法利用图像中以镜面反射为主的像素点求解得到菲涅尔反射比，利用菲涅尔反射比实现镜面反射和漫反射成分的分离。图10结果表明，尽管该方法能够去除光滑物体表面反射光，但是由于该方法没有考虑漫反射的偏振效应，且利用直线拟合的方法估计菲涅尔反射比易受图像噪声干扰，因此该方法易导致镜面反射光的过分离。通过对比上述结果可以看出，本文算法由于综合考虑了光滑物体表面镜面反射和漫反射之间的相互作用，反射光的分离效果优于目前现有算法。

图7 不同场景下获取的可见光图像和偏振图像Fig.7 Visible light images and polarization images obtained in different scenes

图8 本文算法反射光分离结果Fig.8 Reflected light separation results with the proposed method

图9 文献[10]算法反射光分离结果Fig.9 Reflected light separation results with method in reference[10]

图10 文献[14]算法反射光分离结果Fig.10 Reflected light separation results with method in reference[14]

3.2 定量比较

为了定量比较上述几种方法的反射光分离效果，本文分别求取了不同算法分离后镜面反射成分和漫反射成分之间的相关值，相关值越小，表明分离效果越好。如表1所示，可以看出，相对于其他算法，本文算法分离后的镜面反射光成分与漫反射光成分之间的相关值最小，这说明本文算法反射分离后两幅图像之间的信息重叠成分最小，反射光分离效果最佳。

表1 不同反射光分离算法分离图像相关值定量比较

4 结论

本文通过对光滑物体表面反射区域偏振特征进行分析和提取，结合光滑物体表面镜面反射成分和漫反射成分相关性最小的特点，实现了镜面反射成分和漫反射成分的分离。根据菲涅尔反射定律，提出了一种结合镜面反射光和漫反射光综合作用的偏振态表征模型。偏振模型仿真结果表明，物体表面反射光具有明显的偏振效应，且反射光偏振状态和镜面反射偏振光与漫反射偏振光比值有关，当镜面反射光成分大于漫反射偏振光成分时，反射光以镜面反射为主，偏振方向垂直于入射面；当镜面反射光成分小于漫反射偏振光成分时，反射光偏振状态以漫反射为主，偏振方向平行于入射面。在对物体表面混合反射区域偏振特征分析和提取的基础上，本文根据反射光在垂直方向和平行方向上的光强分布关系，采用偏振正交分解的方法，该方法通过镜面反射偏振度和漫反射偏振度求解得到反射光中镜面反射成分和漫反射成分。为解决镜面反射偏振度和漫反射偏振度难以直接测量的问题，本文利用理想分离情况下镜面反射光图像和漫反射光图像之间相关值最小的特点，通过梯度下降算法得到镜面反射成分和漫反射成分归一化互相关最小值，最终完成光滑物体表面镜面反射光和漫反射光的分离。实验结果表明，本文算法对不同场景下获取的反射光均有较好的分离效果，并通过对反射光的分离实现了镜面反射光的抑制。