分焦平面偏振图像传感器偏振主轴方向的标定

2022-01-20白杨赵开春尤政

光学精密工程 2022年1期

白杨赵开春尤政

白杨1，赵开春1，2*，尤政1，2

（1.清华大学精密仪器系，北京 100084；2.清华大学精密测试技术及仪器国家重点实验室，北京 100084）

分焦平面偏振图像传感器的偏振主轴方向对后续使用斯托克斯矢量进行偏振参数解算的结果准确性有重要影响。为了标定该类型传感器，提出一种基于测量分焦平面偏振图像传感器中各偏振主轴方向像素输出平均值所拟合曲线相位差的方法，并对该方法进行了仿真与实际测试。控制照射到传感器表面的线偏振光，按照设定步长旋转若干周期，传感器同时拍摄图片。选定图片的感兴趣区域，并对该区域内同偏振主轴方向的像素值求平均，获得各偏振主轴方向像素平均值随旋转角度变化的序列。使用傅里叶级数拟合法对各序列进行拟合，获得像素输出值随旋转角度变化的表达式。选定一个偏振主轴方向为基准方向，其他偏振主轴方向为该方向表达式与基准方向表达式的相位差。实际测试结果表明：标定值与名义值相差不超过0.1°。该方法的标定精度高、可操作性好，能够较好地完成分焦平面偏振图像传感器偏振主轴方向的标定任务。

测试计量技术及仪器；分焦平面；偏振图像传感器；超像素；偏振主轴

1 引　言

与传统的可见光成像、红外成像技术相比，偏振成像技术通过在二维的光强信息中加入偏振信息，极大地扩展了光学探测的维度，这在图像视觉领域具有十分显著而独到的优势，因此取得了较为广泛的应用。在导航领域中，由于地球大气形成的偏振模式，利用偏振传感器，获取体轴与太阳子午线的夹角用于导航［1-5］；在目标探测领域，长波红外偏振探测能够清楚地探测到目标［6］；甚至在天文探测领域，偏振成像技术也可以用来观测脉冲星自转突变后的变化［7］。

为了获取偏振图像，通常采用偏振分时成像或者偏振同时成像两种方式。偏振分时成像，是指在不同的时刻获取同一目标的不同偏振态，有旋转偏振片、偏振片固定旋转波片、液晶调制器相位延迟等方式［8］；偏振同时成像，则可以在同一时刻获取到目标的不同偏振态，有分振幅偏振成像、分孔径偏振成像与分焦平面偏振成像［9］等方式。由于偏振分时成像只能用于处理（准）静态目标，分振幅偏振成像光路比较复杂，分孔径偏振成像需要做孔径对准，因此，光路简单、可同时成像、设备小巧的分焦平面偏振成像方式获得了越来越多的关注。通过在图像传感器表面的各个像素之间刻画不同方向的光栅，分焦平面偏振成像装置能够获得多个方向的偏振图像。

相比于其他偏振成像方式，分焦平面偏振成像方式有着自身独到的优势，但受到制造工艺分散性的影响，分焦平面偏振图像传感器像素阵列的实际偏振主轴方向可能会与设计的偏振主轴方向存在差异［10］，而偏振主轴方向的准确性会对后续应用产生影响，因此在使用分焦平面偏振图像传感器前，需要对其像素偏振主轴方向进行标定。本文提出了一种基于测量分焦平面偏振图像传感器中各偏振主轴方向像素输出平均值所拟合曲线相位差的标定方法，提出了分焦平面偏振图像传感器在标定装置下输出值的数学模型。理论分析与实际测试结果表明，该方法的标定精度高、可操作性好，能够较好地完成分焦平面偏振图像传感器偏振主轴方向的标定任务。

2 标定原理

2.1　分焦平面偏振图像传感器结构

以一个由0°，45°，90°，135° 4个偏振主轴方向组成的分焦平面偏振图像传感器为例，其结构如图1所示。像素阵列中每4个相邻的像素（横排两个，竖列两个）组成一个“超像素”，作为偏振成像的最小单元，超像素中每个像素的偏振方向不同。这里需要注意的是，各偏振主轴方向为相对方向，即把超像素中的某一个偏振主轴方向视为0°，其他偏振主轴方向为相对于该偏振主轴方向的角度。在图1中，将超像素中左上角像素的偏振主轴方向视为0°，其余像素顺时针依次为45°，90°，135°。整个图像传感器的感光面由超像素平铺而成，在成像时，若要获取某一偏振主轴方向的图像，只需提取该偏振主轴方向的像素所构成的图像。

图1　分焦平面偏振图像传感器像素阵列组成结构

2.2　标定装置结构

分焦平面偏振图像传感器中偏振主轴方向的标定装置示意图如图2所示。标定装置由光源、高性能线偏振片、可精确控制旋转角度的精密空心转台和支架组成。光源、线偏振片与转台用于组成可控制旋转的线偏振光源；支架用于固定无镜头的相机，由于图像传感器对光的变化非常敏感，光源应采用高性能稳压电源供电，标定在光学平台上进行。

标定开始前，调整光源、转台和相机的位置，确保三者在同一条直线上且偏振光完全覆盖图像传感器的感光面；调整光源的出射强度，使图像传感器的像素输出值尽可能大但又不会发生过曝。

图2　分焦平面偏振图像传感器标定装置组成结构

2.3　标定方法

对于一个超像素而言，其标定原理如图3所示。首先，在超像素中选定一个像素作为基准像素，规定基准像素的偏振主轴方向为0°，其余像素按顺时针方向命名为像素1，2，3。一个超像素中任意一个子像素，当偏振光源发出的强度为的线偏振光通过像素表面的光栅照射到图像传感器时，其强度t为：

其中：表示超像素中子像素的序号，范围为0～3；表示由于线栅的非理想物理特性导致的偏振透过率小于1的影响，在图3中的体现为各像素t的幅值略有不同；表示线偏振光的偏振方向；表示各子像素的偏振主轴方向，基准像素的0为0；b表示由暗电流等因素造成的干扰，在图3中的表现为t的最小值不为0。

图3　分焦平面偏振图像传感器标定方法原理

对于一个完整的超像素，其子像素的响应值矩阵可写为：

其中：为线偏振光方向与子像素偏振主轴方向夹角余弦的平方组成的1×4矩阵：

为由组成的4×4矩阵，用于表达超像素前的光栅对子像素的影响：

为各子像素b组成的1×4矩阵：

对于任意一个超像素，可由相机的输出值获得，可由仪器进行测量，，，三个矩阵任取其中两个即可求解第三个，因此矩阵的求解公式为：

理论上，通过式（6）可以求得，然后再通过解三角方程的手段计算出，1，2，3，但是三角方程不易求解且式（6）中除了，容易测得，，均为子像素的微观参数，不容易测量，因此求解难度较大，需要尽可能使用容易测得的参数进行计算。观察式（2），虽然和会影响到t的值，但并不改变t随转台转角变化的相位，而超像素中像素1，2，3与基准像素的输出值与转台转角变化关系的相位差则为其偏振主轴方向。由于像素的输出值与转台转角的变化关系遵循式（1），因此可先使用转台按固定步长进行旋转，每旋转一次对超像素中各像素的输出值进行采样，然后通过傅里叶级数对采样序列进行拟合，最后获得各偏振主轴方向像素输出值与转台转角的变化关系。

标定时，即使标定设备安装完全正确，受制于标定设备与相机的性能，噪声干扰仍然存在。这里的噪声主要包含量化噪声、电子学系统内部噪声以及光源、偏振片非理想特性和镜头内壁反射而引起的噪声。如果仅对一个超像素的输出值序列进行拟合，效果较差。由于图像传感器前的光栅阵列在制作时，任一方向的光栅阵列通常是同时加工的［11-12］，所以可认为该光栅阵列中各像素的偏振主轴方向相同，不存在差别。因此，选择图片中某一区域的超像素所产生序列的平均值进行拟合，以减少噪声干扰。

3 仿　真

为了验证标定方法的有效性，对标定方法进行仿真。仿真条件如下：分焦平面偏振图像传感器的位数为8位，输出的理论灰度值为0～255；图像由800×600个像素组成，每个超像素由4个像素组成，这4个像素偏振主轴的方向为0°，45°，90°，135°；转台每旋转1°拍照一次，共旋转拍照360次。每个像素每次拍照的输出值为：

O=［（245+A）×cos2（--15）+（5+b）+］，（7）

其中：=0°，45°，90°，135°；=1，2，3，…，120 000（800×600/4）；=0，1，2，…，360；A为单个像素幅值上所叠加的均值为0，标准差为2的高斯噪声，b为像素值上所叠加的均值为0，标准差为1的高斯噪声，A，b均代表由标定设备、相机电子学系统以及图像传感器自身工艺所引起的空间域噪声；为均值为0，标准差为3的高斯噪声，代表所引起的时间域噪声；［］为取整函数，用于模拟偏振图像传感器的量化噪声。在实际场景下，开始标定时，线偏振光的振动方向不一定与基准像素的偏振主轴方向刚好重合，所以在这里假设初始情况下两者有15°的夹角。以式（7）生成的偏振主轴方向为0°的一个像素为例，模拟的采样点如图4所示，可以看出在峰值部分由于各种噪声的存在，峰值的具体位置无法分辨，这与实际情况相符。式（7）较为真实地模拟出了实际的像素输出情况。

图4　单个像素的模拟采样点

仿真时，首先使用式（7）产生0°，45°，90°，135° 4个偏振主轴方向上各120 000个像素的输出值随转台转角变化的序列（步长1°，共360个点），模拟一个800×600像素的分焦平面偏振图像传感器在测试中产生的数据。

获取到的仿真数据后，对于每一个偏振主轴方向，在每一个转台的行程下，求像素输出值的算数平均值，最终获得各偏振主轴方向像素输出平均值随转台转角变化的序列。

利用Matlab的cftool工具箱中傅里叶级数拟合法对上述序列进行拟合，获得各偏振主轴方向像素输出值随转台转角的变化关系解析式。计算45°，90°，135°解析式与0°解析式的相位差，作为实际的偏振主轴方向。实验共进行4次，结果如表1所示。

表1偏振主轴方向仿真标定结果

Tab.1　Results of polarization axis direction simulation calibration　（°）

由仿真结果可知，在同时考虑到空间域、时间域噪声干扰的情况下，本文提出的标定方法在理论上具有较高的精度。但需要注意的是，在实际情况中，尤其是对于设计并不完善的分焦平面偏振相机，采用取平均值的方式并不能完全将由相机电子学系统、图像传感器光栅阵列非理想特性（例如光栅阵列的消光比较小）所引起的时间域、空间域噪声完全滤除，这会导致由傅里叶拟合出的数学关系与真实关系存在差距。在对传感器进行标定时，应选择设计较为成熟的偏振相机，尽量避免由于相机设计问题导致的噪声。

4 实际测试

本节以Lucid公司的PHX050S偏振相机为例，说明在实际情况下如何对分焦平面偏振图像传感器中的偏振主轴方向进行标定。该款偏振相机搭载了SONY公司的IMX250 MZR 固态CMOS图像传感器，共有2 448×2 048像素，一个超像素中的4个像素偏振主轴方向分别为0°，45°，90°，135°。搭建的标定装置如图5所示，设备的具体信息如表2所示。

图5　分焦平面偏振图像传感器偏振主轴方向标定装置

表2标定装置组成与设备参数

Tab.2　Composition and equipment parameters of calibration devices

在标定开始前，去掉相机的镜头，使用相机的上位机软件配置相机的像素位数为8位；调节积分球输出均匀光的强度，确保像素灰度值的最大值在255以内。设置转台控制器的步长为2°，每旋转一次拍摄一张图片，共拍摄180次。

为避免图像传感器的边缘部分存在由于镜头接口反射、光线无法垂直照射等问题引起的干扰，故只选择所拍摄图片中心的40×32个像素区域。使用第2节的方法，获得4个偏振主轴方向像素平均值随角度变化的序列，然后进行傅里叶拟合，拟合结果如表3和式（8）所示，拟合效果如图6所示。

（）=0+1×cos（×）+1×sin（×），（8）

其中由式（1）可知=2。

表3采样序列的傅里叶拟合结果

Tab.3　Fourier fitting result of sampling sequence

图6　各偏振通道响应值随转台转角变化的拟合结果

利用表3的拟合结果，计算各偏振主轴方向与0°方向函数表达式的相位差，作为各偏振通道像素的实际偏振主轴方向，结果如表4所示。

从表4可以看出，标定值与名义值相差不超过0.1°，满足部分应用标定的需求（例如偏振导航中太阳方位角的获取）。

表4偏振主轴方向的名义值与实际值

Tab.4　Nominal and actual values of polarization principal axis direction　（°）

5 结　论

针对分焦平面偏振图像传感器中偏振主轴方向标定的问题，本文提出了一种基于测量分焦平面偏振图像传感器中各偏振主轴方向像素输出平均值所拟合曲线相位差的方法。首先，描述了标定的设备组成与基本原理，然后对标定方法进行仿真，最后使用该方法对一个分焦平面偏振图像传感器进行测试。测试结果表明，标定值与名义值相差不超过0.1°。该标定方法标定精度高、可操作性好，能够较好地完成分焦平面偏振图像传感器中像素偏振主轴方向的标定任务，在成像仿生偏振导航传感器系统性能标定及偏振成像高精度三维重建等场景具有重要的应用前景。后续将对各干扰因素进行逐一分析与处理，以便进一步提升该方案的应用效能。

［1］赵开春，卢皓，尤政. 天空光偏振模式自动探测装置［J］. 光学精密工程， 2013， 21（2）： 239-245.

ZHAO K CH， LU H， YOU ZH. Automatic detection system for skylight polarized pattern［J］.， 2013， 21（2）： 239-245.（in Chinese）

［2］范之国，陈曼丽，王波，等. 基于大气偏振模式的三维姿态信息获取［J］. 光学精密工程， 2016， 24（6）： 1248-1256.

FAN ZH G， CHEN M L， WANG B，. Three-dimensional attitude information obtained by the skylight polarization pattern［J］.， 2016， 24（6）： 1248-1256.（in Chinese）

［3］万振华，赵开春，褚金奎. 基于偏振成像的方位测量误差建模与分析［J］. 光学精密工程， 2019， 27（8）： 1688-1696.

WAN ZH H， ZHAO K CH， CHU J K. Modeling and analysis of orientation measurement error based on polarization imaging［J］.， 2019， 27（8）： 1688-1696.（in Chinese）

［4］褚金奎，林木音，王寅龙，等. 偏振光传感器的无人船导航与编队应用［J］. 光学精密工程， 2020， 28（8）： 1661-1669.

CHU J K， LIN M Y， WANG Y L，. Application of polarization sensor to unmanned surface vehicle navigation and formation［J］.， 2020， 28（8）： 1661-1669.（in Chinese）

［5］ ZHAO D H， TANG J， WU X D，. A multiscale transform denoising method of the bionic polarized light compass for improving the unmanned aerial vehicle navigation accuracy［J］.， 2021

［6］宫剑，吕俊伟，刘亮，等. 红外偏振舰船目标自适应尺度局部对比度检测［J］. 光学精密工程， 2020， 28（1）： 223-233.

GONG J， LÜ J W， LIU L，. Adaptive scale local contrast detection for infrared polarization ship targets［J］.， 2020， 28（1）： 223-233.（in Chinese）

［7］ FENG H， LI H， LONG X Y，. Re-detection and a possible time variation of soft X-ray polarization from the Crab［J］.， 2020， 4（5）： 511-516.

［8］徐文畅. 基于像素刻划线偏振相机校正方法的研究［D］. 长春：中国科学院长春光学精密机械与物理研究所， 2018.

XU W CH.［D］. Changchun： Changchun Institute of Optics， Fine Mechanics and Physics， Chinese Academy of Sciences， 2018. （in Chinese）

［9］王琪. 分孔径实时偏振红外成像仪光学系统设计研究［D］. 长春：中国科学院长春光学精密机械与物理研究所， 2017.

WANG Q.［D］. Changchun： Changchun Institute of Optics， Fine Mechanics and Physics， Chinese Academy of Sciences， 2017. （in Chinese）

［10］张涛，徐文畅，王德江，等. 基于像素级偏振相机的超像素校正［J］. 光学精密工程， 2017， 25（12）： 3179-3186.

ZHANG T， XU W CH， WANG D J，. Super-pixel calibration method of pixelated polarization camera［J］.， 2017， 25（12）： 3179-3186.（in Chinese）

［11］ GRUEV V， PERKINS R， YORK T. CCD polarization imaging sensor with aluminum nanowire optical filters［J］.， 2010， 18（18）： 19087-19094.

［12］ ZHAO X J， BOUSSAID F， BERMAK A，. Thin photo-patterned micropolarizer array for CMOS image sensors［J］.， 2009， 21（12）： 805-807.

Calibration of polarization axis direction of sub focal plane polarization image sensor

BAI Yang1，ZHAO Kaichun1，2*，YOU Zheng1，2

（1，，100084，；2，，100084，）*，：

The polarization axis direction of the sub focal plane polarization image sensor influences the accuracy of the polarization parameter calculation using the Stokes vector. Therefore， it is necessary to calibrate the sensor before using it. To meet this requirement， a method based on measuring the phase difference of the curve fitted by the average output value of pixels in each polarization axis direction of the sub focal plane polarization image sensor is proposed， and the simulation and actual test are conducted. First， the linearly polarized light vertically irradiating the sensor surface is rotated for several cycles according to a certain step size， and the sensor takes pictures simultaneously. Then， the region of interest of the image is selected， and the pixel values in the same polarization axis direction in the region are averaged to obtain the sequence of the average values of the pixels in each polarization axis direction changing with the rotation angle. The Fourier series fitting method is used to fit each sequence， and the expression of the pixel output value changing with the rotation angle is obtained. Finally， one polarization axis is selected as the reference direction， and the other polarization axis is the phase difference between the expression of this direction and that of the reference direction. The actual test results show that the calibration error is less than 0.1°. This method has high calibration accuracy and good operability. Furthermore， it can complete the task of calibrating the polarization axis direction of the sub focal plane polarization image sensor.

measurement technology and instrument； sub focal plane； polarization image sensor； super pixel； polarization axis

TM930.12；TN06

10.37188/OPE.20223001.0031

1004-924X（2022）01-0031-07

2021-05-11；

2021-06-04.

教育部联合基金资助项目（No.6141A02022606）

白杨（1995），男，内蒙古包头人，硕士研究生，2018年于湖南大学获得学士学位，主要从事成像式偏振敏感器设计与测试方面的研究。E-mail：y-bai18@mails.tsinghua.edu.cn