基于动态视觉传感器的旋转检偏成像系统

鲁啸天，李 峰*，杨 雪，2，赵智祎，4，侯军燕

（1.中国空间技术研究院 钱学森空间技术实验室，北京 100094；2.南京大学 国际地球系统科学研究所，江苏 南京 210023；3.北京市遥感信息研究所，北京 100011；4.北京信息科技大学，北京 100192）

1 引言

光学成像探测应用领域遍及军事、生态、农业、航空航天、减灾以及人们的日常生活［1］。而在减灾救援、军事目标伪装探测等应用中，目标和背景对比度低，导致光学遥感探测能力不足，而偏振成像探测可以很好地解决上述问题。因为光是横波具有偏振特性，物体的反射光是部分偏振光具有一定偏振度［2］，且人造物体反射光的偏振度一般比自然物体反射光偏振度大［3］，它与物体表面的形状、材质和入射光的入射角度等有关，因此偏振成像探测可以提供独立于强度和光谱的目标特征信息，有效识别对比度低的目标。Wan 等［4］针对室外环境下目标/背景对比度自适应增强的问题，提出了一种优化偏振成像系统偏振态的方法，增强目标/背景对比度，使得目标识别更加准确和方便。Vannier 等［5］利用主动偏振成像技术来探测不同环境中的人造物体，证明了主动偏振成像在伪装和危险目标检测中的有效性。杨斌等［6］通过研究偏振光束与光学器件的相互作用，推导出多通道偏振成像系统的矢量辐射传输模型，确定了需要标定的参数，通过分析标定结果求解了系统全视场的穆勒矩阵，经偏振定标后系统对低偏振度目标的测量误差小于1%。然而现有的偏振成像探测系统，无论是分孔径或者分振幅系统，都具有系统体积大、后续图像处理复杂和耗时长的缺点［7］。而分焦平面偏振相机虽然体积小，但是牺牲了一定的空间分辨率，且存在偏振片阵列消光比差和串扰的问题［8-9］。

动态视觉传感器（Dynamic Vision Sensor，DVS）是一种受视网膜原理启发而设计的神经拟态传感器，基于事件驱动的方式来捕捉场景中的动态变化，具有灵敏度高、成像速度快、输出数据量小的优点［10］。由于其数据量小、延迟低（微秒级）、计算资源需求小，DVS 在以深度学习方法为主的目标检测［11］、跟踪［12］等应用中使用广泛。Ramesh 等［13］提出了一种基于DVS 的特征提取方法，并与采用迁移学习的卷积神经网络算法进行对比，结果表明基于DVS 的特征提取方法速度更快、精度更高、功耗更小。Chen 等［14］提出了一种从事件流中识别和定位驾驶员眼睛和嘴巴运动的方法，并进一步从眼睛和嘴巴运动引起的事件流中提取嗜睡相关特征，用于睡意驾驶检测系统，具有很高的效率和准确性。

DVS 本身具有体积小、灵敏度高的特点，为偏振系统小型化带来了希望［15］。然而，DVS 无法对静态场景成像，因此引入偏振成像方式，在DVS 前面加旋转偏振片，旋转的偏振片会使场景内的部分偏振光发生明暗的亮度变化，进而被DVS 捕捉成像，实现DVS 对静态场景的探测，且此种方法兼具偏振相机和事件相机的优点。本文证明了基于DVS 的偏振成像探测方法的可行性，并进一步设计搭建了实验样机系统，在实验室内和室外开展了验证实验，证明了基于DVS的偏振成像探测系统的有效性。该系统具有灵敏度高、成像速度快的特点。

2 动态视觉传感器

DVS 采用事件驱动的方式捕捉场景中的动态变化。如图1 所示，不同于传统相机，当场景发生变化时，DVS 会产生一些像素级的输出（即事件），一个事件包括（t，x，y，p），其中x，y为事件在2D 空间的像素坐标，t为事件的时间戳，p为事件的极性，极性代表场景的亮度变化：上升（posi⁃tive）或下降（negative）。DVS 对数据存储和计算资源的需求非常小，且延迟低，达到微秒级。传统相机以固定频率产生序列帧图像，在相邻两帧之间会丢失部分关键信息，且传统相机在内存、功耗以及延迟方面需求过大，DVS 可以克服上述缺陷，但是DVS 只对场景内的变化敏感，对于静态场景则无能为力。

图1 动态视觉传感器和传统相机的区别Fig.1 Difference between dynamic vision sensor and tra⁃ditional camera

3 基于动态视觉传感器的偏振成像探测方法

3.1 自然光入射反射光的偏振状态模型

以太阳光等自然光为光源，当入射角不等于布儒斯特角时，反射光为部分偏振光［16］。根据菲涅耳公式［17］，反射光能量在垂直分量和平行分量的反射率R⊥和R//分别为：

其中：θi为入射角，θt为折射角。将自然光看作是各个振动方向都存在且强度相同的线偏振光的集合，那么对于其中任一束线偏振光，假设其辐射强度为Ii（αi），其中αi为该线偏振光的振动方位角（振动方向与入射面的夹角）。对于无偏自然光，Ii（αi）=Ic，即各方向光强相同，则总光强为：

于是，自然光入射时，αi线偏振光的反射光强度Ir（α）i和振动方位角αr（α）i为：

其中a=（R⊥/R//）1/2。

假设自然光从空气（n1=1）入射到玻璃（n2=1.52）表面，入射角θi=10°，20°…，80°及布儒斯特角θB=atan（n2/n1）时，反射光在振动方位角内的分量强度图像如图2 所示。可以看出，反射光各分量强度随振动方位角变化，且垂直入射面的方向的振动分量最大，在布儒斯特角入射时反射光为完全偏振光，其余为部分偏振光。

图2 不同入射角和布儒斯特角时反射光振动方位角内的光强分布Fig.2 Irradiance distribution of reflected light with vibra⁃tion azimuth at different angles of incidence and Brewster angles

假设α（k）是偏振成像系统检偏方向与反射面的夹角，一束以θi入射的自然光在介质面反射时，通过可见光偏振成像系统对反射光成像，系统接收到的强度为：

对于DVS 相机加旋转偏振片的成像系统，假设DVS 相邻两次的检测时间间隔为Δt，旋转偏振片的角速度为ω，则两次检测时偏振片角度相差ωΔt。根据马吕斯定律［16］，同一目标进入系统的强度变化ΔIk=I0［cos2β-cos2（β+ωΔt）］。其中，I0为入射部分偏振光中的完全偏振光强度，β为第一次检测时部分偏振光的振动方向与偏振片方向的夹角。ΔIk与入射角、材质等有关，若ΔIk大于DVS 的对比度灵敏度，则事件可以被探测，这就是基于DVS 的偏振成像系统检测目标的依据。

3.2 基于DVS 的偏振探测系统偏振度灵敏度

DVS 能够直接探测场景亮度变化进而输出事件，但是无法有效探测亮度不变的静态场景。加入旋转偏振片后，静态场景内目标反射的部分偏振光经过旋转偏振片亮度发生变化，根据马吕斯定律，I=I0cos2α，α是入射线偏振光I0的光振动方向和偏振片偏振方向之间的夹角。如果相邻两次事件检测的透射光强度的差异满足DVS 事件检测的阈值，则这个目标可以被探测，反之则不能。那么场景中偏振的敏感程度是一个重要指标。

假设DVS 相机的对比度灵敏度为C0，即相邻两次事件检测的对比度大于C0可被探测。自然光经过物体表面反射会变为部分偏振光，可以用部分偏振光的偏振度来描述这两个部分的比例关系，偏振度D定义为：

其中：IP代表完全偏振光成分的光强，IN代表自然光成分的光强。对于完全偏振光，D=1；对于自然光，D=0；对于部分偏振光，则有0

假设在相机相邻两次事件检测时间内旋转偏振片的角度差为90°（这样可以保持对场景中偏振度的最大灵敏度），根据马吕斯定律，第一次和第二次检测时相机获得的强度分别为：其中：θ为第一次曝光时部分偏振光的偏振方向与偏振片方向的夹角，其值为0～π/2。

所以相邻两次检测的对比度C为：

令C为C0，可得偏振度灵敏度D0=C0/cos 2θ。理想情况下，当θ为0°时，D0的最大值为C0，因此系统可探测的最小偏振度为C0。

4 基于DVS 的偏振成像系统设计

4.1 DVS 相机

DVS 相机采用iniVation 公司生产的DA⁃VIS346 相机，具体参数见表1。事件流的时间分辨率能够达到微秒级别，事件相机的电路延迟小于1 ms，事件相机具有非常大的动态范围，对比度灵敏度最低可达到14.3%，即相邻两个场景的对比度达到0.143 时，DVS 即会检测到变化并输出事件，因此，理论上系统的偏振度灵敏度为0.143。

表1 DVS 参数Tab.1 DVS parameters

DAVIS346 采用氧化处理过的铝制外壳，整体尺寸为40 mm×60 mm×25 mm，无镜头质量为100 g，整体功耗小于0.9 W，适合组成小型化偏振成像系统样机。

4.2 旋转控制系统

旋转控制系统载着偏振片快速旋转，以达到场景明暗变化的目的，主要由高速电机、固定支架和直流电源等组成。高速电机型号为XD-3420-2，由电源控制盒根据实际需求自行控制电机转速，转速在3 000～7 000 r/min。具体参数如表2 所示。

表2 旋转控制系统参数Tab.2 Parameters of rotary control system

4.3 数据采集与显示

采用树莓派4B 作为嵌入式硬件平台，树莓派4B 能够提供比较充足的计算资源，1.5 GHz 的CPU 对于事件相机的数据采集和图像显示处理相当充足，同时HDMI 接口能够将采集的图像输出到显示器上。

采集和显示软件采用DVS 驱动软件libcaer库和通用图像处理OpenCV 库，能够将相机事件累积成帧和灰度图像同时输出并显示在屏幕上，同时还能够输出一些数据包的信息，包括事件数量和详细事件信息。

系统的内部构成和控制面板如图3 所示。整个系统尺寸为300 mm×150 mm×150 mm，基本满足体积小、轻量化的偏振成像系统需求。

表3 树莓派4B 平台信息Tab.3 Raspberry pi 4B platform information

图3 偏振成像系统的内部构成和控制面板Fig.3 Internal composition and control panel of polarization imaging system

5 实验与结果分析

5.1 偏振灵敏度测试

偏振片采用中国大恒光电公司生产的GCL-050004 偏振片，通光孔径为45 mm，厚度为2 mm，波长为400～700 nm，视场角大于±45°，消光比为100∶1，光谱透过率如图4 所示。

图4 偏振片的光谱透过率Fig.4 Spectral transmittance of polarizer

为了测试系统的偏振度灵敏度，这里以特定倾角的平板玻璃的反射光作为偏振光源，因为不同倾角玻璃平板的反射光的偏振度是能够通过理论模型明确计算的，且能够反映一般情况。平板玻璃的漫射光源采用以TILO 标准光源箱T90-7。自然光入射时，平板玻璃的反射光是部分偏振光，该部分偏振光的完全偏振成分是线偏振光，反射光的偏振度与入射角关系如下［18］：

其中：θi为入射角，n=1.52 为平板玻璃折射率。当θi=18.6°时，Dr=0.143。图5 为入射角为20°时，偏振片角度分别为0°，45°，90°和135°的检偏图像，通过式（11）计算得到实际的偏振度为0.148。

图5 入射角为20°时不同偏振片角度下的检偏图像Fig.5 Images of different degrees of polarization at inci⁃dent argle of 20°

其中：I0，I45，I90和I135分别为偏振片角度0°，45°，90°和135°时，透过偏振片光的强度。

利用本文设计的偏振成像系统对入射角为20°的平板玻璃成像，图6 所示为DVS 连续4 帧图像，每帧图像为0.02 s 统计时间内输出的事件。值得需要注意的是，DVS 能否检测到事件与场景反射光的偏振度、偏振角和偏振片的旋转变化角度有关，对于固定场景即场景偏振度和偏振角不变，偏振片角度的变化直接影响事件输出结果，而偏振片角度变化引起的透射光强度的变化是非线性的，且强度变化的数值也不是固定的，因此对目标事件表现为不稳定输出。图6 中的方框区域为玻璃平板区域，区域大小为15×14 个像素，经统计分别输出的事件数为177，80，181 和91，事件检测率为0.84，0.38，0.86 和0.43，事件输出在变化，在单帧和连续帧的输出中能够明显检测到目标，结果表明对于D为0.148 的平板玻璃，系统的偏振度灵敏度达到了预期。

图6 DVS 的连续4 帧图像Fig.6 Four series images of DVS

5.2 成像实验

利用基于DVS 的偏振成像系统开展室外实验，对道路场景成像，全景灰度图像如图7 所示（彩图见期刊电子版）。场景内包括建筑物（蓝框）、静止车辆（红框）和运动车辆（黄框）。

图7 道路场景的灰度图像Fig.7 Gray image of road scene

系统采集的连续4 帧图像如图8 所示，其中静态目标的事件输出不稳定，单帧图像难以包含目标的全部关键细节，导致目标难以识别；动态目标的输出图像既包含目标运动造成的事件输出，也包含偏振信息造成的事件输出，为此目标细节更丰富，对目标的识别更加容易。

图8 道路场景连续4 帧图像Fig.8 Four series images of road scene

然而在实际应用中，往往更加关注静态目标的探测与识别，为此本文采用一种基于序列图像的时间中值处理方法，其流程如图9 所示。将连续输入的n帧图像中同一坐标点的像元按灰度降序排列，同一排序位置的点重建成1 帧图像，这样就有n帧输出图像。第1 帧输出图像中的事件表示n帧输入图像至少一次检测到事件；第n帧输出图像中的事件表示n帧输入图像都检测到事件，即只有100%检测到的事件才会出现在第n帧输出的图像中。

图9 序列图像的时间中值处理方法Fig.9 Flow chart for time median processing method based on sequence images

图10 为基于序列图像的时间中值处理方法的结果。这里输入100 帧原始事件图像，图中展示了第1，3，6 和16 帧输出图像，其中第1 帧表示这100 帧输入图像中至少检测到1 次的事件都在此有体现，这样第1 帧图像中带有很多分散的类似噪点的独立事件，不利于目标的检测和识别；第3 帧图像能够消除大部分独立事件，使图像更清晰，能够直观地获得建筑物和静止车辆的轮廓，进而判断其目标类别，对于运动车辆则连成一片，难以判断车辆数量；第6 和16 帧图像，虽然图像简洁，目标轮廓清晰，然而丢失了一些目标的信息，如第16 帧图像中，路灯产生的事件丢失了很多，影响对目标的检测。总体而言，相比于原始图像（图8），采用序列图像的时间中值处理方法能够较好地去除干扰事件，使目标轮廓清晰，提高了系统的探测能力。

图10 采用序列图像的时间中值处理方法对100 帧图像的处理结果Fig.10 Results of 100 frame input images processed by time median processing method of sequence images

综上所述，基于DVS 的偏振成像系统能够很好地探测较低偏振度的目标，且能够有效地分离自然场景下的天然景物和感兴趣目标，目标轮廓清晰，能够剔除绝大部分背景带来的冗余信息和干扰，减少了数据量，在基于深度学习的自动目标检测和识别方面具有天然优势。

6 结论

本文利用DVS 对动态场景灵敏度高、成像速度快的特点，开展了基于DVS 的偏振探测方法研究，设计并搭建了实验系统。实验结果表明：对视场内的偏振度灵敏度为0.148，且目标轮廓清晰，可视性良好，证明了基于动态视觉传感器的偏振探测方法的可行性。DVS 与偏振相结合，能够对静态场景成像，而且对人造物体等偏振特性明显的目标敏感，弥补了传统偏振成像装置体积大、成像速度慢的不足，为偏振图像的快速获取和目标检测等打下基础。对于运动目标，除偏振特性外其运动引起的变化同样会有事件输出，因此本文提出的方法对目标的探测是偏振和运动的并集，只要有一方面变化就能被探测到。经过实验观察，静止目标的事件输出主要是目标偏振特性明显的区域，目标轮廓不清晰且会有闪烁；运动目标的事件输出主要集中在轮廓区域，更容易识别，因此对运动目标的检测和跟踪以及伪装目标的探测具有天然优势，在遥感探测领域具有广阔的应用前景。