光场成像中元素图像的不失真条件

杨尚鹏，许成才，颉一凡，周光泉，周 平

（东南大学 生物科学与医学工程学院，江苏 南京 210096）

1 引 言

与传统二维成像不同，光场成像可以同时记录光线的方向与位置信息，在工业、医疗等领域存在巨大的应用潜力［1-4］。通常情况下，基于Levoy等［5］提出的双平行平面模型（Two parallel plane，TPP），光场图像采用二维方向平面(s，t)与二维位置平面 (x，y)所构成的四维函数I(s，t，x，y)进行描述。

四维光场成像系统的构建具有多种方式。2005 年，斯坦福大学的Wilburn 等［6］使用约100 台CMOS相机构建了大规模光场相机阵列。2008年，清华大学戴琼海等［7］使用60 个相机阵列和800 多个LED 灯搭建了一个大型的光场系统。基于相机阵列模式的光场成像系统具有高分辨率、高动态范围等优点，但相机阵列存在硬件成本高昂、体积大等缺点。2006 年，吴义仁等［8］将一片微透镜阵列（Microlens Array，MLA）置于主透镜与二维成像传感器之间，在二维成像传感器上实现了四维光场的记录。因基于MLA 的光场成像系统具有结构紧凑、便携、高性价比等优点，故受到了各界的广泛关注、研究与应用［9-10］。对基于MLA的光场成像系统（以下简称为光场成像系统），通常认为元素图像记录了光线的方向信息(s，t)，子孔径图像记录了从不同视角采样的位置信息(x，y)。如何从二维成像传感器记录的二维原始数据中解码四维光场数据，是光场成像系统深度估计、三维成像等应用的基础问题。2013 年，Dansereau 等人［11］通过高斯滤波、峰值检测定位圆心等技术实现了图像解码。2014 年，张旭等人［12］通过拍摄多频相移图像来定位图像中心，进而解码四维光场数据。2020 年，Hahne 等人［13］提出了独立于镜头规格的通用相机微图像尺度空间分析，得到了更高质量的图像。基于TPP 模型，上述解码算法均以主透镜所在平面作为方向平面，以主透镜光心所在位置为成像坐标系中心，默认主透镜平面与孔阑平面重合，默认主透镜物、像空间的光线在成像过程中不受约束，采用白图像计算元素图像的圆心，并将其作为方向信息的（0，0）坐标。然而，在工业、医学等应用中，部分方向的光线因受实际工作环境的约束，存在可能无法被成像传感器记录到的情况，进而出现元素图像偏移与部分缺失等失真问题。类似问题在Schambach 等人［14］的工作中有所提及，其将失真理解为自然和机械的渐晕效应。若物体的绝对空间位置没有变化，仅因光场成像系统受工作环境约束而出现元素图像偏移，将使解码算法得到错误的方向信息（0，0）坐标，进而影响深度估计、三维成像等应用，此问题尚未见量化的理论分析。

本文将光线受实际工作环境的约束抽象为主透镜物空间存在额外孔阑，并定量地分析了孔阑尺寸、位置与元素图像之间的关系，提出了光场成像中元素图像不失真条件，并设计了实验加以验证。

2 元素图像不失真条件

图1 为元素图像失真示意图，可以明显观察到在某些情况下，元素图像出现的偏移和部分缺失等失真现象。

图1 元素图像失真示意图。（a）成像传感器中心位置的元素图像；（b）～（d）左上、右下、左下位置的光场元素图像。Fig.1 Schematic diagram of microlens image distortion.（a）Microlens image in the center of picture sensor；（b）～（d）Microlens images in the upper left，lower right and lower left.

基于TPP 模型，本文对光场成像系统做如下定义：如图2 所示，与以往的分析相似［15］，以主透镜光心为成像坐标系原点，定义成像坐标系为Oc-XY；以主透镜光轴与MLA 平面的交点为原点，定义微透镜坐标系Om-xy；以光轴与图像传感器的交点为原点，定义图像坐标系Op-uv。定义主透镜的通光孔阑尺寸为D，对焦平面与主透镜平面之间的距离为hm，主透镜与MLA 之间的距离为h'm，MLA 与图像传感器之间的距离为b。为分析光线方向受实际应用环境的约束，本文将此约束抽象为主透镜物空间的额外孔阑（以下简称孔阑），即将光线受空间约束无法到达成像平面的原因，等效为因孔阑的阻碍而无法到达成像平面。相应地，本文定义孔阑所在平面为孔阑平面，孔阑平面的光轴与主透镜平面光轴重合，定义孔阑尺寸为Das，孔阑与主透镜之间的距离为das。

图2 添加额外孔阑的光场成像模型Fig.2 Light field imaging model with additional aperture

由于位置信息的两个维度之间为正交关系，本文只分析其中一个维度。如图2 所示，对于主透镜物空间中的一点P0(X，Y)，若P0点能够在MLA 平面成像，则无论是否存在元素图像失真问题，根据光场成像原理，P0在MLA 平面上成像于(xm，ym)，满足式（1）所述关系：

根据孔阑尺寸及其与主透镜平面所在位置的距离，本文分3 种情况研究元素图像的失真问题。

情况1：对于主透镜物空间中的一点P0，若以到达主透镜为目标，孔阑对点P0发出的光线没有约束，如图3 所示。

图3 孔阑对光线没有约束Fig.3 Aperture has no constraint on light

设P0点发出的光线经孔阑到达主透镜平面正负半轴的最大距离分别为l1与l2，当P0位于负半轴时，明显有l1＜l2。根据三角形相似原理分析负半轴成像关系有：

当l1≥0.5D时，孔阑对P0点发出的光线没有约束。联立式（1）与（2），根据是否考虑MLA尺寸，得式（3）：

其中：M=，为传统成像的放大率；Dm为MLA的边长，是物体在MLA 平面可以成像的最大坐标，在光场成像系统参数确定的条件下，该条件限制了成像视野。当式（3.1）成立时，从P0点发出的光线经孔阑可以无约束地到达主透镜与MLA。在此情况下，光场成像系统得到的元素图像与传统光场图像相同，即虽然有额外的孔阑，但孔阑的尺寸与位置对光场成像的影响尚不足以产生失真现象，或可认为此情况下，元素图像无失真。

情况2：对于主透镜物空间中的一点P0，孔阑约束了部分光线不能到达主透镜，如图4 所示，通过主透镜后的光线可以无约束地到达MLA。

图4 孔阑约束部分光线Fig.4 Aperture has part of constraints on light

因负半轴的光线受约束较大，此时分析正半轴情况，有

当l2≤0.5D时，孔阑对主透镜物空间的光线有约束作用，主透镜像空间的光线可以无约束地到达MLA。联立式（4）与（1），得式（5）：

主透镜物空间的孔阑对P0点发出的光线有明显约束，即不是所有光线都能到达主透镜。此情况类似于在工业、医疗等具体应用中，受到狭小环境空间的限制，物点P0发出的部分光线可以到达主透镜，而有部分光线受狭小环境空间（孔阑）约束，不能到达主透镜。当式（5.2）被满足时，经主透镜后的光线可以全部到达MLA，此时的元素图像是完整的圆，但相对于情况1 的元素图像，直径减小。此外，可以观察到元素图像的中心将发生偏移［14］，相当于光场成像系统的方向平面发生了改变。假设元素图像中心的偏移量为Δu，如图2 所示，根据小孔成像模型与光场成像原理有：

其中：q为图像传感器的像素尺寸；ΔS为增加孔阑前后，物体主光线在主透镜平面的位置差。联立式（1）、（6）与（7），可得：

从式（8）可得，元素图像中心偏移量与孔阑尺寸无关，与物体在MLA 平面成像位置与光轴距离xm、孔阑与主透镜之间的距离das正相关。此外，如将放大率M引入公式（8），可知在主透镜焦距固定的情况下，元素图像中心偏移量与光场成像系统的放大率负相关。

情况3：对于主透镜物空间中的一点P0，受孔阑约束，其光线到达主透镜正负半轴的情况不同，如图5 所示。在主透镜正半轴，不是所有的光线都能通过主透镜，即主透镜对光线存在二次约束。因主透镜正负半轴对光线的约束情况不同，故分别分析得式（9）：

图5 孔阑和主透镜均对光线有约束Fig.5 Both the aperture and the main lens have constraints on light

物点发出的光线同时受孔阑与主透镜约束的条件为l1＜0.5D且l2＞0.5D，分别将约束条件与式（9）与（1）联立并化简，得式（10）：

由于物点发出的光线在主透镜正负半轴的约束情况存在差异，因此元素图像将出现明显的失真现象，光场成像系统得到椭圆形元素图像，如图1（b）～（d）和图6 所示。

图6 元素图像偏移。（a）二维光场图像右上角图；（b）二维光场图像左下角图。Fig.6 Microlens image deviation.（a）Upper right of the 2D light field image；（b）Lower left of the 2D light field image.

综上，当孔阑的尺寸、位置不同时，代表了光场成像系统受到环境的不同约束。当式（10）成立时，元素图像形状产生失真，呈椭圆形状；若式（10）不成立而式（5）成立时，元素图像仍保持圆形但直径减小，且中心发生偏移；若式（3）成立，则元素图像不失真。此外，从式（3）、（5）与（10）可以发现，元素图像失真问题与物体位置同样相关，随着物体与光轴距离X的增加，元素图像从不失真到失真，且元素图像圆心位置发生偏移，从保持圆形到呈椭圆形，且X愈大失真情况愈严重。

3 实验结果与讨论

为验证本文提出的元素图像不失真条件，本文使用Illum 光场相机开展实验并采用我们以往提出的两步标定法计算得到光场相机的系统参数［15］。在光场相机主透镜的物空间设置一个孔阑，以白板为被测物，在不改变光场相机焦距、对焦位置等参数的条件下，拍摄有无孔阑以及孔阑位置改变时的白图像，用以观察元素图像失真情况，计算元素图像中心。

3.1 元素图像中心偏移量与位置的关系

根据式（8）可知，元素图像中心偏移量Δu与物体在图像传感器上的成像位置成正相关。分别在元素图像失真前后计算其中心位置，可得偏移量Δu。考虑到实际系统中含两个正交方向的分量，故在两个方向分别计算。通常情况下，元素图像的偏移与形变同时存在。实验中，本文选择远离中心的元素图像，经处理得到其中心偏移，如图6 所示。

图6（a）和（b）分别为二维光场图像右上角与左下角的失真元素图像，蓝色点为无孔阑时无失真元素图像的中心，红色点为增加孔阑后失真元素图像的中心。元素图像中心偏移量与物体在图像传感器上的成像位置关系如图7 所示。

图7 元素图像中心偏移定量分析图Fig.7 Quantitative analysis of microlens image deviation

从图7 可知，(xm，Δu)与(ym，Δv)分别成线性关系，与公式（8）的理论结果相同。

3.2 元素图像中心偏移量与das 的关系

根据式（8）可知，元素图像中心偏移量Δu与das成正相关。如上述实验结果所示，当计算得到(xm，Δu)的线性关系后，根据线性拟合系数，由式（8）可计算得到das。为进一步验证本文工作，我们使用电动平移台移动孔阑位置，每次移动距离为10 mm，共采集6 个位置的白图像进行实验，并计算两个孔阑位置之差Δdas，实验结果如表1所示。

表1 孔阑等差移动实验结果Tab.1 Results of the arithmetic aperture-shift mm

实验得到的Δdas=（9.97±1.5）mm，Δdas的平均值与电动平移台的移动距离10 mm 间相对误差为0.3%。此实验进一步验证了本文理论的正确性。

4 结 论

在实际应用中，因应用环境狭小空间的限制，物点发出的光线可能存在被环境约束而不能到达光场成像系统的情况。此时，元素图像可能出现中心偏移与形状改变等现象，影响光场图像的解码与后续应用。本文将环境约束抽象为主透镜物空间的额外孔阑约束，定量地分析了孔阑尺寸、位置与光场成像间的关系，提出了光场成像的元素图像不失真条件，并设计实验加以验证。实验结果表明，元素图像中心偏移的实验结果与理论分析的相关性高于99%，孔阑等差移动测量值为（9.97±1.5）mm。在光场成像系统设计中，若应用环境属于狭小空间时，受环境约束的成像物体尺寸与成像系统参数之间的量化关系应满足元素图像不失真条件。因此，元素图像不失真条件有助于光场成像系统的设计，在实际应用中避免因元素图像失真而导致错误结论。