基于回返器和反射偏振片的分辨率增强集成成像3D 显示器

何 伟，李 强，郭兆达，邓 欢

（四川大学 电子信息学院，四川 成都610065）

1 引 言

3D 显示能够真实地再现出物体的深度和视差信息，加强了观看者对三维物体的立体感知，是人类追求的终极显示方式。在医疗诊断、军事演练、工业设计和科学研究等领域有着重要的应用价值，不仅能够带来视觉沉浸感，更能够提高工作效率和专注力。但是传统的裸眼3D 显示存在辐辏调节冲突的问题［1-3］，观察者长时间注视容易造成眩晕和视觉疲劳等不适感，严重影响了观看体验。因此，发展出了基于光场理论［4-5］的真3D 显示技术，主要包括全息显示技术［6-7］、体3D显示技术［8-9］和集成成像显示技术［10-12］，通过重构出真实场景的光场信息，克服了辐辏调节冲突并实现了自然的观看体验，从而吸引了研究者的广泛关注。集成成像显示技术具有结构简单，不需要相干光源，可以实现真彩色、准连续视差的3D图像等优点，被认为是最接近市场化的真3D 显示技术之一。

尽管集成成像显示技术有很多优点，但是其显示性能存在相互制约的关系［13］，难以突破空间带宽积的限制。分辨率表征了再现图像的精细程度，直接影响重构3D 图像的视觉效果。集成成像的观看分辨率主要由透镜阵列的空间分辨率［14］和显示器的分辨率共同决定。随着现代制造工艺的进步，透镜的空间分辨率远大于显示器的分辨率，因此显示器的分辨率决定了3D 图像分辨率的下限。一方面，显示器的像素尺寸越小，在空间中重构出的3D 体素就越小，显示的内容越细致；另一方面，显示器的像素数量越多，对应的3D 体素就越多，重构的3D 图像越丰富。在提升集成成像3D 图像分辨率方面，国内外学者做了较多的研究。在增加像素数量方面，康涅狄格大学提出了同步移动记录和显示透镜阵列的方法来增加对显示器的采样频率，进而提高像素数量［15］。釜庆大学提出在透镜阵列前面增加一层动态掩模板，快速切换掩模板的位置，并配合LCD 快速刷新片源，在空间中实现像素点的增加［16］。东京大学设计了基于多台投影机的集成成像显示系统，将两台投影机投影的片源通过光路折转系统转移到一个平面，实现像素数量的倍增［17］。此外，还提出了基于旋转棱镜片的方法，在透镜阵列后面增加一个快速旋转的棱镜阵列，通过时分复用将像素数量增加到原来的4 倍［18］。此外还有一些通过空分复用或时分复用的方法改变定向背光的方向实现点光源的倍增，进而增加3D 图像的体素［19-22］。上述方法主要通过时分复用或空分复用技术，或者使用多台投影系统，来提升像素数量，对显示器的刷新率具有较高的要求，存在矫正困难等问题。在减小像素尺寸方面，西安大学通过在商用显示器上设计子像素掩模板，通过时分复用实现对子像素的控制，从而减小像素尺寸［23］。台湾交通大学将显示器的每个像素分成3 个子像素，实现像素尺寸的减小，并通过相应的子像素重组算法生成相应的EIA，将分辨率提高为原来的2.41 倍［24］。北京邮电大学设计了一个分光棱镜阵列将显示器上特定的片源发出光线分成多数细光线，再将细光束错位叠加在一起形成更小的像素单元，进而实现分辨率的增强［25］。如何在现有的商用显示器的基础上进一步减小像素尺寸并同时增加像素数量仍是一个挑战。

本文提出了一种使用回返器和反射偏振片来提高集成成像分辨率的方法。该方法通过偏振复用技术将EIA 光线在空间中分离，并错位叠加形成高密度小像素点的高分辨率EIA，并通过像素索引关系反向计算出显示器上EIA 的像素值用作显示片源。该方法可根据显示器的参数灵活地调整片源的错位距离来匹配各种显示器尺寸，不需要复杂的机械运动和投影矫正，可有效减小像素尺寸并增加像素数量，突破2D 显示屏的分辨率限制，实现3D 图像分辨率的提升。

2 结构原理及片源生成方法

2.1 系统结构原理

本文提出了基于回返器和反射型偏振片的高分辨率集成成像显示装置。装置结构和实际光路的俯视图如图1 所示，主要由2D 显示器、反射型偏振片、四分之一波片、回返器和透镜阵列组成，XY平面平行俯视平面，Z轴垂直XY平面。2D 显示器在XZ面内以45°角放置，其像素对角线平行于X轴方向，反射型偏振片反射S 光透射P光，其垂直于XY面，并与X轴成45°夹角。平板显示器发出的光线经过反射型偏振片1，被分成透射光路和反射光路，如图1（a）中红色箭头所示。在反射光路中，四分之一波片1 的光轴与S偏振光的振动方向成45°，S 偏振光经过四分之一波片1 后变成左旋圆偏振光（left-hand circularly polarization，LCP），并向回返器1 方向传播。回返器由角锥棱镜阵列构成，如图1（b）所示，每个角锥棱镜由3 个相互正交的反射面组成，入射光线在3 个反射面上依次反射，最后出射光线沿原入射光方向原路返回。由于每个角锥棱镜的尺寸为微米级，出射光线和入射光线的位置误差相对于像素尺寸来说可以忽略。由于入射光在回返器里面反射3 次，存在半波损失，左旋圆偏振光变成右旋圆偏振光（right-hand circularly polarization，RCP），再次经过四分之一波片1 后变成P 偏振光。P 偏振光透过两个反射型偏振片在显示器关于反射型偏振片1 对称的位置上形成P 偏振分量的EIA；同理，在透射光路中，P 偏振光经过四分之一波片2 和回返器2 变成S 偏振光，再由反射型偏振片2 反射，在显示器关于反射型偏振片2 对称的位置形成S 偏振分量的EIA。P偏振分量和S 偏振分量EIA 将错位叠加，如图1（c）所示，图中的每个小方格的长度是像素对角线的长度，为其中d是像素节距。P 偏振分量EIA 由显示屏光线先被反射偏振片1 反射，再透过间距为Δt的两个反射偏振片产生，如绿色光线所示。而S 偏振分量EIA 由显示器光线先透过两个反射偏振片，再由反射偏振片2 反射而产生，如蓝色光线所示。P 偏振分量EIA 和S 偏振分量EIA 沿对角线方向存在Δr的位移，其中通过控制两个反射偏振片的垂直间距Δt为（1/2）d，使得两个偏振EIA 沿对角线方向的相对位移Δr为，分解到水平和竖直方向上的相对位移均为1/2 个像素，叠加之后的像素尺寸为原来的1/4，从而形成尺寸更小、密度更高的像素点。经过透镜阵列实现光线的方向性调制，最终在空间中重构出尺寸更小数量更多的体素，从而提高3D 图像的分辨率。

图1 所提出分辨率增强集成成像系统的结构图Fig.1 Structure diagram of the proposed resolution-enhanced integral imaging system

2.2 EIA 生成方法

为了能够正确重建出3D 图像，需要根据叠加后的高分辨率EIA 和偏振EIA 之间的像素关系，反向计算出偏振EIA 的像素值。两个偏振EIA 的像素与高分辨率EIA 的像素索引关系如图2 所示，假设平板显示器的像素数为n×n，经过反射型偏振片分离出的灰度值相同的两个偏振EIA，像素数均为n×n，并在水平和竖直方向上均有 半 个 像 素 的 相 对 位 移。S（i，j）和P（i，j）分 别 代 表S 偏 振EIA 和P 偏 振EIA 的 像 素 值，下 标i和j是两个偏振EIA 的坐标索引。P 偏振EIA 的每个像素都与S 偏振EIA 上坐标相邻的4 个像素叠加，形成4 个更小的像素。因此，高分辨率EIA 的像素值H（u，v）和两个偏振EIA 的像素关系可用公式（1）表示：

图2 像素索引关系Fig.2 Relationship of the pixel index

其中：u和v是高分辨率EIA 的坐标索引，根据公式（1）可 知，P（i，j）与S（i，j），S（i+1，j），S（i，j+1）和S（i+1，j+1）4 个像素叠加形成新的4 个小像素，因此，叠加后的像素总数为4n2-4n+1，接近显示屏像素数的4 倍。为 了 能 够 叠 加 形 成 目 标 高 分 辨 率H（u，v），需 要计算出偏 振EIA 的像素值，根 据H（u，v）与S（i，j）和P（i，j）的 像 素 索 引 关 系，可 以 反 向 计 算 出S（i，j）或P（i，j）的像素值。由于反射偏振片对光线亮度有一半 的 损 失，反 向 计 算 出 的S（i，j）或P（i，j）的 像 素 值 需乘以2 倍，即获得显示屏上待显示的EIA。

3 实验验证

在实验中，我们利用3Ds Max 软件搭建了3D 场景，通过OpenGL 建立虚拟相机阵列来代替透镜阵列渲染光场图像，将采集到的光场图像合成目标高分辨率EIA，根据公式（1）反向计算出偏振EIA 的像素值，进而获得显示器上待显示的EIA。图3 为搭建的分辨率增强集成成像3D 显示实验装置，其中2D 显示屏为iPad 2019，其分辨率为2 150 pixels×1 620 pixels，像素节距为0.096 mm，将其在XZ面内旋转45°放置，使其像素的对角线方向平行于光学平台方向。透镜阵列中透镜节距为1 mm，焦距为3.3 mm，透镜元为方形无间隙紧密排布，透镜个数为100×100。透镜阵列位于叠加的高分辨率EIA 右侧3.5 mm 处，为了将其与EIA 匹配，将其在YZ平面内旋转45°放置。反射型偏振片的工作波长在420～750 nm 之间，在可见光范围内对S 偏振光的反射率基本维持在88%，对P 偏振光透过率基本在90%，避免了色差对图像质量的影响。两个反射偏振片中间加入一个0.048 mm 的透明薄膜，用于控制S 偏振光和P 偏振光的偏移量，反射型偏振片的光轴与四分之一波片的光轴夹角为45°。四分之一波片的工作波长为400～750 nm，保证了在可见光范围内具有正确的相位延迟。

图3 实验装置图Fig.3 Configuration of the experimental setup

使用多个彩色气球和上下两个紫色矩形框作为3D 模型，在模型中将最前面的粉色气球和最后面的黄色气球间距设置为15 mm，模型排布的侧视图和对应的EIA 如图4 所示，3D 图像的中心深度平面位于透镜阵列前57.75 mm 处。将相机聚焦在中心深度平面的位置，观察重构图像细节处的分辨率来证明所提方法的可行性和有效性。图5 对比显示了使用传统集成成像方法和本文所提出的方法重构的3D 图像。图5（a）是基于传统集成成像方法重构的3D 像，其中的黑色线条是显示器的黑色网格经过透镜阵列放大后形成的。图5（b）是使用本文提出的方法重构的3D 像，可以看到叠加后的像素网点更小且密度增加，同时减轻了像素间的黑网格问题，亮度更加均匀，从而提高3D 图像的质量。虽然分辨率有所提高，但是图像的边缘存在光晕，这主要是由掠入射到回返器上的光造成的，未来可通过准直器控制光束的发散角来改善这种情况［26］。图5 中重建的3D 图像上半部分有些模糊，这是由于相机仅聚焦在中心深度平面的位置，其他深度的图像处于离焦状态。

图4 3D 场景和生成的EIA Fig.4 3D scene and generated elemental image array

图5 光学重构的3D 图像对比Fig.5 Comparison of reconstructed 3D images

为了验证重构3D 图像的视差效果，以及不同深度气球的清晰再现效果，采用大景深的光圈进行拍摄，图6 展示了从不同方向观看到的3D 图像，观看视角为16°，黄色矩形框中展示了水平和竖直方向上的运动视差，不仅所有深度的气球都能够被清晰地重建，而且没有出现明显的畸变。因此，所提方法能有效地提高3D 图像的分辨率。

图6 重构3D 图像的不同视图Fig.6 Different perspectives of reconstructed 3D images

4 结 论

本文分析了影响集成成像分辨率的主要因素，透镜阵列分辨率和显示器分辨中较小的一个决定了集成成像系统的分辨率上限，且显示器的像素尺寸对重构图像的分辨率影响较大。基于此，本文提出了使用回返器和反射型偏振片实现偏振复用的方法，该方法能够有效减小像素尺寸，同时增加像素的数量，提高了整个系统的空间带宽积。实验表明，通过所提出的方法增加了3D 图像的分辨率，改善了显示器的黑网格效应，图像亮度更加均匀，提升了重建3D 图像的质量。所提方法不会损失观看视角和景深，同时不需要复杂的机械结构，可以通过控制两个反射型偏振片的距离灵活地匹配各种像素尺寸的平板显示器，能够突破现有显示器的分辨率极限，尤其适用于大像素点的显示器。