基于反射偏振膜的增强现实2D/3D 兼容显示
2023-06-13饶凤斌冀清霖
饶凤斌,冀清霖,李 强,邓 欢
(四川大学 电子信息学院,四川 成都 610065)
1 引 言
3D 显示能够将物体的深度和视差信息真实地再现出来,给观看者带来逼真的视觉体验,是最贴近人类视觉习惯的显示方式,在医疗、军事、教育、娱乐等领域有着重要的应用价值[1]。2D/3D 兼容显示可以根据不同的用户需求,在具有立体感的3D 图像和高分辨率2D 图像间自由切换,扩大了应用范围[2]。增强现实显示技术能够将虚拟物体与真实世界联系在一起,使得用户在正常观看真实世界场景的同时还能够和虚拟物体进行交互[3]。因此将2D/3D 兼容显示应用于增强现实显示技术中,可以实现虚拟物体和真实场景的有效融合,进一步提升用户的观看体验,满足更多的视觉需求。
自从2D/3D 兼容显示技术提出以来,许多研究人员开展了相关的研究。一部分研究通过改变显示器背光来实现2D/3D 兼容显示。韩国首尔大学的Lee 教授团队采用聚合物分散液晶,通过电压控制聚合物分散液晶的散射或透射状态,实现了2D 和3D 显示模式的切换[2]。随后,该团队通过在准直透镜和聚合物分散液晶之间插入一个附加透镜阵列,形成更高密度的点光源阵列,提高了2D/3D 切换时的3D 图像分辨率[4]。而为了进一步简化系统,该团队提出了利用两组交错排列的发光二极管阵列作为系统背光,与带有针孔阵列的漫射膜结合实现了2D/3D 兼容显示[5]。本研究团队将反射偏振片和针孔阵列有效结合,利用偏振复用技术实现高背光利用率的2D/3D 兼容显示[6]。合肥工业大学的王梓利用发光二极管改造背光模组的导光板,通过切换背光光源实现了2D/3D 兼容显示[7]。另一部分研究则通过改变透镜阵列来实现2D/3D 兼容显示。韩国首尔大学的Lee 教授团队提出使用凹面半反射镜阵列,将背投屏与凹面半反射镜阵列结合作为显示屏,利用不同投影仪投影不同的图像至背投屏或凹面半反射镜阵列上,对应实现2D 或3D 显示[8]。台湾交通大学的黄乙白教授团队采用偏振依赖液晶透镜阵列,通过控制显示器背光的偏振态,利用偏振依赖液晶透镜阵列对于不同偏振态的光束进行会聚或透过,实现了2D 和3D显示模式的切换[9]。上述2D/3D 兼容显示技术方案均不能现实增强现实显示的功能,而目前只有少数研究人员开展了增强现实2D/3D 兼容显示的研究工作。
在增强现实显示中,光学组合器是最核心的光学器件。全息光学元件(Holographic optical element,HOE)因其具有高衍射效率和环境光透过率且体积轻薄,受到了诸多研究者的青睐[10-12]。韩国首尔大学的Lee 教授团队采用HOE 记录了透镜阵列和散射屏,利用角度复用技术和光学棱镜实现了2D/3D 兼容透明屏显示。但其是通过将HOE 一分为二来实现的,即一半HOE 区域用于实现2D 显示,另一半区域用于实现3D 显示,导致光学透明窗口利用率低[13]。之后该团队通过记录两种不同节距的透镜阵列,根据投影像素与透镜阵列节距大小的比值不同来实现2D/3D兼容透明屏显示,但该方案需要使用两个投影仪,导致系统体积增加[14]。本研究团队在2019 年采用透镜阵列全息光学元件(Lens array holographic optical element,LAHOE)与聚合物分散液晶相结合,通过切换施加在聚合物分散液晶上的电压,使聚合物分散液晶在透射和散射两种状态下切换,散射光线显示2D 图像,而透过的光线经过LAHOE 调制后重建出3D 图像,从而实现2D和3D 两种不同显示模式的切换。但该系统的2D 显示模式不能够实现增强现实显示,且系统较为复杂,所使用的聚合物分散液晶需要施加较高电压才能实现光线调制状态的切换[15]。随后,在2021 年本团队记录了包含透镜阵列和散射屏功能的复合HOE 并与液体透镜结合,通过角度复用的方式实现了增强现实2D/3D 兼容显示。该系统通过泵入和抽出液体实现液体透镜曲率变化,导致系统的两种显示模式之间的实时切换存在挑战[16]。
本文提出了基于反射偏振膜的增强现实2D/3D 兼容显示系统。该系统将反射偏振膜与LAHOE 结合在一起,利用反射偏振膜对水平或垂直偏振光分别呈现透射或反射的性质,反射光束用于2D 显示,透射光束经LAHOE 调制后实现3D 显示,环境光则能透过反射偏振膜和LAHOE,保证系统的2D 和3D 显示模式均具有较好的光学透过特性。该系统结构简单,光学组合器利用率高,不需要复杂的机械运动和额外的附加电源,可根据观看者的显示需求,实时调整投影片源和投影光束的偏振态来实现增强现实2D 和3D 显示模式之间的自由切换。
2 系统结构及2D/3D 兼容显示原理
2.1 系统结构
本文提出了基于反射偏振膜的增强现实2D/3D 兼容显示系统,系统结构如图1 所示,主要由投影仪、偏振控制器、反射偏振膜以及LAHOE组成。偏振控制器位于投影仪前,用于控制投射光束的偏振状态。反射偏振膜和LAHOE 两者紧密贴合,组成增强现实2D/3D 兼容显示系统的主要部分,用于承接投影图像。反射偏振膜对于水平和垂直偏振态的光束具有不同的调制作用,从而对投影仪投射的光束进行透射或反射。在反射状态下,投影仪投射2D 图像,在反射偏振膜上实现2D 显示;而在透射状态下,投影仪投射3D 片源,LAHOE 对3D 片源进行调制,基于集成成像3D 显示的光场重构方式重建出3D 图像。由于反射偏振膜和LAHOE 的光学透视特性,可以实现虚拟2D 和3D 图像与真实场景的融合。通过偏振控制器对投影光束偏振状态的实时控制并同步切换对应的2D 或3D 片源,可实现增强现实2D 和3D 显示模式的自由切换。
图1 基于反射偏振膜的增强现实2D/3D 兼容显示系统示意图Fig.1 Diagram of the proposed augmented reality 2D/3D compatible display system based on reflective polarizer
2.2 本系统的2D/3D 兼容显示原理
本系统的偏振相关特性主要由反射偏振膜决定,其光学调制特性如图2(a)和2(b)所示,包含反射偏振态和透射偏振态。本文用垂直偏振方向表示反射偏振态,水平偏振方向表示透射偏振态。反射偏振膜对于垂直偏振方向的偏振光,其反射率达到最大值;对于水平偏振方向的偏振光,入射光将直接透射穿过反射偏振膜[17]。
图2 反射偏振膜对不同偏振光的调制作用Fig.2 Modulation of reflective polarizer on different polarized lights
该系统的3D 显示模式主要由LAHOE 来实现。HOE 本质是一种体积全息图,能够实现一个或多个光学元件对光线的调制功能并且具有高衍射效率和环境光透过率。该系统所用的HOE 能够实现透镜阵列对光线的调制功能,即LAHOE,其记录和再现过程如图3 所示。图3(a)为LAHOE 的记录过程示意图,平行光经过透镜阵列后生成球面波阵列作为信号光入射至全息材料上,而参考光以球面波的形式从另一侧入射至全息材料上,两束光在全息材料内相遇并发生干涉,经过干涉曝光及后处理,即可得到LAHOE。图3(b)为LAHOE 的再现过程示意图,满足布拉格条件的探照光入射到LAHOE 上,LAHOE 就能够通过衍射再现出球面波阵列波前。如果探照光载有3D 片源,即微图像阵列,那么微图像阵列会受到球面波阵列调制,从而重构出3D 图像。而对于不满足布拉格条件的环境光,将直接透过LAHOE 而不会受到调制。在3D 显示模式下,如图4(a)所示,投影机光线通过偏振控制器调制,投射出水平偏振态的投影图像光束并载有微图像阵列信息。满足LAHOE 的布拉格衍射条件的投影光束在透射穿过反射偏振膜后,经LAHOE调制,衍射再现出透镜阵列波前,如图4(a)中的红色光线所示。此时LAHOE 具有透镜阵列的光场调控功能,其中的每一块单元区域都可看成是一个透镜单元,与投影仪投射的图像元一一对应并按照透镜对光线的调制方式将图像元光线进行会聚和发散,同名点像素的光线在空间中叠加并形成3D 体像素,从而重建出3D 图像。不满足布拉格衍射条件的环境光将直接透过LAHOE,环境光中的水平偏振光束则继续透射穿过反射偏振膜并进入观察者视野,如图4(a)中的蓝色光线所示,以此实现光学透视式集成成像3D 显示。
图4 增强现实2D/3D 显示原理图Fig.4 Schematic diagram of augmented reality 2D/3D display
在2D 显示模式下,如图4(b)所示,偏振控制器使投影图像光束转换成垂直偏振态,满足2D显示模式下的偏振条件,在反射偏振膜上发生漫反射,如图4(b)中的绿色光线所示,从而在反射偏振膜上观察到2D 图像。位于反射偏振膜后方的LAHOE 不参与光线调制。环境光中水平偏振光束将直接透射穿过LAHOE 和反射偏振膜,如图4(b)中的蓝色光线所示,从而在2D 显示模式下实现透明显示。
2.3 显示系统的环境光对比度
光学透视式显示器作为一种透明设备,对显示亮度有着严格的要求。为此,我们对本系统在2D 和3D 显示模式下的环境光对比度(Ambient contrast ratio,ACR)进行定量分析。一般显示系统的环境光对比度被定义为[18-19]:
其中:Lon(Loff)原表示显示设备开(关)状态下的亮度,在本文所提出的光学透视式显示系统中表示投影设备开(关)状态下的亮度,即LAHOE 发生(未发生)衍射下的亮度,单位为cd/m2;Lambient为环境亮度;T为反射偏振膜和LAHOE 的组合透过率。
环境照明条件通常用照度(lx)来衡量,但为了进行比较,需将照度转换为亮度,即将式(1)中的Lambient除以一个因子π。例如,在一个普通的客厅里,照度约为100 lx,转换为亮度是30 cd/m2;而在一个普通的办公室里,亮度约为150 cd/m2。在户外,阴天亮度可达300 cd/m2,晴天可达3 000 cd/m2。即使对于高对比度的显示器来说(Lon/Loff>100),环境光也会覆盖掉显示内容,使图像无法识别。
在增强现实显示中,显示标准要求可识别图像的最小ACR 为3∶1,具有足够可读性的ACR为5∶1,而具有吸引人的显示质量的ACR 要超过10∶1[3]。因此,对于透过率T>90%的LAHOE来说,在办公室照明条件下,通过投影设备显示后显示的图像亮度应至少为550 cd/m2,以达到ACR=5∶1。目前,LAHOE 的显示图像亮度为500 cd/m2,适合在室内使用。而要在一个阳光明媚的环境下实现ACR=10∶1(约3 000 cd/m2),若不考虑所有光学损耗,显示器需要提供至少30 000 cd/m2的亮度,这给高亮度微显示器和低损耗光学组合器的设计带来了很大的挑战。
在3D 显示模式下,有两部分光将进入人眼视区:环境光和系统设备发出的光。其中环境光在经过反射偏振膜和LAHOE 后,发生多次反射和透射,这里只计算环境光发生两次反射的光线,即如图5(a)中黄色光线所示的R1和R2。系统设备的光线为投影设备发出的光Lprojector,经过反射偏振膜发生透射时会损失小部分的光,其余全部透射后到达LAHOE 上,发生布拉格衍射后再次透过反射偏振膜,即图5(a)中红色光线所示的L1和Ldiffraction。因此,最后进入人眼的光包含R1、R2、L1和Ldiffraction。此时3D 显示模式下的ACR可表示为:
图5 增强现实2D/3D 兼容显示系统的ACR 分析Fig.5 ACR analysis of augmented reality 2D/3D compatible display system
其中,R1、R2、和L1分别表示为:
其中:Rrp表示反射偏振膜对环境光的反射率,RLAHOE表示LAHOE 对环境光的反射率,Rdrs表示反射偏振膜对于水平偏振光发生漫反射的反射率。
在2D 显示模式下,同样有两部分光进入人眼。环境光部分与3D 显示模式下一致,但是由于2D 显示在反射偏振膜上进行,投影设备发出的偏振光Lprojector将直接经过反射偏振膜并发生漫反射,形成L2,如图5(b)中的绿色光线所示,因此最后进入人眼视区的光由R1、R2和L2构成。此时2D 显示模式下的ACR 可表示为:
L2可表示为:
其中Rdrc表示反射偏振膜对于垂直偏振光发生漫反射的反射率。
3 实验验证
实验中采用LitiHolo 的光敏聚合物作为全息材料,LAHOE 具体记录方式在2.2 节中已提出,实验光路如图6(a)所示。全息材料在曝光记录后只需通过紫外固化,将曝光剩余的光敏聚合物单体消耗掉即可完成LAHOE 的制备。全息材料在532 nm 达到最佳衍射效率时对应的曝光能量为30 mJ/cm2,利用该全息材料所制作的LAHOE具有90%以上的透射率和衍射效率。为验证方法可行性,搭建了如图6(b)所示的增强现实2D/3D 兼容显示系统。
图6 实验装置图Fig.6 Experimental setups
实验制作的LAHOE 的有效曝光面积为46 mm×46 mm,参考光和信号光光强约为1 mW/cm2,曝光时间为30 s,所记录透镜阵列焦距为3.3 mm,节距为1 mm。在3D 显示模式下测得的衍射效率为89%。
增强现实2D/3D 兼容显示系统的显示效果如图7 所示。图7(a)~(c)分别为2D 和3D 显示模式下使用的片源。当系统处于2D 显示模式时,在反射偏振膜上可以观察到“公路”的2D 图片,对应显示效果如图7(b)所示。图7(d)为3D显示模式下分别在“左上”、“右上”、“左下”和“右下”4 个不同方向的视图,对比不同的视图可以清楚地看到字母“A”和“R”间的水平和垂直视差。可以发现当系统分别处于2D 和3D 显示模式下时,都能看见位于偏振反射膜和LAHOE 后方的玩具小车,验证了本系统的增强现实2D/3D 兼容显示功能。
图7 增强现实2D/3D 兼容显示系统显示效果Fig.7 Display results of the augmented reality 2D/3D compatible display system
由于HOE 具有独特的波长选择性,在利用LAHOE 实现3D 显示时,其最大衍射效率对应的探照光波长只与记录时参考光和信号光的波长一致;对于其他波长的探照光,其衍射效率会降至最低。实验中参考光和信号光的波长均为532 nm,因此该系统在3D 模式下只能实现单色显示。由于HOE 体积轻薄,可通过将RGB 三种颜色对应波长的信号光和参考光分别记录得到的LAHOE 叠加在一起,实现彩色3D 图像显示。
在测试ACR 时,由于采取的是投影方式来实现2D 和3D 显示,因此投影距离会影响显示亮度。随着投影距离增加,亮度会随之减弱,故固定投影距离为160 mm,分别在5 种不同的环境光条件下测试ACR。图8 是在不同环境光条件下投影白图时反射偏振膜反射率和透射率的变化曲线图。其中反射率为反射偏振膜发生漫反射后150 mm 处的接收值,反射率越高,2D 显示图像对比度则越低。图9 是显示系统在2D 和3D显示模式下的ACR。随着环境光亮度的增加,ACR 逐渐减小,但仍大于3∶1,说明该系统能够实现环境光对比度较好的增强现实2D/3D 兼容显示。
图8 反射偏振膜在不同显示模式下的反射率和透过率Fig.8 Reflectivity and transmittance of the reflective polarizer in different display modes
图9 增强现实2D/3D 兼容显示系统在不同显示模式下的ACR 曲线Fig.9 ACR curves of the augmented reality 2D/3D compatible display system in different display mode
4 结 论
本文提出了一种增强现实2D/3D 兼容显示系统,通过结合LAHOE 和反射偏振膜,利用反射偏振膜对水平和垂直偏振方向的光束不同的光学调制特性,对应实现2D 和3D 显示功能,且通过偏振控制器对入射光偏振方向实时改变并同步切换显示片源,实现了2D 和3D 显示模式的自由切换。基于LAHOE 和反射偏振膜对环境光的透射作用,在2D 和3D 显示模式下均能满足增强现实的光学透视效果。实验结果表明,所提方法实现了增强现实2D/3D 兼容显示,实验系统具有一定的光学透视特性,其2D 和3D 显示模式下的ACR 值均大于显示规则要求的标准值3∶1。该系统体积小,既能实现2D/3D 兼容显示又具有较好的光学透视特性和环境光对比度,为增强现实技术的发展开辟了更广阔的空间。