基于人眼特性的分区时分复用3D 视网膜投影显示

韦子超，楼益民，胡娟梅，吴锋民

（浙江理工大学物理系浙江省光场调控技术重点实验室，杭州 310018）

0 引言

为解决近眼显示产品存在的3D 实体感不强、晕眩、易视觉疲劳等问题，研发人员开始探索将全息［1］、光场显示［2］和视网膜投影显示［3］等技术应用于近眼显示，用以改善视觉效果、提升使用舒适度。其中视网膜投影显示技术因其具有方案简单、结构紧凑、易于集成等优点而备受瞩目。

视网膜投影显示技术基于麦克斯韦视图原理［4］，通过直接在人眼视网膜上投影清晰的图像来避免调焦模糊。可以有效缓解辐辏调焦矛盾（Vergence Accommodation Conflict，VAC）问题［5］。传统视网膜投影显示系统的出瞳直径仅为一个像点的大小，系统可获得极大的景深［6］，但存在着出瞳面积小、无法提供准确的深度信息、计算量较大等问题。

针对以上问题，YUUKI A 等设计了一种结合蝇眼透镜和小孔阵列的显示方案［7］，将实验系统的出瞳面积提高到24 mm×24 mm，但是光效和分辨率较低。之后KIM S B 等用全息光学元件（Holographic Optical Elements，HOE）将显示系统的出瞳面积扩大至9 mm×3 mm［8］。HEDILI M K 等利用光源阵列和低延迟动态瞳孔跟踪装置将出瞳面积扩大到14 mm×10 mm［9］。CHAN C 等构建了一种无透镜的多视点显示系统［10］，出瞳面积为3 mm×3 mm，但是系统计算量较大。SHI X 等提出了一种虚拟视点倍增技术［11］，利用HOE 和偏振光栅产生了12 mm 的水平出瞳区域。TAKAHASHI H 等利用HOE 和视差图为观察者提供了单眼调焦深度信息［12］，但是无法提供平滑的运动视差和正确的调焦刺激。随后JANG C 等提出了一种瞳孔跟踪光场显示系统［13］，但是存在图像丢失的问题。UENO T 等设计了一种全视差近眼显示系统［14］，可在人眼调节范围内提供单眼调焦深度信息，但是只能单色显示。2020 年，他们又提出了一种近似密集视点的显示方法［15］，改善了系统的景深和分辨率。NVIDIA 设计了一种实用的中央凹渲染系统［16］，降低了渲染成本和计算时间，但无法实现3D 显示。JU Y J 等结合计算全息和麦克斯韦视图技术提出了一种分区域显示的方案［17］，在减少了数据量的同时消除了VAC，但是显示效果受到全息技术的限制。HUA J 等提出了一种变信息密度裸眼3D 显示技术，利用人眼的中央凹特性降低了信息冗余［18］，但是尚未能用于近眼显示。

在上述工作的基础上，本文提出了一种基于分区时分复用的3D 视网膜投影显示技术，利用人眼特性将虚拟场景分为边缘背景区域和中心注视区域，对中心注视区域采用时分复用的密集视网膜投影显示技术，实现具有单眼调焦响应的真3D 显示，同时增大出瞳面积。对边缘背景区域则采用短焦目镜和液晶显示屏实现大视角显示。最后，利用半透半反镜实现边缘和中心区域的图像融合，实现了宽视角的双目彩色真三维视网膜投影显示。

1 分区时分复用的3D 视网膜投影显示原理

1.1 密集视点视网膜投影系统的单眼调焦深度信息重建原理

为观察者构造密集视点是实现3D 显示的重要技术方案。密集视点视网膜投影显示系统通过空间、角度或者时间复用技术在系统的出瞳处形成多个视点，在扩大系统出瞳的同时为每个视点输入正确的视差图像信息［19］，当视点间隔小于人眼瞳孔直径时，观察者即可获得单眼调焦深度信息，从而实现3D 视网膜投影显示。密集视点的3D 视网膜投影系统的成像过程示意图如图1 所示。假设系统在眼睛瞳孔平面处形成三个视点，分别与三个视差图像相对应，远处的3D 像点F由视差图像上的F1、F2、F3三个像素合成，近处的3D像点N由对应图像上的N1、N2、N3三个像素合成。如图1（a），当单眼调焦深度A位于点F所在深度平面ZF时，F1、F2、F3三个像素对应的光线将汇聚在视网膜平面上形成一个清晰的像点。而像素N1、N2和N3对应的光线在视网膜后方重合，所以近处的像点N会在视网膜上形成一个模糊的图像。同理，A位于点N所在深度平面ZN时，如图1（b）所示，像素N1、N2和N3对应的光线在视网膜上形成一个聚焦的像点，而远处的物点F在视网膜前聚焦，在视网膜上形成一个模糊的图像。所以，密集视点的3D 视网膜投影显示技术可为观察者提供单眼调焦深度信息。

图1 密集视点视网膜投影系统的成像过程Fig.1 The imaging processes of the retinal projection system with dense viewpoints

如图1（a）所示，将显示屏所在平面Z0作为参考平面。在密集视点3D 视网膜投影系统的成像模型中，同一物点发出的不同方向的光线将分别依次穿过显示平面上不同的像素点和瞳孔平面上不同的视点，这些不同方向的光线被眼睛聚焦后形成像点。对像点F或者N点来说，其成像位置由相似三角形可推出，即

式中，d为视差图像上同一物点对应像素的间距，v为视点间距，Z为像点深度，Zpupil为瞳孔平面深度。对于给定的系统，参数Zpupil、v、Z0一定，所以像点深度Z是关于d的函数，即可以通过调制参数d重建不同深度位置的图像。

1.2 分区时分复用的3D 视网膜投影显示系统

人眼在观察景物时，光信号从眼睛传入大脑神经形成视觉形象，需经过一段短暂的时间。同样，光的作用结束后，视觉形象并不立即消失，也需经过一段时间后才消失，这一现象被称为“视觉暂留”。时分复用技术利用人眼的视觉暂留特性，采用大于人眼时间分辨率的频率对图像组进行高频显示，可以让人眼感受到多幅图像信息叠加的效果，所以可利用视觉暂留形成3D 效果。人眼的单眼视角可达150°以上，但是只有投射到中央凹区域的图像才能够被精确分辨，而外围区域的图像分辨率明显降低。人眼的这种特性在实现高分辨率聚焦的同时有利于压缩冗余的周边数据。通常情况下中央凹区域的视角约为5°，中央凹区域外又分为有效视域和诱导视域。有效视域一般小于30°，超过30°则是诱导视域，也称为余光区域。中央凹区域也是对深度信息最敏感的区域。根据上述特性，提出了分区时分复用的3D 视网膜投影显示系统，在中心注视区域采用3D 视网膜投影显示技术，实现具有单眼调焦深度信息的真3D 显示。对边缘背景区域采用短焦目镜和液晶显示器件实现大视角显示。

图2 为所提出的分区时分复用的3D 视网膜投影显示系统示意图。该系统由三个子系统构成，分别为：①采用3D 视网膜投影技术的中心注视区域显示子系统（绿色虚线框区域）、②边缘背景区域显示子系统（红色虚线框区域）、③光源阵列子系统（蓝色虚线框区域）。光源阵列子系统由三色发光二极管（Light Emitting Diode，LED）阵列和准直透镜构成。LED 阵列发出的光束通过准直透镜后形成平行光束，进入中心注视区域显示子系统。

图2 实验系统成像光路示意图Fig.2 Schematic diagram of the imaging light path of the experimental system

中心注视区域显示子系统包括：全内反射（Total Internal Reflection，TIR）棱镜、高刷新率数字微镜器件（Digital Micro mirror Device，DMD）显示器、分束器（Beam splitte）、反射镜（Reflector）、目镜（Eyepiece）。光源阵列（LED array）子系统发出的平行光通过TIR 棱镜耦合后照明DMD 显示屏，光线通过DMD 反射后透过TIR 棱镜，被分束器分为左右两部分，分别对应左右两个观察通道。左/右通道的光线通过反射镜和目镜1后在左/右眼瞳孔附近形成多个视点。DMD 显示屏位于目镜1 的一倍焦距以内，其显示区域分为左右两部分，分别通过左右通道的目镜1 形成虚像。LED 阵列、DMD 与控制系统连接。控制系统按照时序控制DMD 刷新显示，同时控制LED 阵列中的点光源按照相同的时序依次同步照明。DMD 刷新的图像为各个视角对应的视图，这些视图与点光源的照明角度对应的视角相匹配。形成利用时分复用技术投影的多视角图像。当系统控制时序的频率足够高时，利用人眼的视觉暂留效应即可在出瞳处形成密集视点的观察窗口，实现3D 视网膜投影显示。

该子系统的DMD 屏幕和目镜1 之间的距离（物距）s=s1+s2+s3。目镜1 到DMD 的虚拟图像的距离（像距）为s′=（1/f1-1/s）-1。由于DMD 需要同时显示左眼和右眼图像，左眼使用的半块DMD 显示区域的宽度用w表示，虚拟图像尺寸为W=w f1/（f1-s）。中心区域横向最大视场角FOV1=2arctan（w/f1）。LED 阵列中LED 的间隔为V，子系统产生的视点的间隔为v，其大小为v=V f1/f2。DMD 的帧速率为FDMD，视点的数量为n，系统显示的3D 图像的帧速率为F3D=FDMD/n。

边缘背景显示子系统由液晶显示器（Liquid Crystal Display，LCD）、目镜2 和作为光学合成器（Optical combiner）的半透半反射镜构成。其中目镜2 为短焦目镜，用于获得大的边缘视角。LCD 位于目镜2 的一倍焦距以内，目镜2 的光轴和出瞳通过半透半反镜后与目镜1 的光轴和出瞳重合。边缘背景显示区域的半径约等于目镜2 的半径r，从而背景区域的视场角FOV2=2arctan（r/f3）。人眼可以通过重合的出瞳同时看到中心注视区域的3D 图像和边缘背景区域的广角图像信息。这种分区域显示的方法可以在保证人眼视觉中心区域获得精确3D 显示的同时，获得大视角的边缘信息，从而优化显示效果，降低计算负载。

2 实验验证

2.1 实验系统实物图

为验证技术方案的可行性搭建了分区域时分复用的3D 视网膜投影显示系统。由于左右观察通道的对称性，图3 以左眼观察通道为例展示了实验系统实物。系统的光源阵列由间距V=3.0 mm 的4×4 的彩色LED 阵列构成，每个LED 由红绿蓝三个发光区组成，发光面积为1.5 mm2。准直透镜的焦距为f2=130 mm。中心注视区域显示系统中，DMD 的帧速率设定为FDMD=4 800 Hz，分辨率为1 920×1 080，像素大小为10.8 μm，屏幕尺寸为20.7 mm×11.7 mm。目镜1 的焦距为f1=90 mm。DMD 与目镜1 之间的物距为79.6 mm，即s=s1+s2+s3=79.6 mm。DMD 的虚像和目镜1 的距离为s′= 685 mm。中心注视区域的横向视场角为FOV1=7.41°。视点的间隔为v＝2.0 mm。出瞳面积为7 mm×7 mm。由于系统分时复用产生16 个视点的信息，且每个视点包含红绿蓝三色子图，所以当DMD 帧频设置为4 800 Hz 时，中心注视区域3D 图像的帧速率为F3D= 100 Hz，在利用人眼时间暂留效应的同时，可以有效避免图像闪烁的问题。为确保照明和显示的严格同步，使用计算机软件对基于FPGA 的DMD 和基于单片机的LED 阵列进行协调控制。边缘背景区域显示系统中，目镜2 的焦距为f3=63 mm，透镜半径r=20 mm。LCD 的分辨率为2 560×1 440，像素大小为47.3 μm，屏幕尺寸为68.0 mm×121.0 mm。 边缘背景区域的视场角FOV2=32°。半透半反射镜的厚度为1.1 mm，其中一面镀增透膜，一面镀半透半反射膜，以最大限度减小重影。通过半透半反镜将目镜1 和目镜2 的光轴和出瞳精确重合形成系统出瞳，在系统出瞳处即可看到显示效果。

图3 实验系统实物图Fig.3 Photo of the experimental system

2.2 实验结果与分析

2.2.1 中心注视区域的3D 显示效果

为验证中心注视区域的3D 显示效果，首先使用3dsMax 或Blender 等商业软件建模获得两个位于不同深度的模型，其中红色汽车中心位于（-7，-5，101）坐标、紫色茶壶中心位于（21，0，131）坐标。然后利用4×4 个虚拟相机渲染16 个不同视角的视差图像。相机矩阵的中心坐标为（0，-3，0）。该视差图像的视点方位和分布与显示系统的实际视点方位和分布一致。再将16 个视差图像分色，二值化形成图像序列。上位机软件将图像序列输入DMD 内存，并控制DMD 按照时序显示图像序列，同时协调LED 阵列进行同步照明。图4 即是相机聚焦在不同深度位置时拍摄的成像效果。图4（a）显示当相机聚焦在近处的小车上时小车清晰，远处的茶壶因离焦而模糊。图4（b）显示当相机聚焦在远处的茶壶上时茶壶清晰，近处的小车因离焦而模糊。由此可以证明本系统实现了具有单眼调焦深度信息的真3D 视网膜投影显示。

图4 中心注视区域不同深度模型的成像效果Fig.4 Imaging results of different depth models in central gaze area

为了实现精确的深度显示，设计实验对计算机中设定的深度值和实际显示的深度位置进行了标定［20］。首先将相机聚焦在虚拟图像上，然后挪动标定板使虚拟图像和标定板图像同时清晰，由此测量出虚拟图像的实际深度。实验效果如图5 所示，图5（a）聚焦在字母NEAR 处，其设定的虚拟深度为90 mm，距离相机镜头的实际深度为685 mm。图5（b）聚焦在字母FAR 上，其设定的虚拟深度为215.5 mm，距离相机镜头的实际深度为2 000 mm。

微生物物种资源极为丰富，是地球生物多样性的重要组成部分〔1〕。微生物的空间分布格局受到众多驱动因子的影响，主要包括当代环境条件（温度、降水、光照、土壤养分、pH）和历史因素（地理阻隔、物理屏障、扩散限制等）〔2-3〕，而温度、降水等环境因子与山地微生物物种丰富度有着密不可分的联系。研究人员发现坡向对土壤的温度、含水量等理化性质均有影响〔4〕。不同坡向上的水分和光照强度存在差异，从而影响土壤微生物的生长和分布格局〔5〕。现阶段有关坡向对土壤微生物分布格局影响的研究还较少。

图5 深度标定显示效果Fig.5 Display effects of depth calibration

图6 为实际深度Za与虚拟深度Z的关系。通过数据分析拟合可得，实际深度和虚拟深度的关系为

图6 虚拟深度和重建图像的实际深度之间的关系Fig.6 Relationship of virtual depth and actual depth of the reconstructed images

由式（2）可知实际深度与虚拟深度符合线性关系，利用该函数关系可进行准确的深度重建。由于显示

器的像素是离散的，视差图像上同一物点对应像素的间距变化并不连续，故而无法实现连续任意位置的深度重建。但是，随着显示技术的不断发展，像素尺寸会越来越小，会更利于模型的精确深度重建。

2.2.2 分区域显示效果

为验证分区显示效果，设计了如图7 所示的场景：中心注视区域包括位于不同深度位置的四个立方体模型，其中模型a 中心位于坐标（-7.4，3.5，0）、模型b 中心位于（6.7，3.5，10.5）、模型c 中心位于（-12.3，-12.3，23.7）、模型d 中心位于（6.6，-14.7，41.0）。四个模型对应的参数d分别为0 mm，0.209 mm，0.416 mm，0.625 mm。场景中相机矩阵的中心坐标为（0，0，-90），焦平面位于示意图中XOY平面。

图7 用于显示的场景Fig.7 Scene to be displayed

中心注视区域采用与2.2.1 节相同的方法进行显示。背景区域通过调节目镜2 到LCD 的距离为59 mm，将LCD 的虚像设置在与模型c 中心共面的平面Za=934 mm 处。

图8 是分区显示时相机聚焦在不同深度位置时拍摄的成像效果。图8（a）显示当相机聚焦在模型a 时，聚焦位置处的模型a 清晰，其他位置模型和背景因离焦而模糊。图8（b）显示当相机聚焦在模型b 上时模型b清晰，其他模型和背景因离焦而模糊。图8（c）显示当相机聚焦在模型c 时，模型c 和与其共面的背景区域同时清晰，其他模型因离焦而模糊。图8（d）显示当相机聚焦在模型d 时，模型d 清晰，其他模型和背景因离焦而模糊。

图8 分区显示时聚焦在不同深度的图像（聚焦的模型用红框标出）Fig.8 Images focused on different depths in partition display mode，and the focused model has been marked with a red frame

式中，f3为目镜2 的焦距，通过控制短焦透镜到LCD 的距离s4，灵活设置背景区域深度Ze。

表1 展示了视场角相等时，传统3D 和分区3D 视网膜投影显示所需的计算量。传统技术需要计算16 个视角的图像的全部像素，总彩色像素数为24.4×106，其中包括DMD 显示区域的15.8×106和LCD 显示区域的8.6×106。分区3D 视网膜投影显示所需的计算量，只需渲染一个16 个视角图像的中心区域和一个边缘区域，总共需要计算的彩色像素数目为16.4×106，其中包括DMD 显示区域的15.8×106和LCD 显示区域的0.6×106。所以相比于传统3D 渲染技术，本文方法的计算量减小了33%。在以后的研究中可以进一步使用图像压缩算法减小计算量［21］。

表1 分区域3D 视网膜显示和传统3D 视网膜显示数据量对比Table 1 Comparison of pixel data between partitive 3D retina display and traditional 3D retina display

传统二维中央凹显示技术只有一个准确的深度平面，无法实现不同深度物体的聚焦和离焦效果。如图9（a）所示，传统中央凹显示技术的整个视野中的图像都发生相同的离焦模糊，而本实验系统可以实现一个视野中不同深度的图像具有不同的离焦模糊，如图9（b）所示，不同位置模型的清晰度不同。所以，相较于传统技术，本文所提出的显示技术可以为人眼提供有效的单眼聚焦深度暗示，从而有效缓解视觉疲劳。相较于全息中央凹显示技术，所提出的技术无需海量的复数运算和相干光照明，具有较好的成像质量，便于推广应用。

图9 传统二维中央凹技术显示的图像和本实验系统显示的图像效果对比示意图Fig.9 The comparison between the traditional two-dimensional foveated technology display effect and the proposed experimental system display effect

3 结论

本文基于人眼的视觉暂留效应和中央凹的视觉特性，利用分区时分复用技术实现了一种3D 视网膜投影显示技术与系统。在中心注视区域，结合二维动态照明和高刷新率DMD 等器件实现了具有单眼聚焦深度暗示信息的真3D 显示，可以有效缓解视觉疲劳问题。在边缘背景区域，利用短焦目镜和高分辨率LCD 实现了大视角的近眼显示。搭建了一套3D 视网膜投影显示系统，系统出瞳面积为7 mm×7 mm、总视场角约为32°、3D 刷新率为100 Hz，单眼渲染分辨率为16.4×106。相对于传统多视角3D 渲染技术计算量减小了33%。对系统深度的定标实验结果显示该实验系统可以提供正确的深度信息。同时中心区域的高分辨率图像和边缘的背景融合度较好。这种系统在提升近眼显示系统视觉体验的同时，减小了3D 渲染所需的数据量，具有良好的应用前景。