基于数字化全息的虚实混合场景动态三维显示

李 勇，何良波，詹建东，黄 凯

（1. 浙江师范大学 信息光学研究所，浙江 金华321004；2. 浙江省光信息检测与显示技术研究重点实验室，浙江 金华321004）

1 引 言

全息三维显示是一种理想的三维显示技术，自全息术［1］提出以来就受到研究者的关注［2-3］。随着技术的发展，全息术也由模拟走向数字。数字化全息的出现为全息图的存储、传输及复制提供了便利，它在虚拟现实（VR）、增强现实（AR）、混合现实（MR）中有广阔的应用前景［4-6］。目前主要有计算机制全息与数字全息这两种数字化全息。前者由Kozma 等［7］最早提出，Lohmann 等［8］首先实现。它使得由利用计算机创作的虚拟三维场景直接制作全息图成为现实，实现了三维场景全息图的全数字化制作。后者由Goodman 等［9］提出，采用光导摄像管探测器进行无透镜傅里叶变换全息图的数字化并利用快速傅里叶变换（FFT）实现了全息图数字再现。Schnars 等［10］利 用CCD 进 行 了 光 学 全 息 图 的 数字化。数字全息提供了一种真实场景三维信息数字化手段。

在MR、元宇宙等应用中常常需要将真实三维场景和虚拟三维场景混合显示。常用的方法有先采用三维成像方法将真实场景数字化［11-12］，再与虚拟场景混合，然后制作CGH。这种方法在场景级别进行虚实混合，场景的几何变换比较灵活，采集的三维场景尺度从厘米到百米级别甚至更大。三维数据采集及全息图制作对计算能力的要求较高。另一种方法是光波复振幅或全息图级别的虚实场景混合。用DH 记录真实三维场景，然后与虚拟场景的CGH 混合。目前这种方法记录的真实场景尺度从亚微米到10 cm 级别。由于是全息图混合，对计算能力的要求低。Arima等［13］采用合成孔径无透镜傅里叶变换数字全息图记录，利用三步相移法从DH 中获得包含真实物体三维信息的物光波复振幅并与虚拟建模物体的物光波复振幅在计算机中计算得到全息图，实现了静态单色场景的虚实混合全息三维显示。Matsushims 等［14］利用相同的方法实现了彩色场景的虚实混合三维显示。该方法在复振幅级别进行虚实场景混合，由于采用了相移法获取物光波复振幅，不适合动态三维场景的采集。胡等［15］在混合场景的动态全息三维显示方面进行了初步的探索。搭建再现像混合光学系统，将DH 和CGH 分别输入不同的空间光调制器中，实现混合场景动态全息三维显示。该方法利用光学系统混合再现像，对计算机运算能力要求低，但是存在未充分利用空间光调制器能力的问题。本文提出全息图级别虚实场景混合方法，首先对获取的数字全息图根据设计需求进行处理，然后将处理后的DH 与CGH 进行混合，利用彩色全息三维显示系统实现了彩色动态三维场景的虚实混合显示。给出了理论分析和实验验证。

2 原 理

2.1 全息记录及融合

设全息面上的物光复振幅分布为O（x，y），参考光复振幅分布为R（x，y），根据光学全息原理，全息面上的干涉光强为：

I(x，y)=|O(x，y)+R(x，y)|2=|O(x，y)|2+|R(x，y)|2+O(x，y)R*(x，y)+O*(x，y)R(x，y)=|O(x，y)|2+|R(x，y)|2+2O'(x，y)R'(x，y)·cos[φo(x，y)-φr(x，y)]. （1）

式中φo（x，y）与φr（x，y）分别为物光与参考光的相位，O'（x，y）与R'（x，y）分别为全息面上物光和参考光的振幅。式（1）的前两项分别为物光与参考光的自相干项，属于低频成分，在再现时表现为再现像的零级。第3 项包含了物体的再现像与共轭像。实际中只需要记录第3 项就能够正确再现记录的物体。对于再现像，零级为噪音。在DH 中可以通过滤波的方法滤除零级。而在CGH 中只需要计算第3 项，再加上直流偏置，保证最后的干涉光强非负。

采用点元法计算CGH 时，物光O（x，y）表示为：

式中Ai（xo，yo）为（xo，yo）处物点发出光波的幅为物点到全息面上（x，y）点的距离，k=2π/λ为波数，N为物点数。采用点光源作为参考光时：度，

式中A（xr，yr）为点光源的幅度，rr为点光源到全息面上（x，y）点的距离。将式（2）、（3）代入式（1）的第3、4 项得：

I′CGH（x，y）取值范围为实数，也称为双极强度［16］全息图。式（4）表明，物体的双极强度CGH由组成物体各点源的双极强度CGH 叠加而成。在DH 中只要将其做高通滤波，滤除零级，得到的就是双极强度DH。将双极强度DH 与CGH 相加再加直流偏置即可实现DH 与CGH 融合。

式中Im（x，y）为融合后的全息图，Ioffset为偏置。

2.2 全息图采样率变换

实际中，采集全息图的图像传感器像素间隔与显示全息图的空间光调制器（SLM）像素间隔难以做到一致。采用与参考光共轭的再现光照明，忽略积分项前的因子，无透镜傅里叶变换全息图的再现像复振幅表示为：

设图像传感器的像素间隔为Δ，SLM 的像素间隔为Δ′，则缩放因子α=Δ'/Δ。根据傅里叶变换的缩放性质，此时全息图再现像复振幅为：

当α≠1 时，再现像将发生缩放。需要对DH进行重采样，将DH 的采样率变换到与SLM 的一致。根据采样定理，采样后全息图的频谱表示为：

式中G（jξ，jη）表示采样前全息图的频谱。在不发生混叠时，采样后全息图的有效频谱范围为1/Δ。设以Δ′对全息图进行重采样，则其有效频谱范围变为1/Δ′。因此全息图采样率变换实际上是其有效频谱范围的变换。先将DH 做FFT，再在频域补零（采样周期变小）或裁剪（采样周期变大），使频域大小变为原来的1/Δ′，然后再做IFFT 就可以实现DH 采样率的变换。

2.3 再现像几何变换

在虚实混合三维显示中，尤其是涉及到人机交互时，常常需要对场景中的物体进行缩放、旋转及平移等几何变换操作。由于采用了无透镜傅里叶变换全息图，再现像在其谱面附近。在全息图的谱面进行几何变换能够实现全息图再现像的缩放、面内旋转与平移等操作。谱面的几何变换表示为：

式（9）中（ξ′，η′）为变换后的坐标，s为缩放因子，θ为旋转角度，Tξ与Tη分别为水平与垂直方向的平移量。谱面缩放后新的样点值采用双线性插值得到。

在2.2 节中的采样率变换也是在频域操作，需要注意的是采样率变换通过在频域补零或裁剪将频域尺寸（频域二维方向上的点数）进行变换；而再现像的缩放只改变像部分的尺寸，不能改变频域尺寸。

3 实验及结果分析

为验证提出方法的正确性，对一台索尼4K投影仪（像素间隔Δ'=4.06 μ m，像素数为4 096×2 160）进行了改造，拆除原来的光学系统，利用其3 片4K 的LCOS 搭建了彩色动态全息三维显示系统。采用像素间隔Δ=3.5 μm，采样点数为2 000×2 000 的CMOS 摄像机记录真实场景的DH。

3.1 全息三维显示系统

图1 为彩色动态全息三维显示系统结构示意图，图中Laser-R、Laser-G 及Laser-B 分别是波长为632，532，473 nm 的固态激光器，BE1～BE3 为带空间滤波的扩束器，L1～L6是焦距为30 cm 的凸透镜，BS1～BS3 是分束棱镜，SLM 为空间光调制器，XBOX 为合色棱镜。显示系统由R、G、B三路再现子系统构成，每路激光器发出的光经过扩束、滤波再通过由两个凸透镜构成的变换装置，将再现光变换到与记录参考光共轭，然后通过分束棱镜照射到SLM 上。显示在SLM 上的全息图将光调制后，反射光再通过分束棱镜到达XBOX。通过XBOX 将三色再现像合成彩色像。显示系统通过HDMI 接口与计算机连接，通过计算机将彩色全息图序列送入SLM 实现彩色动态全息三维显示。显示系统的刷新率为30 Hz。

图1 彩色动态全息三维显示系统结构示意图Fig.1 Structure diagram of color dynamic holographic three-dimensional display system

在搭建的系统中，拆除了LCOS 前的偏振片，使其成为相位型SLM。根据光学全息原理［17］，在其上显示振幅型全息图相当于将全息图漂白成为相位型全息图，大幅提高了全息图的衍射效率。

3.2 实验及结果分析

利用搭建的系统进行了虚实场景全息图的融合、几何变换实验。将场景按R、G、B 三色分为3 个通道，每个通道分别处理。全息图具体融合步骤如下：

（1）将采集到的DH 做FFT；

（2）设计滤波器掩模在频域做高通滤波，滤除零级；

（3）由于α＞1，将频域的数据水平与垂直方向分别裁剪到原来的1/α；

（4）对选中的物体进行几何变换；

（5）对处理后的频谱做IFFT，得到双极强度DH；

（6）以双极强度DH 为初值，进行双极强度CGH 计算，实现DH 与CGH 融合；

（7）对融合后的全息图归一化得到最终的数字化全息图。

首先采用CMOS 摄像机拍摄了实际物体的无透镜傅里叶变换全息图，拍摄参数如下：记录波长为632 nm，物体尺寸约为7 mm×10 mm，记录距离为350 mm。图2（a）为制作数字全息图的瓢虫模型，图2（b）为DH 局部放大图。然后制作了由红色与蓝色数据组成的3D 人像、棋盘格及绿色的汉字“光”构成的CGH。棋盘格位于人像后方，为场景中深度最大的物体，尺寸为15 mm×15 mm。利用三维数据及颜色通道分别计算对应的R、G、B 三色CGH，再将预处理后的DH 与红色通道的CGH 融合，将制作的彩色全息图送入显示系统进行光学再现。以毛玻璃承接再现像，采用单反相机拍摄。图3（a）是融合后的数字化全息图局部，图3（b）是光学再现像。对再现像进行了尺寸测量，真实物体的再现像与实际尺寸符合，虚拟物体再现像与设计尺寸符合。DH 与CGH 融合操作（不包括CGH 计算）的时间为0.34 s。

图2 实际物体（a）及其局部DH（b）Fig.2 Real object（a）and its partial DH（b）

图3 混合场景彩色全息局部（a）及再现像（b）Fig.3 Partial hybrid color hologram（a）and the recon structed image（b）

接着进行了再现像的缩放实验。在频域分别将DH 记录的物体及CGH 记录的物体进行放大。图4（a）是瓢虫模型放大2 倍，图4（b）是棋盘格与人像模型放大1.5 倍的再现结果。再现像未发现明显失真。

图4 再现像放大实验结果。（a）瓢虫模型放大2 倍；（b）棋盘格与人像模型放大1.5 倍。Fig.4 Experimental results of magnifying reconstructed image.（a）Ladybug model magnified by 2×；（b）Chessboard and portrait model magnified by 1.5×.

然后进行了场景中物体平移实验。在频域将指定的物体进行了移动。图5（a）是汉字“光”水平向右移动5 mm 的光学再现像；图5（b）是瓢虫水平向右移动2.5 mm，竖直向下移动5 mm 的光学再现结果。移动位置达到设计要求。

图5 物体平移实验结果。（a）汉字“光”右移5 mm；（b）瓢虫右移2.5 mm，下移5 mm。Fig.5 Experimental results of translating objects.（a）Chinese character "light" shifted 5 mm to the right；（b）Ladybug model shifted 2.5 mm to the right and 5 mm down.

最后进行了场景中物体隐藏面消除实现遮挡效果实验。首先根据物体前后关系制作频域二元掩模，透光为1，被遮挡部分为0。在频域进行处理时，被遮挡物体的频谱乘以被遮挡部分轮廓相对应的二元掩模，实现隐藏面消除。图6 是物体有重叠场景的对比实验结果。其中图6（a）是未经掩模遮挡处理的光学再现结果，图6（b）是经过掩模遮挡处理的光学再现结果。在实验结果中可以清楚看到，未经掩模遮挡处理时，重叠部分处在后面的物体透过了处在前面的物体，导致重叠部分出现了不应存在的像。而图6（b）中经过掩模处理的物体重叠场景，再现结果符合实际情况。

图6 遮挡效果实验结果。（a）无遮挡处理；（b）遮挡处理。Fig.6 Experimental results of occlusion.（a）Result without occlusion processing；（b）Result with occlusion processing.

4 结 论

虚实场景混合三维显示是三维显示技术发展的趋势。本文提出了一种全息三维显示中虚实场景混合及再现像面内几何变换方法。初步的实验结果验证了该方法的有效性。在所提出的方法中，场景融合、再现像的几何变换只需在全息图中进行操作，大幅降低了全息图重新制作的时间，在实时交互中有潜在的应用前景。目前的全息图融合与处理是离线进行的，今后将设计算法，实现实时融合。