数字花卉植物的全息可视化与交互实现

李 稙，蔡东娜

(北京林业大学艺术设计学院，北京 100083)

目前已经进入数字时代，数据采集、存储与分析技术的飞速发展使得数据存储与处理的成本大大降低，人们面对前所未有的数据总量，亦意味着面对前所未有的信息量。对于如此大量的信息，需要对其进行分析，才能达到最佳的信息传播效果[1]。可视分析是数据分析的重要方法，其利用计算机的数据处理优势及人类对可视化信息的认知优势，辅助人们更为直观、高效地获取所需信息[2]。

数字化和可视化在当代的农林业科研中亦是必不可少的技术手段。计算机在对植物的形态结构和生长过程进行模拟时拥有着独特的优势，并可提供新的交互式分析、研究与设计方法[3]。对花卉植物进行的虚拟仿真能够在植物研究、园艺造型、科普教育等方面起到广泛应用。大量学者对数字植物的构建与应用进行了讨论与研究。赵春江等[4]提出构建数字植物需要经历“数字可视植物”、“数字物理植物”、“数字生理植物”和“数字智能植物” 4个阶段，而数字可视植物作为数字植物整体构建基础参考阶段，且有指导性的意义。对于数字花卉植物进行虚拟呈现已经获得了一些研究进展，LI等[5]通过边缘优势算法对开花过程进行了数字模拟，JIN等[6]通过WebGL基于关键线模型对开花过程进行模拟，获得了较为真实的数字模拟效果。

虚拟技术是一种较为前沿的技术，其融合了计算机图形学、多媒体、仿真、人工智能等多项信息技术，在对用户展现信息内容时，带来的强大沉浸感与交互性是其他技术手段所无法实现的[3]。因此，虚拟技术十分适合在教育科普领域进行应用。目前，数字花卉植物的模拟生长过程的虚拟呈现大多集中在可视化系统软件平台内，内容较为单一、与用户的交互性较差，并且偏重于景观设计领域，缺少科普教育方面的应用[7]。全息影像技术作为一种新兴技术，可以在空间中形成三维立体、并可与用户产生交互的影像[8]。由此，本文将全息影像技术与数字花卉植物模拟进行融合，对花卉的科普教育新方向进行实验与探究。本文首先就全息影像技术进行分析，其次使用270°全息设备实现数字花卉植物的全息可视化，最后进行测试，得出具有可行性的结论，表现出全息技术及交互技术在数字花卉植物模拟方面的应用适切性。

1 全息影像技术的相关研究

1.1 全息影像技术

全息影像技术也称虚拟成像技术，是利用干涉和衍射原理对物体的三维图像进行记录与再现的技术[9]。其通常用于产生立体感强的空中幻象，并可以实现幻象与真实时空融合的效果，使用户得到强烈的临场感和沉浸感。

目前，全息影像技术大概分为三类：即佩珀尔幻象、非裸眼3D技术与裸眼3D技术目前，为大众所认知的全息影像合成技术大多基于佩珀尔幻象的原理进行运作[10]，本文中“全息影像”均指代佩珀尔幻象所成的全息虚拟影像。该技术藉由使用一面平坦的玻璃或透明材料与特别的照明光源，使得观察者透过玻璃看到一个虚像，实现虚拟影像凭空出现的效果[11](图1)。

图1 180°全息影像原理

根据玻璃或透明材料的不同构造，可以实现180°，270°或 360°的全息影像。180°影像投射在一面平面玻璃上，只需单视角的影片资源即可。270°与360°影像均通过透明四棱锥体进行投射，其区别在于是否在一面上加入黑色衬底。270°影像需要三维模型的前、左、右3个视角的影片资源，而360°影像需要前、后、左、右4个视角的影片资源。当不同视角的全息影像在四棱锥中进行结合之时，观者便可围绕棱锥体从多个角度对全息影像进行观赏，使生成的全息影像具有更为逼真的立体存在感(图2)。目前，全息投影的技术路线已经较为成熟，并有一些成功的商业使用案例。其成像质量主要与全息源屏显示质量和投影屏成像质量相关。另外，全息投影是否能在现实环境中呈现出虚实交融感，还取决于影像与展示环境的内容相关性。

1.2 全息影像技术的应用

由于全息影像拥有虚实交互的特点，有时也被认为是增强现实[12]或混合现实[13]的一种应用。鉴于全息影像可以实现一些艺术化的虚拟效果，其被广泛用于舞台[14-15]、展览[16]等领域，但在科普相关方面、尤其是植物方向的应用是较为少见的。然而全息影像技术所具有的良好观感和实用价值，使其在数字植物的研究之中拥有着切实可行的研究价值。

图2 全息投影系统的基本结构

1.2.1 虚实相生的艺术观感

PRATTE[17]在研究中指出，全息影像的应用使用户在接受视觉信息时展现出更短的反应时间和更好的反应形式，可见全息影像可以提供良好的用户体验过程。实际上，舞台领域的大量应用也证明，其可以为展示类的应用带来出色的体验。文献[14]发现该技术在舞台上的应用最早甚至可追溯至十六世纪，文献[15]详细分析了其结合全新技术在当今舞台上发挥的全新优势，动作捕捉、投影映射、沉浸式剧场、混合系统和硬件的飞速发展让全息影像的成像效果迈上了新的台阶，不断实现呈现效果的超越，造就更佳的观感。

1.2.2 切实可行的应用价值

全息影像在现代进入大众视野的契机，莫过于其一次又一次成功地为人们呈现几近逼真的虚拟形象。LAM[18]详细分析了著名虚拟偶像初音未来所造成的流行文化现象，认为其虚拟形象在现实生活中的建立和完善与其在演唱会上所呈现的逼真全息影像是密不可分的。已逝的著名歌星迈克尔·杰克逊也曾通过全息影像技术再现于舞台上，重圆世界百万歌迷的心愿，创造了非凡的纪念意义和商业价值[19]。从全息影像技术的多次成功、有效的应用中，可见其在当下的信息时代中具有切实可行的实用意义。然而截止到目前，全息影像的大量应用均集中于商业化的娱乐应用中，其价值大多体现在商业价值上。

需要注意的是，该技术所具备的独特的真实性和再现性，在科研、教育等方面的也是相当具有实用意义的。KALANSOORIYA等[20]就全息影像技术在远程教育方面的应用可行性进行了探索研究，认为其具有良好前景，并能克服当下教育环境中的一些局限性。

1.2.3 植物方向的应用现状

如前文所述，全息影像技术的应用大多集中在展示领域，在其他领域的应用相对较少。尽管对数字植物相关的研究得到了相当的进展，但将其与全息影像技术进行结合的应用仍然较为少见。IMAMURA等[21]曾完成一套全息植物生长展示系统，兼具效率及实用性。CHANG等[22]则在针对彩色360°全息影像的生成过程进行研究时，运用到了数字花卉植物的相关素材模型。

1.3 相关研究分析

随着数字显示技术和材料学的发展，拥有一台智能设备和一块合乎规范的透明材质即可使普通用户在生活环境内简单地实现全息影像[23]。但是，这种条件下所生成的全息影像质量较低，细节模糊，无法贴合研究、教育类的应用需求。

文献[12]通过透明玻璃及智能手机实现了影像的 180°全息显示效果，LUO等[23]使用透明薄膜材料和 iPad实现了一种简单的具有立体感的全息影像，文献[17]使用透明玻璃和个人计算机等材料实现了几种 180°全息显示效果，但使用一台整机设备、并进行270°全息影像实验的研究较为少见。

因此，本研究考虑将全息影像技术与数字花卉植物的虚拟呈现进行结合，并基于270°全息影像的原理加以呈现，形成一套具有更佳展示效果的完整的数字花卉植物展示系统。

2 系统设计

2.1 系统运行流程

本文实验尝试实现一个可交互的 270°全息成像系统。用户可以通过与装置交互，选择观看单株花卉生长过程或相关花卉的插花作品动态展示(图)。成像装置的主体是一个由透明材料制成的四棱锥体，锥体的一边贴近黑色衬底，以便加强成像效果，另三边则没有遮掩，方便用户从270°的范围内对全息图像进行观看。用户的视线可以从锥体的任何一面穿透，在表面镜射和反射的原理下，用户便可以在四棱锥中看见漂浮在空气中的立体影像(图)。

2.2 系统结构

为实现全息影像与用户的交互，成像区域以外将设置一面触控屏，以便用户与装置进行互动。整个装置由全息影像部分及交互触控部分构成(图5(a))。全息影像部分包括投影屏、透明四棱锥、黑色衬底及底座，交互触控部分包括可触控操作的显示屏。用户可以随时根据喜好从交互触控部分选择想要观看的影像类别，系统将用户的输入反馈至全息影像部分中的视频源显示屏中，使显示屏中的视频源进行切换。切换后的视频源投影至四棱锥中，用户即可观看到所选择的投影图像。

图3 系统流程设计

图4 270°全息成像示意

图5 装置设计与构造

装置的设计与流程示意如图5(b)所示。装置整体分为：①影像展示部分，包括一台投影用显示设备及一个成像用的透明材料四棱锥体；②用户交互部分，包括一台可触控的显示设备和一台PC主机。PC主机所使用操作系统为Windows 7旗舰版Server Pack 1 64位。

运行流程可大致分为2个部分：

过程1.用户通过在②中的触控显示设备上进行操作，选择所需观看的影像数据，主机生成对应的视频源数据，显示在①中的投影用显示设备上；

过程2.①中显示的全息视频源透射在①中的透明四棱锥体之中，产生具有立体感的全息视频。装置整体只包含一个输入源和一个输出源，力求使用户在交互体验中体验到最大化的简洁感和直观感，其硬件配置见表1。

表1 装置硬件配置

3 可视化与交互实现

3.1 数字花卉植物全息视频源制作

为了达到最好的成像效果，在制作影像时，需要制作黑色背景、尺寸合适的全息影像。符合制作规范的全息影像，可以十分良好地将三维重建出的植物模型与现实环境融合起来，营造出一种富有真实性的氛围。植物模型影像色彩鲜艳、清晰度高，在透明空间中形成有透视感的幻象，加强形成良好的用户交互体验(图6~7)。

图6 符合制作规范的单通道视频源(截图)

图7 符合制作规范的三通道视频源(截图)

3.1.1 视频源尺寸规格

经过实验尝试，最为合适的视频源格式为 swf格式，其体积小巧、易于输出，用于实验调试时较为便利。视频源尺寸规范为每通道400 px×400 px。在这个尺寸下，视频源的内容可以清晰、完整地在投影设备上进行播放(图8(a))。

当视频源的单通道尺寸大于400 px×400 px时，视频源将无法完整地显示在投影屏上。实验曾尝试720 px×720 px的片源，虽然其尺寸较大、能够呈现更多细节，但画面会受到裁切，使视频信息丢失，影响最终呈现的视觉效果(图8(b))。

图8 不同视频源的展示效果差异

3.1.2 视频源画面要求

由于本文实验使用的投影设备能够观看的全息影像为270°的影像，因此在制作片源时需要输出3个通道的全息视频源。

在对制作好的三维模型进行打光、渲染、输出成片的过程时，需要在保留灯光渲染效果的前提下，除去黑色背景中多余的杂色，保持纯黑色背景，保证模型主体突出，与环境融为一体，呈现出虚实相生的表现效果，且在进行影像展示时毋需在人为制造的黑暗环境里观看，也能达到较好的立体效果(图)。

3.2 用户交互设计

该装置中的程序流程的核心部分为实现触控屏与投影屏间的内容传输(图10)。主要管理：①全息影像及与其对应的交互界面图标的调用；②全息影像在三棱锥中显示位置微调。

3.2.1 全息影像及图标调用

通过调用外部XML文件数据，系统可以自动对播放视频源进行定位，使用户无需更改核心代码，便可对展示对象视频源内容进行调整。在数据库中，首先定义根元素 app，并定义其中的子元素img。在调用 img作为图标文件时，程序会自动在根目录中寻找与img同名的swf格式文件作为视频源文件并进行调用。XML代码简列如下：

图9 不同背景展示效果差异

图10 程序运行流程设计

3.2.2 全息影像位置微调

当全息影像在透明四棱锥体中播放时，根据播放内容的不同，也需对投影屏中的影像进行适配，改变其在透明四棱锥体中的显示位置，使其达到最佳展示效果。通过编辑XML文件可以简便地完成这一需求。首先定义根元素app，并定义其中的子元素left、top和 right，分别代表全息影像的左、前、右通道。每个子元素中各包括x，y两个属性值，代表影像在投影屏中的坐标值。XML代码简列如下：

4 成果及分析

4.1 实验结果

实验的最终成果如图11和图12所示。由图11可见，从触摸屏中，用户可以从单株花卉生长过程和插花作品复原效果2部分中选择需要观赏的全息影像内容；图2为透过透明四棱锥体所拍摄的全息影像成像结果。

图11 整机实验结果

图12 装置运行成果(左1和右1：单株花卉生长过程演示；左2和右2：插花作品复原效果展示)

通过对全息视频源进行投影实现，最终可以直观观察到四棱锥空间中的全息立体影像。全息影像展现的效果清晰、立体、与环境无缝接合，观感良好。装置交互的效果直观、简洁，用户可以迅速掌握交互方法，通过操作设备，自由选择需要观看的数字花卉类型，在单株花卉及插花作品间相互切换。

本文实验实现了数字花卉植物的全息影像化及用户交互的基本流程，证明相关应用是具有相当的可行性的。由于确定了全息视频源的规格、制式，此后还能够在该系统的基础上进行进一步的视频源库建设，实现更为丰富、全面的数字花卉植物展示交互系统。

4.2 成果分析

4.2.1 实验价值

在全息影像相关的研究之中，多数研究基于180°的平面投影进行实验，实验也多基于智能手机、个人计算机、平面玻璃板等基础材料进行展开。本文在实验设备的条件及原理上进行了更进一步的尝试，生成了270°的全息影像，获得了更为优秀的呈现效果。

本套系统的初步完成，使数字花卉植物、全息影像技术及人机交互技术获得了一次整合。系统力求将三方面技术的优势合而为一，将精确拟真的数字花卉进行了极具表现力的全息再现，并使用户获得与影像内容进行交流的渠道，实现了展示内容、表现方式、传播渠道的三位一体，是一次具有意义的交叉学科尝试。

4.2.2 不足与展望

囿于全息投影屏的尺寸所限，系统所生成的影像的尺寸仍然偏小。尽管已经运用高分辨率的视频源，但其优势未能完全展现，用户的沉浸感和临场感并未达到预期效果。此外，系统中所包含的影像内容相对较少。目前系统中的数据库信息以单种花卉植物为核心主线进行展开，包括其生长过程信息及成花后的插花组合搭配信息，该数据库信息量对于一个丰富完整的展示系统而言是不充分的。

在后续的实验中，将继续尝试对全息投影质量及数据库内容的完善，加强其观赏性及科普性，对其展示效果进行深入优化。

5 小结

全息投影的原理由来已久，但在现代多媒体技术及材料科学的飞速发展之下，其魅力才得以真正完全体现，在教育、影视、科普等领域获得了极大的发展与应用空间。本文尝试将数字花卉植物影像置于全息投影设备中，进行全息化的展示，获得了较为成功的效果，完成了设计初衷。

通过该实验，数字花卉植物以一种新颖、直观、交互性好的方式展现了出来，使虚拟影像与客观环境较好地融合，最大限度地对花卉植物进行了表达，并满足了用户的交互与观赏需求，在一定程度上可以在科普、展示等方面进行应用。在后续研究中，将尝试建立更为完善、全面的数字花卉植物展示交互系统，进一步深化对数字花卉植物的研究与应用，以探究数字化时代中林农业科研的新思路、新形式。