基于语义的虚拟仿真平台框架的设计与研究

徐慧靖，胡小梅，张 翼

(上海大学 机电工程与自动化学院，上海 200072)

0 引 言

随着科学技术的进步和发展，增强现实技术[1-3]与虚拟现实技术[4-6]逐步应用于人们的生活、工作、学习当中，随之出现的虚拟仿真平台与传统的虚拟仿真平台相比发生了较大的变化。目前的虚拟仿真平台框架[7]已经不能完全适用于现有的虚拟仿真平台，为此，提出了一个具有通用性、多技术集成、可扩展性的基于语义的虚拟仿真平台框架。首先对所提出框架的相关工作进行详细描述；然后对框架的特征进行介绍并基于语义将框架分为6个层次；再以相关案例对该框架进行应用和验证；最后得出相应的结论。

1 相关工作

从20世纪90年代以来，运用计算机进行模拟和仿真已经成为科学和工程等众多领域内解决问题的主流方法，与理论分析、实验研究一起成为科学研究的三大支柱方法之一[8]。虚拟仿真是由计算机硬件、软件以及各种传感设备等构成的人工信息虚拟环境，可以在计算机中逼真地模拟出现实世界中存在的事物以及创造出现实世界中不存在的事物。虚拟仿真涉及计算机图形学、人机交互技术、可视化显示技术、传感技术等多个领域。虚拟仿真的应用可以极大地节约社会资源，缩短研究、生产等方面的周期。

虚拟仿真平台是以虚拟仿真软件为核心，结合相关的硬件设备，实现虚拟物体创建以及仿真的系统。传统上，建立虚拟仿真平台所采用的技术方法有：

(1)基于美国NI公司图形化编程语言的LabVIEW的动态显示功能和Matlab/Simulink仿真开发工具构建虚拟仿真平台[9]。

(2)通过.NET技术结合多媒体技术，构建基于Web的虚拟仿真平台[10]。

(3)运用VRML建模语言构建具有动态性、交互性的三维虚拟仿真场景的虚拟仿真平台[11]。

近年来，增强现实技术与虚拟现实技术高速发展，虚拟仿真平台也随着这些技术的发展而不断产生新的应用。增强现实技术是将计算机生成的虚拟物体、场景信息等叠加到真实场景中，实现对现实场景的增强[12]。基于增强现实的虚拟仿真平台有：运用谷歌公司的可穿戴式的增强现实设备—谷歌眼镜(Google Glasses)，可与谷歌强大的分布式搜索引擎对接[13]，并借助谷歌提供的软件开发包，构建虚拟仿真平台；美国高通(Qualcomm)公司研发的Vuforia，是一套专业的增强现实软件开发包，通过与Unity 3D引擎结合，能够实现物理、化学、工程、医疗等多领域的虚拟仿真实验[14]。

虚拟现实技术，是一种可以创建和体验虚拟世界的计算机仿真技术，能够利用计算机生成一种多源信息融合的、三维的、可交互的动态实景，提供使用者视觉、听觉、触觉等多感官的模拟，给使用者身临其境的体验[15]。基于虚拟现实的虚拟仿真平台有：日本的Sonoda等研制的模拟电站培训仿真系统，提供了和真实场地同尺寸的虚拟空间，应用三维立体显示技术制作了大量三维模型和用户界面，使得培训人员能够像在真实环境中一样完成操作培训[16]；法国标致雪铁龙(PSA)公司利用CAVE系统、被动式单通道立体投影系统、光学跟踪系统、力反馈系统等，构建工业虚拟仿真平台，进行汽车设计的检视、虚拟装配等[17]。

2 基于语义的虚拟仿真平台框架的设计与研究

2.1 基于语义的虚拟仿真平台框架的特征

文中提出的基于语义的虚拟仿真平台框架是一个虚拟仿真平台的高层结构，高度抽象，超越了算法以及数据结构，基本着眼点在于虚拟仿真平台框架和需求与实现之间的交互，是一个用于理解系统级目标的框架结构。该框架具有以下几点特征：

(1)通用性：媒体类型上，框架能够展示文本、图形、图像、声音、触觉等多媒体信息，对于各个应用领域的信息基本上都可以使用，而非只能使用特定领域的信息。应用对象上，该框架适用于大多虚拟仿真平台，由于框架采用模块化设计，对于传统的虚拟仿真平台、现阶段较为流行的增强现实和虚拟现实以及未来出现的虚拟仿真平台都有较强的适应性。

(2)多技术集成：目前的虚拟仿真平台使用的技术系统是多样化的，单一技术系统的框架难以适用于当前的发展。该框架集成多种技术系统，从用户进行数据信息输入操作到获取计算机数据信息这一过程中，采用人机交互、协同、可视化显示等多技术集成，共同搭建出一个通用的虚拟仿真平台的框架。

(3)可扩展性：在如今的信息化时代，虚拟仿真平台的信息量逐渐增加，信息的展示方式也不尽相同，任何框架都无法预测到未来所有的变化。该框架具有可扩展性，通过对每一层次增加新的构件模块，可以实现每一层次的功能与实现方式的可扩展性，并且这种方式不会改变框架的整体结构。

(4)个性化：虚拟仿真平台的设计者可针对自身的具体需求，利用该框架搭建出不同的虚拟仿真平台，以满足特定领域的需求。

2.2 基于语义的虚拟仿真平台框架的层次结构

基于语义的虚拟仿真平台框架是满足各种不同类型的虚拟仿真平台的系统集成框架，能够支持图、文、声、触感等不同类型媒体的通用信息的集合，并且通过扩展方式不断集成新的技术。根据以上要求，文中提出的框架如图1所示。整个框架结构根据语义分为6个层次，分别为应用对象层、人机交互层、解释层、语法层、映射层以及虚拟空间层，并通过语义模型逐层地提取语义信息。

图1 基于语义的虚拟仿真平台框架

2.2.1 应用对象层

应用对象层包含的是用户，具体而言，是指虚拟仿真平台的使用者。使用者日益增长的新需求是推动虚拟仿真平台发展的根本动力，任何虚拟仿真平台的设计与使用都必须满足使用者的要求。在该框架中，用户通过人机交互层实现与虚拟仿真平台之间的交互，用户的语义信息，如文字、手势位姿、视点改变等通过人机交互层的输入设备传达给虚拟仿真平台，通过输出设备接受虚拟仿真平台的语义信息，如图像、图形、文字、音频、触感等信息。

2.2.2 人机交互层

人机交互层包含输入设备以及输出设备。输入设备是用于获取用户语义信息，并将其传输到解释层进行数据处理。输出设备是为用户提供计算机语义信息，能够将经由解释层中场景绘制的计算机语义以用户便于获取的方式提供给用户。输入和输出设备大体上可分为接触式和非接触式两类。

(1)接触式设备。

接触式输入设备是人机交互技术发展以来应用最多、发展最久的人机交互设备。最常用的接触式输入设备有鼠标、键盘、手写板、控制杆等。随着智能手机的普及以及大屏、多屏时代的到来，触摸屏、光笔等也得到了越来越多的应用。近年来，虚拟现实以及增强现实技术逐步的发展使得常规的接触式输入设备无法满足相应的需求，数据手套、磁定位跟踪器等设备也应运而生。

接触式输出设备较多地应用在听觉以及触觉上的计算机语义信息输出。听觉上，接触式输出设备主要为耳麦、耳机等各种音频输出设备。触觉上，接触式输出设备主要为触觉、力反馈器，例如用触觉、力反馈器获取用户的移动语义来移动虚拟环境中的虚拟物体时，当碰到障碍物，触觉、力反馈器会直接通过触觉反馈出碰撞信息，实现真实、自然的人机交互。

(2)非接触式设备。

非接触式输入设备在日常生活中也会经常接触到，常见的有话筒、摄像设备、扫描仪等。为了提高用户语义的输入效率以及考虑到部分残障人士无法利用接触式输入设备实现与计算机系统的交互，眼动跟踪系统近年来逐渐成为非接触式输入设备的研究热点。伴随着大场景下的虚拟仿真以及智能空间中实现场景驱动，空间跟踪定位系统等新一代的非接触式输入设备得到了极大的发展。

非接触式输出设备最常应用于视觉以及听觉上的计算机语义信息输出。听觉上，非接触式输出设备有音响、功放等各种音频输出设备。由于用户通过视觉能够获取更多以及更直观的信息，因此大多数研究者致力于研究视觉上的非接触式输出设备，关于此类的输出设备有显示器、移动智能终端的显示屏以及主、被动投影仪等，硬件的集成化、多功能化、模块化以及软件的快速发展促进了显示内容由以前的文字、二维图形、图像转变为三维图形、立体图像等。

2.2.3 解释层

解释层是将用户语义解释为计算机语义或将计算机语义解释为用户语义，包含数据提取、特征识别以及场景绘制，数据提取、特征识别用于将用户语义转换为计算机语义，场景绘制用于将计算机语义转换为用户语义。

数据提取是对人机交互设备中输入设备所获取的原始数据库中的数据信息进行筛选和提取，以此获取有效的数据信息。例如，用户用数据手套获取的原始手势数据信息中，即有抓取、移动等有效的数据信息，也有大量的用户无意识的数据信息。特征识别是对经由数据提取后的数据信息进行分析和识别，提取出其中能够表示信息本质的特征。例如，先通过数据提取获得抓取、移动、旋转等有效信息，再进行特征识别获得在虚拟环境中虚拟物体的具体操作。数据提取和特征识别都是用于对原始数据库中的数据信息进行整理和归纳，从而加快虚拟仿真平台对数据信息的处理速度，避免服务器对无用的数据信息进行处理和运算而占用过多的内存。

场景绘制用于对映射层中进行视图映射和音频映射的视图对象和音频对象实现在虚拟场景内的具体描述，通过人机交互设备中的输出设备传达给用户。场景绘制既可以实现当前虚拟场景的修改，也可以实现新的虚拟场景的创建。

2.2.4 语法层

语法层是利用算法将解释层中由数据提取和特征识别后的数据信息进一步转化为能够映射的模式和结构。语法层是将用户语义转换为计算机语义的核心步骤，主要包含交互算法以及协同算法。

(1)交互算法。

交互算法是人机交互技术的关键内容，任何人机交互操作都必须以交互算法为依托。如图2所示，交互算法就是将用户语义，例如移动、缩放、旋转等操作，转化为计算机语义，实现虚拟仿真平台中虚拟对象的移动、缩放、旋转等。优化的交互算法能够实现用户与虚拟仿真平台之间实时的、准确的、自然的交互。

图2 交互算法演化

(2)协同算法。

协同算法是虚拟仿真平台在网络环境下，实现多人协同操作的关键技术。在虚拟仿真平台中，运用协同算法，能够将多用户有效地联系在一起，实现共同操作。如图3所示，多用户可以利用协同算法实现非交叉式的共同协作，当某一用户对虚拟仿真平台中的某一模块进行操作时，其他用户无法实现对同一模块的操作，保证模块的唯一操作性以及虚拟仿真平台的安全性、有序性。

图3 协同算法演化

2.2.5 映射层

映射层是用于将语法层处理后的属性、结构、模式等结合虚拟空间层中的底层数据，实现对视图对象以及音频对象的映射。映射层根据映射对象的不同，可以分为视图映射和音频映射。用户语义经过人机交互层、解释层以及语法层处理后生成的计算机语义通过映射，将虚拟空间中的底层数据进行相对应的转换。

2.2.6 虚拟空间层

虚拟空间层包含底层数据，是通过映射层实现映射的虚拟对象。底层数据一部分是虚拟仿真平台所自带的原始数据，另一部分是通过人机交互设备中的输入设备将底层数据输入到虚拟仿真平台中。底层数据是所有类型原始数据的统称，包含文本数据、图形数据、图像数据、音频数据等。底层数据是用户的具体操作对象，是虚拟仿真平台的重要载体。

3 应用案例

按照文中提出的基于语义的虚拟仿真平台框架，设计并开发了一款基于C/S架构并采用增强现实技术的FANUC机器人示教虚拟仿真平台。该虚拟仿真平台搭载于移动智能终端中，如图4所示。该平台为用户提供FANUC机器人的基本信息示教，例如，介绍基本参数信息、关键轴的运动、重要部件的拆分等功能。

图4 FANUC机器人示教虚拟仿真平台演示图

在该虚拟仿真平台中，依照提出的基于语义的虚拟仿真平台框架，可以进行以下分析：

应用对象层中，用户是指FANUC机器人示教虚拟仿真平台的使用者。

人机交互层中，输入设备是移动智能终端的触摸屏，用户通过触摸屏实现虚拟仿真平台具体功能的响应。输出设备是移动智能终端，移动智能终端的显示屏可以显示文字、图形、图像等数据信息，移动智能终端的音响可以展示音频信息。

解释层中，需要进行数据提取以及特征识别的有模型的尺寸大小、转动速度等，进行场景绘制的是电机的拆分、机械腕的拆分、轴的转动、具体细节的音频提醒等。

语法层中，所运用的虚拟仿真平台引擎为Unity引擎。语法层中的交互算法是通过在Unity引擎中编辑C#脚本实现按钮响应，并将交互算法封装于FANUC机器人示教虚拟仿真平台中。现阶段设计的虚拟仿真平台没有涉及到协同部分，接下来的工作要实现人—机协同以及人—人协同。人—机协同是实现通过操作虚拟仿真平台中模型的运动带动真实世界中机器人的运动，人—人协同是实现多用户通过多部移动智能终端共同实现某一操作。

映射层中，需要对文字显示、模型拆分等视图信息进行视图映射，对音频提示信息进行音频映射。

虚拟空间层中，底层数据包含Unity引擎中自带的原始数据信息，例如字体的颜色、按钮的形状等；也包含导入Unity引擎的数据信息，例如模型数据信息通过3ds Max软件进行绘制，再导入到Unity引擎中。底层数据通过Unity引擎封装于FANUC机器人示教虚拟仿真平台中。

4 结束语

随着增强现实技术和虚拟现实技术的不断进步，虚拟仿真平台也在不断发展，在虚拟仿真平台的设计和使用中，都需要通用的虚拟仿真平台框架。对基于语义的虚拟仿真平台框架进行设计和研究，介绍分析了框架的特征，并将框架内容分为6个层次，对所划分的应用对象层、人机交互层、解释层、语法层、映射层以及虚拟空间层进行详细介绍。再以FANUC机器人示教虚拟仿真平台这一案例对所提出的框架进行验证。在该框架的基础上，未来的研究重点在于设计框架中各层次的特殊模块，进一步增强框架的通用性以及适应性。