增强现实环境下的FreeForm空间遥操作研究

张廷廷，赵正旭

（石家庄铁道大学 信息科学与技术学院，河北 石家庄 050043）

在遥远、险恶、复杂的环境中，人们完成各种操作通常具有危险性和不确定性。目前，空间遥操作技术延伸了人类的感知，拓展了人类的行为范围，使操作者远离危险完成同样的操作任务。遥操作要求信息能够实时更新和准确反馈。现场信息的延迟更新或错误反馈会导致操作人员判断失误，从而造成巨大损失。为了解决这一问题，通常对遥操作系统进行虚拟场景预测。然而在实际的建模过程中，很难对虚拟场景达到零误差地预测。随着研究的深入，人们开始根据现实环境中的真实的图像信息建立虚拟模型，对图形模型进行仿真，从而增强现实效果，即利用增强现实技术来完成高精度的场景预测。增强现实技术通过将使用计算机图形技术和可视化技术产生的图形和系统提供的图形属性等虚拟信息“放置”到真实世界中，对人的视觉系统进行视觉增强或视野扩张，从而丰富反馈信息，辅助使用者的工作。然而，仅仅依靠视觉对虚拟环境进行模拟和修正已无法满足人们的要求，本文提出将FreeForm触觉式设计系统与增强现实技术结合使用，实现增强虚拟现实环境中触觉的仿真。

1 FreeForm触觉系统概述

FreeForm触觉式设计系统以3DTouch为核心技术，让使用者通过视觉和人类最重要的“触觉”建立、移动、修改三维模型，零误差地模拟和仿真虚拟物体与场景。

1.1 触/力觉反馈系统结构

1993年，J.K.Salisbury和Thomas Massie发明了力反馈三维交互设备PHANTOM（如图1所示）及其配套的软件开发工具GHOST。该力反馈设备的设计初衷是让使用者感受到力的作用，从而和虚拟模型进行直接交互。PHANTOM触觉设备的伟大发明和广泛应用，标志着计算机触觉技术［1］的到来。

图1 PHANTOM DESKTOP

从“计算机触觉技术”概念的出现至今二十余年来，国内外许多研究人员和研究所对计算机触觉进行了史无前例的学术研究与广泛的实际应用，使得计算机触觉的理论不断地升华与充实。

Grigore C.Burdea［2］在前人研究的基础上，进一步拓展了计算机触觉技术的概念。他把计算机触觉分成了三个方面：一是与感受虚拟物体的运动属性（如惯性、重量、硬度、粘性、运动约束等）相关的力觉反馈（Force Feedback）；二是与感受虚拟物体的表面属性（如粗糙度、几何形状、材质、温度、湿度等）相关的触觉反馈（Tactile Feedback）；三是与感知身体或手与真实场景的相对关系（如空间的位置、所做的动作等）相关的本体反馈（Proprioceptive Feedback）。

Srinivasan［3］从人体结构方面对触/力觉虚拟现实系统进行了进一步形象的阐述。他把触/力觉反馈的虚拟现实系统分成人的感知系统和机器的感知系统两部分。其中，人的感知包括视觉、听觉、触觉、嗅觉、味觉，机器的感知包括视觉、听觉、触觉。人的感知系统指的是当人接触到物体时，感觉信息就会通过皮肤向人的大脑传递感觉信号，之后运动神经元激活人的肌肉，于是产生手部相关运动。而机器的感知系统指的是当使用者操纵触/力觉硬件设备时，传感器将使用者的位置反馈给计算机，计算机根据反馈信息实时地生成作用力，从而将触/觉或力觉通过硬件设备传递给使用者。

由此可知，具有触/力觉反馈的虚拟现实系统一般是由使用者、触/力觉硬件系统和计算机组成。其中，触/力觉反馈硬件系统通过其内部的处理器来处理传感器测量的使用者的位置和运动信息，并将这些信息传递给计算机，从而将虚拟环境中生成的触感或力感反馈给使用者。而计算机则根据收集到的实时信息，生成立体图像、声音、视频等虚拟环境场景，将虚拟操作与现实同步。

1.2 FreeForm触觉系统结构

该系统是由触觉硬件设备PHANTOM、软件平台FreeForm Modeling Plus和OHAE软件开发包组成。其中FreeForm Modeling Plus软件具有很多版本，应用最广泛的是V10版本。

触觉硬件设备PHANTOM是一个硬件接口，给用户提供了自由度为六的基于手臂交互的机械手臂（如图2、3所示），操作者通过控制机械手臂末端的手柄来控制虚拟刀具对虚拟模型进行操作。其中，连接在机械手臂上的是一个触针（stylus）［4］。触针上有一个接触点，PHANTOM通过触针接触点模拟触觉信号，属于单点型力反馈设备。机械臂触针上有三个小型发动机对其施加压力，并将生成的作用力实时地传递给操作者，从而让操作者可以感受到虚拟对象的物体硬度、组成材质、表面粗糙度等触感。触针根据需要可以被设计制造成各种形状，来模拟多种类型的物体。比如，打针时它可以模拟成注射器的针头对病人的触觉进行仿真。另外，PHANTOM的灵活在于，它的机械手臂可以自由拉伸（如图2所示），底座可以自由转动（如图3所示）。

图2 PHANTOM DESKTOP机械臂的推拉

图3 PHANTOM DESKTOP底座的转动

PHANTOM的操作灵活性，一是在于它的机械手臂可以自由推拉。当利用机械手臂选中一个模型时，通过机械手臂的缩进与拉伸，可以将模型放大或缩小，如图2右上角的模型变化。

二是在于它的底座可以自由转动。同样，当模型被选中，利用FreeForm Modeling Plus相应的菜单工具，通过底座的左右转动，可以对模型进行如图3左上角的操作。

软件平台FreeForm Modeling Plus向设计者提供了类似真实粘土的数字油泥、与Phantom机械臂对应的雕刻笔和灵活形象的三维设计界面。其中，每块数字油泥都是由数万个三角网格构成的，它属于点数据的数据模式，根据这一特性，设计者可以操控Phantom机械臂来“手持”雕刻笔对软件提供的虚拟粘土自由地建模。

OHAE（OpenHaptics Academic Edition）［5］是FreeForm系统的SDK软件开发包。Open－Haptics提供的c语言接口函数实现了与力觉/触觉渲染有关的命令集合，如HLAPI函数库和HDAPI函数库。使用OHAE，开发人员可以对FreeForm软件平台进行二次开发，也可以开发基于触/力觉反馈的应用程序。

2 基于增强现实技术的空间遥操作

在空间遥操作中，通常采用增强现实技术来实现对现实环境的补充。传统的增强现实技术主要依靠基于视觉的动态注册技术对虚拟场景进行处理，从而完成虚实结合。

增强现实技术（Augmented Reality，AR）是对传统意义上的虚拟现实技术的拓展，利用可视化技术和计算机图形学建立虚拟物体模型，并利用传感技术将虚拟物体、场景、真实物体的非几何信息或系统提示的信息叠加到真实环境中，最终将虚拟场景无缝地融合真实场景中，从而实现对现实效果的增强。可见，增强现实能够实现信息的虚实结合和实时交互，将其应用到空间遥操作中，能够提高遥操作的精度，从而提高遥操作系统的可操作性和安全性。图4为第一次真正将增强现实技术引入到遥操作系统中的机器人操作。

图4 增强现实技术引入到遥操作系统中的机器人操作

传统的基于视觉的增强现实系统［6］是使用真实和虚拟的两台摄像机，同时处理共存的虚拟场景和遥操作工作场景。对于虚拟场景的处理就是对虚拟信息的注册过程。虚拟场景注册技术是将利用计算机图形技术和可视化技术生成的虚拟物体图像无违和感地“放置”在真实环境中。随着增强现实技术的发展，基于视觉的动态注册技术已经成为当下对虚拟场景进行处理的关键技术。基于视觉的动态虚拟信息处理，是通过分析多个图像信息来确定摄像机和真实场景的相对关系，然后将虚拟物体投影到人们的视野中，从而实现虚实结合，完成增强现实。

3 增强现实环境下的FreeForm空间遥操作研究方案

3.1 FreeForm和视觉动态注册技术结合

使用基于FreeForm触觉的增强现实技术改进传统的基于视觉的动态注册技术。

在传统的基于视觉的增强现实系统中，通常采用基于视觉的动态注册技术和立体视觉显示技术来完成增强现实。而在人类的感知中，人的力触觉的敏感度远远高于视觉的敏感度。利用力触觉将虚拟物体或场景叠加到真实场景中变得更加简单，形象。在建立虚拟物体模型和操纵虚拟对象运动的过程中，FreeForm机械臂相当于设计者的手，根据人类的设计思维和操作要求，自如地与虚拟场景交互。当机械手臂操纵基于FreeForm建立的虚拟对象时，设计者能真实地感受到Phantom设备端反馈的力，就像设计者的手直接触摸到物体一样。通过触觉将虚拟场景同真实场景融合，更能够精确地对虚拟场景进行预测，从而实现对虚拟环境的沉浸感和真实性的“增强”。另外，FreeForm机械臂有多种方式实现使用者与虚拟场景的交互，如触碰、移动、变形、抓持（如图5所示）等，并且根据不同的交互操作生成不同的反馈力度和方向，直接向空间遥操作系统反馈触觉信息。根据FreeForm机械臂获得的触觉信息，加上视觉注册技术或立体视觉显示技术获取的视觉显示信息，进一步高效率、零误差地确定虚拟物体与观察者的关系，将虚拟物体或场景真实化，从而达到虚实结合的效果。

图5 FreeForm机械臂对虚拟油泥变形、抓持

3.2 基于3DTouch应用程序的开发

使用OpenHaptics工具包将现有的第三方应用和新的应用整合到一起，开发出基于3D Touch的应用程序。

OHAE开发包可以对FreeForm的软件平台进行二次开发，使用者可以根据不同用户的不同应用需求在原来模型的基础上增加不同的外观属性和行为习惯等。基于OpenHaptics的应用程序可以分为三个线程［7］：图形渲染线程、触碰检测线程和力触觉渲染线程。首先，图形渲染线程对收集到的图形进行渲染，并为第二阶段的触碰检测线程提供渲染信息。其次，触碰检测线程确定触觉设备PHANTOM与虚拟对象的触碰位置，为第三阶段的力触觉渲染线程提供触碰的位置集合。最后，力触觉渲染线程读取PHANTOM机械臂的物理位置和行为姿态，把此位置和姿态转变为PHANTOM机械臂在虚拟场景中的位姿，并根据虚拟物体的物理位置、行为姿态、表面属性等计算出反馈力度和反馈方向，将计算结果传递到PHANTOM机械臂端，然后输出给使用者。这样，便能轻松地确定操作者与虚拟物体的位置关系，并且操作者可以确切地控制虚拟物体，从而达到增强现实的效果。

4 结束语

随着计算机触觉的迅速发展与普及，FreeForm触觉设计系统必将广泛应用到航空航天，临床医学，影视动漫设计等多个领域。FreeForm系统不仅可以轻松形象地设计与建立虚拟模型，实现对虚拟物体的触摸、抓持、推拉等操作，而且可以与增强现实技术结合，通过二次开发实现对虚拟场景触觉上的模拟与仿真，从而实现对空间遥操作的实时触觉反馈。文中提出的基于FreeForm触觉增强现实技术能够对人类感官的触觉与视觉同时模拟修正，基本实现零误差的虚实结合。

［1］T.H.a.K.S.Massie，“The PHANTOM haptic interface：a device for probing virtual objects，”in Proceedings of the ASME Dynamic Systems and Control Division，Chicago.IL.1994，pp.295－301.

［2］G.Burdea，Force and Touch Feedback for Virtual Reality.New York，USA，1996.

［3］杨文珍.虚拟手交互真实力觉生成研究［D］.浙江：浙江大学，2007.

［4］刘莉，赵正旭.基于FreeForm的虚拟产品设计研究［D］.石家庄：石家庄铁道大学，2013.

［5］刘莉，赵正旭，王中义，刘世洋.基于FreeForm的玩具模型设计［J］.河北省科学院学报，2012，29（3）：24－27.

［6］熊友军.基于增强现实的遥操作关键技术研究［D］.武汉：华中科技大学，2005.

［7］陈成军.基于力觉触觉反馈的虚拟装配系统相关技术研究［D］.山东：山东大学，2008.