自然交互技术的发展与研究

金永宁

一、前言

我们经常在一些影视剧中看到这样的场景：通过3D立体成像或投影，人可以在空气中操作数字化内容。当前这类影片都是后期采用数字化方法把这类场景加入原始影片的，仔细回想一下，我们儿时很多的科幻场景现在都已经变成了现实，比如手机和互联网等等。然而，通过处理人的行为，尤其是在没有输入或者穿戴设备的情况下对程序进行控制的技术已经悄然融入在人们的生活中，这种技术统称为自然交互技术。

二、自然交互概论

下面先来简要介绍一下计算机用户界面发展的三个阶段：

第一个阶段是命令行界面（Command-line Interface，简称 CLI），通过使用命令行向机器发命令，完成相应的操作，如Microsoft的DOS操作系统，这种方式是需要用户有编程能力（Codified）且思维逻辑严谨（Strict）；第二阶段叫作图形用户界面（Graphical User Interface，简称GUI），即用图形界面和计算机进行交互，如微软的Windows操作系统，用户需要了解哪种操作对应哪种指令（如单击鼠标左键表明选中，双击鼠标表明打开程序），用户也可以通过对输入设备的探索来完成对指令的学习；第三阶段即本文讨论的自然用户界面（NUI），通过更自然，更直接的方式来操作计算机，直观的说，使用NUI的计算机不需要键盘或鼠标。

自然交互技术，是支持自然用户界面的技术，包括硬件和软件两个方面，纵观近10年来技术的发展，各种新型设备的出现，科研机构和软件公司也在不停的进行用户习惯和交互手势的研究，苹果和三星还为此进行了专利诉讼，用户界面技术也在不停地发展。但是这些成果距离让我们的操作变得更加“自然”还离得很远，用户要想顺畅的使用这些设备也必须首先了解设备的使用方法，比如智能手机中的放大缩小操作，首先都必须进行训练。

三、交互体感设备的发展及其比较

1.Microsoft Xbox Kinect

Kinect是微软在2010年6月14日对XBOX360体感周边外设正式发布的名字。Natal为开发代号。它是一种3D体感摄影机，同时导入了即时动态捕捉、影像辨识、麦克风输入、语音辨识、社群互动等功能。玩家可以通过这项技术在游戏中开车、与其他玩家互动、通过互联网与其他Xbox玩家分享图片和信息等。

Kinect的组成结构如上图所示，由3D深度传感器，颜色摄像机，麦克风阵列和马达云台组成。3D深度传感器由红外激光结构光设备搭建，可以实时获得场景的深度信息，进而可以对周围环境进行三维重构；颜色摄像机可以进行图像的采集，然后可以进行对采集的影像进行识别和检测；麦克风输入可以进行语音检测；马达云台可以用来校正摄像机位置和仰角。

开发Kinect可以使用官方的SDK。该SDK主要针对 Windows7设计，内含驱动程序、原始感测数据流程式开发接口（Raw Sensor Stream sAPI）、自然用户接口、安装文件以及参考数据。可让使用C++、C#或Visual Basic语言搭配Microsoft Visual Studio 2010工具开发使用。Kinect的开发也可以使用开源的自然交互库OpenNI，其中包含了更多对手势的识别和检测的接口。

2.Asus Xtion PRO

Xtion PRO是华硕针对PC开发的一款体感设备，于2011年6月正式发布。Xtion PRO和Kinect一样，使用PrimeSense公司的提供的方案，由3D深度传感器和颜色摄像机来构成对世界的三维重构和对图像的识别。Xtion PRO没有马达云台，麦克风也比Kinect设计的要弱。

对于PC开发用户来说，Kinect需要独立的电源供电，Xtion PRO仅需要一条USB线。Xtion PRO的另一个特点是体积小，因此更适合小型家用计算机。OpenNI即Xtion Pro的原生开发工具，因此它比Kinect多了手势检测的功能。

3.Intel CREATIVE Camera

英特尔Intel公司新推出一款交互姿势检测摄像头CREATIVE Camera，这种设备很小巧，只有一个普通摄像头大小，可以方便的夹在笔记本上面，通过红外结构光构建空间环境，对人的三维信息进行解算和处理，从而作为一种输入设备对计算机进行控制。体积比Xtion更小，适合在笔记本上使用，且RGB 摄像头达到720p的清晰度，要比Xtion和Kinect成像质量更好。目前此产品的SDK已经发布，但产品还没有对外公布，因此并不知道实际测试的结果和性能，只能透过官方发布的参数信息来了解。

4.LEAP

LEAP是LEAP Motion公司于2012年年初发布的一款手势控制设备，此款设备只有一包口香糖大小，通过USB连接电脑后可以创造出一个4立方英尺的工作空间。通过对此空间范围内的物体进行精确的检测生成高质量的点云信息，可以分析手的行为和动作来控制程序和操作系统。从已发布的操作视频可以看到，LEAP性能很好，采集信息准确且实时解算速度很快。2013年9月，在惠普最新推出了最新款的Envy 17 Leap MotionSE超极本中，集成了Leap Motion的手势操控模块，用户可以通过手势的操作控制计算机，搭配指定的软件，可以实现不少很有趣的功能，相比独立的Leap Motion，整合在Envy 17掌托中的Leap Motion小了大约70%。

四、总结和展望未来交互技术的发展趋势

纵观交互技术的发展，人们趋向于更自然更酷更炫的交互体验，厂商也在不遗余力的开发并对这些新技术进行推广，例如三星最新的Galaxy S4手机中使用的眼球翻页技术。这类交互体感设备的推出，使得科幻电影中的人机交互场景成为可能。国内的体感设备应用现在还处在起步的阶段，未来有可能会成为一种行业标准，如果开发方式较容易且有趣，亦可以转化为相关的交互设计课程。