增强现实人机交互技术研究

王凌云 杨世康

摘要：人机交互技术是增强现实的重点，属于计算机、人类工程学、认知学等多学科交叉的研究领域。近年来，增强现实中的人机交互技术一直在探索更加智能化、自然化以及高效化的交互方式，成了国内外研究的热点。文中调研了人机交互技术发展历程，指出了增强现实人机交互技术存在的问题，最后做出了总结。

关键词： 增强现实; 人机交互; 增强虚拟

中图分类号：TP39      文献标识码：A

文章編号：1009-3044（2021）14-0179-02

Abstract：As the crucial support of augmented reality ，human-computer interaction is an important research field of multidisciplinary research，such as computer， ergonomics， cognition science. In recent years， the human-computer interaction technology in augmented reality is tending to be intelligent， natural and efficient ， and hitting the research area in the world. This paper surveys the development process of human-computer interaction technology， points out the problems of human-computer interaction technology in the augmented reality， finally makes a summary.

Key words：augmented reality; human-computer; augmented virtuality

1 引言

早在二十世纪，人们开始对事物平面展示的形式不满足，随之应运而生的增强现实技术利用计算机技术无缝融合虚拟场景与真实世界，在用户视野中实时可视化虚拟场景，发展潜力巨大。增强现实技术从最初的军用，到逐渐的商用，最后到现在的民用，用于军事、娱乐、展览、古迹再现、文化遗产保护等多方面，用途十分广泛，具有较强的实用性和交互性[1]。增强现实技术目的在于对真实世界的增强，关键支撑技术有三维注册技术、场景渲染技术和人机交互技术。

2 人机交互发展历程

人机交互技术是指用户以便捷、自然的方式与智能设备生成的虚拟场景进行信息交换的技术[2]。理想状态下的人机交互技术可以不依赖于键盘、鼠标以及触摸屏等外界设备，人与计算机随时随地自然交流，从而最终实现虚实场景的无缝融合。目前理想状态尚未达到，只能通过现阶段智能化的计算机和移动设备，将用户的行为状态，例如用户的肌肉运动、姿势或语言等多种行为状态输入信息转换成一种智能设备能够理解和操作的信息，并通过对用户多个感知进行模拟刺激，为用户提供实时的交互信息。人机交互技术的发展好坏很大程度影响了用户的体验以及增强现实技术的应用领域，是重点支撑技术[3]。如图1所示，为人机交互技术的发展历程。

2.1 传统交互技术

使用传统硬件设备进行人机交互的交互工具包括鼠标、键盘等。鼠标键盘在计算机中，可以选中显示系统纵横坐标系的某一点，通过进行按键、拖动等操作选中、拖拽、放大、缩小该点。这类方法简单易操作，但是需要外部设备的支持，降低了交互体验的沉浸感，无法很好适应在三维空间实时人机互动的应用场景。

2.2 触控交互技术

触控交互技术以人手为主要的输入方式，仍需要与设备进行接触，但是相较于传统硬件设备更为人性化，既可以作为输入设备捕捉用户的动作，也可以作为输出设备为用户提供触觉体验，让用户有真实的沉浸感。触控交互技术从单点触控发展到多点触控，实现了单一手指点到多手指点甚至是多用户交互的转变，更容易被用户认可。在识别指令方面，除传统交互技术外，触控交互技术现阶段的准确率相较于其他的交互技术是最高的，只需要用户在对的地方使用对的方式进行操作即可。目前具有代表性的触控交互技术有3D触觉反馈触摸屏、TouchSense?触觉反馈技术等[4]。

2.3 语音交互技术

语言是最自然直接的方式。语音识别技术已经成为目前增强现实系统中应用较成熟的人机交互技术，在某些无法使用传统键盘输入信息的环境中，语音是首选的友好方式。在增强现实中，语音一方面可以直接交互，另一方面可以辅助用户交互。语音交互的重点在于语音识别引擎，现有的引擎包括Speech API、Via Voice和国内的科大讯飞均有很好的性能，为人机交互技术的发展提供了有力的平台。

2.4体感交互技术

体感交互技术利用传感器或基于计算机视觉，使用人体手势识别或动作捕捉等作为交互策略，追踪人体如手、头或腿等关键部分的位置，分析获取用户在现实世界的运动姿态数据作为交互信息输入[5]。Kinect体感设备动态捕捉能力强，能够进行精确跟踪骨骼以及映射关节肢体活动，为体感交互带来了革命性的进展。此外Leap Motion、Hololens和Magic Leap等体感设备的出现普及了娱乐互动的增强现实应用。体感交互方式符合人类的自然习惯，是目前人机交互技术关注的热点之一。

2.5 生理交互技术

生理交互技术即指通过实时测量如脑电信号、呼吸信号、心电信号和肌电信号等人体生理信号，分析识别用户心理状态和交互意图并反馈的交互方法。加拿大Thought Technology公司研究的多参数生物反馈仪具有丰富的专注度反馈训练系统[6]。目前，生理交互技术对系统硬件软件都有一定要求，操作复杂，价格昂贵，加大了开发难度，限制了部分人群研究和使用增强现实设备，但对丰富增强现实设备的交互方式至关重要。

2.6 混合交互技术

混合交互技术是近年人机交互和增强现实研究的主要方向之一。混合交互技术支持用户使用多种交互方式与计算机进行交互，可以发挥出各自交互方式的独有优势，丰富交互信息。混合交互利用交互信息互补的灵活性提高用户的感知效率和与计算机的交互效率，用户减轻了单一的交互方式產生的认知负荷，计算机也不会因单一的交互方式负担过重，以此改善交互效果。混合交互技术中交互信息如何整合一致，获取用户真实交互意图，以及交互融合机理等问题研究较少，是目前研究关键问题[7]。

3 增强现实人机交互技术存在的问题

3.1 交互视野问题

目前，增强现实设备的交互界面虽然可以将整个真实世界的场景作为交互的背景，但交互界面为设备的视窗，分辨率低，容易出现成像效果是视窗叠加在现实世界中，突兀感强。其次目前的交互仅局限于近距离的视野，远处的视野并不能很好的融合虚拟对象的数据信息，一定程度影响了用户分析。最后，增强现实设备不能获取其他用户的交互场景，减少了群体交互体验感。

3.2交互技术问题

增强现实技术的目的在于对真实世界的增强，然而现在大多数系统在数据处理上存在较大差距，虚拟物体在注册上的延迟和错误率都较高，影响了交互表现。其次传统交互方式虽然只有点击、拖拽或滑动等操作，但仍需要学习和理解成本，导致用户无法正确理解交互场景。体感、生理等交互方式符合人类习惯，但是研发费用昂贵，操作复杂，影响了增强现实设备的开发研究。目前的大多数增强现实技术只有一种交互方式，忽略了其他感知和交互技术，传感器技术的发展也制约了混合交互技术的设计和发展。

3.3社会接受度问题

大部分的增强现实应用还处于实验阶段，在实际场景的应用效果尚未确认，并且大多是增强现实技术应用在专用交互工具上，如头盔显示器、手持设备和投影设备上。在工作场所、大街上佩戴头盔显示器挥舞手臂，时刻举着手机观察每一件事物，或者在墙壁上、桌面上投影自己感兴趣的内容等行为，其他人对这样的个人行为接受程度以及用户个人隐私保障，都是人机交互设计的关键挑战。

4 结论

在计算机视觉与人工智能技术的推动下，面向增强现实的人机交互技术展现了强有力的发展势头，同时也尚有许多问题有待解决，一方面是交互设计原则的制定，一方面是协调虚拟对象和真实世界的融合。发展的总目标是“以人为本”，避免特殊培训和记忆，利用已有的经验就能实现人机对话，即更为自然、直观、友好以及支持多用户的增强现实交互技术仍是目前研究的热点和必然趋势。在未来，面向增强现实的人机交互技术能很大程度的改变人类生活，会有更为广泛的应用，是科技发展的必然趋势。

参考文献：

[1] 王宇希，张凤军，刘越.增强现实技术研究现状及发展趋势[J].科技导报，2018，36（10）：75-83.

[2] 黄进，韩冬奇，陈毅能，等.混合现实中的人机交互综述[J].计算机辅助设计与图形学学报，2016，28（6）：869-880.

[3] 侯颖，许威威.增强现实技术综述[J].计算机测量与控制，2017，25（2）：1-7，22

[4] 张凤军，戴国忠，彭晓兰.虚拟现实的人机交互综述[J].中国科学：信息科学，2016，46（12）：1711-1736.

[5] 郭娜，王田苗，胡磊，等.ACL重建手术增强现实导航系统的人机交互技术[J].计算机工程与应用，2020，56（21）：224-230.

[6] 冯韶文. 基于脑电波的青少年专注度训练系统设计[D].山东理工大学，2020.

[7] 高翔，安辉，陈为，潘志庚.移动增强现实可视化综述[J].计算机辅助设计与图形学学报，2018，30（01）：1-8.

【通联编辑：唐一东】