虚拟现实与人机交互专题论坛：推动和谐自然交互

刘晶

编者按：10月21日，2019年世界VR产业大会云计算和大数据国家重点专项虚拟现实与人机交互专题分论坛在南昌举办，论坛由云计算和大数据国家重点专项总体专家组、北京理工大学承办，江西省科技厅、紫光云技术有限公司协办。来自各大研究机构的首席科学家、研究领域的领军学者就虚拟现实环境下的人机互动课题，分享了最前沿进展。本报摘登部分精彩演讲，以飨读者。

史元春：

挖掘人机交互自然性计算原理

我所负责的人机交互自然形态的计算原理这个项目，是系统研究人的基本交互信息处理能力、计算机所提供的交互信道和人机交互情境三个层面上交互自然性的计算原理。它揭示和建立交互自然性的生理心理机理及计算模型、自然交互模态的信道特征与交互语义、基于情境的交互路径优化原理，创新地建立优化目标明确、量化的自然交互计算框架和评价体系，为穿戴设备、智能空间、VR/AR、机器人等领域自然交互技术的研发提供理论依据和优化方法。

我们的预期成果包括以下方面。一是两项新理论，即面向自然交互的用户信息处理模型和自然交互计算框架。二是三项新原理，面向连续与不确定动作的交互输入行为识别原理、面向海量信息呈现需求的视听触联觉呈现的机制、基于可穿戴心理生理测量的自然交互认知状态识别原理。三是一项新方法，面向复杂情境的用户心理建模方法。四是一项新技术，基于无线射频技术的云端融合情境感知技术。五是两项新装置，支持多模态输入的光学透射式智能显示穿戴设备和新型穿戴式多指力触觉交互装置。

我们分析了自然交互中人的认知特征，对人的感知和认知规律进行了研究。我们建立了超小目标的点击能力模型，首次提出触摸点击速度和精度的双极模型，统一解释闭环和开环运动控制。首次建立盲触摸条件下的相对运动控制机制，首次提出并验证了仅凭借肌肉记忆触摸时的相对运动控制机制，基于此原理实现的盲键盘输入可以达到25单词每分钟。

宋爱国：

探索云端融合自然交互技术

自然人机交互有多种方式，包括语音的交互、生理通道的交互、数据头套与手势的交互、运动捕捉和体感交互。

我们主要的的创新性成果是有源无源器件结合的小型可穿戴力触觉反馈装置，具有触觉反馈的多通道三维书空笔式交互技术与装置和基于肌电生理信息的手势识别算法与装置。

有源无源器件结合的小型可穿戴力触觉反馈装置，突破了有源和无源器件结合的手指力觉反馈的小型化关键技术，研制了系列小型力反馈执行器;提出了多种触感震动信号调制方式及控制算法，显著提升了触觉交互装置的用户体验。

具有触觉反馈的多通道三维书空笔式交互技术与装置，突破了大空间超声波三维高精度无线定位技术，以及笔式、触觉、语音、手势、姿态和触控的多通道自然融合技术，研发了支持大空间非接触三维书空模式的多通道笔式交互装置。

基于肌电生理信息的手勢识别算法与装置，在手势识别方面，研制了基于肌电的无线穿戴式手势获取识别装置，创新地把肌电信号转化为肌电图像，提出了基于深度学习的高准确率手势识别算法。传统的肌电识别转化为肌电图像识别，我们可以识别精确的手部动作，像53个哑语动作可以准确的识别，对哑语信号的识别率可以达到90%。

田丰：

实现智能时代人机交互

通过这几年的共同努力，我们有几个代表性的成果。一是穿戴式全身体感交互设备，全身动作捕捉模块可以感知身体的行为，知道人手的精细动作，实时感知人的生理体征。我们可以支持百平米的激光定位，可以支持手指关节电阻模型的感知和理解。基于柔性传感感知数据模块，可以实时感知人的心电。整个课题是由电子科技大学牵头。

二是大幅面高分辨触控设备，怎么样解决计算量上升的问题，怎么样解决响应速度降低的问题。我们提出了间距为6毫米的高密度并行传感器网络的设计方案，精度可以达到0.1毫米。同时在上面有些实物交互的界面，可以在教育、办公等领域有很好的应用。

三是多感知交互技术，目前可以支持表情、手势、笔触控、眼动、生理等几个通道的输入。比如表情技术可以感知人的人脸，情感交互技术目前可以做到对人几种基本情绪，比如惊讶、大笑等做有效的理解。目前我们跟小爱机器人合作建立联合实验室，希望让机器人对人的表情有基本理解。

吴枫：

以多通道感知发展综合智能

我们的思路是希望像人一样，人的大脑是分了几百个区域，不同区域会接受不同的信息，然后做不同的处理，这些处理的信息又在其他的脑区进行综合，所以是多通道的感知，多脑区的协同。这种情感的机器人，需要把感知处理、理解决策整合起来。

人脑分了很多功能区域，包括听觉、视觉、感知、运动和嗅觉等等，区域之间相互如何作用，目前来讲还是未知的。传统办法主要是扫描区域进行分析，我们是希望用大量的数据对规模脑区进行分析。同时我们研究脑区相互作用，更多是研究视听觉下脑区的活动模式，这对我们视听觉综合处理在人工智能这块提供了启发。我们在关键技术理论取得了突破，包括语音的识别和合成。在自然环境下，周围有噪音，可能有多个人讲话，机器这时候就会弄不清楚究竟要关注哪个人。这时候就需要在多语音的场景下，用语音分辨方法获得最好的性能。我们提出了新的模型，性能也有很大的提高。

李远清：

以脑机交互实现设备控制设备

我们采集脑信号然后进行信号处理，然后用设备来控制设备，效果反馈给用户，用户根据反馈效果调整策略，然后来调整性能，这是脑机交互的简单原理。大家可以打开思维去想象，可以控制的东西有很多，包括虚拟现实。控制虚拟现实里面的虚拟对象，这也是很好的方向。

我们采集信号是在头皮，用对大脑没有伤害的方式采集信号，整体技术在逐步提高，并且提高得很快。我们把多种智能技术结合起来，把虚拟现实和脑机技术结合起来，还有可穿戴和临床应用等方向。我们主要关注两个问题，一个是多自由度控制，另一个是检测性能的提高，主要方法就是混合/多模态的脑机接口。

脑机交互的一种应用是意识检测，意识检测主要是针对意识障碍病人，通常讲就是植物人。医生原来只能根据观察看有什么样的表现，所以误诊率非常高。我们用设备来做意识检测，如让病人认照片，分辨能不能听懂医生的话，可以判断他有没有意识。

金小刚：

推动多源数据的高效场景建模

虚拟现实是把物理世界数字化，它可能是一项颠覆性技术，是未来互联网的入口跟交互环境，发展非常迅速。

要创建虚拟现实环境，首先要建模。建模有很多软件，绘制也有很多软件，但是软件存在几个问题：数据源比较单一，建好的模型通常缺乏语音信息，建模跟绘制的云平台也比较缺乏。我们围绕这几个关键挑战研发建模软件跟绘制平台，我们解决建模效率低、质量差的问题。现实场景我们知道这是什么事情，如果充分利用语音系统，可以大幅度提升虚拟现实建模和绘制引擎的速度。此外要实现云端融合，很多场景非常大，同时也要适用于手机、PAD、台式机等各种平台。

在场景建模方面，我们提出了复杂场景多元数据融合和优化的方法，这种方法充分利用场景结果，有局部的结构信息，也有整体的结构信息，我们把局部和整体结构信息相结合，这样可以提高数据质量。针对大尺度场景，比如城市场景或者抢险救灾，我们提出了大规模分布式解决方案，这个解决方案是为了城市场景快速重建的问题。目前已经采集了天津大学城区近5平方公里的场景，构造了大规模数据集，这方面的工作已经获得了《中国科学》的报道，还有相关媒体的转播。

汪国平：

致力发展国产仿真引擎

仿真跟VR相关，VR跟感观的感受相关，但是VR真正产业落地，必须跟仿真结合起来。而且仿真技术本身是一种重要的科学验证手段，仿真软件系统或者模块一直以来就受到国内外的青睐，目前我们产业中使用的仿真软件基本上是国外的，国产的仿真软件几乎没有。尤其是当前形势下，发展国产的仿真引擎尤为重要。

仿真的研究对象可以从气体、流体、固体等各种维度做，仿真的介质很多种，弹性体、塑性体、流体等。对于超线性的关系，用工程计算可能就算不出来。例如医疗中，血管流体算出来就很费劲;在仿真钻井平台中，空气环境、海洋对钻井平台会有影响，这是非常复杂的仿真过程。

我们的一个成果就是研发了仿真引擎，这个引擎是开源的，开发时间已经很长，从物理对象到仿真方法全维度进行了全面构建。对塑性体、弹性体、多像多态流固等等都有研究，目前针对这些介质提供了各种各样的仿真方法，也在很多场合得到应用。

王党校：

从基础理论研究多模态交互

围绕大数据增量交互的问题，我们重点研究大数据多模态增量式交互的推理和方法。围绕多模态协同的问题从两个方面研究，一个是计算机如何去感知用户的交互意图，实现鲁棒多模态的协同感知;另一个是从计算机的信息呈现和反馈，研究视听触虚实配准，强真实感混合呈现的方法。针对个性化的用途理解，实现时空深度融合的用户意图理解。

项目包括5个课题，以研究基础理论来支撑课题二、三、四，从感知、呈现和用户意图理解三个方面，最终构建人机交互虚拟现实示范应用系统。课题二是利用多传感器技术手段对用户的意图进行协同感知，这块取得了很多进展。我们希望构建几个典型的应用，其中之一就是虚拟购物的系统，用户可以在虚拟场景触摸和看到、听到虚拟商品的信息，实现多模态的交互。

王琼华：

面向桌面真三维显示展开研究

显示技术是无处不在，现在每个人在显示屏前的时间据统计至少是5个小时。显示技术在快速发展中也存在一些问题，比如说常规显示都是二维的，在虚拟现实应用中，因为VR用的设备是头戴式的，很难与其他人分享。即便是做成了常规的三维显示，也具有视疲劳问题。

基于这种问题，科技部在云计算大数据中立了一个题目：面向大数据应用的桌面实时真三维显示技术，有11家单位參加，我是项目负责人。项目的主要目标是从少数人观看的墙面显示转向众多人观看的桌面显示，从容易产生视疲劳的显示到真三维显示，从纯图象的被动观看到实时融合的交互显示。

桌面真3D显示的应用场景很多，特有环视效果可用在医学、教育、军民用电子沙盘、建筑模型展览，以及3D游戏、会议和教育系统等方面。桌面真三维显示技术由几层结构构成，首先有显示图象的2D屏，我们再加透镜阵列实现空间成像，有视觉导向层，以及保障图象连续性的扩散光学层，通过这种方式可以把2D图象作3D呈现。

潘志庚：

研发面向实验多模态人机交互技术

VR和人机交互有很多年的发展历史，我在国内做得比较早，从1992年就做这方面的研究，在教育方面也做了很多实验，中学实验中看不见、看不清或者有危险的，可以通过VR的方法来解决。为了增强具体实验的体验，实验要使用多模态人机交互的方法让学生有体验，而不是简单放在屏幕上去看看。

项目要解决的问题主要是几个方面，包括研发面向实验多模态人机交互技术，包括中学实验行为评价。大家知道做实验的时候，有些地方是通过专人观察进行评估，主观因素比较多。我们开发云端的智能实验学习环境和开放平台。

陶建华：

面向移动办公研究智能交互关键技术

移动办公市场在这几年变化非常大，未来五年据很多人预测将上升270%。从未来发展的角度来说，我们希望构建虚实融合的方式，把信息传递多样化融入进来，改善移动办公的体验。

在我们项目的支持下，我们构建了几个重要的研究工作，这些研究工作包括多通道信息输入和内容编辑的工作，主要是针对个人办公的环境。还有多终端协同呈现和沉浸式显示，这主要是面向办公，办公除了个人办公环境以外还有很重要的场景就是利用移动办公平台构建会议系统，还有多模态融合的智能终端以及智能移动的办公重建等。

陈为：

实现虚拟场景中虚实结合可迅速挖掘关联要素

我讲三个趋势，一是虚拟现实的应用和产业大部分集中在现实世界的模拟和呈现，主要呈现的是真实物理世界。随着智能制造、数据孪生的应用，在虚拟场景中虚实融合，尤其是和大数据融合，可以把场景中的要素和关联关系迅速挖掘出来。二是在虚拟现实领域可以和社交化结合起来，由于头盔和其他呈现设备没有达到非常好用的地步，所以在VR的游戏社交方面做得很少;在课堂里面，如果有VR头盔，在老师和学生在虚拟世界中进行互动，可以达到远程教育的目的。三是畅想在头盔成为很好的呈现设备的时候，可以让办公的人戴轻便或者无感知的VR设备，接上鼠标和键盘，实现办公自动化。

李波：

感知是虚拟现实关注重点

感知方面是虚拟现实要重点关注的，无论是智能系统还是虚拟现实系统，如果信息感知没有进来、没有充足的信息，后面的事都不容易做。人类有多种感知，虚拟现实也是如此，希望把人类多种感知的手段做起来，我觉得这是很重要的，这是输入端。在输出上，包括以什么样的方式展现都是要多下工夫的。智能分析、智能理解在虚拟现实里面肯定很重要，我认为其中的输入和输出是非常重要的。

沈一栋：

做到真正人机交互和协同还有很长的路

从基础研究角度看，现在还没有真正的人机交互。交互是双方的，但现在主要是针对机器，很多产品、技术基本上是对计算机输入的识别。但我们需要交互，甚至需要协同，真正做到这一步的路还很长。我在这里提个不成熟的想法，把VR和真正的人机交互协同起来做一件事情，比如能不能实现人机交互的绘画，一边是很知名的画家在画画，另一边是机器在画画，如果这个能够通过评价，VR和人机交互的融合也就成了。

赵耀：

设备要向小型化无感知化方向发展

在人机交互中，和谐自然的交互方式是非常重要的研究方向。人和计算机之间的交互，也应该像人和人之间的交互一样的和谐和自然，所以我觉得这块应该是我们研究非常重要的点。作为感知的设备和展示的设备，要更多向小型化、无感知化方向发展。如果头盔特别重、特别大，戴在头上，我们会感觉不自然，所以我觉得从这些感知设备来讲，应该沿着小型化、无感知化方向发展。