VR系统信息可视化模型

孙 辉，吕 健，寸文哲



VR系统信息可视化模型

孙 辉，吕 健，寸文哲

(贵州大学现代制造技术教育部重点实验室，贵州 贵阳 550025)

针对虚拟环境中用户认知负荷较重和资源分配不协调问题，综合分析了人脑认知活动中信息的显性化表达，提出一种基于分布式认知的信息可视化资源模型。通过计算机感知虚拟环境中用户动作、行为、任务等信息，依据资源分配方案确定资源和信息之间映射关系，并以信息表象的形式贮存；通过对信息表象进一步精致化，实现交互界面视觉元素的优化布局；本文结合眼动追踪设备对VR系统原型进行可用性评估实验，实验结果表明该可视化模型能够降低用户认知负荷，改善用户体验。

分布式认知；信息可视化；虚拟现实；资源模型；人机交互

目前，以信息感知、资源匹配、信息显性化表达为特征的信息表征方法在设计相关领域得到广泛研究与应用，特别是在工业产品展示、3D虚拟教学、文化艺术品体验等相关领域，信息表征由二维屏幕逐渐过渡到三维虚拟现实(virtualreality, VR)中。分布式认知是由认知心理学发展而来的一种新的认知概念，综合考虑人、计算机、环境在认知活动中的影响，建立人机交互过程中用户动作和计算机资源之间的联系，为人机交互领域提供一种新的认知范式。分布式系统描述内部和外部表征信息的交换和融合，探究了人与技术，人与人之间的认知分布，是对表征信息进行加工处理的过程[1]。在人机交互领域研究中，人的认知活动在考虑认知主体(人脑)之外，同时还要考虑认知发生的环境、外部媒介、外部工具等认知客体对认知活动的影响。

LEE和ELLIS[2]提出一种人机交互系统，用于融合增强现实(augmented reality, AR)技术和用户的操作行为，利用传感器结合AR视图，协助用户实现任务目标。LI和DUH[3]从用户体验的角度分析了AR中用户交互行为和认知之间关系，重点关注交互活动中信息表征、行为互动、经验分享3方面对虚拟环境认识功能的影响。HARRISON[4]提出一种基于信息资源概念的交互式建模新方法，结合信息资源模型分析分布式认知与人机交互建模的关系，将基于单用户系统的分布式认知分析扩展为更为适合的大型分析单元，并将行为资源作为人机交互活动的核心。RAJKOMAR等[5]探究了时间对于分布式认知系统的影响，将时间连续体作为认知过程的外部媒介，允许用户利用预期记忆对任务顺序、持续时间等进行配置，降低用户认知工作的复杂性。程时伟和孙守迁[6]综合分析认知过程中的内外表征，提出一种资源模型用于信息结构定义和信息资源组织，实现认知的外部化和表面化。

从VR和分布式认知相关研究来看，国外VR技术更多应用在工业仿真、医学、未来虚拟等方面，研究重点在于用户界面、感知信息、用户体验及软件系统设计等方面。分布式认知强调的是认知过程中，认知主体和认知客体、环境之间的映射关系，通过构建认知资源模型实现交互过程中信息框架构建和交互策略定义。分布式认知概念多应用与教育教学、VR、协作学习系统等领域，在虚拟环境应用方面强调环境中交互性学习，认知共同体构建等概念，着重对其功能实现、场景规划、虚拟教学等方面进行深入研究。

1 信息可视化资源模型

1.1 模型结构

在心理学中，资源(Resource)是提供给处理过程的一定数量的信息[7]。本文将资源模型定义为在产品使用过程中，指导计算机识别信息并做出相应反馈的信息集合。模型使用任务、历史、长期倾向、偏爱、供给、精致化6种资源来描述计算机认知模型。

(1) 任务(Task)。定义计算机信息表征实现的最终目标，是计算机在历史、供给等相应资源配合下指导动作的决策，认知过程中任务指令被解析为不同子任务，即

(2) 历史(History)。在人机交互过程中，描述事件发生时相对应的动作、环境及计算机资源，是一系列事件和相应动作、环境的组集，即

(4) 偏爱(Bias)。本文定义偏爱[8]的概念为人脑依据用户自身认知模式对表征信息作出倾向性选择。

(5) 供给(Affordance)[9-10]本文指人用推理的方式使用工具，描述了用户和环境之间的操作属性。在交互过程中，计算机依据历史资源判断可能出现的下一步动作和由长期倾向直接触发的动作集合，即

(6) 精致化(Elaboration)。在认知过程中，人脑联结表象信息并对其作出标识或解释。在整个交互活动中，多个表象信息联结构成背景，单个表象信息在多个相似表象的基础上进一步被丰富，该过程为

1.2 交互策略

基于分布式认知资源模型分析用户认知行为，结合当前操作情境、技术、用户习惯构建信息认知资源模型，该模型由信息结构和信息交互策略两部分组成。其信息交互策略包括任务解析、资源配置、表象精致化、信息表征和反馈评估5个部分，如图1所示。

图1 资源模型交互策略

(1) 任务解析。其是资源模型实现信息表征的早期阶段，计算机感知用户任务、行为、动作，依据历史资源匹配相关计算机资源并以信息表象的形式贮存。该策略是一个动态过程，强调的是用户任务、使用情境以及信息分类贮存之间的映射关系，如图2所示。

(2) 资源配置。资源配置描述在计算机认知过程中，依据资源分配方案对信息进行筛选并转化为目标表象的过程。计算机依据供给资源对目标表象进行相似度计算，选取相似度较高的表象信息进行精致化处理，若有长期倾向事件发生则直接转化为表象信息进行精致化，剩余信息表象衰减，其过程如图3所示。

(3) 表象精致化。其策略是在资源匹配基础上，表象信息在环境、色彩、纹理等方面被进一步丰富，其表征过程如图4所示。

图2 目标解析

(4) 信息表征。描述在计算机认知过程中，经过一系列信息感知、解析、判断、匹配、精致化以后，将供给中的若干预测动作最终在视觉层面上表征给用户。

(5) 反馈评估。用户依据表征信息完成操作动作，在交互活动中用户最终行为和计算机的预测动作不一定一致。若表征信息被用户选择，则任务完成进入下一步认知过程。否则，信息表征失败，针对用户操作行为进行解析并反馈给计算机进入历史资源、表象资源、供给资源中为下次信息表征做准备。

1.3 基于分布式认知的资源模型

基于分布式认知的信息可视化资源模型研究是在人机交互过程中，计算机获取资源的方式以及人的认知行为对信息表征产生的动态影响[11]。该模型使用任务、历史、偏爱、长期倾向、精致化、供给等认知资源描述计算机信息表征过程，用于替代人脑对相关信息的认知。图5给出在人机交互过程中资源模型的具体结构及认知方式。

图4 表象精致化过程

图5 资源模型结构

2 VR体验系统信息可视化过程

2.1 信息可视化模型结构

信息可视化是多学科融合领域，侧重于非数值信息资源的视觉呈现。在编码数据对象转化为可视形态的过程中，用户需将抽象的数据转化为可视化的形态，该过程是信息由抽象形态到可视形态映射关系的表征[12]。由于人脑认知方式和信息处理方法的不同，计算机感知用户的动作信息并转换为可编码数据，以人脑容易认知的方式表征出来[13]。图6为VR体验系统信息可视化模型。

本文选取View-VR系统中，旋转指令的发生事件作为表征案例，描述该发生事件的表征全过程。旋转指令事件的表征过程可分为信息感知层、信息加工层、信息精致化层和信息表征层，其过程如图6(a)所示，交互事件表征如图6(b)所示，其表征结构如下：

(1) 交互事件任务。旋转机械手臂90°。

(2) 历史。用户过去执行旋转指令的路径及匹配的计算机资源等。

(3) 长期倾向。系统正常运作过程中，旋转事件发生，计算机停止运行事件转向执行旋转事件。

(4) 偏爱。用户依据计算机表征的菜单界面信息，触发旋转事件。

(5) 精致化。计算机计算用户历史路径，将要表征的旋转指令信息依据当前环境在色彩、色相、透明度等方面表征信息为黑色宋体、白底，如图7所示。

图6 View-VR资源模型结构

图7 View-VR虚拟环境

在该事件的表征过程中，计算机感知获取用户信息：空间位置、操作动作、界面信息、按键指令。基于资源配置策略建立用户信息与计算机资源()之间的映射关系，完善信息加工过程。基于表象库在不同认知层面的历史记录，针对目标表象在色彩、纹理、明度、可操作性环境等方面重新丰富，进行信息表征[14]。当计算机依据流程完成可用性评测，即在认知层面上结束了一个信息表征的全过程。

文中View-VR系统的交互开发由Unreal Engine 4引擎和3DS MAX软件设计完成。Unreal Engine 4作为VR开发环境，支持蓝图和C++语言实现对虚拟情境中二维或是三维对象进行编辑，实现虚拟情境下界面交互、情境构建、操作行为定义等。View-VR为烟草分拣体验系统，能够在最短时间内将条烟按照种类、用户、储位等进行快速准确的分类。该分拣系统由分拣设备模型库和虚拟环境两部分组成，模型库负责提供分拣设备三维虚拟模型，虚拟环境实现分拣系统组装并对分拣线进行仿真分析。View-VR系统界面如图7所示，本文将结合交互策略进行描述。

2.2 模型交互策略

本文以View-VR系统中机械臂旋转命令为例，其任务解析表征为

(2) 资源配置。计算机整合相关资源并计算供给用户行路径与历史路径的相似性，选择相似性较高的3个操作路径作为目标表象，其他非相关感知信息和计算机资源全部衰减。结合可拓认知过程将资源重组分为3个阶段，任务解析阶段、功能结构映射阶段、供给匹配阶段，如图8所示。

(：物元机械臂；：物元的执行事件；：收敛后最佳路径；：物元当前状态；：物元的映射关系；：子任务)

(3) 表象精致化。其是计算机依据人脑认知过程对形成的目标表象在色彩、纹理、等级、尺寸、色相、亮度和饱和度等方面进一步丰富，引起人脑潜意识的认知以加强对当前表象的理解。依据可拓设计学知识，其过程表征如图9所示。

图9 表象信息元网络图

(4) 信息表征。计算机在完成信息感知和任务解析的基础上，对形成的信息表象进行精致化并完成信息表征任务。如图10所示，用户旋转指令下计算机的表征信息。

图10 VR环境中交互过程

用户选中机械臂模型，系统显示该模型信息并显示旋转、移除、移动3个预测动作。选中旋转指令设备模型出现旋转轴并显示缩放、色彩、选项二级预测动作，用户控制器离开操作面板相关信息消失，表征如图10所示。

3 可用性评测

计算机基于信息可视化模型完成信息表征后，用户完成操作动作。若表征信息满足用户下一动作且操作完成则说明信息表征成功，相关操作历史进入历史库，否则，信息表征失败，计算机将用户正确操作路径存储至历史和供给中。

本文使用眼动追踪系统对View-VR系统信息表征界面进行眼动追踪实验，评估虚拟环境下表征信息的可用性，用以完善View-VR系统。由于评估目标为基于信息可视化模型构建的View-VR系统界面对用户使用效率的影响，固选取Gravity VR、Vive home和View-VR系统的操作过程完成实验。

3.1 被试

参与本次实验的被试者总计共30人，其中16名男性、14名女性，被试均没有使用VR软件的经历。

3.2 实验设备

实验设备采用心拓英启科技公司的背带式EyeSo Ec60遥测式眼动仪，该设备采用60 Hz采样率调节9点定标设定，采样精度为0.5°。可采集使用者的动作过程，并对过程进行注视时间和注视数目的分析，该过程由分析软件EyeSo Studio完成对相应数据的处理。

3.3 实验任务

测验用户依据实验任务进行相关操作，实验任务为选中机械手臂从上部移动到下部，然后将其缩小。

3.4 评价指标

(1) 注视时间。指完成实验任务过程中被试在系统界面停留的时间，主要是获取当前视点及边缘视野的信息，这种注视主要用来感知相关信息并对其进行加工。时间越长说明被试感知信息越困难，反之则说明信息感知较为容易且效率更高[15]。

(2) 注视点数。指被试完成实验任务过程中被试在界面注视点的数量。注视点数越多说明被试效率越低，反之则说明效率越高[16]。

3.5 实验过程

(1) 实验人员准备实验设备、实验环境等。

(2) 被试了解相关任务操作熟悉操作环境。

(3) 被试依据实验任务进行相关操作。

3.6 实验数据分析

本次实验采用SPSS软件对实验数据进行分析。SPSS是一款提供数据统计与服务解决方案的软件，具有数据输入、编辑、统计分析、图形制作等功能，能够实现数据的探索分析、双因数多元方差分析、多元回归分析等功能。本次实验使用SPSS软件完成被试注视时间和注视数目数据的单因素方差分析，结果如下。

表1描述Gravity VR、Vive home和View VR的注视时间和注视数目的平均值、标准差、标准差与平均数的标准误差。被试在Gravity VR、Vive home和View VR的注视时间平均值为639.075、555.705、439.705。标准差分别为10.110、153.450、115.267。由表1可知，View VR的注视时间和注视数目值均高于其他2个VR系统。说明操作View VR系统花费的时间和精力明显少于传统的Gravity VR和Vive home软件。

表2为3种不同VR系统的注视时间的方差分析结果，3种VR系统的注视时间进行对比，其显著性值为0.00，=0.000<0.05，达到显著水平，表明在注视时间上Gravity VR、Vive home和View VR具有显著相关性。

表1 3种不同VR系统的统计数据描述

表2 3种不同VR系统的单因素方差分析

表3为Gravity VR、Vive home和View VR的多重比较输出结果，共分为方差齐与方差不齐两部分，LSD描述方差齐性时的多重比较结果，Tamhane为方差不齐时的多重比较结果。本文综合考虑方差齐与不齐的情况，依据表中所示的显著性(带*号标识)，推断在0.05的显著性水平下。其中，Gravity VR关于Vive home的显著性为0.042，Gravity VR关于View VR的显著性为0.000，View VR关于Vive home的显著性为0.005，3种VR设备间的<0.05，表明Gravity VR与Vive home、Gravity VR与View VR比较时，注视时间的均值有显著差异。

图11为被试在Gravity VR、Vive home和View VR 3种VR系统与注视时间平均值。通过观察可知，各组均值的分布于多重比较的结果一致。被试在Gravity VR、Vive home软件中花费的平均时间大于在View VR系统中花费的注视时间，表明View VR系统相对于Gravity VR、Vive home操作效能更高。

表3 平均注视时间多重比较

图11 3种不同VR系统与注视时间平均值

如图12~14所示，分别为被试在Gravity VR、View VR和View VR中的注视热点图，图中热区彩虹图表示被试凝视时间的多少。图中黄色、红色所示为被试的凝视焦点。被试的注视点主要集中在操作者的动作路径处，图12中被试主要关注系统的操作交互过程及操作面板中；图13~14多集中与操作者的交互路径中。

4 结束语

本文讨论了分布式认知在VR情境下用户体验设计中的应用，通过引入资源模型的方式完成系统信息可视化过程。针对虚拟情境下用户认知负荷加重的问题，本文提出一种基于分布式认知的资源模型，依照资源模型构建信息结构和交互策略，将该模型应用到View-VR VR系统。该模型针对信息表征问题，首先解析任务构建子任务和计算机资源之间的映射关系，其次基于资源匹配方案减少信息表象，依据供给对信息表象重新丰富，完成表象精致化过程并应用到虚拟情境中。

图12 Gravity VR热点图

图13 View VR热点图

图14 Vive home VR热点图

本文下一步将针对虚拟情境中手势动作、语音、眼动等多维情境下用户体验相关问题进行研究。结合眼动追踪设备和动作捕捉设备研究物理情境中用户行为、动作的社会意义和文化内涵，并应用到虚拟情境中。

[1] CÁRDENAS-GARCÍA J F. Distributed cognition: an ectoderm-centric perspective [J]. Biosemiotics, 2013, 6(3): 337-350.

[2] LEE S, ELLIS R D. Development and human factors analysis of an augmented reality interface for multi-robot tele-operation and control [J]. Proceedings of Spie, 2012, 8387: 22.

[3] LI N, DUH B L. Cognitive issues in mobile augmented reality: an embodied perspective [J]. Human Factors in Augmented Reality Environments, 2013, 11(5): 109-135.

[4] HARRISON M D. Analyzing human-computer interaction as distributed cognition: the resources model [J]. Human-Computer Interaction, 2000, 15(1): 1-41.

[5] RAJKOMAR A, BLANDFORD A, MAYER A. Coping with complexity in home hemodialysis: a fresh perspective on time as a medium of distributed cognition [J]. Cognition Technology & Work, 2014, 16(3): 337-348.

[6] 程时伟, 孙守迁. 基于分布式认知的人机交互资源模型[J]. 计算机集成制造系统, 2008, 14(9): 1683-1689.

[7] 王常青, 邓昌智, 马翠霞, 等. 基于分布式认知理论的扩展资源模型[J]. 软件学报, 2005, 16(10): 1717-1725.

[8] VERSCHAFFEL L. Use of external representations in reasoning and problem solving: analysis and improvement [J]. National Acad Sciences, 2010: 108(5): 824-826.

[9] OVERHILL H J J. A survey of terminology and a proposed extension of the theory of affordances [J]. Proceedings of the American Society for Information Science & Technology, 2012: 49(1): 1-4.

[10] STAHL B, DIEPOLD KJ, POHL J, et al. Modeling cyclic interactions within a production environment using transition adaptive recurrent fuzzy systems [J]. IFAC Proceedings, 2013, 46(9): 1979-1984.

[11] 林一, 陈靖, 周琪, 等. 移动增强现实浏览器的信息可视化和交互式设计[J]. 计算机辅助设计与图形学学报, 2015(2): 320-329.

[12] LIVINGSTON M A. Issues in human factors evaluations of augmented reality systems [M]. Berlin: Springer, 2013: 3-9.

[13] HUSSAIN M S, CALVO R A, CHEN F. Automatic cognitive load detection from face, physiology, task performance and fusion during affective interference [J]. Interacting with Computers, 2014, 26(3): 256-268.

[14] JOHNSON J. Designing with the mind in mind: simple guide to understanding UI design rules [J]. Morgan Kaufmann, 2014, 58(3): 247.

[15] STRANDVALL T. Eye tracking in human-computer interaction and usability research [M]. Berlin: Springer, 2009: 35-52.

[16] 程时伟, 孙志强. 用于移动设备人机交互的眼动跟踪方法[J]. 计算机辅助设计与图形学学报, 2014, 26(8): 1354-1361.

VR System Information Visualization Model Cognition

SUN Hui, LV Jian, CUN Wenzhe

(Key Laboratory of Advanced Manufacturing Technology, Ministry of Education, Guizhou University, Guiyang Guizhou 550025, China)

An information visualization resource model based on distributed cognition was proposed to solve the unequal user cognitive load and resource allation problem in virtual environment, with the analysis of information explicit expression in human brain cognitive activities. The system obtains user action, behavior, task and other information in virtual environment based on the computer-aware technology. Resource allocation scheme was used to optimize the mapping between resource and information, and stored in the form of information imagery. The information imagery was riched by imagery library to optimize the visual elements of interactive interface. The usability evaluation experiment about virtual reality system prototype were carried out on eye tracking equipment. The experimental results demonstrate that the visualization resource model is realized to decrease user’s cognitive burden and improves user experience.

distributed cognition; information visualization; virtual reality; resource model; human-computer interaction

TP 391

10.11996/JG.j.2095-302X.2018020317

A

2095-302X(2018)02-0317-10

2017-08-27；

2017-12-20

国家科技支撑计划项目(2014BAH05F01)；贵州省科技项目(重大专项字[2015]6008，[2015]6014，LH字[2016]7467，JYSZ字[2014]004， J字[2015] 2043，LH字[2014]7644，黔科合支撑[2016]2327，贵大(2016)12)；贵州大学研究生创新基金项目(2017038，2017040)

孙 辉(1990-)，男，山东滕州人，硕士研究生。主要研究方向为信息与交互设计。E-mail：61019@163.com

吕 健(1983-)，男，河北保定人，副教授，博士。主要研究方向为认知设计、交互设计。E-mail：305515940@qq.com