云XR 扩展现实技术在计算机教学中的研究

2020-08-25李思睿曾琦娟

计算机教育 2020年8期

李思睿，刘朋，曾琦娟

（中移（成都）产业研究院，四川成都 610041）

0 引言

我国积极推动虚拟现实发展。虚拟现实（AR/VR/MR）已被列入“十三五”信息化规划、互联网+等多项国家重大文件中，工信部、发改委、科技部、文化部、商务部出台相关政策。此外，各省市地方政府从政策方面积极推进产业布局，已有十余地市相继发布针对虚拟现实领域的专项政策。

AR/VR 作为新一代的人机交互平台技术，覆盖了从C 端消费到B 端行业应用的各种场景，被广泛认为是5G 时代最先落地，人们最先认知、接触和使用的技术，市场发展潜力较大。2018年行业整体市场超过600 亿元，AR 整体市场超过100 亿元，预计2020 年全球虚拟现实产业规模将超过2 000 亿元，其中，VR 市场1 600 亿元，AR 市场450 亿元。预计2017—2022 年，全球虚拟现实产业规模年均复合增长率超过70%，VR为占据主体地位，AR 增速显著，中国将成长为全球主要的虚拟现实市场。预计2021 年中国VR市场规模将达到790.2 亿元，其中，内容市场整体规模为386.4 亿元。XR 遵循先硬件后内容的发展节奏，内容跨平台趋势助推产业生态加速成形，第一代消费级虚拟现实终端的推出标志着硬件门槛降低，产业发展路径开始由硬件导向向内容导向转变。在解决虚拟现实“有车没油”的产业痛点过程中，如何提升高质量虚拟现实内容数量，降低内容开发门槛，加速内容生产流程，成为推动虚拟现实由小众市场向大众普及的当务之急。通过云XR 平台，对接海量优质的XR 内容和各形态终端设备，设计出多种交互式的AR/VR/MR 智慧教学产品，延展出丰富的智慧教学教育场景。让XR 云平台牵手5G，赋能计算机教学。

1 教育培训对扩展现实技术的需求

1.1 教育培训定义

狭义的教育指教师在学校按照一定的要求和目标培养人的活动，广义的教育包括能增进人们思想、品质、体质以及技能的活动。

培训是教育的一种方式，在主体上与狭义的教育有区别。培训主体可以是政府、事业、企业等，培训对象是有受训目标的个人。培训的内容是将技术和方法快速传授给在岗或即将上岗的社会人员。本文所指计算机教学既包含狭义的学校教育，也包括政府、事业、企业单位的培训活动。

1.2 扩展现实（XR）技术概念

XR 是一个概括性的术语，它包含了增强现实（AR）、虚拟现实（VR）和混合现实（MR）。AR 将虚拟和真实的物体集成在实时显示中，而VR 让用户在一个模拟真实或想象的世界中控制和操纵他们的动作。这两种技术混合在一起让用户形成身临其境的体验。无论是在看360 度完美呈现的电影，玩游戏，通过建筑物的三维模型，穿越宇宙，或任何其他身临其境的体验，XR 设备创造的幻觉，使人感觉好像进入一个全新的数字世界。

高通在2017 年XR 报告中定义了“XR”是用来描述增强现实（AR）、虚拟现实（VR）、混合现实（MR）以及所有相关的用例。高通是从这些“R”的底层去看，AR、VR 或者MR 的底层软硬件技术大部分是相通的。所以，高通用“XR”这个概念来包括虚拟现实、增强现实和混合现实的整个业务内容[1]。

1.3 计算机教学对扩展现实技术的需求

虽然目前实训教学在教育培训中的开展已经普遍化、常态化。但是仍可以看到，在教育培训中依然存在许多问题亟待解决。

1.3.1 虚拟实训项目终端成本投入高

对于学校来说，实训项目的建设需要使用复杂而昂贵的设备，职业学校的资金主要来自于自筹或政府部门专项拨款。如果建设成本超出预算，很多项目也不能落地，学生只能听教师讲解或者观看2D 的视频，很难有实际操作体验的机会，这样不利于学生实践的训练，也背离了实训教学的基本目标[2]。

1.3.2 异地多人协同互动需求逐渐增多

某实训基地，实训人员戴上头盔，一台发动机出现在眼前，将手中的手柄按一下即可对发动机进行零部件拆解操作，以及旋转360 度进行观察等，但当需要异地的教师或者同学协助完成该科目时，会因为网络和技术的诸多限制而不能实现该功能。某学校对火灾逃生演练的虚拟现实技术提出了更高的要求——需要30 人同时参与虚拟逃生演练的实训科目，但却因成本太高无法达到该要求[3-4]。

1.3.3 统一运营与管理缺失

大多数教培领域中的客户对教学内容都缺乏统一的运营与管理，学校无相应的管理措施，缺乏专门和统一的运营与管理方案，最终影响教培的质量。

实际教学使用过程中，许多学校只是把建设好的虚拟现实教学系统当做一个摆设，缺少专人维护。这主要是由于学校有关部门对虚拟现实教学系统管理维护工作不重视，没有制定对系统设备进行管理和维护的严格规范。一些地方只是把建设好的虚拟现实教学系统当做一项面子工程，缺乏后续使用维护方案，对提高教育实训教学质量作用不大。

1.3.4 教育培训内容水平参差不齐

专业的软件开发团队较难准确把握课程内容的实质；而职业教育教师的虚拟现实技术水平有限，很难开发设计出具有系统稳定、结构优良的教学软件[3-4]。

1.3.5 统一的终端接入标准及图形API 标准缺失

终端接入标准即如何将特定类型的VR 设备统一接入，如有不同功能的VR 设备，但基本功能一致。图形API 标准是指VR 应用程序与图形引擎怎么呈现内容，并接收数据。标准不统一、缺少制定标准和规范的机构平台，导致最后开发出来的系统在性能和规格上有很大差别。

2 云XR在计算机教学中的应用

2.1 云XR 概述

2.1.1 技术原理

云XR 是一个以云计算和应用流化技术为基础，以视频流作为云端到终端沟通的媒介，以云端运行XR 应用+XR 眼镜的组成架构。云XR是对云计算技术的灵活运用，将云计算和XR 技术有效结合，解决了传统XR 产品架构面临的XR 应用承载和展现的问题。

在云XR 架构中，所有的XR 应用均运行在云端，利用云端的强大计算能力和显卡的渲染能力实现XR 应用运行结果的呈现，云端运行的画面和声音经过低时延编码技术的处理，形成实时的内容流。实时流通过网络发送到终端，实现低时延解码并呈现于XR 显示设备上。同时XR 显示设备将用户的控制信令发送到云端用于操控应用，实现用户与应用的互动。因此，云XR 架构中，主要利用了云端的XR 应用运行能力和XR眼镜的视频播放、控制信令采集能力，实现了运行能力由云端转移到终端的过程。云XR 平台架构如图1 所示。

图1 云XR 平台架构图

在云XR 平台架构中，将XR 应用运行与应用展现相分离，云端完成应用处理和结果下发，XR 一体机仅需要实现最基础的视频解码、XR 处理、XR 画面呈现以及控制信令上传，而不需要处理与实际业务相关的计算，大大简化了XR 一体机的内部结构和处理性能需求。直观地说，就是将我们常见的主机（计算单元）与显示、操控外设分离，把主机放到云端，将显示、外设等留在用户侧，因为用户不需要独占一台主机或者使用很强性能的手机，且一台主机的处理能力为多个用户进行共享，从而实现“按需访问”的需求。

云XR 平台是一个开放平台，其开放性体现在两个层面，一方面是云端的开放，云端系统支持多种XR 应用的运行，包括基于Windows 的XR 应用以及XR影片的播放等；另一方面是终端的开放，采用云XR 平台的设计思想，将原来依赖于或受限于本地的处理能力终端转移到云端系统，其开放性体现在支持多种终端，包括手机+手机式XR 眼镜、机顶盒+独立式XR 眼镜、弱PC+独立式XR 眼镜等，终端只需要使用云XR 终端SDK就可以很方便地接入基础云XR 平台中。

2.1.2 系统架构

Cloud XR 平台采用分布式的系统架构（如图2 所示）。通过分布式的系统架构减轻视音频流给骨干网带来的压力，同时降低了视音频传输的网络时延，提供给用户更加优质的体验。

系统主要分为中心管理系统、业务系统、渲染调度系统、云渲染系统、云编辑、视频前端服务、视频后端服务以及大数据分析等几个部分。

2.1.3 网络架构

通过在5G MEC 上部署Cloud XR 渲染能力、会控及媒体处理平台，协同Cloud XR 业务处理系统，并配合部署在云端的中心管理平台，实现用户在本地或者异地的XR 教学和培训（如图3 所示）。学生不需要在现场实际操作，只需要观看/互动操作便可以实现XR 沉浸式的用户体验，提升教学和培训效果。

5G 网络的大带宽特性，MEC 边缘云的低时延特性，将本地PC 需要的渲染、识别、编码等计算能力转移到MEC 进行处理，这些计算能力构成Cloud XR 业务平台的核心能力，使XR 头显向轻量化。借助5G 大带宽与低时延的能力，将XR 内容云化，可以提供更加高效便捷的内容分发能力。

图2 云XR 系统架构图

图3 云XR 网络架构图

2.1.4 体验标准

弱交互业务场景中，用户关注的是VR 视频的画面质量、初缓时长和卡顿情况。强交互业务中，用户更关注与交互相关联的问题，如是否眩晕、画面是否有黑边、画面是否流畅以及操作响应是否滞后等问题，具体如表1 所示。

2.2 云XR 技术在计算机教学中的应用场景

2.2.1 异地多人协同教学

异地多人协同教学系统是让多个使用者沉浸在同一个虚拟的场景中，能够构建多人协作的工作环境，通过语音、答题考试等系统功能实现多人异地协同的高效沟通全过程覆盖。计算机教学的需求越来越趋近于跨部门跨区域的多人协作，平台将使用对象划分为培训人员和参培人员。培训人员可以管理参培人员的课件推送、内容启停以及观看每个参与者的视角。每个参培人员带着各自的终端头显，在同一虚拟场景下相互协作完成真实世界的大型活动分工与协作任务[5]。

表1 用户体验标准表

2.2.2 远程虚拟教学

远程虚拟教学仿真实验与5G 通信网络技术结合，灵活的实验资源配置可以提高实验器材的使用效率。

汽车构造教学中，教师在远程教学过程中，通过集中控制与管理，可以让异地的多名学生在虚拟教学环境中，近距离观察到逼真的汽车内部结构，通过亲手拆卸复杂的零部件来学习汽车构造和工作原理，还在很大程度上避免了实物零部件的损耗。医学认知教学中，所处不同区域的教师，可以让远方的学生通过三维人体模型近距离无死角地观察肌肉、血管、骨骼等内容，并通过视、听、嗅、触全方位调动学生兴趣。

2.2.3 远程虚拟实验

工业装配实训中，对机械的拆装训练使身处异地的学生在真实接触之前有了初步的感性认识，避免了直接使用危险用品，保证了安全。远程模拟手术训练可让学生体验到实验的过程并感受到结果，虚拟的临床经验可帮助其提高对教学内容的理解和认知。实时模拟的远程实验可以让双方协同操作实验，并共享实验数据[6]。

2.2.4 异地直播点播教学

云XR 依赖于5G 网络大带宽、低时延，以及云端服务的可扩展性，VR 直播课程由摄像机采集端对视频进行拼接压缩编码，通过5G 网络上传至云端，云端处理后通过5G 网络分发超高分辨率的视频，让学生能够将整个现场环境尽收眼底，让异地学生犹如身临其境，使用第一视角去感受现场氛围。教师在上课过程中可以对实时课程进行录制，并发布到云平台，供需求用户随时随地访问。

2.2.5 VR/AR 云端编辑

VR/AR 内容制作需要花大量的时间和人力成本，云编辑工具不需要编程通过拖拽的方式完成AR 和VR 的场景搭建，无须编程即可完成内容制作。

过去，制作150 平的室内家装场景，从3D模型到交互场景，根据难易程度和内容的不同，可能需要两人10 天的工作量，售价5 万左右。制作一张CAD 底图，需要通过工具做出3D 模型，再将3D 模型导入渲染引擎完成贴材质、光线布置、交互逻辑设计，以及烘培渲染光照等步骤。而云XR 平台中，用户只需通过云端编辑器自由拖放，用超出PPT 编辑的简单方式对VR/AR 内容进行创作，无须填写代码。用户挑选合适的素材，编辑素材并调整属性参数，同时对交互逻辑进行设定，生成内容后点击发布即可完成AR/VR 内容的创作。

2.2.6 云端内容库

云XR 平台内容库提供覆盖义务教育、高等教育和职业培训的教学课件，用户可按需查找相应课件并下载使用，也可通过云端编辑器使用内容库中的3D 模型、3D 场景以及现成的全景图片和全景视频制作VR/AR 内容。

3 云XR平台发展趋势

3.1 统一开放的接入标准

云XR 平台基于SOA 设计思想，采用分层提供服务支持的设计思想，坚持数据、服务、应用相分离的架构原则，在保持灵活性和扩展性的前提下，实现数据统一管理，其总体功能规划如图4 所示。

图4 云XR 功能蓝图

系统对每一层定义明确的功能接口，同时在层次内实现组件化的接口实现。层次化、模块组件化的实现，使系统具备了最大程度的灵活度，从而能对业务需求的变化做出快速的反应，使系统具有很好的扩展性。

云XR 平台核心能力包括视频能力、渲染能力，AR 引擎能力平台以3 种能力为基础对外提供服务。平台允许用户以多种类型的终端接入系统，包括手机、平板、PC 和XR 终端等，基于某个终端可以扩展多种业务，如基于一体机的头盔可以体验可交互的云应用或视频。基于不同的业务场景可扩展多种应用，如基于云教室的在线直播App、基于培训类可交互的行业培训App 等。