基于个人智能终端的分布式虚拟现实实践教学系统的设计

宋 鹰， SONG Sean

（1.中国石油大学（华东）地球科学与技术学院，山东青岛266580；2.坎特伯雷大学工学院，新西兰克赖斯特彻奇8011）

0 引 言

虚拟现实技术（Virtual Reality），简称VR技术，是以计算机技术为核心，结合全景摄影、图形渲染、姿态传感、伺服反馈、网络通信、人机交互等最新技术，建立和营造出一个可以实现多感官体验的三维虚拟世界，进而为用户提供身临其境的沉浸式体验［1-2］。VR技术可以广泛地应用于航空航天、军事、高端设计与制造、医疗、娱乐、远程通信、教育与培训等领域。VR技术最早应用于教育领域是在20世纪90年代初，由Mclellan等学者提出将虚拟现实作为一种学习媒体技术创造虚拟情景的学习，为高等教育的教学活动提供可能性的变革［3］。

现场实践、实训、实习教学是各类教育教学活动中时空跨度最大、最为复杂的组织形式［4］。为了达到最好的教学示范效果，需要有先进的技术手段作为支撑。与其他技术方法相比，结合了虚拟现实技术和网络通信技术的分布式虚拟现实系统（Distributed Virtual Reality）［5］，可以将不同用户通过网络连接成一个共享的虚拟世界系统，实现资源的共享和协同式交互。该系统具有群体协作性、情景沉浸性、动态操作性和实时交互性等特点，可以为地矿油、农林水、军事、交通等对实践场地和安全要求高的学科的实践类教学活动提供一种全新的技术支撑方法和理论创新工具［6-10］。

本文以现场实践、野外实习教学和演示的具体需求为基础，设计了一种以智能手机和硬纸板为近眼显示器主体、以民用无人机为搭载平台、全景摄像机为视频采集设备、5G移动网络为信息传输介质的符合我国国情的分布式虚拟现实实践教学系统，开展野外实践现场的虚拟现实交互式教学，提高实践教学的质量。

1 分布式虚拟现实系统的基本原理

分布式虚拟现实系统，通常由图形显示器（客户端）、控制设备（主控端）和数据网络3大部分组成。其中位于客户端的图形显示器，又称为近眼显示器（Near Eye Display，NED），是虚拟现实系统最重要的客户端设备。

成人双眼瞳孔中心点之间存在55～75 mm水平距离，造成双眼视网膜上的物象存在一定程度的水平差异，这种水平像位差称为双目视差［11-13］（见图1）。而人脑内视觉神经皮层可以将双眼观测的不同图像融合，消除双目视差，在人脑中形成一幅立体的图像。虚拟现实系统正是借鉴人类眼球结构和视觉神经系统的视觉信息采集和加工机制进行仿真模拟，借助水平位置不同的多组相机同时拍摄，获取多组图像后，在近眼显示器内并列放置，从而使观测者产生三维立体的视觉，实现视觉上的沉浸感。常见近眼显示器除了高分辨率屏幕外，还内置有陀螺仪、加速度计等惯性传感器和全球导航定位系统，可以实时跟踪佩戴者的朝向、方位等姿态变化，并相应调整显示屏幕画面的视场角，这就使得佩戴者拥有如同完全置身于虚拟世界之中的沉浸式体验。

图1 人类眼球成像原理及视觉双目视差示意图［11］

随着虚拟现实技术的迅速发展，作为客户端的近眼显示设备也成为研发的焦点［14］。然而，目前市场上常用于虚拟现实教学的近眼显示系统，通常为国外进口产品，成本高昂，难以成规模的应用于实践教学等活动之中，更无法适应我国高等院校实习活动一般集中安排和大班制教学的现状。

2 分布式虚拟现实系统设计

2.1 设计目标

本系统将光机电一体化、近眼显示（NED）、无人机全景摄影（UAV Photography）、人工智能（AI）、5G 物联网、地理信息系统（GIS）等关键技术深度融合，利用智能手机等个人智能终端为显示媒介、多旋翼无人机和全景摄像机为视频采集装置、5G高速互联网为数据传输媒介，设计分布式虚拟现实实践教学系统，以满足室内和现场等不同情景下大班制教学和示范的需求。

2.2 硬件设计

本系统的硬件部分由近眼显示器、移动视频采集装置和主控终端三大部分组成（见图2）。分别实现虚拟现实图像显示和交互、移动全景图像采集和直播、5G物联网构建和系统控制等不同功能。

近眼显示器由机壳、遮光罩、透镜组、调节螺母、软垫、粘扣、尼龙带、控制盒、连接线和个人智能终端组成［见图2（a）］。机壳是由硬纸盒折叠或ABS塑料加工成形的箱式结构，也是近眼显示器的主体，与其前端盖板之间用粘扣连接，在前端盖板上粘贴有软垫以增加摩擦力固定智能手机等个人智能终端；机壳后端安装有遮光罩和尼龙头带，分别用于屏蔽光线和方便佩戴；机壳内部包括若干独立空腔，空腔之间开有通孔用以安装透镜组。透镜组由两片平凸透镜（d＝4 cm，f＝1.5 cm）和筒形外壳组成，其外表面上有螺纹，可配合调节螺母调节焦距。控制盒安装于机壳右侧，其外表面设有控制按钮，内部空腔安装有主控模块和5G网络模块，用于接收和放大5G网络信号，并控制个人智能终端。连接线一端连接个人智能终端，利用个人智能终端电池为控制盒供电，另一端则连接控制盒。个人智能终端包括常见的基于Android或IOS等操作系统的智能手机或其他小型智能装置，该类装置一般配有高分辨率显示屏、导航定位芯片、陀螺仪和加速度计等。

移动视频采集装置由多旋翼无人机和全景摄像机组成［见图2（b）］。多旋翼无人机采用常见的民用级四旋翼无人机，其机身底部或机腹可外挂不少于0.5 kg载荷，飞行距离不低于1 km，直播回传距离不小于0.75 km，续航时间不少于20 min，抗风能力不小于4级（风速20～28 km／h）。全景摄像机安装于无人机机身底部或机腹，通过4个鱼眼摄像头实现360°全景拍摄，内载视频拼接处理芯片，通过算法处理实现实时全景拍摄并将视频信号直播回传至主控终端。

主控终端由无人机遥控器、5G网络天线和总控模块组成［见图2（c）］。遥控器包括4个控制通道：第1通道控制副翼，第2通道控制升降舵，第3通道控制油门，第4通道控制方向舵。网络天线，一方面用于传输主控终端与无人机之间的通信信号，增加无人机遥控距离并提高信号传输稳定性；另一方面，该天线还用于在野外现场组建5G局域网，实现主控终端与客户端（近眼显示器）之间通信信号的稳定传输。总控模块用于控制和管理整个分布式虚拟现实实践教学系统的运行，并实现野外路径智能规划等功能。

使用时，①实习教员通过主控终端在野外实习现场组建5G无线局域网，并指导所有实习学员的个人智能终端接入该局域网；②实习学员将手机等个人智能终端固定于机壳内，并用数据线与控制盒连接，从而构成完整的近眼显示系统；③实习教员通过主控终端放飞和控制移动视频采集装置，移动视频采集装置在飞行过程中通过5G网络实时回传信号至主控终端，主控终端再通过5G局域网将视频信号发送和共享到各实习学员所佩戴的近眼显示系统中。实习学员可以转动调节螺母调节透镜组与屏幕之间的距离，以达到最佳的立体显示效果，观看无人机拍摄的实习区图像（见图3），还可以通过头部的上下左右移动来转换观测视角。通过控制盒上的按键实现人机交互操作，实现各种功能（见图4）。

图2 分布式虚拟现实实践教学系统硬件结构图

图3 近眼显示器内屏幕影像图

图4 近眼显示器实拍图（黄色机壳由硬纸板折叠而成，白色控制盒安装于机壳外侧）

2.3 智能路径规划算法

实习路径规划，常被称为踏勘或野外踏勘，通常是在开展现场调查和实习工作之前，对实习区的基本情况、各实习点的基本位置进行摸底，规划最优的实习路线，以保证实习任务的圆满完成。其目标是从起点出发，以最安全最高效的方式访问所有实习点［15］。城郊、平原等实习区的路径规划相对简单，只需考虑实习点的地理位置和实习区当地路网分布即可。然而对山区、沙漠、滩涂、采坑等复杂地貌或地形切割剧烈的实习区进行路径规划时，还需要考虑实习区当地其他因素，主要包括：① 悬崖、巨石、河流、沼泽、滩涂、滑坡、施工现场等各类障碍性地物分布情况；②实习区主要植被类型和覆盖程度；③实习区地貌地形特征。

如何对复杂地貌实习区进行快速分析，并自动规划出最安全最高效的实习路线是野外现场实践系统的核心技术。本系统所用的路径智能规划算法基于Python语言编写，应用数组与矩阵运算库［16］和Open CV3库［17］的计算和图像处理函数等人工智能算法，对实习路线进行合理规划。

智能路径规划主要包括影像采集、图像增强、数字高程信息提取、智能分析与规划等4个步骤。

（1）影像采集与生成。在主控终端输入实习区4点坐标。无人机围绕实习区飞行一周后，采集全景图像，并自动拼合生成4点坐标所围限区域的高分辨率影像图（鸟瞰图）（见图5），定义为fieldpanorama.tif。

图5 某露天矿区全景影像及实习路径规划图

（2）图像增强与识别。① 调入Python语言自带的数组与矩阵运算扩展程序库NumPy（Numerical Python）［16］及计算机视觉扩展程序库OpenCV3［17］。②程序读取无人机拍摄的高分辨率影像图fieldpanorama.tif，将图像划分成一个m行n列的矩阵栅格。③根据实习区地理环境，设定目标色区间。例如，对植被覆盖的花岗岩露头区进行实习作业时，将植被典型颜色—绿色和深绿色设定为背景色，将野外小路与岩石露头的典型颜色—黄色系设为目标色，即150＜R＜255，150＜G＜255，0＜B＜150。④ 程序对图像逐个栅格进行扫描，识别栅格内颜色是否落在目标色区间内。最后将符合条件的目标色栅格存储为critri数据包内，就可以区分出实习区内所有无植被覆盖的区域，作为后续路径规划的基础。

import numpy as np

import cv2

img ＝ cv2.imread（‘fieldpanorama.tif’）

m，n，p ＝ img.shape

critri＝ np.zeros［m，n］

for i in range（m）：

for j in range（n）：

if img［i，j，0］＞0 and img［i，j，0］＜150：

if img［i，j，1］＞150 and img［i，j，2］＞150：

critri［i，j］＝ 1

（3）数字高程信息提取。利用在线高程数据库的应用程序编程接口（Application Programming Interface，API），提取实习区数字高程［18］（Digital Elevation Model，DEM）数据。由于不同的DEM数据服务商所提供的数据精度各不相同，建议在实际操作中数据精度精确到以秒为单位（1″≈30 m）。接入DEM数据库后，由程序按照实习区4点经纬度坐标逐秒提取其对应的1″×1″网格内海拔高程信息，并且将所有高程信息存储到height数据库。

api＿key ＝ ″account name″

serviceurl＝ ″url address ″

data ＝ serviceurl.read（）

point＿1 ＝ （c，a）

point＿2 ＝ （c，b）

point＿3 ＝ （d，a）

point＿4 ＝ （d，b）

left＿corner＝ point＿1［1］

right＿corner＝ point＿2［1］

upper＿corner＝ point＿2［0］

lower＿corner＝ point＿3［0］

longitude ＝ left＿corner；latitude ＝ upper＿corner

i＝0：j＝0

while longitude＜b：

i＝ i＋1

longitude＋ ＝longitude＿delta

while latitude＜c：

j＝j＋1

latitude＋ ＝latitude＿delta

height［i，j］＝ data.reverse＿decode（″height″）

（4）智能分析与规划。① 输入位于实习区内的起点坐标sp，实习点坐标ep。② 将已经生成的高程信息（height）数据包与目标色（critri）数据包进行叠合及匹配。如果起点和实习点之间，在矩阵内有路径相连，那么就利用二阶拉普拉斯方程对所有可能路径的高程求导，利用梯度下降（gradient descent）算法计算出高程梯度最小的相连路径，即最优路径（best path）。如果实习区植被覆盖严重，即起点和实习点之间在critri矩阵内无法直接相连。那么直接对高程信息（height）数据包求导，得出由起点到实习点的高程梯度最小的相连路径，即备选路径（secondary path）。在野外实习中，一般要途径多个实习点，可以通过在程序内多次输入起点和实习点的坐标得以实现。

try：path ＝ connect（sp，ep，critri）

best＿path ＝ find＿path（sp，ep，path，critri*height）

except：secondary＿path ＝ find＿path（sp，ep，height）

def find＿path（sp，ep，critri，height）：

path ＝ connect（sp，ep）

laplace＿result＝ laplace（height，2）

preferred＿path ＝ minconvotre（path，laplace＿result）

return preferred＿path

cv2.imshow（path）

3 系统的工作模式

根据教学活动中的不同应用情景，本系统有多种工作模式：

（1）实验室室内演示模式（Demo mode）。该模式主要利用近眼显示器作为虚拟现实图像显示端，实习教员在室内播放系统内存储的全景影像视频，实习学员则通过佩戴近眼显示器观摩学习，达到身临其境的沉浸式实习效果。

（2）现场鸟瞰模式（Cruising mode）。又称为现场巡航模式。实习教员现场操作移动视频采集装置，飞行至实习区各实习点（如野外地质露头）上空悬停后观测拍摄。实习学员佩戴近眼显示器实时观看视频直播回传画面，逐一了解各实习点概况并听取实习教员的现场讲解。实习教员还可以对特定实习点进行抵近观察、拍照和讲解。在植被覆盖茂密或地形特别复杂、无人机无法施行抵近观察的地区，则可以利用无人机搭载的全景摄像机的变焦功能实现远程放大观察。

（3）路径规划模式（Routing mode）。该模式主要用于实习现场路径规划，尤其是植被覆盖茂密、人烟稀少、地形复杂的地区。实习教员设定实习区4点坐标并放飞移动视频采集装置，无人机环绕实习区一周，采集和自动生成实习区全景图像。在实习教员确定所有实习点空间分布位置后，利用系统的人工智能算法，智能规划从起点出发依次访问各实习点的最优实习路径，并标注于现场图像之上，生成实习路径图（见图5）。实习人员可以根据自身情况，对照实习路径图进行实习勘查。

4 系统的应用效果

（1）本系统提供了一种具有自主知识产权的、符合我国国情的、实用可行的虚拟现实教学系统的解决方案。本系统的客户端由普及程度最高的个人智能手机和低成本的硬纸盒或塑料壳组合而成，而系统端使用的则是国产消费级的无人机和全景相机，降低了至少90%的采购成本，后期使用和维护成本也很低。其实际应用效果与国外进口成套的虚拟现实教学系统基本一致，特别适合我国高等院校大班制实践教学的实际需要。

（2）突破实习现场条件限制，保障实习人员安全。利用沉浸式、分布式虚拟现实系统，可以弥补高校实践教学条件的不足，即便是在室内环境，也可以通过近眼显示器营造出实习现场情景，这样就可以突破实习器材、自然条件、实习经费等因素的限制和制约，在降低实践实训教学成本的同时消除各类安全隐患，保障了实习人员的安全。

（3）增强实习活动的现场体验感，优化实习教学效果。虚拟现实系统的最大特征就是沉浸性、交互性和构想性。通过头戴式近眼显示器，实习学员可以通过转头、抬头、低头等动作切换观测视角，实现感同身受、人机互动，并且可以从多维、动态的角度对实习对象进行精细观察，突破认知尺度的局限性。充分调动学生的积极性，增强对研究对象的感知和理解，提升实践教学活动的效果。

（4）创新虚实结合的实践实训新模式。在现场实践活动开始前，实习学员首先通过虚拟现实实践系统熟悉实习区环境、实习路线、各实习点概况等基本信息。再在实习教员的带领下，前往各实习点进行现场观察，做到虚实结合，丰富了现场实习实训教学的组织形式。

5 结 语

以分布式虚拟现实理论为基础，通过将光机电一体化、近眼显示、无人机全景摄影、人工智能算法、5G物联网、地理信息系统等关键技术深度融合，提供一种分布式虚拟现实现场实践教学系统的解决方案。该系统有3种工作模式，可以分别满足室内教学、野外现场教学、路径规划等不同需求。系统直接以智能手机等个人智能终端作为客户端显示器和处理器，降低了90%以上的硬件采购成本，可以满足我国高校大班制实习实践教学活动的需求。