虚拟全景技术在野外实践教学平台开发中的应用

钟正，葛婉茹

(华中师范大学 国家数字化与工程技术研究中心，湖北 武汉 430079)

虚拟全景技术在野外实践教学平台开发中的应用

钟正*，葛婉茹

(华中师范大学 国家数字化与工程技术研究中心，湖北 武汉 430079)

应用虚拟全景技术开发野外实践教学平台，通过高精度影像采集与全景合成，将以往难以亲身到达的野外自然环境在室内移动端VR平台上展示，使学生能够对野外自然环境进行系统完整地认识与学习，创设一种身临其境般的学习体验。该教学平台以智能手机+GearVR头显为运行终端，可直观动态显示全景影像，教学内容分享传播更加便捷，促进了学生学习兴趣的培养和实践感知与认知能力的提升。

虚拟全景技术；教学平台；野外实践

1 引 言

野外实践教学是生物、地理、地质等专业教学和实施素质教育的重要基础，要求学生对野外自然环境和现象有深入了解。然而，受教学大纲和经费条件的限制，目前仍以课堂教学为主，内容枯燥、形式单一[1]，有限理论以及实验课时使学生无法获得野外环境完整的认知，造成理论学习与实际应用脱节，难以快速适应野外现场考察的要求。另外，传统地以简单的认知、实地考察和记录等为主的野外实践模式受学生生源的扩张、实习经费紧张和指导教师缺乏以及安全等因素的制约，导致产生一些无法预期的教学情境，影响野外教学的实际效果。

虚拟全景技术( Virtual Panoramic) 的快速发展为实景教学提供了一种新的表现方式。该技术以应用实景中的某一观测点为中心，通过多角度的影像拍摄和拼接，构建水平和垂直环视360°的全视角影像。相对于传统的二维视频，虚拟全景影像突破了传统的单视角和单次拍摄焦距的限制，通过在影像内部增加人与场景的交互，丰富了视频内容，以更加全方位和具有真实感的动态影像重现野外场景的现场全貌。基于以上特点，将具有高危险性和难以实践的野外场景或者自然区域(如高山丛林区、河滩地貌、机场跑道等)通过全景影像在课堂内重现，创设身临其境般的学习体验，进而展开实践的教学。

因此，笔者开发了基于虚拟全景技术的野外实践教学平台，将其应用于专题学科野外实验教学。在全景影像拍摄设备与技术、图像变形控制与全景拼接、全景呈现与应用方式上进行改进与创新。以高像素级别的全景影像再现真实的现场体验的和交互感受，提高实践教学的质量，培养学生的创新精神和科研能力。

2 基于全景技术的野外实践教学平台设计

为了使用更加真实的野外自然环境来展示专题学科信息，本平台通过在实际场景中拍摄全景影像，通过影像的拼接合成以及系统的设定[1]，使学生未去复杂的实际场景环境前就能练习、体验本课程的考察学习的目的。

2.1 导览系统设计

在导览系统设计上，主要包括三个层次：表现层，交互层和数据层。表现层主要是在用户进入系统后，可以观察到的信息，包括实践区专题信息的介绍，首页地图的预览，各航拍点和地面点拍摄的全景影像预览；交互层主要是用户在系统中可进行交互的基本场景操作功能，包括全景资源的分享、场景的选择和切换、对场景的放大缩小和移动、专题知识点解说的播放以及查看和切换有关专题信息的图集；数据层是通过Web服务器进行连接的后台数据库，包括专题知识信息数据库、场景地理位置信息数据库以及全景数据库。系统架构设计如图1所示。

图1 导览系统设计

2.2 平台系统设计

目前常用的全景拍摄相机主要是使用单个相机通过旋转角度和控制重叠区域以及开始结束时间进行拍摄，即使利用三脚架也很难控制重叠区域大小的相同，在时间的同步上也存在很大的问题。因此导致了在全景的后期拼接缝合上要下很多工夫，拼接的效果也很难高度还原真实场景。在全景影像展示方面，大多数依据现有的桌面式计算机平台，用户主要利用鼠标的拖动和点击来进行场景角度的切换，很难产生身临其境的真实体验，限制了全景影像的立体效果展示。

针对以上问题，以智能手机+GearVR作为运行终端，开发野外实践教学平台客户端程序。通过采集手机内部传感器数据，获取当前观影的位置信息。借助GearVR，教师通过头部的移动，利用头部追踪功能，感应系统会接收使用者头部的转动从而改变虚拟世界里面的视角。再将手机与课堂投影设备进行影像的共享，学生可以同步以教师的视角观察全景影像，从而改进传统虚拟全景操作和体验方式。通过完善客户端程序，满足课堂学习、分组讨论、问题分析等环节的需要。实践教学平台客户端的开发流程如图2所示。

图2 开发流程

3 实践教学平台实施

3.1 场景信息采集

根据所学知识点的相关要求，选取动植物分布较为集中、种类较为丰富的野外场景进行影像的采集，采集内容包括大厅(主界面)的三维地图的展示、各场景的航拍点以及航拍点底部的地面点、各种生物的所在点。使用的器材包括GoPro Omni 6目全景相机和三脚架。全景影像采集的过程中，保持三脚架对齐观测点且与地面垂直，全景相机固定于三脚架顶部水平台上，拍摄过程中保持相机的稳定性。将相机的FOV设置为宽，此时每个摄像机的广角视角约为170°，获得最大视角的场景，为后期方便拼接，如图3所示。

6目的GoPro全景相机由6个小的GoPro Hero4 Black数码相机组合而成，在空间的上、下、左、右、前、后分别固定一个数码相机，因此构成了水平环绕方向360° 4个相机，垂直环绕方向360° 4个相机的组合，两个方向上每个相机的拍摄范围都有重叠区域，如图3所示。该设备采用了特殊的技术，使得6颗摄像头之间能实现“像素级别的同步”，它由一个主机(1号相机)来控制其他5台相机进行同步拍摄，使得视频的后期工作变得更加简单。

图3 拍摄视角

通过将相机放置在观测点，利用设备自带的遥控器远程控制拍摄的开始和结束，借助GPS坐标信息和百度地图，确定当前的观测位置。

3.2 全景影像合成

将影像素材从全景相机中导出，初步利用Adobe Premiere对各片段影像的亮度、饱和度以及对比指标等进行微调整，减缓迎光面与背光面光照角度和光照强度差异，获得曝光水平均匀连续的图像素材。

利用Autopano Video进行影像的拼接与缝合。将各视频片段导入软件中，选择鱼眼缝合方式，焦距 20 mm，软件会自动根据相邻图像边界之间的重叠区域确定它们的相互位置，通过对每个图像边界建立关联点来识别图像之间的相似点，然后对镜头畸变和影调的调整进行运算，进而拼接成一幅全景图像。如图4所示。

图4 全景图像拼接分区

软件自动拼接完成后，会出现重影、变形等问题，这就需要对每一帧的图像进行编辑处理，利用Autopano Video的图像编辑软件Autopano Giga进行单帧图像的编辑。对于出现重影的问题，可以通过设置“消除叠影”来处理。如果两幅相邻的图片错位重影的问题比较严重或者利用消除叠影依然无法解决，可以通过在两幅图像重叠区域的相同位置添加控制点，软件会自动根据两幅图像的相同点进行重合，从而达到消除重影的效果，如图5所示。

图5相邻图像之间增加控制点

3.3 全景展示与教学应用

本平台中的虚拟全景体验可通过移动头显GearVR+智能手机的方式来完成，使用者佩戴头显，通过移动和头部转动等姿态变化，利用GearVR的头部跟踪功能，感应系统会自动接收使用者头部的转动从而改变全景影像里的视角，进而刷新移动VR中的全景内容，使用者便可比较直观动态地观看手机屏幕里的全景画面。借助头显上的按钮触控、面板调节等操作，还可对画面中特定角度进行比较仔细地观察，从而获得比较真实的场景体验。对于场景中的交互功能，可通过眼睛长时间注视(凝视操作)完成场景的切换、信息的查看等。

当应用于实验教学时，可将全景平台导入到PC端或者直接将手机与GearVR头显配合使用，连接投影设备，使学生能够通过大屏幕实时以教师的角度观看操作过程和全景影像，学生体验感受对教师形成反馈，构成完整的互动教学流程，如图6所示。

图6 课堂实践教学互动流程[1]

以湖北省神农架野外自然景区动植物展示为例，应用虚拟全景技术平台开展实验教学。具体流程如下：

(1)首先通过客户端程序调取神农架观察点全景影像资料，教师讲解实践区基本环境，组织学生观看野外场景，并对其中的动植物的分布以及种类进行观察。

(2)结合在全景影像中所观察到的动植物的分布和介绍，了解丰富的植物资源及其用途，了解动物物种多样性，认识哺乳类、鸟类、两栖类、昆虫等类群(如图7所示)。观察和记录动物行为与活动规律。

(3)观察影像之后，查阅资料，将内容分成不同的课题，学生进行分组讨论和学习，了解各种动植物类群的主要特征，掌握识别与鉴定方法；考察生物的生长环境，了解动植物与环境之间的适应与相互作用。并对知识点中的一些问题进行总结，及时向教师反馈并解决。

(4)通过再次观看影像，以测评为导向，为学生设置一些问题，在观察影像的同时，回答问题进行巩固学习，从而形成完整的教学流程。

图7 生物信息展示

4 野外实践教学平台特色分析

4.1 高精度的全景影像采集方法

传统野外现场的照片采集都是以单相机移动不同的角度进行拍摄，很难控制视角的精确定位和后期拼接的精准度，不能很好地还原真实场景，用户的全景体验也有待提升。

对此，利用GoPro Omni一体的全景相机，各分块影像之间的相互位置以及重叠区域都是固定的，并且通过自带的软件可以自动识别拼接，提高后期全景合成的精确度和缝合的紧密度。而且全景相机的6台运动相机由一个主相机控制其他5台进行同步拍摄，使得视频的后期工作变得更加简单，不用再费劲找同步点。通过该方法采集的全景影像能够改进全景影像变形控制水平和还原效果，实现对野外自然环境场景的真实再现。

4.2 全景展示和体验的优化

与VR游戏相比，虚拟全景影像不需要建立复杂庞大的三维数字场景，对硬件设备和软件的质量性能要求都有所降低。与传统的桌面式全景展示方式相比，通过移动端VR作为教学应用平台，充分发挥了智能终端方便快捷的优势，以第一视角作为课堂中学生的视角，大大提高了全景体验的真实感和交互水平，突破了传统桌面全景展示的刻板印象。

4.3 丰富教学手段、方便知识共享

虚拟全景影像在生活各个方面的应用都充分体现出了其优势，随着教育教学的发展变革，将虚拟全景影像的直观动态优势发挥到教学中，结合多学科知识，对于日常难以实现的野外实践教学，建立真实直观的现场场景。此平台即可用于个人学习的体验，也可用于课堂集体教学，对于全景中的场景和知识点可进行传分享，有利于知识的传播与共享。基于虚拟全景技术的教学方式，大大提高了学生的参与度与积极性。

5 结 语

基于虚拟全景技术开发的野外实践教学平台，实现了在室内课堂教学环境下对高危的野外自然环境的全景体验，以还原更加真实的现场场景帮助学生获得身临其境的学习体验，提高学生的实践和创新能力，培养学生的综合素质和创新精神。

[1] 李岳，蔡靖，宗一鸣等. 虚拟全景技术在工程实践教学平台开发中的应用[J]. 高等建筑教育，2016(5)：173～175.

[2] 陈璐. 实时视频拼接系统的研究与实现[D]. 南京：南京理工大学，2015.

[3] 钟正，张晓露，周东波等. 基于LBS的户外地理教学系统设计与应用[J]. 中国教育信息化，2014(15)：14～18.

[4] 钟正，胡鹏，张晓露等. 户外地理移动学习系统的设计与实现[J]. 城市勘测，2013(5)：5～8.

[5] 赵曦，刘耀林，刘艳芳等. 综合性大学野外实践教学模式初探——以武汉大学庐山地理野外综合实习为例[J]. 高等理科教育，2008(3)：121～124.

ApplicationofVirtualPanoramicTechnologyintheFieldPracticeTeachingPlatform

Zhong Zheng，Ge Wanru
(National Engineering Research Center for E-Learning，Central China Normal University，Wuhan 430079，China)

Applying virtual panoramic technology develop field practice teaching，through the high-precision image acquisition and panorama synthesis，the wild natural environment that has never been reached before is displayed on the indoor mobile terminal VR platform，enabling students to understand and learn systematically and completely about the natural environment in the field，creating an immersive learning experience.The teaching platform based on intelligent mobile phone +GearVR as terminal operation，can display panorama image directly and dynamiclly.Teaching content is convenient to share and spread，promotes the cultivation of students' learning interest，practical perception and cognitive ability.

virtual panoramic technology；teaching platform；field practice

1672-8262(2017)06-19-04

P208，G434

A

2017—05—25

钟正(1978—)，男，博士，副教授，主要研究3D GIS、移动GIS和GIS在地理教学中的应用。

国家自然科学基金项目(41201413)