全景虚拟现实技术在工厂展示中的应用

杨顺超

上海电气集团股份有限公司 中央研究院 上海 200070

1 应用背景

中国制造2025的提出,推动着装备制造领域中智能制造技术的大力发展。作为智能制造的核心技术,虚拟技术方兴未艾。2016年被业界认为是虚拟现实技术元年,虚拟现实技术利用计算机生成模拟环境,借助专业设备使用户进入虚拟空间,实时感知,从而获取身临其境的真实感受[1]。

随着现代科技和经济的发展,传统的表现方式已不能适应现实需求。360°全景技术广泛应用于各行各业,为家装、公共设施、旅游业、会展、企业宣传、产品和服务提供了更现代化和科技化的数字化展示方案[2]。

全景虚拟现实技术同样可以应用于工厂的对外展示。使用者只需要戴上虚拟现实技术头显设备,便可以体验沉浸式漫游,巡视工厂内的设备布局、运行原理、职工的精神面貌等,可省去往返工厂及巡游的时间,具有便捷式参观的效果,还保障了安全性。随着全球信息化建设的深入推进,数字化、网络化、移动化的科技浪潮为人们获取新知识增添了更多元化的途径,笔者介绍全景虚拟技术在工厂展示中的应用。

2 全景虚拟现实技术

全景虚拟现实是基于全景图像的真实场景虚拟现实技术。使用全景相机或将相机环360°拍摄的一组或多组照片拼接成一个全景图像,通过计算机技术实现全方位互动式观看的真实场景还原展示。全景虚拟现实图像如图1所示,在播放插件的支持下,使用鼠标控制环视的方向,可左可右,可近可远,使用者好像处在现场环境中,由一个三维窗口进行浏览。若使用全景视频,则可以在计算机端或虚拟现实一体机中进行沉浸式漫游[3]。全景虚拟现实技术相比传统三维建模,更加简便与快捷,免去了烦琐的模型制作、图像渲染等操作,通过相机进行真实场景捕捉,便可以获得全方位的视角。通过全景图片漫游制作平台,还可以在场景中添加图片、文字、视频、音频等元素,使使用者在获得整体认识的同时,还能够深入了解每个细节。全景漫游可以通过网页、移动设备、虚拟现实头显设备等进行浏览,能够广泛应用于家装、企业宣传等多个领域。

图1 全景虚拟现实图像

3 拍摄方案

全景虚拟现实的呈现形式可以分为图片漫游与视频漫游。通过专业平台将全景图片按参观路径进行整合形成图片漫游。用鼠标进行上下左右前后拖动观看,还可以通过鼠标滚轮放大、缩小场景。图像内部可以设置热点,点击热点可以实现场景的来回切换。还可以插入语音解说、图片及文字说明。通过拍摄全景视频的方式采集素材,进行素材整理后通过专业剪辑软件按客户需求对所有片段进行整合,形成视频漫游,还可以添加虚拟的特效元素以丰富体验。

具体而言,全景虚拟现实技术有三种拍摄方案。

3.1 定点拍摄

全景素材采集既可以使用普通单反相机,也可以使用全景鱼眼相机。普通相机由于视角不够宽广,要拍几百上千张照片,才能够保证后期完整拼接。每个角度连拍三张,一张正常曝光,一张欠曝,一张过度曝光。在后期修图时,可以将匀态过度曝光的地方修正常,也可以将过暗的地方恢复到正常亮度。

全景相机配备六个及以上的鱼眼镜头,可以拍摄分辨率为8 K的超清全景视频,拍摄的同时可以通过移动电话进行远程监控,并且可以精确调整亮度、对比度、曝光等重要参数。一键拍摄之后会存储一组六张照片,极大提高了效率。

全景相机与三脚架组合,可以定点采集某些场景的素材,通常用于记录一个对象的整体过程。为了使视频内容更加丰富,可以采用多角度、多机位方法,在比较有特色的视角同时录制,为后期剪辑提供素材[4]。定点拍摄方案如图2所示。

3.2 移动式拍摄

移动式拍摄指设备在移动的同时采集素材。在一个全景虚拟现实视频中,如果所有的拍摄形式都是定点拍摄,那么即使内容再丰富,观众也会因为单调的拍摄形式而感到疲劳。因此,移动式拍摄可以使视频的运镜模式更加多样化。

图2 定点拍摄方案

移动式拍摄的呈现效果十分震撼,但是拍摄的难度比定点拍摄大很多。全景相机在采集素材时,六个鱼眼镜头同时记录周边的事物,因此单独靠手持式移动拍摄,其中必然会有一两个镜头拍摄到当事人,影响到整部视频的画面效果。就算当事人将摄像机举在自己的正上方,也会因为移动产生的抖动而影响画质。

如果要虚拟参观工厂实景,单靠定点记录不同设备的工作流程显得单调,并且不真实,对此,在工厂内部可以借助平衡车,实现移动式全景拍摄。平衡车运动速度慢并且稳定,最终呈现的效果中不会存在强烈的抖动及光线的快速转变。平衡车移动式拍摄方案如图3所示。

图3 平衡车移动式拍摄方案

在工厂外部取景时,可以将全景相机和三脚架放置在轿车顶上,通过约束固定拍摄设备,缓慢行驶即可。

3.3 航拍

航拍画面大气磅礴,赏心悦目,与地面拍摄相比更具视觉冲击力。一般的消费级无人机都配备了高像素摄像头,但是只能拍摄普通的二维视频,若想实现全景航拍,就必须配备全景相机。

消费级无人机目前尚不存在和全景相机的组合方案,少数人会将全景相机绑定在小无人机上采集全景素材,但是效果一般,并且伴有一定的危险性。笔者采用大疆专业级无人机,能够承受一定的负重,并且具有较高的安全性[5]。

全景相机航拍方案主要有两种。第一种为采用insta360pro或insta360pro2,分别与无人机组装在一起,如图4所示。insta360pro2自带防抖功能,无需另外增设云台,属于一体机拍摄,后期拼接处理也较为方便。第二种将六个运动相机镶嵌在特制的固定架上,组成一个能够拍摄上下左右前后六个方位的拍摄系统,由于每个运动相机分别采集分辨率为2 704×1 520的素材,因此最终拼接得到的画质比第一种方案更为清晰。使用运动相机的最大缺点是,如果有一个运动相机出现故障,那么其余五个运动相机拍摄的素材就报废了。

图4 航拍方案

4 后期编辑

全景虚拟现实技术的交付成果文件由拍摄与编辑两部分组成,前期会花费一半的时间进行素材采集,待所有内容拍摄完成后,即可进行后期编辑。

4.1 素材拼接

由于采用六镜头全景相机进行拍摄,因此每部分素材都由六张照片或者六个视频组成。可用官方配套的拼接软件进行素材拼接[6],如图5所示。拼接过程中可以对亮度、对比度、饱和度、曝光等参数进行微调,也可以在后期剪辑软件内进行调试。如果在素材采集过程中都是使用raw格式或低饱和度模式进行拍摄,那么可以在后期软件中进行调色,提高视频的质感[6]。

图5 素材拼接

在拍摄地面与天空时,全景相机会拍摄到底部三脚架及顶部无人机叶片,因此在拼接完成之后需要进行补天与补地操作。拼接软件中自带的功能是将一张圆形图片覆盖在视频底部,通常会使用企业标志图片,但是用这一方法会遮挡较多的底部画面,并且影响美观,显得与视频整体效果不协调。建议消除无人机叶片时,可以用一张全景天空图进行遮挡,随后调节羽化、色彩等参数。对于地面全景,则抠出三脚架,用内容填充的方式进行增补。

4.2 内容剪辑

待所有的视频片段拼接完成并进行补天补地操作后,可以按照参观路径顺序对过渡片段根据逻辑进行拼接剪辑。素材剪辑如图6所示。为了使素材尽可能完整,不造成遗漏,在剪辑软件中不仅要将所有片段整合在一起,而且要对某些特定的素材进行裁剪、加速、减速等操作。所有的素材都整合完毕之后,再添加字幕、解说、背景音乐等辅助元素,使全景视频更富层次感,内容更加饱满[7]。

4.3 视频特效

特效指通常由计算机软件制作的,现实中一般不会出现的特殊效果。全景视频的片头片尾需要展示内容主题及鸣谢等片段,这些画面相机无法拍摄,需要使用特效软件进行制作。同时,为了增加视频的科幻感,经常会在某些场景或对象上增加粒子效果,此类效果都是靠特效制作来实现的。

图6 素材剪辑

5 展示效果

上海电气电站设备有限公司临港工厂位于联合厂房5-6区,于2008年8月1日投入生产,厂房面积近30 000 m2,加工汽轮机、发电机的核心部件,以及核电常规岛部分。以上海电气临港工厂为展示对象,利用全景相机、工业级无人机与运动摄像头组成的拍摄系统,通过全景虚拟现实技术进行展示。

参观者乘坐厂内班车对上海电气电站设备有限公司临港工厂每个车间进行参观,存在缺点与不足:① 参观及往返路程需要花费较长时间;② 前期准备工作需要消耗大量人力与物力;③ 难以提供用户定制化参观路线,需要按标准路线进行参观;④ 参观机加工与热处理相关技术的车间时,无法保障绝对安全;⑤ 无法在任意时间段对指定的关机设备及加工工艺流程进行参观。

通过全景拍摄技术,对厂区的整体布局进行全景航拍,如图7所示,并且对所有车间内部设备及工作状态进行视频采集。在前期准备工作完成之后,可以制作多种脚本,根据不同主题与参观路线进行素材整合及后期加工,添加音频、字幕、标注、特效等元素,最终将成品导入虚拟现实一体机或移动终端,针对不同参观者提供不同的全景视频。利用沉浸式漫游方案,可以不受天气与节假日约束,解决参观者随时随地进行厂区参观的问题。整个厂区的参观方案以数字化形式进行存储,后期新添加或更换关键部件只需要进行补拍,极大降低了人工成本[8]。

6 结束语

虚拟现实作为战略性新兴产业,给人们的生活带来了翻天覆地的变化,社会各界对虚拟现实产业的关注度持续提高,国家高度重视虚拟现实产业的发展,并在国家层面积极规划和布局重点,以促进虚拟现实产业的多元化、规范化发展。全景虚拟现实技术在工厂展示中是发展的方向。未来,越来越多的参观展示将由传统的带队游览发展为沉浸式虚拟现实漫游。传统的平面视频宣传片也会逐渐被全景视频替代。随着虚拟现实技术及全景设备的发展,工厂展示、新员工技术培训、项目招标和评审会变得更多元化、数字化、虚拟化[9]。

图7 工厂全景航拍

虚拟现实是新生代的信息交互技术,自2016年以来,经过不断发展和完善,迅速在各个领域和行业得到了广泛应用,对人们的知觉体验有着良好的增强作用[10]。全景虚拟现实技术在工厂展示中应用,可以为参观者呈现一个真实的沉浸式场景,减少参观者在路途中所花费的时间,并且参观者可以根据自身需求反复参观各个场景,具有推广价值。