基于技术角度的全景视频关键技术分析

张灿

摘要：在VR技术日益兴起下，全景视频受到了人们密切关注，并以一种新的方式出现在人们视野中。文章分析了基于技术角度的全景视频关键技术，希望可以为相关行业带来一定借鉴作用。

关键词：全景视频；技术角度；关键技术

全景视频由很多镜头360。环绕拍摄物体，支持多角度、多层面播放。用户可对观看视频的方向控制。观看全景视频的用户并不是以被动方式来观看内容，而是成了主体，积极、主动地探索观看内容。采集和制作全景视频利用的是拼接图像技术，是由很多角度来对重叠子图像进行拍摄[1]。因此，本文首先分析了全景拍摄对于VR内容采集的重要性，然后研究了用户沉浸体验中显示技术提高的必要性，最后浅谈了VR视频流畅中传输编码问题，以期可以提高我国全景视频制作技术，进而提高我国社会经济水平。

1 采集VR内容需要以全景拍摄为主

全景拍摄技术与3D图形制作进行对比后发现，全景拍摄技术能够为VR视频提供丰富的内容。而且其技术在提供内容过程中，具有操作便捷、内容采集快速等优点。在进行采集VR内容时，全景摄像机在整个采集过程中是一个非常关键的设备。从目前市面上较为主流的全景摄像机来进行分析，具有非常多类型的可选性。例如：业余便携设备、多运动摄像头组装而成的全景拍摄机。无论哪一种設备，都具备着画质清晰的优点。随着人们对VR内容采集要求越来越高，人们开始追求感官上的立体观。因此，在行业中出现360。3D全景摄像机。比如：Jump系列、Nokia也研发出了同类的产品。为了得到更加高清的画质，有的发烧友通过将多个专业级别的电影摄像机（Red dragon）进行了组合，然后让其成了能够进行全景摄像的专业级别设备。在进行内容采集过程中，相关专业人员还在全景摄像机中配备了4耳全景声采设备。

从当前全景摄像机的发展来进行分析，虽然已经取得了非常大的成果，但在其设备使用过程中，依然存在诸多问题。（l）相机分辨率中的问题。因为用户观看以前2D画面只是相当于全景画面的1/9，在观看VR内容时，想要观看到更清晰的效果，需要全景摄像机分辨率达到4K及以上分辨率。全景相机拍摄内容，主要是以固定式焦距为主，在这样的使用过程中，固定机位所拍摄的距离无法将其画面进行放大，从而需要超高分辨率才能让其拍摄内容更加清晰。而当前的显示屏、压缩以及存储等技术都很难达到这一要求。（2）I/O问题。全景相机需要对多个镜头的焦距以及快门同步控制，确保画面融合的一致性。如：Jump系列的全景相机在进行拍摄过程中，需要通过16张存储卡来实现视频记录。要完成其设备所拍摄内容的复制，需要花费相当长的时间。这样会对其全景视频的发布形成一定的影响。此外，当前互联网视频网站在进行内容发布过程的要求也相对较高，需要为其视频发布提供10接口。最为常见的就是利用SSD硬盘来进行多个数据信息的拷贝。在光纤、SDI以及HDMI等高速接口传入到视频切换台设备中直接录播处理。（3）对于全景摄像机而言，体积都是特别庞大的，在拼接压缩中会耗费很长时间。其视频需要操作人员对其采集内容进行拼接与编码计算，然后才能够实现集成到小型全景相机中，并对所编译完成后的全景视频进行输出，然后对其视频进行普通视频处理，方便后续的视频编辑处理。（4）全景摄像机进行VR直播过程中，必须要保证其拍摄过程具有稳定性，而且要确保其拍摄过程帧速达到25帧/秒。整个过程是一个非常漫长的过程，而且对其数据传输以及视频处理等方面都有着非常高的要求[2]。

2 VR视频质量是拼接编辑的重点

在利用全景摄像机多角度拍摄视频之后，应及时拼接以及校正，将很多个摄像机视频合成完整的视频，进而提供给广大用户。拼接及时需要对拼缝以及光照融合的问题，这就要求提供给用户视频内容质量较高。在拼接全景视频后，还需要进行调色、拼缝修复、字幕等后期制作。如在《撕人订制》这一综艺节目中，就需要在全景视频中加入动画特效以及对白字幕，替换擦除摄像机中的黑洞。在《中网网球赛》全景直播中，则在全景直播系统中叠加比分牌。通过调查发现，行业中有很多应用性较强的全景拼接软件，如Nuke，auto Pano等。其中Nuke具备很多功能，如生成三维点云、估计相机位置、修复拼接等。同时还有很多用在拼接全景、渲染的开源SDK中。如谷歌中的Oculus VR SDK，CardboardVR SDK等。谷歌中的Jump全景相继可以拍摄出更为立体化的全景，在排水中使用了8个左眼的摄像头、8个右眼的摄像头，可在使用Nuke软件生成左眼和右眼对应的全景图，进而得到视频不但有全景，而且立体感还很强，让用户有三维虚拟现实的体验。全景拼接编辑在使用图像处理技术后，其视频内容更加高质量，而想要实现这些，都需要便捷和强大的软件算法。

3 VR视频的流畅需要解决好传输编码的问题

在完成制作VR视频内容后，需利用媒体平台的网络发给广大用户，而当前全景视频技术面临最大的挑战就是网络传输与压缩码率。随着互联网技术的不断发展，在网络中的1 080 P视频资源播放相对较为流畅。但如果要对2 K/4 K全景视频进行播放时，必须要其网络速率达到4M左右，否则在观看全景视频时，会出现经常性卡顿的问题，对于视频欣赏体验有着非常大的影响。在对全景视频进行压缩编译过程中，通常情况下会使用rectangular球面全景图格式作为常规格式。在进行3D 360。全景图片处理时，通过是将左、右眼全景图片进行上下拼接，确保其长度与宽度比为1：1；对于3D180。全景图片，主要是利用左、右眼全景图进行左右拼接，确保其长度与宽度比为2：1。在南北极区域中，球面全景图有很多冗余像素情况，前些年，Facebook实现了全景多棱模型的构建，但在实际测试与应用过程中发现，其分辨率可以将用户不关注的画图进行分辨率降低处理。但当用户转换观看模式时，如何实现将低分辨率视角转换成为高分辨率视角，成了目前的一个技术难题。我国与其他国家很多企业也在对H.265压缩技术进行研究，这一技术可以对超高清视频中的码率有效降低，但H.265软件进行编解码中会浪费很长时间，客户端解码硬件水平还需要提高。另外，网络传输通过光纤到户，很多先进技术的应用，都会显著强化网络传输全景视频数据的流畅性、安全性。但从技术角度上来分析全景视频重点技术，其在视频制作中还有很多问题，这些问题的解决并不是一件简单的事情，需要很多相关工作人员积极研究，并记录好解决这些问题的方式，切实提高全景视频制作技术，从更大程度上提高全景视频制作技术，进而为用户提供更加高清、稳定的视觉盛宴[3]。

4 显示技术影响用户的沉浸体验

全景视频需要安全的、较为真实的显示技术呈现给广大用户，有很多显示方式，如：真三维显示、3D立体眼镜以及头盔显示器等方式。在VR中，头盔显示器是一种很典型的设备。HMD显示技术通常是对无眩晕、沉浸感等问题进行解决，这与分辨率、声音以及视场角等因素有着很大关系。如2015年暴风魔镜所研发的产品，其产品在进行视频观看时的视场角只能控制在60。左右，而且其产品外观与普通望远镜有一定的相，对于所观看画面有一定的区域限制。在观看时周边画面则显示为黑色，在一定程度上对沉浸感形成非常大的影响。据相关数据信息显示，人体眼睛可以完成120视场角，这也让VR研发团队开始着力于头盔式设备的研发，虽然已经通过实现110。视场角范围，但在进行使用过程中会出现非常明显的眩晕感，其主要原因有以下几个方面：（1）刷新率。当人们关观看视频内容时，一旦进行快速转头动作，渲染设备刷新速度无法与视角速度进行匹配，从而导致在使用过程中出现非常明显的迟滞感。要解决这个问题，需要其渲染设备刷新速度达到90 Hz以上。从目前市场中所出现的高端VR头盔来进行分析，ony PSVR头盔的渲染速度已经达到了110 Hz以上，在进行转头动作后，所看到的虚拟背景处于是静止状态，会产生一种非常逼真的视觉效果。（2）全景声。当前市场中较为出色的全景声技术产品以Dolbyatmos为最佳选择。要实现HMD全景声，可以采用HRTF技术来进行声音方向处理，可以实现虚拟景物与其声音的融合。（3）戴上HMD头盔后应对用户个体进行适配，这就好像我们换了一幅新眼镜，应对镜片中的色散、瞳距以及畸變等参数加以调整。

5结语

总而言之，在VR技术越发完善下，其为我们日常生活和工作带来了很多乐趣，但不能盲目乐观，VR技术还需要很大的发展空间。为了能够让VR技术得到更大的发展，需要研发出更加轻便的VR显示设备。让使用者能够在使用过程中，感受到其设备的舒适性。此外，为了能够让使用者更加流畅地观看VR视频，需要从网络建设方面入手，通过提高带宽的方式来实现最佳的视觉体验。对于手势交互方面的研发，应该从感知系统方面进行切入。要结合力学反馈、听觉、视觉以及身体姿态等多个方面的因素来进行考量。同时，在进行VR视频内容发布时，应该以多样化的形式来丰富其视频内容，而不只是简单地局限于视频与游戏中的应用。

[参考文献]

[1]朱云芳，叶秀清，顾伟康.视频序列的全景图拼接技术[J].中国图象图形学报，2011（8）：1150-1155.

[2]封靖波，苏志勋，刘秀平.一种基于相似曲线的全景图自动拼接算法[J]计算机学报，2003 （11）：1604-1608

[3]康彦肖，庞超实时视频图像拼接在视频中的应用[J].信号与信息处理，2008 （38）：26-28