虚拟现实技术在传媒业的应用与未来发展

范广斌

虚拟现实概念由来已久，早在二战时期诺曼底登陆时，盟军就利用双目镜片来观看飞机航拍的作战地图以呈现立体图像，这也是很早的虚拟现实形态。到了20世纪80年代末90年代初，由Sega、任天堂、索尼等公司推动的一波以复杂头戴显示器为代表的商业化尝试，最终由于昂贵的成本以失败告停。2014年，以Facebook收购Oculus为标志掀起了新一波虚拟现实浪潮。Facebook CEO扎克伯格意识到了Oculus对未来社交体验带来的变革潜力，并在诸多方面多次进行尝试，包括VR游戏、VR视频合成、网页版的VR图片分享、VR虚拟展示、VR社交、AR增强等，也引发了产业界追逐VR的浪潮，微软、三星、谷歌、HTC、索尼等国际公司纷纷加入推动市场发展。近期又有消息说Facebook正在研发独立的VR操作系统，可以由此看出VR在未来可能会以独立的终端或操作平台形式进行呈现。

VR&AR的设备发展规律

虚拟现实对用户的体验特征主要是用360度以及双目视觉投射的形式来营造一个逼真的现实环境。这种环境让你能够拥有身临其境的感受，能够像现实世界一样随着视野的转动去体验虚拟世界，去交互，甚至触摸，与虚拟物品互动。VR呈现方面的输出设备，无论是光学镜片还是纯虚拟的显示屏，它佩戴的重量、反应的速度，以及是否会造成眩晕等因素都是大家曾经所关注的方面，但VR发展中的关键因素是什么呢？

几年前笔者曾提出过一个驱动消费电子发展的规律：输入方式的变革将会带来终端消费电子的变革。这个规律曾在以鼠标键盘为输入的PC平台、以及以触摸输入为主流的智能手机平台上都已经得到了验证。VR具有陀螺仪的定位，未来还会有肢体手势以及AI摄像头的输入方式，这些输入的变革意味着VR将是继PC和手机之后的新一代计算平台。

VR设备的输入主要是得益于传感器的发展。首先是陀螺仪，有了它就可以进行360度观看。第二是定位设备，有了它就可以进行所谓6DoF六个自由度的行走，在空间里面进行3D位移。这两个输入形式是VR根本的出发点。增强现实AR也在使用陀螺仪。陀螺仪不仅是360度的，现在也用作定位设备，配合处理等技术，在获取自身空间位置的同时，获取周围环境信息，从而让虚拟的物体稳定的放置在现实的空间中。从这一点上来讲，AR的难度更高，所以真正AR的到来可能会比VR的到来更远一些。2016年VR陷入寒冬之后，业界曾经开始去发展看起来更普适的AR。但AR设备，包括AR手机、AR眼镜，体验和实用性上还是没有太大突破。2019年下半年开始，包括苹果、Facebook等比较大的公司已经意识到这一点，都已经在纷纷往后推迟产品的发布，即使是微软推的混合现实Hololense，也没有把它平民化，而是作为一个非常高端的工业级设备和实验室设备来推广。

VR产业发展的首要任务是输入设备的发展，因为只有输入才能把人的想法及动作传递给计算机。一方面是人/头部在360度环境中的定位，另一方面是动作的输入，包括手势以及体感。业界也在不断地改进VR交互的方式，使其更便捷和自然。交互的综合性发展需要很多技术的支撑，包括手柄的定位、手势的识别等。如何定义手及肢体在虚拟空间中的操作，这种输入方式的变革非常重要。人的一举一动，包括你的眼球在看什么地方等都能影响到虚拟的交互。更智能的输入还要结合处理能力，这些都是相辅相成的，从而综合到一起向前推进。而输出设备，无论是通过OLED屏还是光学镜片这种光波导的技术，都是可以通过一些传感器来把触觉传递给真实的人的。例如，通过温度、气味控制，来达到最终传递冷热香味的目的，这些对于增强临在感都是非常重要的，而且会最终提升用户的体验。

在业界大公司做的尝试中，有轻度也有重度的解决方案。轻度解决方案的代表是谷歌发布的Cardboard纸壳眼镜和Daydream软件平台，用来方便快速体验VR内容。其弱化了硬件，认为纸壳+手机就能满足的消费者。对出版传媒来说，是一个比较好的即时性方案，因为只需要在出版物上附加一个成本非常低、甚至只有10元或20元的纸壳头盔，用户就可以下载VR内容进行观看。但是因为手机日常还负担着运行繁杂应用的任务，从而导致体验大打折扣，对此类体验的兴趣也就降低了。谷歌也在2019年宣布停止对Cardboard的官方支持，转向开源社区。在重度的解决方案中，除了Facebook Oculus，HTC Vive在打造专业级的VR头显，微软也一直在开发MR头显以及Hololense。微软的MR头盔，曾经有很多硬件生产商进行参与制造，包括联想、戴尔等。但在尝试两年后，由于销量不佳，也告一段落。只有Hololense代表未来的MR眼镜，微软还在持续打造，其成本在2万元左右一台，其中集成了很多智能AI相关的技术，属于企业级MR解决方案，微软是把他当作未来的计算机以及软件系统来打造的。

谷歌的另一个尝试是在AR眼镜方面，谷歌曾经推出一款曾风靡硅谷的AR眼镜：google glass。眼镜左上角有一个小的棱镜显示器，还有微型摄像头可以用于拍照。例如，当前的天气就可以通过眼镜与手机的连接传输及显示。这种信息的提示和互动实际上相当于一个手机信息的延伸，以及攝像拍照的入口。但是这种纯极客的方式并不能完全被大众所接受，尤其是涉及到了拍照隐私。从体验度来讲，没有沉浸感，只是做了一些信息的增强，实际并没有起到应有的作用。如果把VR眼镜定义为手机的附属及延伸的话，那它的定义一定是附加性的而非主流，只是在安卓或手机系统上，分出来一个小模块，来处理信息的传递、通知、数据等。而这种作为附着设备的发展空间是十分有限的，只能当作是一个过渡的形态。谷歌在AR手机上的软件尝试是ARCore，与苹果推出的手机ARKit相媲美，目前还在聚集开发者及形成内容业态的过程中。

AR设备发展的根本也在于输入。当前大家把AR的输入定义为摄像头，通过摄像头的输入信号来识别以及获取一些信息。但是单单利用手机摄像头的识别或者类似眼镜的设备来驱动AR终端的发展，是有狭隘性的。从人的角度来比喻，输入一方面是用人的眼睛来看，另一方面也通过其他各种感官来获取，这些都称得上是输入，所以更应该强调的一个概念是混合现实（MR）。MR设备/眼镜的输入可以是各种方式的集合，可以是摄像头，也可以是手柄或手持。其输出的方式也可以在VR以及AR间转换，可以看作是在现实和虚拟场景及内容之间做一种混合、遮蔽和搭配，虚中有实，实中有虚。

能够到达消费量级的设备一定要具有可用性强，能被消费者接受从而会经常使用的特性。首先在价格方面，需要让消费者负担得起。目前离这一点的实现还有一些距离。作为专用设备来说，要么是政府政策的扶植，要么是大企业的买单。在展示方面，VR&AR现在已经具有一定的展示作用和能力了，但是在能被经常使用的易用性方面还需要时间磨练。其次是内容，现在应用的质量还没有达到蓬勃发展的地步，因为设备的量少，开发者赚不到钱，自然进来的也不多，能进来的成本也非常高昂。

VR&AR的内容生产瓶颈及解决方案

回到出版传媒行业，在2015年11月起，《纽约时报》曾率先发布了VR新闻阅读的解决方案，并将谷歌的Cardboard盒子赠送给订阅者来观看全景新闻。《纽约时报》还发布了VR新闻纪录片《流离失所》《火星任务》等。但其制作成本和作品数量非常有限，并没有大规模普及及产生效益。

在国内的出版业中，關于VR&AR的尝试也已经很多了，比如用AR来看图书，只需要拿着手机下一个APP，对着图书中的图进行扫描，就可以出来一个小的动画或者小的互动元素，这是最普遍的形式。这种基于图像处理的形式是非常初级简单的一种，但是本身的制作及分发成本还是比较高，一方面需要动画建模，另一方面需要下载APP，动辄几百兆，大的几个G，而且只针对一本图书，对用户而言是很重的负担。

目前有很多做AR的公司把纯图像的识别做到了空间识别，能够通过SLAM/VSLAM技术对空间进行识别及定位，包括物理，地面，桌面等，来增强AR的真实感，比如小的卡通人物会站在桌子上跳舞，手机移动时人物的位置像绑在桌面上一样，空间融入的真实感得到了很大的提升。这对于整个技术的发展非常有利，但对技术开发的要求就更高了。

以上多处提到了VR和AR，在此阐述一下VR和AR以及MR混合现实（Mixed Reality）的关系，其中涉及到了笔者曾提出的虚拟现实七个层次。虚拟和现实的七个层次：如果现在来画一条线，一端是虚拟，一端则是现实，有虚拟现实，就有现实虚拟；有增强现实，就有增强虚拟，而中间则是混合现实。他们之间的关系无非是在不同情景下使用不同的虚拟和现实元素组合，这些统称为混合现实（MR）。下文，笔者将更多以MR来统称VR及AR。

传媒新闻MR发展的制约因素。一方面是因为MR内容制作的成本比较高，作为新鲜的体验是可以的，但是如果作为长期的体验，无论是对拍摄环境的要求、清晰度及聚焦能力、情节体现，还是对后期编辑都还有不少挑战，所以应该限定一些场景应用类别。另一方面的制约在于MR内容的上线及分发流程复杂，当前内容的开发需要涉及到很多的技术，涉及到开发者的参与及产品上线，对于新闻出版的快速发布周期来说几乎不可能；对于上线后的分发及下载则面临网速带宽，虽然5G来了这一点让其得到了很大的缓解，但对于计算能力的要求，无论是云端算力还是本地机器的算力要求还是很高的。

MR的内容制作环节涉及到很多技术，比如说多摄像头视频缝合软件，即使是相机自动缝合，也需要去进行一些后期的加工处理，再通过特殊的方式在AE、PR，或一些专业360度全景剪辑软件进行处理。拼接不同视角的扭曲及干扰，需要繁重的人工校正和修理，花费的时长非常高，而且要达到完美几乎是无解的。此外，如果存在互动内容，还需要在里面植入3D的物品或者图像，这就需要3D建模的人员及开发人员单独利用游戏引擎去制作。生产周期的加长和技术要求增多。这是MR不能普及的一个非常重要的原因，因为它涉及的技术碎片太多，又没有一个整合的软件来处理这个问题。

MR在出版领域的应用解决方案

当前灵境世界科技的MR解决方案正在通过技术来解决这些痛点，并且已经取得了一定成果。灵境世界构建了一套自成体系的MR创作及展示系统平台，使用创作工具（MRCreator）、云服务（MRCloud），以及播放合成器（MRMixer）等几个部分将碎片化的技术整合到一起。完成从制作到成品互动内容的输出。整个过程让普通编辑人员可以轻松上手，自主操作生成内容，甚至直接配置输出，包括到用户手中的内容分发。这个一站式的制作分发解决方案提供给企业后，企业可以直接发布MR媒体新闻到读者手中。

图书是纸质的，如果把书完全搬到虚拟的场景里面去，在2D的世界里就相当于各种电子书的阅读器，像风靡一时的各种阅读APP。但是这种阅读器在三维MR世界里并不适用，达不到预想中的体验效果。因为3D的世界不光要有图书、字面、纸面，还要有各种全视野的场景，动画以及模型，以及各种3D的效果，包括通过3D的操作来触发语音朗读，以及真人讲解员等，这个是传统的2G阅读器所不具备的。

灵境世界的MR出版方案能将书面的彩页扫描并直接导入到3D的VR场景中，输出3D的左右眼视野，并将分割的动画及元素更好地融入到360度全景虚拟场景里面去，同时在此基础上增加更丰富的互动内容，通过热点或者自动触发语音朗读，把故事情节变得生动形象，达到了增强用户身临其境的阅读体验的目的。

在MR阅读的分发设备方面，灵境科技能支持带来身临其境的感受的MR头戴显示器，也可以适配各种手机PAD或安卓电视及宣传大屏，包括在阅读器上也可以去实现翻阅和互动。灵境的MR编辑器把复杂的、利用游戏引擎来制作虚拟现实产品的方法简化成让出版商、编辑等非技术人员都可以自己根据情节来设计来组装内容，并且进行多终端发布的一种一站式体验。

曾经有很多学生都在灵境世界这个平台上进行了各种实验和试点，其中包括北京大学、北京科技大学设计相关专业的研究生及本科生。他们把绘本的原始素材结合故事线通过MR的形式做了展现，最终形成了互动MR作品。这些作品集已经放到了央视新科动漫频道设在798的体验中心来展现给用户。

此外，灵境世界还跟时尚杂志，包括山东出版集团旗下的山东画报社的专家进行过一些MR出版试点，画报的内容素材经过简单的加工后也放到了虚拟的场景中，可以供用户观看翻阅等。

VR阅读的一个理念就是把书面相关的内容变得更加沉浸，AR阅读的理念通过识别页面来进行虚拟效果的加载和增强。我们曾实现过一种形式，就是完全使用在线的图片进行上传以及编辑发布。内容不一定在出版的时候全部都加载好，而是在云端进行实时的配置，包括扫描页面及情节安排等，都在后端进行更改。用户所读到的内容可以用这种互联网的方式进行实时加载，因此需要安装的应用包不会太大。当阅读到某些章节的时候，相关的内容可以从云端下载，甚至再去继续购买更多的图书和章节。这样一个形式就类似于针对出版商的一个应用商城，以及各个章节分册的书架。

MR新闻及直播解决方案

MR新闻制作以及VR直播的需求在市场上正在兴起。MR新闻制作的时效性要求很高。在MR新闻制作的过程中，在办公室的编辑和前端的记者物理地点有时是分离的，这种传统的方式导致MR内容的加工变得更加不方便，而灵境的技术允许这种远端的场景与实时的后端编辑分开或协同工作。后端的编辑、讲解人员、演播员，可以在异地分部或同时创作一个作品并生成MR内容。

灵境世界的播放合成工具（MRMixer）可以允许加载实时的场景，在辦公室里把演员或讲解员植入到VR的现场场景里面去，同时进行成片内容输出。如果带互动内容，则可以通过专有的新闻直播APP进行发布。这种易于传播的形式也可以通过系统合成平面的横版或竖版视频，或者全景视频，通过一些其他的播放渠道，包括优酷、爱奇艺、抖音、快手以及VR视频或新闻平台等来进行分发。

这个技术同时可以应用于网红媒体领域，灵境世界在网红领域已经开始跟一些机构进行合作，为网红主播制作虚幻背景视频，以及提供网红实时现场直播及电商带货的服务。这个市场有很大空间。除了制作短视频及影视，VR沉浸式直播能带来的身临其境效果也是十分震撼的。VR直播已经用在了各种体育赛事、音乐会、会议现场上。当前VR直播除了对实时缝合处理能力以及带宽传输的要求外，我们认为还有视频效果包装的需求，比如讲解、文字说明、情节等相关的模型、视频、文件、动画等。灵境世界的实时编辑工具以及直播包装能力能够满足直播的各种实时或者准实时定制需求，直播客户也可以自己动手在直播前添加各种素材。至于电视台及传媒直播服务商，则可以利用这个能力来提升直播的效果，以及进行前后期的加工。

5G与MR云服务

5G对于MR技术来讲，带来的不仅仅是带宽，也包括广阔的市场以及云端的服务能力。5G的到来对于有着大带宽需求的VR直播广播业务及内容分发业务好处甚多，对包括8K直播、甚至未来的16K直播以及VR视频的浏览业务都会起到促进作用。5G云端切片技术对于这种特定应用场景、活动直播，以及特定企业服务的带宽需求是有保证的，可以满足直播业务的带宽需求，从而能够促进VR大带宽服务的发展。在硬件方面，5G相机背包（5G实时图像采集传输设备），以及全景相机的直播服务，都会更加普及，对于VR娱乐应用分发方面也非常有利。

VR如果完全放在云端处理，对终端计算要求会降低，但对云端的实时计算要求依然很高。对于大用户量的图像处理，渲染的工作量还是非常大的。所以有时候分布式系统架构的效率需要更高，集中式计算当个性特异化的系统用户多了之后反而会成为瓶颈。Cloud VR计算服务需要通过在云服务器端的VR显卡集群计算来支撑大规模的5G互动应用和游戏业务，其成本和实时性能还有待在实践中验证的，未来端管云模式的一个结合才应比较合理。

灵境云服务为互动应用的生成和分发提供了便捷的平台，针对企业可以提供私有云及专属空间。例如，对于出版社，灵境云服务可以为所有的MR出版物设定一个私有化的空间，包括画册、互动体验等，都可以放到这一个空间里面来进行。这是有点类似于2B，2C的一个SAAS服务概念。现有的APP应用分发模式大部分还是停留在应用商店模式，即消费者直接去在商店里找APP下载。针对于企业实际上还有一种模式，企业可以给自己的员工及客户配定了一定特有的内容，只有公司的员工和用户可以下载。

这个MR应用商店平台的模式，可看作一个大的商城，里面有很多商店，然后每个商店可以有自己的店主和商品。这是一种集大成的方式，更利于针对企业提供MR服务。也是我们很多年前在华为提出过的，后来发现苹果已经把这个理念开始商业化了，只不过苹果是把它用在家庭里面，叫Family Share，它允许家庭成员之间购买应用，并可以共享给其他成员以及设定这个应用的共享权限，还可以对多个设备进行统一的共享和管理。使用苹果手机的家庭都可以使用这个功能，同时也可对儿童进行应用限定和管理。

灵境MR云平台（MRCloud）可以针对企业进行定制，定制成企业的私有化空间，包括私有云，灵境世界支持三种业务模式。第一是传统的项目承接模式，也就是由灵境世界来帮企业定制内容。第二是灵境世界给客户应用工具的模式，由客户自己在上面创作内容，然后给自己及自己的客户使用。第三是把整套运营模式整体复制给客户的模式，让客户在平台上自主运营，成为运营商。这种模式主要服务于有内容创作和使用需求的客户，针对一些大型的机构，例如，传媒集团、出版集团、电信运营商等。这些集团客户可以给自己的供应商及客户群提供这样的服务，而灵境作为技术商和维护商来提供支持。

5G下传媒行业的大屏应用

对于传媒行业，另一个应用领域是在广告和大屏的应用，也就是各种全息大屏的分发。现在各种屏幕处处可见，价格越来越便宜，效果也越来越好。与此同时，大屏应用，例如投影、全息餐厅，也已经在如火如荼的发展，正在逐渐布满整个世界。

对于这种大屏应用，灵境世界也有一套成熟的内容制作、上线及分发体系，可以减少这种多媒体大屏互动应用内容生产的瓶颈。商家可以快速的配置自己的界面、自己的logo，来用于广告宣传，并即时更换内容。这样一来小的餐馆或商店就可以每天都更换新的内容，包括商品、打折信息等，而通过传统的项目承接制作及交付的模式，是很难适应这种快速发展的。

灵境世界的MR系统是MR内容生产的一个创意创作及展示分发平台。灵境世界的MRCreator也是一个全景的编辑工具，可以很方便地进行故事线的设计，现有素材及3D内容的植入和加载、动画的编排、动画路径及互动的设定等。对于一些特殊的素材，用户可以通过自己拍摄来制作，或导入其他软件制作好的模型，并设定自己的一些特效，这个制作体系还负责互动应用的全自动打包和分发。内容编译打包到灵境云后，就可以做到一站式的发布，解决了发布到客户手中各种终端的顾虑。

结语

5G时代来了，必然会带来混合现实大带宽的应用发展，以及新型平台的发展。5G给MR技术发展带来了广阔的市场以及高超的云端服务能力，接下来要重点解决传媒行业MR出版、新闻媒体、VR直播的内容生产瓶颈，以及内容分发问题。只有充分洞察科技事务的发展规律，包括VR&AR的设备发展规律，内容形态的分层关系，企业服务与个人服务的需求关系，以及云端能力与设备能力的结合点，才能创作出更多新的亮点和适合的业务形态。借此也希望灵境世界的快速制作，云端服务，以及快速分发能力体系能够在传媒应用方面提供一臂之力，促进混合现实行业的飞速发展。

作者系北京灵境世界科技有限公司首席运营官