面向智能融媒体的VR超高清应用创新发展

陈娜 胡倩倩 曹三省

近年来，传统媒体和新兴媒体的融合发展，获得了以习近平总书记为核心的党中央的高度重视。2019年1月25日，在中央政治局就全媒体时代和媒体融合发展而开展的第十二次集体学习活动上，习近平总书记在讲话中指出了我国媒体融合纵深发展的紧迫性和重要性：“媒体需要探索将人工智能运用在新闻采集、生产、分发、接收、反饋中，全面提高舆论引导能力。要运用信息革命成果，推动媒体融合向纵深发展，做大做强主流舆论。”2019年6月6日，工信部向中国电信、中国移动、中国联通、中国广电发放5G商用牌照，标志着我国正式进入5G商用元年。5G具有大带宽、大连接、低时延、高可靠等特性，能够使各种信息技术不受时空限制，突破环境和条件的制约得以广泛应用。VR、4K/8K等“沉浸式体验”技术有望实现在传媒领域的常态化应用，推动媒体融合创新发展。

智能融媒体：以智能技术为驱动，推动媒体融合创新发展

2019年12月4日，以“媒体与科技”为主题的第三届CGTN全球媒体峰会暨第九届全球视频媒体论坛在北京举行。全球媒体共同聚焦5G、人工智能、超高清视频等新技术发展给媒体行业带来的挑战和转型；共同探讨、研发满足用户需求的新媒体形态，孵化适应下一代传媒生态的5G新媒体平台；实现智能融媒体背景下的5G超高清视频技术在节目内容采集、生产、分发、接收、反馈全流程应用；同时5G人工智能将广泛地运用AI、AR和VR技术，给用户带来更丰富、更真实的视听体验。未来，5G将构建起高速、移动、安全、泛在的新一代信息基础设施，这意味着今后将形成一张全新的信息传播网络，人类将从互联网时代跨入物联网时代，成为海量数据世界的一部分，万物互联将推动智能技术更加高效地发展。

5G技术和人工智能技术的叠加和普及将促使新一代信息技术和传媒技术体系进一步结合，进而推动媒体融合向纵深发展。就当前传媒科技所呈现出的演进规律而言，媒体融合是一个不可或缺的中间进程，是“桥梁”；而深度智能化的未来媒体则是包括大众需求、技术短板、业态趋势等众多因素共同指向的清晰方向，是“彼岸”。“融媒体”与“智能媒体”或将自然而然地合体为“智能融媒体”，并成为当前传媒创新与发展演进中最为重要的趋势与方向。智能融媒体并不是二者的简单整合，而是当前的融媒体系统在以新一代人工智能为代表的智能科技创新驱动之下，面向媒体融合纵深发展和全媒体传播格局而逐渐形成的一种高级形态。其本质特征是人类自然智能与人工智能科技在媒体传播与媒体服务场景下的深度融合、广泛赋能与增强共振，代表了未来媒体演进与迭代的趋势与方向。智能融媒体具有三个典型特征：一是现实高清，即与真实世界几乎一样的清晰度，因为接收终端的屏显化，媒体内容的可视化、影像化呈现将高度清晰，4K、8K超高清技术迅速发展。二是虚拟现实，即媒体对内容的呈现方式，将主要采用VR技术来立体展示，VR影像将是主要媒体形态之一，成为未来传媒业发展的新增长点。三是超级智能，即指人工智能技术全面贯穿传媒内容的生产、传播、消费和服务等全部流程，并高度依赖其完成。

2019年1月，牛津大学路透社新闻研究所发布的报告《2019新闻、媒体和技术趋势和预测》（Journalism，Media and Technology Trends and Predictions 2019）显示：来自世界各地的20位数字领导者中超过3/4的人认为2019年将在AI和ML（Machine Learning）上投入更多资金以确保新闻业的未来竞争力。下一代技术，如区块链、5G、超高清和VR/AR技术等，将更多用于新闻业。在新一代人工智能背景之下，在媒体内容生产领域中，一个由人工智能支撑的媒体内容生产和管理体系正在逐步形成，在智能融媒体和全媒体的架构之下，这一体系将辅助媒体工作者得到进一步解放。未来融合媒体发展的方向，就是融合媒体生态是以用户数据为核心、多元产品为基础、多个终端为平台、深度服务为延伸的全新的开放、共享、智能化的系统。面向万物为媒的全媒体时代，中国传媒大学提出了一种媒体内容生产模式的高级样态，即以人机混合智能为基础的AGC（All-Generated Content，全域生产内容）。AGC是超越于当前学界和业界所熟知或新提出的、包括PGC、UGC、PUGC、OGC、BGC、MGC、NGC等在内的各类内容生产模式的新理念，它以各类主体间的全局化有机协作、非智能主体的智能化融入及人类创作者的智能增强等为基础，实现未来媒体环境下内容生产机制的本质性跃迁，进而赋能于万物为媒时代的内容大汇流和内容创意生产资源的极大丰富。

5G助力VR、超高清应用大爆发，实现媒体融合业务升级

今天的融媒体业态布局，离不开5G网络的支撑。5G网络具有强大的传输能力、连接能力和低功耗续航能力，使一切信息都可以被连接和获取。在5G时代，原先受制于传输速率、传输能耗、存储空间而无法应用的技术都可以通过云端来解决，VR（虚拟现实）、4K/8K超高清将成为5G网络的eMBB（增强移动宽带）能力重要的应用场景体现。5G在4G技术的基础上使用了众多关键技术，使网络性能得到巨大提升。通过使用大规模天线阵列（Massive-MIMO）技术提升了系统频谱利用率，对5G系统容量和速率起到重要支撑作用；通过超密集组网技术改善网络覆盖，提升网络容量和稳定性；采用新型多址SCMA技术引入稀疏编码对照簿，通过实现多个用户在码域的多址接入实现无线频谱资源利用效率的提升；使用超高频段的毫米波技术提升网络稳定性和安全性等。4K/8K超高清视频大信息量、大数据流量传输对现有传输网络构成极大挑战，以H.265标准为例，90帧4K超高清需要50-200Mbps的数据传输速率；120帧8K超高清视频至少需要200-800Mbps带宽的支持；而120帧的8K VR视频，带宽需求甚至1000Mbps以上，现有4G或WiFi网络环境难以承载4K/8K超高清视频的播放需求。我国目前尽管100M及其以上光纤宽带普及率超过47%，但用户实际体验带宽远低于这一数字。根据电视台和运营商调研数据，我国80%的百兆光纤用户仅能实现约4M的体验带宽，远远无法支撑4K视频的基本传输。5G无线通信技术标准支持 100-1000Mbps的传输速率，可有效解决4K/8K超高清视频传输速率的痛点，推动VR设备的数据传输、存储和计算功能从本地转移至云端，通过数据中心的高速处理单元进行复杂信息处理。这一改变将降低设备端的计算压力，节省VR设备中的计算模块，使设备更加轻量化，为VR设备的普适化服务奠定了良好的基础，也为媒体融合转型升级提供了重要机会。

2018年12月，工业和信息化部发布《加快推进虚拟现实产业发展的指导意见》指出，要重点支持虚拟现实技术研发和产业化，引导和支持“VR+”发展，催生AR/VR在游戲动漫、影视、文旅等行业的快速发展，创新融合发展路径，培育新模式、新业态，拓展虚拟现实应用空间。2019年3月，工信部、国家广播电视总局、中央广播电视总台联合发布了《超高清视频产业发展行动计划（2019-2022年）》，明确将按照“4K先行、兼顾8K”的总体技术路线，大力推进超高清视频产业发展和相关领域的应用。2019年5月9日，2019世界超高清视频（4K/8K）产业发展大会与国家《超高清视频产业发展行动计划》紧密同步，积极推动超高清视频产业国际交流合作和粤港澳大湾区协同创新，鼓励支持外资企业参与我国超高清视频产业发展，实现合作共赢。支持地方培育超高清视频产业创新集群和应用基地，重点推动关键技术、重点产品的研发和产业化，加快实现4K跨界应用、4K+5G融合，着力构筑世界级超高清视频产业发展高地。为积极响应和贯彻落实国家的战略布局，2018年12月28日，中国首个将5G技术与4K、8K、VR 等超高清视频相结合的国家级智能报道平台在中央广播电视总台开建。2019年，中央广播电视总台首次采用全新5G+VR+4K技术对央视春晚进行VR和超高清直播，应用5G网络来实时回传分会场的镜头到央视总台，4K超高清视频内容制作，可以观看VR春晚节目，身临其境感受春晚现场。除此之外，在2019年全国“两会”上，黑龙江广播电视台与中国移动、华为合作，试水5G数据传输，打造集“4K高清大屏前置虚拟+全息虚拟蓝箱+融媒互动调度”于一体的全媒全景全息演播室，通过VR直播带受众观看了演播室内部、4K超清摄像机、8讯道高清转播车等，为受众带来全国两会北京演播室大全解，同时应用“5G+4K+VR+AI”的新制作体系，进行智能直播报道，实现新闻报道情景化，让人们看到了媒体融合正不断地向智能进军、纵深发展。

4K/8K和VR终端设备逐渐普及，拓展媒体融合产品新形态

除5G助力外，VR、4K/8K超高清等技术也在迭代升级，沉浸显示、渲染处理、内容制作、网络传输、感知交互等五个主要相关技术领域中的难点被逐一攻克，硬件及系统层对产业发展的有效支撑激发了云端市场的爆发式增长，催生出新的业态和服务。根据赛迪智库测算，预计2022年我国超高清视频产品生产制造和服务直接销售收入将超过2.5万亿元，加上各行业的应用，总体有望形成约4万亿元的市场规模。目前，我国超高清消费终端领域发展基础较为乐观，4K、8K、VR头显等终端渗透率将不断提升。从全球市场来看，赛迪智库的数据也显示，2019上半年全球AR/VR头显设备出货量达130万台，同比增长27.2%，其中，国内VR/AR设备总出货量为7.5万台。主流厂商如Oculus、HTC、微软、小鸟看看、大朋、创维、陆续密集发布新头显。VR是超高清技术应用的重要场景。近眼显示需要更高的分辨率，8K屏幕分辨率在200度FoV下对应40PPD。超高分辨率是VR内容的最佳载体，VR天然呈现3D的体验。高帧率内容显示对于用户VR体验的影响尤其重要。VR的体验会推动用户体验从平面到立体，从观看到沉浸，从单向到交互。8K全景是起步，4K屏幕是必选，3D是刚需，VR需要更高的分辨率的帧率。从VR内容上说，巨幕内容规格至少是4K、3D、16帧。这样可以给用户体验提供良好的保障。

2017年3月28日，爱奇艺“奇遇1”VR一体机发布，搭载高通821移动平台，并且成为首款采用4K分辨率的VR一体机，标志着4K VR时代开启。2018年6月，小派（Pimax）宣布8K VR头显进入量产阶段。Pimax 8K VR头显拥有V形外观设计、Type-C接口和圈纹菲涅尔透镜光学镜片，采用8K（单眼4K）高分辨率显示平台，其视场角FOV也接近人眼自然视场角，达到200°，延迟为15ms，屏幕刷新率为75Hz，在大部分场景下可避免眩晕。2019年7月27日，EUROJAPAN CUP 2019赛事VR直播采用Pico G2 4K VR一体机，通过与360度视频内容制作公司ALPHA CODE深度定制合作，在尼桑体育场现场4个方位各架设一个高清摄像头，通过4G高速网络信号传输直播信号，最终呈现在Pico G2 4K VR一体机中。戴上头盔后，用户可以通过操控Pico G2 4K自带的手柄或者头盔上的按键切换视角，通过4个角度全方位浸入式感受赛场体验，并且有可能跟喜欢的球员近在咫尺，身临其境地感受激烈的赛事细节和火热的赛场氛围。Pico G2 4K VR一体机通过优质的VR终端处理能力和4K超清屏幕显示效果，将本直播方案以“视觉效果+交互体验”的方式成功呈现。本次LIVE VR赛事直播活动现场完全模拟5G网络环境，意在为未来5G网络的导入做准备。此次VR直播的成功进行，为未来5G环境现场直播做了重要预演，同时也提供了作为2020年东京奥运会直播解决方案的实际案例。2019年8月15日，大朋VR发布P1 Pro 4K版一体机，这款产品创新性采用3840 x 2160 4K防眩晕快闪屏，RGB全像素排列技术，真正达到4K屏幕显示效果，使画质更清晰，高达818的PPI使色彩通透精准。它搭载全球首款高通10nm工艺的骁龙XR1芯片，CPU架构Kryo360八核，GPU架构Adreno615，在功耗方面具有很大的优势；拥有3+32G/4+64G/6+128G三个版本，可满足不同用户的需求；支持8K解码，不需复杂设置，即可全面体验针对性极强的画质提升方案，为行业带来一场4K产品革新。随着4K VR屏幕的成熟，越来越多的厂商开始发布4K VR产品，可以预见的是，未来将有更多的厂商与产品步入4K俱乐部，逐步推进4K VR产品的普及，助力构建智慧型融媒体传播平台，媒体融合将呈视频化、智能化、服务化发展趋势。

VR+超高清创造屏幕新体验，打通媒体融合传播新脉络

根据国际电联于2012年通过的相关标准规定（由日本NHK电视台建议），4K超高清视频的分辨率为3840x 2160；8K超高清视频的分辨率可达7680x4320，是高清电视的像素数量的16倍。另外，8K超高清视频的色位宽度为12 Bit，色域标准为Rec.2020。4K/8K超高清视频，具有画面高度清晰、色域范围更广、亮度动态范围更大等特点，在人眼可见颜色范围内呈现的色彩范围超过高清电视的一倍以上，意味着我们可以看到更丰富多彩、鲜艳逼真的视频画面，而亮度层次更多展示的细节也更有真实感。而清晰度是VR视觉系统中最重要的标准，VR的清晰度取决于显示屏分辨率和内容清晰度，VR的大屏视域需要超高清内容以保证画面质量和用户体验。使用VR头显产品时，人眼视野中单位区域的画面内像素数量越多，用户视觉感受越清晰，而人眼视野单位区域的像素数量与视场角成反比，对于同一部影片素材，在VR中观看的清晰度要远低于在手机中观看。因此内容只有达到4K/8K超高清的清晰度，才能保证VR使用的视觉画质，为用户呈现可交互的三维动态虚拟系统，提供沉浸式的体验。超高清视频的极致画质与VR设备相结合，能显著提升用户临场感、沉浸感及视听体验，并在一定程度上避免VR用户的视觉疲劳和眩晕感。由此，“5G+4K/8K+VR”将能够成为智能融媒体环境下的新一代个人影视娱乐中心，并广泛应用于影视、游戏、互动社交等场景。

“VR超高清+影视”颠覆传统观看模式，沉浸感还原真实视觉的世界。在传统电影中，观众只是作为一个旁观者，以“第三视角”去解读故事，无法真正带入主人公的身份，但是VR电影却能打破这种局限，让观众成为故事的主人公，主动参与影片故事发展，并可以自由切换视角，打破了传统电影叙事结构，使得电影充满了主观色彩，能够还原真实视觉的世界。目前的“VR+”普遍是以全景/半全景、角色/半角色、全/有限交互、立体音/沉浸音，来从平面镜框式电影过渡到虚拟现实，增强现实，混合现实之路。就像电影《头号玩家》里表现的那样，用户通过佩戴头显设备，可以直接进入虚拟世界中进行体验。

“VR超高清+游戏”改变人机交互方式，从操控游戏到成为游戏主角。大量的体感交互设备以及个人化的体验设备，包括头盔、手机等，能够使VR系统实现更加良性的人机互动，让人们對于虚拟空间的感受更加真实。在传统的平面游戏中，无论采用哪种视角，玩家都只是在操纵角色而不是成为角色。在VR游戏里，人们不再满足于通过特定窗口观察游戏世界，而是需要环绕视觉和音轨，“VR+超高清”能帮助玩家更好地理解角色所处的环境，为玩家提供更逼真的“第一视角”和“多重视角”，让玩家沉浸于游戏世界，使整个游戏体验起来更加具备真实感，让玩家能够从操控游戏到成为游戏主角。

“VR超高清+社交”重构社交交流方式，为用户提供场景化互动体验。当前的社交媒体是基于文本、图片、音频、视频等的信息沟通与分享，不像现实生活中的社交通过活动等方式建立社会关系。但是“VR超高清+社交”可以将社交从平面变为立体，突破现有人机交互方式，构建并进入场景中的社交关系，实现真正的零距离实时沟通，场景化将是社交媒体发展的一个新高度。以全方位体验型VR社交平台Facebook Space等为代表，其运用手势识别、表情同步、视觉识别等技术，让用户在虚拟场景中参与聚会、远程会议、虚拟发布会、视频聊天等活动，增强现实感和互动性，全方位改善用户社交体验。

“5G+4K/8K+AI+VR”发展战略，推进主流媒体转型升级。为深入贯彻落实中央部署，大力实施创新驱动发展战略，积极推动广播电视数字化、网络化、智能化发展，有效应对媒体融合对电视台技术体系的深刻变革，充分满足新媒体对新技术的渴求，有效提升新技术对新媒体的驱动，打造媒体融合发展新空间，以5G、4K/8K、VR、AI等为代表的新技术、新产品、新应用，以“5G+4K/8K+AI+VR”为媒体发展战略，构建智能融媒体新生态，实现从传统媒体向国际一流新型主流媒体的转型升级。

2018年10月1日，中央广播电视总台开播4K超高清频道，作为首个国内上星的超高清综合性频道，为观众呈现高品质的纪录片、体育、动画、影视剧等类型的超高清电视节目。CCTV-4K超高清频道播出系统设计结合超高清的新技术新工艺，实现电视节目在分辨率、数字量化、色彩空间、动态范围以及三维声音频等方面的质量提高。

2020年东京奥运会和北京2022年冬奥会均将采用8K直播，推进8K制播技术全球各区域加速布局，各移动运营商也正在积极规划5G网络商用，有力支撑8K内容的传输和运行。

结语

构建智能融媒体新生态，需要通过“创新”实现“驱动”，而当前智能融媒体领域内的创新前沿则是以5G、4K/8K、VR、人工智能等为代表的新技术、新产品、新应用。在智能融媒体时代，传媒行业要积极探索和挖掘新技术潜力，努力构建“融媒体5G+”产业体系，实现媒体的跨界深度融合发展。可以预见，在未来，“5G+4K+VR+AI”将成为媒体融合发展的“新标配”，为媒体融合纵深发展阶段上的技术创新驱动，提供有力支撑。

作者陈娜系中央广播电视总台技术局技术业务部高级工程师

胡倩倩系中国传媒大学协同创新中心研究生

曹三省系中国传媒大学协同创新中心副主任、教授、博导

本文系2019年度国家社科基金艺术学重大项目“网络文化安全研究”（项目批准号：19ZD12）阶段性成果之一；本文受北京高校“高精尖”学科建设项目“中国传媒大学互联网信息学科”、中国传媒大学国家“双一流”建设工程交叉学科团队项目“虚拟现实新媒体自主创新能力提升及应用推广”（项目编号：YLTS180522）经费资助。