混合现实技术在广播电视领域的应用

2023-04-24杨龙

电视技术 2023年10期

杨龙

（武山县文体广电和旅游局，甘肃天水 741300）

0 引言

随着技术的飞速发展，混合现实（Mixed Reality，MR）已成为广播电视领域的重要创新和变革因素。本文旨在探讨MR 技术在广播电视中的应用，揭示其潜在机会和挑战。首先，深入研究MR 技术的基本概念、硬件和软件组成以及与虚拟现实和增强现实的关系。其次，详细讨论MR 技术在不同类型电视节目中的实际应用，包括体育、综艺、新闻等，展望未来发展趋势。

1 MR 技术概述

1.1 MR 基本介绍

MR 是一种新兴的技术范畴，融合了虚拟现实（Virtual Reality，VR）和增强现实（Augmented Reality，AR）的元素，以创造融合虚拟和真实世界的交互体验。MR 技术定义为将数字虚拟信息与物理环境相互融合，使用户能够与虚拟物体和现实世界进行互动。其独特特点包括环境感知、实时互动、虚拟对象与现实物体的交互等。MR 的基本构成通常包括头戴式显示设备、传感器技术、计算设备以及相应的软件应用。其工作原理是通过头戴式显示设备将虚拟对象叠加在用户的真实视野中，同时通过传感器技术捕捉用户的动作和环境信息，以实现用户与虚拟世界的互动。MR 技术在各领域具有广泛的应用潜力，从娱乐、教育到医疗保健和工业，为用户提供了前所未有的沉浸式体验和实用性[1]。

I.2 MR 技术的硬件和软件

MR 技术的实现涉及硬件和软件两个关键要素，这两者共同构建了用户与MR 环境的交互体验。

头戴式显示设备是MR 技术的核心硬件。这些设备包括头戴式眼镜、头戴显示器和其他形式的可穿戴设备，如HoloLens、Magic Leap 等。它们通常配备了内置的显示屏、传感器、摄像头和音频输出，以提供虚拟信息的实时显示，并能够与用户的头部运动互动，实现虚拟和真实世界的叠加。

MR 应用的开发需要专门的开发平台和工具，包括用于创建虚拟场景、编写交互代码和测试应用的软件开发工具，如Unity3D、Unreal Engine 等。开发者还需要访问MR 设备的软件开发工具包（Software Development Kit，SDK），以充分利用设备的功能和传感器。这些开发平台和工具为开发者提供了构建MR 应用程序的关键资源，以满足各种行业需求，从游戏和培训到医疗保健和建筑。综合而言，MR 技术的硬件和软件组成了其基础架构，为用户提供了交互式、沉浸式的体验，并为开发者提供了创造各种创新应用的工具。这两个要素协同作用，推动了MR 技术在不同领域的广泛应用和发展[2]。

1.3 AR、VR、MR 的关系

AR 是一种技术，将数字信息叠加在真实世界中，以扩展现实世界的感知和认知。AR 通过头戴设备或移动设备的摄像头捕捉真实世界的图像，然后通过计算机图形处理将虚拟元素（如文字、图像或3D 对象）叠加在这些图像上，使用户能够看到虚拟内容与真实环境的融合。VR 技术通过全沉浸式体验将用户带入虚拟世界，完全隔离他们于现实环境。用户戴上VR 头显，被完全包围在计算机生成的虚拟环境中，以感知和与虚拟世界互动。AR 与VR、MR 的主要区别在于用户与真实世界的关联。AR 融合虚拟元素和现实环境，VR 将用户完全隔离于虚拟环境，而MR 将虚拟元素叠加在现实世界中，同时保持用户与真实环境的联系。AR、VR 和MR 之间存在相互联系。AR 和VR 技术可以结合使用，创建MR 体验。例如，在AR 中使用VR 眼镜，将虚拟元素与用户的周围环境融合，创造MR 体验。AR 侧重于增强真实世界，VR 追求完全虚拟体验，而MR 是虚拟与真实的结合[3]。AR 保持了用户与真实世界的联系，而VR 将用户从真实环境中隔离开来。MR 则在两者之间寻找平衡，创造了虚拟和现实世界的融合，使用户能够在虚拟元素和真实环境之间互动。这三者在不同应用场景中各有独特优势。

2 MR 技术在广播电视领域的应用

2.1 MR 技术在电视节目中的应用

MR 技术在电视节目中的应用，为观众带来了沉浸式、互动性和信息丰富的观看体验。在体育节目中，MR 使观众能够实时查看比赛数据、虚拟标记和视角切换，以更好地理解比赛进程。在综艺节目中，MR 可以用于创造交互游戏、虚拟景点和特效场景，增强观众的参与感。在新闻节目中，MR可以用于可视化数据呈现、实时地理位置标记以及虚拟演示，提供更生动、详细的新闻报道。这些应用让观众与内容互动，深化了他们对电视节目的理解和参与感，同时提高了电视节目的吸引力和教育价值。

以2022 年北京冬奥会为例，依托5G 和MR 技术，实现5G 混合现实MR 智慧雪场、8K 视频传输、5G 全视角赛事服务和自由视角赛事直播等，通过5G 网络提供了实时、高清晰度的8K 视频传输，让观众无缝沉浸在赛事中。MR 技术将观众置于全景虚拟环境，提供自由视角赛事直播，让他们自主选择观看角度，以获得个性化的体验。5G 还支持全视角赛事服务，提供实时数据和多维度信息。这一创新整合了技术和娱乐，为观众带来前所未有的体育观看体验。

以河南卫视中国节日系列节目为例，《唐宫夜宴》《元宵奇妙夜》《清明时节奇妙游》《端午奇妙夜》《七夕奇妙游》《中秋奇妙游》等节目一经播出便深受观众喜爱，是文化与科技的完美结合，通过AR、VR、MR、三维建模等技术，将不同节日的虚拟背景画面与演员的实景演绎相融合，为观众带来沉浸式、临场感的观看体验。以《七夕奇妙游》开场舞《龙门金刚》为例，通过AR、MR 与超高清视频技术，以360°VR 摄影完成龙门石窟实景拍摄，并通过AR、MR 与4K 等技术实现古风舞蹈与龙门石窟的完美融合。以《唐宫夜宴》为例，充分融合了5G、AR、MR 等技术，将盛唐文化以俏皮灵动的舞姿与国宝国潮融合形式呈现，通过虚实相接的舞蹈艺术，生动呈现唐朝少女化妆与演奏的过程[4]。

以2021 年全国两会为例，人民日报智慧媒体研究院提供MR 第一视角直播方案，充分融合了MR、人工智能（Artificial Intelligence，AI）和5G 等技术，使用杭州Rokid 科技公司自主研发的MR 眼镜助力两会新闻报道。MR 眼镜集智能采访、AI 辅助创作、新闻追踪等多种功能于一身，助力新闻记者的新闻采编与生产工作，在策划、采访、编辑及发布过程提升新闻生产力[5]。

2.2 MR 技术在电影中的应用

在电影领域，MR 技术为电影制作者提供了创造性的视觉效果。在科幻片中，MR 可以用于创造虚拟世界、外星生物和未来科技，使电影更加震撼，使观众沉浸在影片的幻想世界中，增强了观看体验。在纪录片制作中，MR 可以用于可视化数据、虚拟重建历史事件和提供生动的信息呈现，丰富了教育和娱乐性。MR 还在电影后期制作中可用于特效合成和修图，提高了视觉质量和观赏性。这些应用使电影更具吸引力和创新性，为观众带来了更深刻的电影体验。

以科幻电影为例，MR 技术在科幻电影中创造了引人入胜的虚拟世界。例如，在《阿凡达》中，导演詹姆斯·卡梅隆利用VR、MR 技术创造了潘多拉星球，让观众沉浸在异星文化环境中。电影《头号玩家》展示了MR 游戏的未来，将虚拟世界与现实世界互动，呈现了一个充满冒险和创意的未来。这些电影利用MR 技术拓展了电影体验的边界，为观众提供了难以置信的视觉和情感冒险[6]。

以中央电视台科教频道和国家航天局新闻宣传中心联合制作的大型纪录片《飞向月球》为例，纪录片采用4K 超高清分辨率，提供了出色的视觉质量，细节清晰，使观众更好地感受太空的宏伟和细微之处[7]。全球首个4K MR 实时数字特效制作摄影棚结合了4K 超高清技术和MR 技术，通过实时数字特效，在拍摄过程中为场景增添虚拟元素，如太空船、行星表面等[8]。观众能够身临其境地看到这些虚拟元素与实际拍摄的环境相互作用，增强了纪录片的沉浸感。纪录片采用大量原创三维动画，以直观、生动的方式解释科学原理和月球探索过程。MR 技术在纪录片中的应用，通过模拟月球的视觉和声音效果，使观众感受到真实的月球环境，增加了情感共鸣和科学兴趣，让观众仿佛亲临现场[9]。《飞向月球》纪录片的制作中，MR 技术提供了全新的科学教育和娱乐体验，将科学主题与视觉沉浸性相结合，带给观众前所未有的多维度、立体化的视听享受。这是MR 技术在纪录片制作中的杰出应用范例，MR 为科学普及和娱乐产业带来了有趣和富有教育性的创新[10]。