身临其境看冬奥

陈宝权，北京大学博雅特聘教授，前沿计算研究中心执行主任，国家重点研发计划“科技冬奥”重点专项——冰雪项目交互式多维度观赛体验技术与系统项目负责人。

研究领域为计算机图形学、三维视觉与可视化，国家“973计划”“城市大数据计算理论与方法”项目首席科学家，主持国家自然科学基金重点项目。

北京2022年冬奥会观察指南图表，想必早已纳入广大朋友的收藏夹了。作为虎年春节期间的“重头戏”，观看冬奥会或将成为多数人过年必备的仪式感之一。2022年“冬奥日历”出台后，很多网友都表示“期待地搓手手”，但在疫情防控常态化模式下，“家门口的冬奥会”可远观而不可近距离到场观赛，又难免让人感到遗憾。

冬季奥林匹克盛会在特殊的时代背景首临华夏，中国能否顺利举办一场简约、安全、精彩的冬奥会成为全球关注的焦点，而如何让更多不在现场的朋友检验中国交出的答卷，欣赏体育盛会之大美，则是“观赛科学家”关注和研究的重点。

在北京2022年冬奥会和冬残奥会期间，不论你身处何方，只需具备5G环境，自由交互式技术便可让你身临其境地享受一台“独家”的赛事转播，你不仅可以自己做自己的导播，也可以自由选择你最想看的视角，真正实现“想怎么看，你说了算”。

2019年，北京大学博雅特聘教授陈宝权就致力于“科技冬奥”重点专项——冰雪项目交互式多维度观赛体验技术与系统项目研发。历时三年，他成功把电影特效带入赛事转播，让观众通过一部手机就能身临其境观看体育盛会。

2021年10月，陈宝权在首都体育馆调试自由视角拍摄相机。

问：通过交互VR转播技术看比赛，和真正去现场观赛的体验真的能一样吗？

陈宝权：不一样，应该是更好。因为现场你就是在座位上去观看，你的视点实际上有一定的局限。以冰球比赛为例，在运动场上，从南到北，从左到右，赛场上的热点迅速转移，变幻莫测。面对这种跳跃性极强的热点现象，一场赛事下来，很多观众或许都坐不住“冷板凳”。所以很多时候观众可能很希望跑到另外一个看台去看比赛，这在现场其实是做不到的。依托我们研发的冰雪项目交互式多维度观赛体验技术与系统，成功赋予观众“分身术”的魔力，让大家的座位和视角可以随着赛事热点随时“呼叫转移”。每个人都可以根据自己的意愿去改变视点观看赛事，而且看到的都是高清画面，这样应该能够带来一个更好的观赏体验。

问：从看得清到看得真，看上去只有这一个字的变化。一字之差的背后，来自科研团队历时3年的攻关克难，才能让更多观众享受智慧冬奥、科技冬奥的成果。能否请您介绍一下这种身临其境的体验感，有哪些技术在背后支撑着？

陈宝权：提高分辨率可以确保“看得清”，良好的清晰度则能带来更好的真实感。我认为“看得清”最重要的是能带给观众真实的现场感。什么叫在现场呢？我改变我的视点，我感觉它是个活生生的存在，是个三维的存在，它不只是一个固定的画面。因为固定画面保留视点是固定的，你是被动去观看转播信号，你就感觉不是身临其境的。所以，这个“看得真”，我们定义它就是特指，在视点的空间上我们可以随意改变。

为了确保观众观赛360度无死角、全方位呈现赛场热点变化，冰雪项目交互式多维度观赛体验技术与系统采用40—60多个相机环绕场地进行拍摄。多路视频信号经过处理生成了更多的视点，形成海量的视频汇聚到手机端。

2021年春节联欢晚会期间，8K转播技术的成功运用和實践为我们的研发团队提供了良好的参考模板和经验。目前，我国的视频编解码技术已经趋向成熟发展阶段，具备良好的基础和专业的标准体系。此外，5G技术也是海量高清视频传播的一大技术支撑，确保赛场画面及时、高效、高清地输送到观众面前。

问：360度全方位观赛，如何帮观众实现自由视角？

陈宝权：视点回放的意义在于，能够从视点之间进行一个跳跃，可以改变不同的角度。但是它不够自由，不够自由的原因在于它是跳跃的。比如要360度覆盖一个场地，可能只能是有限的相机的机位，哪怕是60个、100个也不够多。要是60个，每两个相机之间就是有6度的差别。6度的跳跃中间是有好多信息的，如果划过去它就不够自由。所谓的自由视点，就是把已经拍摄的这些视频中间的视点，把它的视频生成出来、计算出来，这样你再去整个场地穿越的时候，或者划行的时候，它就是一个无缝的体验。就好像你在这个场子里面慢慢地游走，也能看到在每一个瞬间、每一个视点相应的影像，所以这就是自由视点所带来的不一样的体验。

问：自由视角技术需要观众去主动交互，打破了人们平常熟悉的观赛习惯。如果普通观众驾驭不了这种技术，怎么办？

陈宝权：一方面，自由视点给观众带来了很好的自由度，但是确实不是所有的观众都非常熟悉这种浏览习惯。因此，传统的转播仍有它的意义。所谓传统转播，可能现场也是有多路的相机在拍摄，但是导播会切换一些精彩的视点、精彩的镜头。但是不管怎么样，他这种切换最后到了观众面前，实际上就是一路视频信号。这种导播变得非常的重要，其实也可以基于自由视点的技术，提供导播的功能。针对不同赛事的特点，让人们进行先期了解，比如冰球，无论从教练、观众、发烧友，他都知道去看哪一些镜头，事情快发生的时候他该怎么去看，这些都是有一些经验的，他们对这些精彩的瞬间都有所期待。

2021年11月，項目组成员在五棵松体育馆测试。

面对这种情况，我们可以事先把有经验的导播策略置入系统，类似AI技术，以便能够根据自由视点提供一个特别有自由度的观看模式，就可以把这样一个智能导播的技术，与自由视点生成的技术结合在一起，系统实时地生成一些精彩的片段。这些片段可以以视频流的方式切换进来，这样大家可以“躺平”了观看，但是自由视点会带来区别于以前简单的切换镜头带来的精彩画面，它可以带来像“子弹时间”这样的一种时间凝固，或者说在运动的时候我快速地飞跃相机的位置得到一种视觉的展示。

问：冰雪项目交互式多维度观赛体验技术与系统对于现场观赛的价值在哪？

陈宝权：现场观众对号入座，不可避免存在视点的局限性，而一部手机就能打破这种局限。比如某个赛事刚开始就在观众眼前，后来视点转到对面的场地去了。这时候观众可以拿出手机调整观赛姿势，这样也是实现了一个互补，虚实交融。在你眼前的时候，你就直接看，不在你眼前的时候，你就通过手机看，有点像元宇宙似的。其实，在现场还有一个特别重要的功能，就是在裁判进行裁决的时候，有些时候我们经常出现一些裁决有争论，因为视点的遮挡或者各个方面。我们这个自由视点实际上可以给现场的裁判，提供一个自由视点，也就是说他不只是从他自己的视点做决定，他可以通过我们这个自由视点，一个全方位的视点进行研判，这样对于赛事的裁决，各个方面也会起到一个很好的作用。

问：这项技术的研究对5G、VR乃至元宇宙技术的推广有哪些裨益？

陈宝权：所谓的“最后一公里”，我个人觉得应该有两个层面的意思。一个是技术层面，我们从拍摄到计算，涉及大量信息的处理、计算，然后传输，最后传到不同的终端，比如手机终端，通过一些5G网络等，它实际上确实有“最后一公里”，我们在一些主干网上可能传输的效率是够了，但是到了终端，也就是“最后一公里”到我们的手机，这个时候可能就会遇到一些问题。5G技术是非常好的帮助，技术本身渐趋成熟，基础设施、部署等各方面都比较充分，这样才能发挥它的作用。从物理层链路上，“最后一公里”通过我们这个项目，做了一个非常好的测试，因为我们在测试中间是做了整个直播的，直播对打通整个环节非常重要。

“最后一公里”，我觉得另一个是内容层面。要让普通老百姓也能感受得到科技这条线的发展，这是我理解的“最后一公里”它蕴含的意义。不是说只能在一个少数的、特殊的行业、一部分人群才能享受一技术，那就没有延伸到我们最广大的老百姓，所以“最后一公里”就没打通。我们这一次正好因为整个技术的测试，是面向体育赛事的转播，而体育赛事转播又是老百姓非常感兴趣的东西。随着项目的推进，这个测试还比较顺利，让普通的老百姓通过普通的设备——手机，非常真切地感受到这个技术带来的一些好处。所以，我觉得是在“最后一公里”上，做了一定的尝试，希望能够发挥更多的作用。

2021年10月，项目组成员在首都体育馆进行技术测试。

问：这套技术系统，除了在冬奥会期间可以让更多的人观看赛事，今后还会有哪些经济效益和社会效益？

陈宝权：从我们这一次测试的技术来看，如果说把它从体育赛事转播这个事情抽象开来，实际上它就是捕获现实场景，然后传输到终端的用户，让他们能够有一个身临其境的观看体验。这样的技术我们可以想象一下，实际上它可以应用在任何其他的场景，当然如果说还延伸娱乐，那就是舞台观看或者其他的一些大型的表演，再到和民生相关的，比如在医疗的诊断领域，我们说医生看病要望、闻、问、切，这个“望”很重要，就是我要看到这个人。同样的道理，我不只是说前面有一个摄像头来看，而是说我可以从各个角度去观察这个人的肤色，包括各种细微的一些细节，能够帮助远程的诊断，这是一个特殊的和大家相关的应用。

如果再说到我们每天都要做的事情，那就是人和人之间的交流。当然，我们现在疫情期间通过视频会议挺多的，但是视频会议它的一个问题就是，它是一个固定的视频信号，交互性弱了一些。想象一下，在视频会议的时候，如果我能看到不同角度的成员的存在，这个和现场我们日常交流就没有太大的差别，对于人和人之间的交流会带来一个无穷的便利性。所以围绕这个展开，其他的比如电子商务，购买商品之前，消费者也希望从各个角度去观摩了解。所以，人的观看体验是刚需，这项技术还有很大的想象空间。