面向元宇宙的XR技术——咪咕冬奥前沿应用解密

罗志平 毕 蕾

在2022年北京冬奥会中，中国移动咪咕文化科技有限公司（以下简称“咪咕”）瞄准风口抢抓机遇，早在2020年12月便和央视达成合作，拿下冬奥会官方转播权，之后便深入开展赛事IP的运营，不断挖掘赛事价值，编织了多维度的内容网。冬奥会期间，咪咕APP下载量长达14天排在排行榜前三位，得到受众广泛认可。精彩内容离不开咪咕强大的科技硬实力，这是咪咕区别于其他平台最大的特色和优势，“为文化圈注入科技基因”也成了咪咕的一个标签。作为冬奥官方转播商，咪咕在冬奥会期间运用8K三维成像的超写实虚拟数字人、基于XR的互动云游戏+演艺新场景、XR演播室等先进技术给受众带来更佳的观赛体验。

一、探索超写实虚拟数字人

虚拟数字人所蕴含的商业价值已经被行业敏锐地捕捉到。2021年，虚拟数字人在广告代言、营销等领域的商业变现能力表现不俗。几乎整个市场都在推出各种类型的虚拟人，从数字分身到虚拟角色，画质从2K到8K，写实程度从卡通到超写实。其中超高清超写实的数字分身是虚拟数字人中技术难度最大、涉及流程最复杂的类型，需要建模、表情和动作捕捉、物理运动模拟、高逼真成像等技术，最终形成人物的真实三维图像。

随着2021年元宇宙推向热潮，游戏和影视的界线越发模糊。游戏引擎开始被应用到超写实虚拟数字人上。尤其虚幻引擎UE备受关注，其推出的Meta-Human可有限地完成虚拟数字人体型调节、脸部模型调整、更换发型及服装，渲染成像效果与数字内容生成（DCC）流程还有较大差距，但具有实时化优势。

（一）咪咕打造基于8K的超写实数字人Meet Gu

为了丰富冰雪运动的推广内容和形式，咪咕以谷爱凌为原型打造了5G冰雪数智达人——Meet GU。Meet GU具有超写实、3D Avatar、Q版动漫等多个形象，其超写实数字分身不仅完美复刻了真人，而且是国内第一个面向8K三维成像的体育虚拟数字人。咪咕自研打造的Meet GU 形象，实现内容制作的全栈流程，首次在重大体育赛事应用落地。咪咕在冬奥直播中应用XR技术把谷爱凌数字人的“孪生姐妹” Meet GU请到了演播室现场，或者把比赛现场搬到演播室，受众可以通过屏幕看到Meet GU在现场灯光下真实细腻的影子，打破虚拟和现实的界限，让人真假难辨。

面向 8K 的超写实虚拟数字人制作是艺术与科技深度融合的极大挑战，不仅需要管理复杂的流程环节，还要降低计算及人力成本、提高产能，建立一个具有一定智能化的全栈制作流程是解决问题的关键。咪咕将摄影测量法和非刚性配准进行深度结合并优化。基于模型纹理贴图（UV贴图）优化，运用稠密人脸关键点检测算法完成人脸表情动画重定向。咪咕开发了工具数字艺术管线来桥接算法与艺术，实现可自动化生成虚拟数字人，并可进一步将虚拟数字人传递给影视动画特效专业人员，完成视觉效果的进一步打磨。基于算法与管线（Pipeline），咪咕实现了图形算法可应用落地的关键特性——互操作性（算法可以交互操作）。

Meet Gu基于咪咕自研的表情迁移、人脸重建、语音合成、光照一致性虚实合成、数字分身人脸拟合以及云渲染等技术，不仅通过3D人脸关键点位置精确修正、眼眶眼球自动适配、任意姿态人脸配准等核心技术，让3D人脸拟合精度达亚毫米量级，从而完美复刻真人，更是实现了全自动化表情与动作的个性化迁移，做到与真人表情“神同步”。

在虚拟人动作制作中，为了完美地呈现出谷爱凌作为运动员的挺拔气质，咪咕研发团队精益求精多次修改了骨骼控制点，仅一只手就复刻了近百个骨骼控制点，全身骨骼控制点多达近七百个，从而得到最佳效果。在表情上，研发团队参考了100多张谷爱凌不同时期不同角度的照片，画了20多稿贴图，渲染了10多遍效果图，制作出真实又相似度超高的渲染图，为了追求真实复刻，头发的发丝数更是从5万根增加到10万根。同时，配合自研的虚拟灯光效果，从灯光方向、灯光亮度以及柔和度进行调节，达到Meet Gu渲染的最佳视觉效果。为了能够更好地对谷爱凌的音色进行建模，咪咕研发团队通过语音信号增强技术、音色建模技术进行复刻及数字化，采用自研的语音声学模型及声码器合成语音，克服了可利用数据少、模型训练困难等问题，最终得到了具有真实感的谷爱凌音色模型，实现对谷爱凌原声的复刻。相关成果应用于咪咕冬奥赛事演播室、北京交通广播冬奥《荣耀时刻》节目等场景。为实现Meet Gu在冬奥会期间与赞助商的互动，研发团队为Meet Gu制作了一套冬奥会全身颁奖服, 在冬奥演播室成功亮相。在制作超写实颁奖服资产上，咪咕研发团队根据赞助商提供的实拍图片，从整体视觉造型、人体贴合度、宽松率、视觉比例等方面1∶1还原了冬奥会颁奖虚拟服装。

咪咕公司整合了整个数字人生产流程，并已应用在谷爱凌“数智孪生姐妹”Meet GU、首个 UFC 数智达人尤子希、首个超写实篮球数智达人以及音乐数智达人瑞米的打造中。2022年春节前夕，中国移动为2022北京冬奥会打造的首支5G助力预告——Meet GU线下裸眼3D大屏广告大片，引发了无数人驻足打卡与传播。在冬奥赛事转播中，Meet GU走进演播室跟主持人互动解说，她的出现让北京冬奥会成为首次出现虚拟数字人参与的盛会。研发团队也正逐步将部分技术赋能到移动端 3D Avatar 生产，加快实现虚拟数字人从工作室走向千家万户的愿景。

（二）虚拟数字人的产业应用

总体上看，虚拟数字人分为服务型虚拟数字人和身份型虚拟数字人。（见图1）目前，国内的服务型虚拟数字人主要用于替代真人进行播报等内容生成，并进行简单问答交互等。而国外则由于在计算机图形学（Computer Graphic，CG）方面具有技术优势，能够打造具有高度关怀感的虚拟数字人，率先在医疗等场景落地了虚拟陪伴助手、心理咨询顾问等。

图1 虚拟数字人场景分类

与缺乏人格象征的服务型虚拟数字人相比，身份型虚拟数字人更强调其本身的身份。一方面，在现实世界中，具有独立人设的虚拟IP能够通过静态（照片）、动态（视频）、实时（直播）等方式引发关注及变现。另一方面，为每个人在未来的虚拟世界乃至Metaverse（元宇宙）中创造专属身份，将成为必然趋势。尽管对个性化身份的诉求已经长期存在，但在当前仍大多以形似的形式存在，仅仅是一个过渡形态，人始终需要全感官的参与。虚拟数字人本身及其衍生市场都将迎来长足的发展。

目前大多国内厂商选择对形象、语音、语言等多方面进行自研，但多家厂商已明确表述，未来会将非自身核心的技术部分进行外包。从竞争格局来看，无论在国内还是国外，虚拟数字人的竞争格局都尚未成熟。尽管玩家数量在快速增长，但由于行业对综合的技术实力和合作渠道能力要求较高，具有相当实力的头部公司仍相对有限，尤其在超写实虚拟数字人领域技术门槛较高。（见图2）

图2 虚拟数字人产业链

（三）关于虚拟数字人产业的未来展望

《虚拟数字人深度产业报告》预测，2030年，我国虚拟数字人整体市场规模将达到2700亿，身份型虚拟数字人规模约1750亿，服务型虚拟数字人总规模超过950亿。[1]目前市场仍处于前期培育阶段。虚拟数字人这一市场行业天花板高，实现路径明确，且已出现了有相当竞争力的技术公司，所以有较好的市场规模预期。在各行业开始意识到其技术可行性和商业价值后，行业将快速进入高速发展期。尤其虚拟数字人作为Metaverse主要的交互载体，具有明确的巨大增长潜力，并基于 NFT、VR 等有理想的延展空间。

据《2020年虚拟数字人发展白皮书》，虚拟数字人正朝着智能化、便捷化、精细化、多样化发展，步入成长期。[2]随着运营商算力网络建设的加快，以视频流的表现形式推送到万千用户的云原生虚拟数字人是发展趋势，端—云协同机制实现随时随地在现实世界和虚拟世界之间切换。但我们也看到，当前虚拟数字人在语音驱动面部动画、肌肉骨骼动力学模拟、三维数字资产流转等方面，仍存在较大技术难题亟须突破。咪咕将继续攻克技术难题，立足未来，依托算力网络加快虚拟数字人平台建设，建立低成本、高产能、开放生态的虚拟数字人的生产方式占据元宇宙入口，在元宇宙的道路上做更多探索和尝试。

二、开创基于XR的互动云游戏+演艺新场景

2022年1月28日,由北京冬奥组委文化活动部主办的虚拟交互冰雪音乐嘉年华“集光之夜”成功举行,这也是首个由冬奥会官方认证与支持的冬季冰雪运动IP的虚拟音乐会。咪咕公司提供XR、云游戏、多路低延时直播等全套技术解决方案，在北京冬奥组委央视频、视频号、咪咕、快手、B站、微博、抖音的官方账号及新华社、北京时间、中国联通等平台同步首播。

作为首个由冬奥会官方认证支持的冰雪运动IP虚拟音乐嘉年华，“集光之夜”将焦点对准冰雪运动之外的多元化数字科技表达形式，以“虚拟+演出+娱乐交互”的全新娱乐体验模式，以六大场馆设计，打造纵向多层次平行世界，为参与者带来前所未有的沉浸式交互虚拟娱乐体验。在“集光之夜”的舞台上二次元虚拟明星与三次元嘉宾齐聚，实现真人演员和二次元艺人的精彩共舞，打破次元壁。技术层面也是运用了广电演播室设备、XR子弹时间、多模态捕捉技术、三维数字化云渲染等技术，以技术为视觉呈现带来影视化质感，为演出效果强力赋能。

项目在600平方米的XR影棚内制作完成，主要分为XR制作和动捕制作两套制作流程。棚内搭建两块LED屏幕：背景屏和地屏，地屏面积约200平方，可容纳五六人的乐队演出。配置3台摄像机：1台广角镜头固定机位，拍摄XR舞台全景；1台标准镜头轨道机位，移动/固定拍摄XR舞台艺人特写，搭配虚拟追踪系统Mosys；1台广角镜头轨道摇臂机位，移动拍摄舞台艺人表演，搭配虚拟跟踪系统Mosys。

XR渲染方面，共配置3套渲染服务器， 配载Disguise VX4图形渲染引擎，其中2套XR服务器，分别对应控制2块屏幕，一套AR服务器，用于LED屏演播区外延的增强现实扩展，从而让XR与AR虚拟制作融合。

在XR场景拍摄时，Mosys跟踪服务器计算的摄像机跟踪数据通过网线传递给图形渲染引擎。图形渲染引擎收到摄像机跟踪数据后，会根据Mosys特有的数据协议解析二进制数据代码，将其转换成X、Y、Z三轴向的位移旋转数据，并匹配到图形渲染引擎中的跟踪摄像机上。

每台渲染服务器上都创建一个与真实 LED屏幕坐标、尺寸一致的面面映射，并通过XR专有算法结合实时摄像机跟踪数据，计算出最适合的映射画面传递给LED屏幕。现场每块屏幕都得到了适合的画面映射，最终三块屏幕映射组合形成一个完整的XR场景画面，现场的主持人、艺人和虚拟偶像便可以沉浸在这个神奇、多变的三维立体的虚拟空间，与身边的场景和元素实时交互，并完成录制。

演出融入了咪咕公司的虚拟偶像麟犀等众多虚拟偶像，在棚内配套的动捕房内搭建Optitrack光学动捕系统，预先进行中之人动作捕捉和修剪，完成骨骼动画的录制，在XR录制时，将骨骼动画实时绑定至虚拟偶像的模型上，实时驱动模型在XR渲染引擎内渲染，与真人演员一起完成录制。

另外，“集光之夜”还灵活运用了多种前沿技术：

多模态捕捉技术：空间定位技术、捕捉技术、AI智能分析体运动捕捉技术等进行融合集成，以云端渲染作为主要技术手段，实现虚拟与内容之间的交互。AI智能分析技术进行预渲染，也保证了演出效果。

XR子弹时间：将子弹时间技术创新性嫁接入XR技术系统，实现XR环境下的子弹时间效果。

云渲染技术：本地渲染和云渲染结合，实现了本地XR场景和线上云游戏的有机结合。

“集光之夜”在国内首次开创“演艺+游戏”的新模式，云游戏玩家可以在玩游戏的同时，与XR演唱会内的真人明星和二次元明星互动，实时浏览得分排行，发送弹幕、送礼物等，实现游戏交互体验的无限放大。打通了线上观众与观众之间、观众与演员之间深度的体验方式，打破了演艺和技术在线上沉浸式体验中的创意和技术的壁垒，创造了一种全新的线上演绎模式。

三、打造咪咕XR演播室

演播室作为电视节目制作的重要场所，承担了除外拍节目外的大部分节目录制和制作任务，随着设备技术突飞猛进的发展，本着少花钱办大事的原则，演播室在不断升级换代，从实景演播室，发展到虚拟演播室、XR演播室。

早期的虚拟演播室是虚拟布景和人像抠图机械叠加，视觉上没有立体感，随着摄像机跟踪技术的发展，当前可以依据真实摄像机的镜头参数呈现的三维背景，和演员的三维透视关系完全一致，更有立体感。但是由于表演者处在绿幕中，在情境上没有真实感，场景互动主要依靠后期制作或者演员的演技。随着XR技术的发展和成熟，虚拟和现实融合的能力赋能给演播室，带来了魔法效果，这就是XR演播室，使观众可以自由地穿行于虚拟和现实之中。

三面LED屏幕作为背景的沉浸式XR演播室，特效更炫，沉浸感更强，可以实现舞蹈、音乐与闪电、动作、特效位置的精准互动。这种演播室虽然表现力强，但是有空间限制，不适合大型现场演出。

本届北京冬奥会中，王濛凭借着在短道速滑领域的绝对专业性，配合黄健翔的捧哏式解说，快速出圈，和北京冬奥话题一起，占据着各大平台的热搜榜，成为观众热议的话题。而这一切，都发生在咪咕XR演播室当中，搭配着演播室现场XR、AR虚拟效果以及各种图文包装模板的应用，也让这个充满科技感的演播室和这对“捧逗组合”解说一起，圈粉无数。

咪咕北京前方演播室集群包含3间演播室，承担了每日比赛直播和《冬奥·准备好》《冬奥速递》等专题栏目，其中一间为XR演播室，其技术系统中，搭建了配套LED屏和图形渲染引擎，一台6米摇臂机位，通过图像识别技术结合摇臂传感数据，实现快速标定和摄像机自动定位、自动校正，搭建时间短，跟踪精度高，确保了虚拟植入场景的准确定位，达到了冰雪大跳台等多个XR虚拟场景的完美植入效果。

咪咕演播室XR图形渲染平台在功能上完成了XR/AR虚拟场景与包装场景可同时存在、叠加播出，实现丰富的演播效果。对接冬奥前方官方赛事数据库，将赛事场馆、赛事预告、运动员情况、赛事技术等数据内容实现可视化，更为直观地呈现给观众，并为演播室节目拍摄和制作提供灵活多变的制作手段。

四、结语

咪咕公司近年来大举进军超高清技术领域，业务增长迅速，在自建5G超高清直播平台、自有演播室技术系统、8K转播车、虚拟制作、元宇宙技术等方面都进行了大力的拓展和延伸。围绕冬奥会、亚运会、世界杯等重大赛事和NBA、五大联赛等体育联赛的直播版权，咪咕将紧随观众的核心需求，立足中国移动内容的生产者、聚合者和传播者定位，以打造沉浸媒体先锋队和新媒体国家队主力军为己任，为中国移动创建世界一流信息服务科技创新公司贡献力量。

注释：

[1]互联网大厂纷纷“造人”背后：虚拟数字人的现状与挑战[EB/OL].(2022-04-25).https://www.sohu.com/a/540850162_204728.

[2] 2020年虚拟数字人发展白皮书正式发布 浦发数字人引领产业新发展[EB/OL].(2021-12-04).https://baijiahao.baidu.com/s?id=1685139356032698794&wfr=spider&for=pc.