虚拟主播的关键技术及应用场景

2023-12-18蒋中琪

电视技术 2023年9期

蒋中琪

（西安外事学院，陕西西安 710077）

0 引言

虚拟主播，作为一项融合了人工智能（Artificial Intelligence，AI）、三维技术和云计算的前沿技术，正在以惊人的速度改变着媒体和互动娱乐的面貌[1]。本文旨在深入探讨虚拟主播的关键技术和应用场景。通过分析虚拟主播在社交媒体、广告、教育和文化领域的应用，揭示这一技术的潜力和对各领域产生的影响。

1 虚拟主播的概念和发展历程

1.1 虚拟主播的概念

虚拟主播是指以虚拟形象在视频网站上进行活动的内容创作者，是虚拟偶像的应用之一。虚拟偶像包括虚拟主播、虚拟歌手、名人数字孪生以及其他类虚拟人式产品或服务等[2]。虚拟主播是基于动作捕捉技术的新兴主播形式，依托动画形象、真人动作捕捉及表情捕捉技术等技术，融合虚拟偶像与直播主播的特点，进行游戏、聊天、唱歌及联动等直播活动。

1.2 虚拟主播的发展历程

虚拟主播的发展受技术、市场等多种因素的影响，可分为萌芽期、探索期、成长期3 个阶段[3]。

（1）萌芽期（2013—2016 年）。这一阶段，虚拟主播处于萌芽期，随着移动互联网、数字替身、计算机图形学（Computer Graphics，CG）等技术的广泛应用，虚拟主播实现从2D 向3D 虚拟人物、虚拟形象的转变。在这一时期，网络直播由计算机端向移动端、秀场、游戏和电商等直播场景转移，以洛天依为代表的初代虚拟主播受到市场认可。

（2）探索期（2016—2022 年）。这一时期，人工智能、深度学习等技术领域发展应用，直播行业发展势头迅猛。虚拟主播技术在这一时期逐渐成熟，包括人物表达、合成显示、识别感知及分析决策等方面的人工智能水平大幅度提升。各大互联网头部企业纷纷布局虚拟主播产业，虚拟主播的商业化应用规模不断拓展。其中，代表性的事件有2018 年搜狗公司与新华社联合推出的首个AI 合成主播，得益于搜狗人工智能的核心技术“搜狗分身”，通过人脸关键点检测、人脸特征提取、人脸重构、唇语识别及情感迁移等多项前沿技术，并结合语音、图像等多模态信息进行联合建模训练后，生成与真人无异的AI 分身模型。2019 年3 月，全球首个AI 合成女主播诞生。2019 年，中央广播电视总台（以下简称央视）网络春节联欢晚会（以下简称春晚）推出AI 虚拟主播团队，AI 合成主播迎来发展应用高峰期[4]。

（3）成长期（2023 年至今）。在这一阶段，随着元宇宙的发展与媒体深度融合的深入，虚拟主播的形象设计定制成本大幅度降低，商业应用更加普遍。随着虚拟现实（Virtual Reality，VR）、增强现实（Augmented Reality，AR）设备与软件的发展，涌现出更多新的虚拟主播商业应用模式，推动虚拟主播向个性化、智能化等方向发展。

1.3 虚拟主播产业发展情况

虚拟主播产业链涉及上游技术提供方、中游平台方以及下游运营方。上游技术提供方主要负责虚拟主播底层技术，包括高精度建模采样、实时动画渲染引擎、人工智能算力以及大数据训练等。相关代表企业生产的产品包括硬件中的零部件（如传感器、光学设备、芯片及显示屏等）和设备（输出设备、交互设备），软件包括信息处理（如信息采集、编解码、渲染呈现及物理反馈）和系统平台如操作系统、软件开发工具包（Software Development Kit，SDK）、应用程序编程接口（Application Programming Interface，API）及App 等。中游平台方主要承担虚拟主播应用场景的运维与知识产权（Intellectual Property，IP）孵化设计工作。代表企业有IP 企划工作室、机构以及哔哩哔哩（以下简称B 站）、斗鱼、抖音等直播平台，主要负责承接上游对接技术实现方案、定制业务使用场景，服务下游构建通用开放的生态系统、构建虚拟形象IP 矩阵。下游运营方主要指虚拟主播的内容呈现和创作者，有企业势（多频道网络（Multi-Channel Network，MCN）机构）与个人势（个人主播）。随着元宇宙产业的发展，虚拟主播下游运营方与元宇宙在游戏、文旅、金融、教育及快消等行业的融合应用持续深化[5]。

2 虚拟主播的关键技术

2.1 人工智能和深度学习

人工智能和深度学习在虚拟主播领域的应用，为虚拟主播注入了令人惊叹的实时交互和逼真性，主要有以下两种技术。

（1）语音合成技术。语音合成技术通过深度学习算法，将文字转化为自然流畅的语音。虚拟主播能够利用这项技术生成逼真的声音，使虚拟主播在直播、娱乐和教育等领域更具吸引力和互动性，使虚拟主播能够与观众进行实时对话，提供个性化的互动体验。

（2）视觉合成技术。视觉合成技术为虚拟主播的逼真外观提供了强大支持。深度学习模型可以生成高分辨率的虚拟角色图像，并在实时渲染中逼真地模拟角色的面部表情和动作。

2.2 三维建模和动画技术

三维建模和动画技术共同构建了虚拟主播的外观和行为。借助三维建模技术，虚拟主播的外观和形象得以精心设计和定制，从头发颜色到服装风格，都可以根据需求进行创造。这种高度的个性化使虚拟主播能够塑造出独特的角色，吸引不同类型观众的关注。在动画生成与控制方面，利用深度学习和实时渲染技术，虚拟主播可以模拟真实的肢体动作、面部表情和语言互动。这使得虚拟主播可以在直播和演出中展示丰富的情感，与观众进行互动，甚至实时响应观众的提问和评论，创造出更加生动的娱乐体验。

2.3 云计算和流媒体技术

云计算和流媒体技术为虚拟主播提供了高效的计算和实时内容传输支持。虚拟主播需要处理复杂的三维建模、深度学习和实时渲染任务，这些任务需要大量的计算资源。通过云计算，虚拟主播可以访问弹性计算资源，根据需要扩展计算能力，确保在高负荷时期也能保持流畅的性能，而无须投资昂贵的硬件设备。实时流媒体传输技术通过优化数据传输和视频编码，使虚拟主播的直播、互动和娱乐内容可以几乎实时地呈现给观众，确保了互动性和观看体验的流畅性。

3 虚拟主播的应用场景

3.1 社交媒体和直播平台

虚拟主播在社交媒体和直播平台上的应用，正在改变娱乐和互动媒体的格局。虚拟主播在社交媒体上的应用，在吸引粉丝和创造内容方面具有显著影响力。虚拟主播创建个性化的虚拟形象，与观众进行实时互动，分享生活点滴，参与社交互动。这些虚拟角色通常拥有大量忠实粉丝，并与粉丝建立紧密联系，从而成为强大的社交媒体影响者，不仅能够推广品牌和商品，还能传播信息、娱乐观众以及与他们互动。虚拟主播在直播平台上的应用越来越流行，可以进行各种类型的直播，包括音乐表演、游戏实况转播、互动问答和娱乐节目等。他们通过实时互动与观众建立联系，观众可以发表评论、提问和送礼物以支持虚拟主播。

虚拟主播在中国普遍被称为虚拟UP主（Virtual Uploader，VUP）。B 站凭借其简单便捷的虚拟直播技术和一键创建虚拟形象功能，成为国内拥有最多个人势虚拟主播的直播平台。目前，B 站活跃的虚拟主播有3 000 多个，代表性的有真白花音_Official、费尔南Fernand、星街彗星Official 等。以真白花音_Official 为例，目前在B 站拥有145.1 万粉丝。2023 年1 月14 日，真白花音_Official 在B 站虚拟UP 主年终盛典中获得“最具影响力提名”和“年度虚拟UP 主”（第三名）的荣誉，主要作品有《合集·白菜VLOG》等。

3.2 营销和广告

虚拟主播在营销和广告领域的应用正在崭露头角，为品牌和广告商提供了全新的推广方式。虚拟主播可以担任品牌代言人，有效地推广产品和服务。由于虚拟主播拥有庞大的粉丝群体，他们能够将品牌信息传达给广泛的受众，增强品牌知名度和认可度。虚拟广告角色是一种创新的广告形式，品牌方可以合作或创建自己的虚拟广告角色。这些虚拟角色可以与观众互动，以轻松幽默的方式传达广告信息。

2023 年2 月12 日，元宇宙虚拟主播DOKI 首次登陆抖音、B 站、小红书等平台。虚拟主播DOKI 依托虚拟现实技术、三维建模及动画技术等，构建3D 虚拟数字人形态，在表情、肢体动作等方面趋于真人。

3.3 教育和培训

虚拟主播在教育和培训领域的应用为学习和培训提供了全新的可能性。虚拟主播可以充当虚拟讲师和教育助手，提供个性化的学习经验。其以虚拟角色的形象出现，通过互动教育内容，解释复杂的概念，回答学生的问题，甚至模拟实验和场景，增强学习的趣味性和参与感。虚拟讲师和助手不受时间和地点的限制，使学习资源更加普遍和灵活。

2023 年9 月，中公教育推出虚拟主播小鹿，以虚拟数字讲师形象进行授课服务。虚拟主播小鹿充分结合大模型、数字人等技术，作为AI 数智系统班的数字讲师，通过大数据技术可深入分析学员的学习数据和需求，进而优化培训教学内容。

3.4 娱乐和文化

虚拟主播在娱乐和文化领域的应用正在塑造新的娱乐方式和文化体验。虚拟歌手和演员已经成为音乐和娱乐界的独特存在。通过深度学习和音频合成技术，虚拟歌手可以以虚拟形象唱歌，并且能够模拟不同的音乐风格和声音。这些虚拟歌手在音乐制作和演出中具有广泛的应用，吸引了数百万的粉丝和观众，创造了新的音乐体验。

以科大讯飞的虚拟歌手Luya为例，其于2022年8 月官宣出道。与其他虚拟歌手的真人配音不同，Luya 的声音完全由AI 制作完成。这得益于其使用的AI 语音技术，通过AI 赋能目标音色系统的调试、确定以及声音转换，结合专家经验进行调整，形成独具特色的动听音色。Luya 陆续推出了《北极星与流星雨》《迷雾之中的微光》等音乐作品，轻松表演各种音乐演唱风格，如古风、民谣及电子等音乐类型。