AI 虚拟数字人技术在融合媒体生产中的运用

陈 芳

（南京广播电视集团，江苏 南京 210001）

0 引言

当前，在物联网、大数据、传感网、脑科学等新理论新技术以及经济社会发展强烈需求的驱动下，人工智能加速发展，与各领域各行业进行深度融合，呈现出深度学习、跨界融合、人机协同、群智开放、自主操控等新特征。借助人工智能，推动新闻播报与先进技术结合，推动媒体生成内容科技化的展示水平，是广电行业融媒体新闻生产发展创新的迫切需要。

南京广电集团突破性地将 AI 虚拟数字人技术引入融合媒体新闻生产平台，采用栏目真实主持人为原型制作虚拟主播的形象和声音，打造出虚拟真人形象“牛博士”；运用前沿的人工智能多模态交互技术，借助公有云问答数据库、互联网大数据信息，创造出互动对话式3D 卡通人物“牛咔宝宝”。

AI 虚拟数字人技术在融合媒体中的运用，响应了国家对融媒体在内容传播手段和方式上的创新需求，是 AI技术在广电融媒体技术领域一次创新应用。

1 AI 虚拟数字人技术介绍

图1 虚拟数字人技术组成部分

AI 虚拟数字人技术，是用语音或文字内容实时驱动虚拟形象口唇动作及面部表情的技术，在内容动态呈现和制作方面都有着丰富的应用场景，提供了一种更自然的内容交互方式。

AI 虚拟数字人分为Avatar 型、内容生成型、交互对话型三大类，三种类型对应了三种不同的技术路径，实现难易程度也不同。

1.1 Avatar 型

本质是真人表演，通过算法换成另外一张脸，例如某些好莱坞电影特效，还有一些美妆直播APP，都是这类技术。该类型以真人表演作为原型，声音也需要真人声音，因此，并不是真正意义上的虚拟数字人。

图2 Avatar型数字人实现流程

1.2 内容生成型

图3 内容生成型数字人实现流程

通过TTS 语音合成技术将输入的文本合成为语音，再驱动虚拟数字人生成人脸表情、唇形、肢体动作等。内容生成式数字人，主要采用离线合成的方式，实时性要求不高，技术难度一般。

1.3 交互对话型

交互对话型数字人，即多模态对话机器人。用户对话的语音经过语音识别技术 ASR 转换为文本，输入到对话机器人；对话机器人返回应答的文本经过语音合成TTS 得到语音，再通过语音驱动技术合成视觉效果。这类数字人“看得见”、“听得懂”、“会说话”，是自然语言处理、语音识别、视觉合成三大技术的综合，复杂度最高。

图4 交互对话型数字人实现流程

表1从技术特点、使用声音及应用场景等三个方面对三种类型数字人进行比较。

表1 三种类型数字人比较

2 AI 虚拟数字人的重要应用——虚拟主播

虚拟主播是运用行业领先的人工智能技术数字化克隆，是AI 虚拟数字人的重要应用之一。通过虚拟人形象AI 合成技术，对真人的检索与提取，精确重构面部模型，经过唇形对齐与表情迁移，让真人的一颦一笑都能在虚拟世界中高度还原。

与传统的真人主播相比，AI 虚拟主播具有以下特点：

⊙运行成本低，可根据节目需求定制主播形象，一键换装。

⊙不受时间地点人为等因素的影响和限制，能实现24小时实时不间断直播，保证了新闻类节目传播的及时性。

⊙播报准确率高，编辑人员只需输入文本，文字内容直接转换为虚拟主播实时播报视频，在客户端设备上可直接播放。

⊙采用栏目真实主持人为原型制作虚拟主播的形象和声音，表情生动自然，口型精准度高；合成声音音质清晰、音色饱满、自然流畅，播报专业感强，可与真人媲美。

⊙不需要复杂的后期制作工序，即可便捷高效地生成海量可复用的播报内容，满足一次采集、多种生成、多元传播的需求。

⊙播报形式新颖，响应了国家对新媒体内容传播手段和方式创新的需求。

（1）语音合成模块：负责将后台编辑输入的文字实施转换成语音，其中声音可根据指定主持人的声音进行高精度定制。

图5 虚拟主播各功能模块架构

（2）形象合成模块：负责将合成的语音生成对应的虚拟形象动画，包括嘴型，一些基本的表情及动作等，其中形象可根据指定主持人的形象定制。

（3）虚拟主播合成模块：负责将语音和形象合成为完整的虚拟形象，输出可供直播的视频流。

3 南京广电集团AI 虚拟主播系统方案应用情况

南京广电集团创新地将AI 虚拟主播运用于融媒体节目的制作之中，结合“多合一”视觉技术、NLP 自然语言处理技术、互联网大数据等前沿先进科技手段，赋能融合媒体制作平台，丰富了融媒节目的呈现形式。

图6 虚拟主播方案实现流程

（1）虚拟真人“牛博士”属于内容生成式数字人，他是利用视觉“多合一”虚拟真人形象生成技术，提取多名真人的面部特征，运用算法生成具备多人特点的拟真人形象。具体来说，他是由我台两名男主播韩永联与杜晓通过视频采样、算法提取面部特征后，生成的虚拟形象。

图7 “牛博士”生成示意图

在由南京市委宣传部组织指导、南京广电集团承担制作的大型宣讲节目《思想的力量》中，“牛博士”担任嘉宾主持，与现场主持人互动完成数据播报。AI 虚拟主播与政治理论宣讲内容的相结合，这一新颖的表现形式让人耳目一新，广受好评。该节目已入选《学习强国》“江苏学习平台”。

图8 《思想的力量》入选《学习强国》

（2）卡通人物“牛宝宝”是3D 交互对话型数字人，它是基于语音合成、语义理解、表情与唇形推理，智能对话等前沿的人工智能多模态交互技术，借助公有云问答数据库、智能语音识别、互联网大数据信息，对用户提出的问题给予及时的语音反馈，驱动卡通牛模型，实现语音、表情、唇形、肢体动作的统一。“牛宝宝”是人工智能多模态交互技术与互联网大数据的创造性结合运用成果，具有实时性高、互动性强的特点。

“牛宝宝”是融媒体新闻指挥中心的虚拟主持人。它可以做到读懂、听见、思考、表达，不仅一字不差，神情自然，更能像真正的主播一样和观众实时互动，回答观众或者来宾提出的各种问题，生动有趣，让人印象深刻。

图9 交互式数字人“牛宝宝”

4 结束语

将AI 虚拟数字人技术引入融合媒体生产系统平台，是南京广电集团的又一次技术运用创新，是AI 技术在广播电视领域的又一次探索。这一创新应用希望能够为广电行业融合媒体生产系统的建设发展提供借鉴和帮助。