UE5（虚幻引擎）平台下的面部捕捉分析

张 浩

山东广播电视台 山东省 济南市 250000

引言

在元宇宙不断推进的大趋势下，随着科技的进步，虚拟现实技术得到快速发展。电视节目的创作高度依赖技术的发展和进步，虚拟主持人在大数据和技术的支持下所具备的稳定性与广播电视节目播报的高准确性要求相吻合，可以更好地进行新闻播报，同时可以在各类节目中增加亮点，因此有着较大的发展空间。虚拟主持人开发模式多样，以山东广电测试项目为例，本文介绍一种通过UE5（虚幻引擎）对虚拟主持人面部捕捉功能的分析探索。

1 前期软硬件准备

1.1 软件准备

此功能是基于UE（虚幻平台）运行，即Epic Games 公司的渲染引擎。要使用UE（虚幻引擎）的面部捕捉，即MetaHuman 功能， 需要在UE4.26、UE4.27、UE5.0、UE5.1 等以上版本上运行，本项目测试基于UE5.0.3 版本上运行。

1.2 硬件准备

需要准备能够运行UE5 的Windows 设备，本项目测试使用的设备为具有12th Gen Intel（R） Core （TM） i7- 12700H，32.0 GBRAM，NVIDIA GeForce RTX 3080 Ti Laptop GPU 的工作站、含有Face ID 的APPLE 移动设备。

2 MetaHuman功能分析

在使用UE （虚幻引擎）MetaHuman 插件功能时，需要了解此插件的使用要求和注意事项。在UE5（虚幻引擎）中使用面部捕捉需要借助MetaHuman Creator 进行云端编辑和导入。

2.1 MetaHuman Creator 使用要求

MetaHuman Creator 是UNREAL ENGINE 在2022 年推出的一款免费的云端工具，可以在直观的环境中创建数字人类，如图1 所示。利用MetaHuman Creator，可以自定义数字形象的发型、面部特征、身高、身体比例和其他特征。

图1 MetaHuman Creator 介绍

MetaHuman Creator 在云中运行，通过像素流技术将画面流送到浏览器，还需要Epic Games 账户才能创建和下载MetaHuman。

2.2 MetaHuman Creator 数据处理

在首次打开MetaHuman Creator 时，如图2 所示，将会看到“预设（Presets）”库。创建的每个MetaHuman 都会将“预设（Preset）”作为起点。从库中选择一个预设，然后点击“创建选定项（Create Selected） ”按钮开始自定义。

图2 MetaHuman Creator 页面

创建的所有MetaHuman 都会自动保存到“我的MetaHuman（My MetaHumans） ” 库。 此外，还可以在Quixel Bridge 中下载它们。在MetaHuman Creator中编辑MetaHuman 时，更改会实时保存。点击“删除（Delete） ”按钮，可以从“我的MetaHuman”库中删除MetaHuman。

2.3 MetaHuman 数据导出

可以通过两种方法在Quixel Bridge 中导出MetaHuman。

一是通过MetaHuman 头像导出，将光标放在方格上，然后点击“导出（Export） ”按钮（该按钮显示为蓝色圆圈中的朝右黑色箭头）。这会立即开始向当前虚幻引擎项目导出该Meta-Human，并且采用可用的最高品质。

二是通过MetaHuman 信息面板导出， 选择一个“ 质量（quality） ”等级，然后点击“添加（Add）”按钮。下拉菜单只会显示已经生成并下载的资产的质量。导出开始后，会看到进度指示条，请等待导出完成。如果这是第一次向该项目导出MetaHuman，如图3 所示，虚幻引擎会提示启用相关的设置和插件，在所有提示中点击“启用缺失内容（Enable Missing）”。

图3 UE5（虚幻引擎）设置页面

启用全部需要的设置和插件后，虚幻引擎右下角会提示重启引擎。保存项目，如图4所示，然后点击“立即重启（Restart Now）”。重新启动虚幻引擎后，可以在“内容浏览器（Content Browser） ”文件夹下找到下载的MetaHuman 文件。将“BP_Ada”蓝图从“内容浏览器”中拖入“关卡视口”。

图4 UE5（虚幻引擎）内容页面

3 LiveLink添加动画

在移动设备上使用LiveLink来捕捉面部动画并将其实时应用到虚幻引擎中的MetaHuman上。 除了捕捉面部动作，LiveLink 还会将头部的旋转发送到虚幻引擎，从而达到更自然的活动范围。

3.1 LiveLink 使用设置

在移动设备上，从Apple App Store 下载并安装“Live Link Face for Unreal Engine ”App。在虚幻编辑器的主菜单，找到“编辑（Edit）”里的“插件（Plugins）”并确保为项目启用了以下插件：Live Link、Live Link Control Rig、Apple ARKit、Apple ARKit Face Support。

3.2 LiveLink 连接

找到电脑的IP 地址，需要改信息来配置IOS 设备和计算机上运行的虚幻引擎之间的连接。

在Apple 移动设备上打开“Live Link Face” App， 选择“LiveLink”，添加目标，输入电脑的“IPv4”地址。

确保LiveLink 正确连接，如图5 所示，在虚幻引擎主菜单中，找到“窗口”“虚拟制片”“LiveLink”，打开配置窗口，可以看到APPLE 移动设备已在其中。

图5 UE5（虚幻引擎）Live Link 页面

3.3 配置MetaHuman 蓝图

如图6所示，在“关卡视口”中，选中MetaHuman，在“细节（Details）”面板中，对Live Link部分进行配置。在“ARKit面部主体”选择连接的Apple移动设备，勾选“使用ARKit面部”。

图6 UE5（虚幻引擎）MetaHuman 细节面板

3.4 测试LiveLink

在Apple 移动设备上，打开LiveLink Face app 并将前置摄像头对准面部，能够看到追踪网格覆盖在脸上，并且会根据表情和头部移动做出反应，为了达到最佳效果，确保面部不受任何头发或眼镜之类的配件所阻挡，并且面部有充分的光照。

建立好LiveLink 连接后，可以开始用“Sequencer”和“镜头试拍录制器（Take Recorder）”为MetaHuman录制面部动画。

4 虚拟主持人应用

随着虚拟人开发的进度明显加快，根据相关公开资料不完全统计，如图7 所示，国内多家广播电视台都开发了自己的虚拟主持人。

图7 各级广播电视台虚拟主持人统计

这些知名度较高的虚拟人中，按照是否仿真可以分为两类：一类是仿真现有知名主持人，比如：北京广播电视台的“时间小妮”和央视频的“AI王冠”；另一类是原生虚拟人，没有仿真现有知名主持人。

4.1 北京广播电视台数字主持人

“时间小妮”担任北京“接诉即办”推广大使，如图8 所示，用媒体融合运营新模式助力政务服务标准化、精准化和便利化。

图8 北京广播电视台虚拟主持人“时间小妮”

4.2 山东广播电视台虚拟主持人

春节期间，山东广播电视台首个超写实数字主持人“海蓝”给观众拜年，如图9 所示，是底蕴深厚的齐鲁文化与元宇宙新技术的一次成功碰撞，未来将应用于更多不同主题的融媒创意场景。

图9 山东台虚拟主持人“海蓝”

4.3 央视虚拟主持人

2022 年两会期间，央视网“小C”虚拟主持人首次亮相，如图10 所示，它以一头清爽干练的短发和高颜值示人，在《两会C+真探系列直播节目》中担任起了记者的角色。

图10 央视虚拟主持人“小C”

直播过程中“小C”的面部表情、身体动作、服装搭配均呈现出真实、流畅、自然的效果，并且支持与嘉宾实时交互，表情和动作管理延迟控制在秒级。直播中“小C”拟真程度高、面部表情丰富、全身动作灵活流畅，增加了用户观看的代入感，仿佛依旧是熟悉的“主持人”跃然于屏幕中央，带领观众了解焦点议题，有效实现了现实世界的真人与数字世界的“小C”无缝交互。为用户提供了线上线下一体化、在线在场相结合的全新体验，为广播电视运营新模式提供新样本。

结束语

虚拟主持人作为时代发展的产物，利用它的技术优势在各类节目中崭露头角。其中不仅是技术与艺术、虚拟与现实、审美与使用的结合，也是对新技术的不断尝试和开发。基于UE5（虚幻引擎）中Meta-Human 平台进行数字人类设计与使用，对于研发人员的设计想法更容易实现，其功能运行更加快捷和稳定。