AI影视制作新时代

2024-07-04赵天奇

网络视听 2024年8期

如今，随着AIGC技术不断发展，数字人需求正在迎来阶梯性的增长，目前已广泛应用在包括直播、游戏、影视、短视频等多个业务场景中，为这些行业发展起到了降本增效的作用。聚力维度成立于2016年，一直致力于数字人创新技术研发。早在2014年我们就开始涉足AI与影视制作的研究。当时主要是运用计算机视觉技术，在影视行业进行后期制作相关工作，一直想将人工智能技术全面应用于影视制作的全流程。经过几轮人工智能技术革新和浪潮，我们现在已经非常接近这个目标。2021年，由聚力维度全面研发的人工智能数字人驱动引擎“赛博演猿”正式推出。

让影视制作更简单高效

“赛博演猿”的推出，主要是基于我们在深入研究影视行业的成本构成后，发现其中最主要的成本来源是将人物画面置入虚拟场景拍摄。因为，传统的影视制作通常有两种方式——实拍结合后期制作和纯虚拟动画制作，这个过程还包括原画设计、建模、后期渲染等步骤。尽管这些方式能制作高质量影视作品，但成本高昂且制作周期长。

为了解决这个问题，我们提出了一种全新制作思路。这一思路以AIGC数字人为核心，在元宇宙的3D数字世界中拍摄，形成一种新型AI影视制作工具，结合镜头、灯光等交互工具，就能够实现数字化直接拍摄，既可以直播，也可以录制电影。

我们的研究与Sora在核心目标上存在共鸣，都期望AI成为生产力主体，而非仅作为辅助工具。在研究AI技术对于影视行业的应用时，很多人认为，仅仅在现有人工流程中嵌入AI环节，可能无法充分发挥AI潜力。我们坚信，真正的AI影视制作应当是一个多模态过程，不限于文字和像素的输入和输出，还包括声音、情绪表达和肢体动作等方面。因此，我们致力于开发一个多模态制作流程，从而更全面地展现创作者意图和情感。

在AI输出方面，我们希望输出的是结构化图形，而不是单纯像素，所以决定在生成数字人时，采纳多模态生成方式。例如，在塑造人脸时，相较于烦琐的文字描述，图像描述更为直观，若需对鼻子进行微调，使其高度增加，通过鼠标直接拖拽调整显然更为高效。

值得一提的是，我们的方法与Sora有所不同，这得益于对成本的优化。首先，数字人与真人相比，无须承担吃、住、行等相应成本支出；其次，在虚拟环境中拍摄虚拟场景，成本也低于现实世界的实景拍摄成本，甚至都不用后期制作。因此，通过AI协助，既能够将成本降低，也能确保电影级画质。

让每个人都能成为导演

目前，我们的核心技术主要围绕数字人的生成与应用，包括其来源、建模、语音及动作制作等方面，并且已经将数字人集成至虚拟拍摄软件中，以实现更高效的创作过程。

在技术研发方面，我们最先研究的是通过视觉捕捉技术来解决表演问题。通过该技术，无须演员参与，即可实现高质量视觉捕捉效果。可以说，在全球范围内，在这一领域的技术水平处于领先地位。这项技术不仅为后续AI直接生成动作提供了前置支持，并且不管是细微的表情，还是比较夸张的表情，以及手指活动，都可以用AI精准捕捉。通过拉远镜头，我们的技术还能进行全身精准捕捉，其中涉及肩膀和胯部的捕捉尤为精准，同时实现了对脚部在地面滑动的细腻捕捉。此外，还能根据输入的文字生成声音，并生成与文字相匹配的表情和口型，为演员提供更为便捷的表演方式。

关于数字人的产生，推出了数字人AI生产端平台——赛博演猿，其具备随机生成、图像生成和文字生成功能。生成的数字人不是静态图片，而是可以被驱动的实体。以图像生成为例，用户可通过此功能自动生成与自身相似的图像，并通过鼠标键盘或文字指令调整数字人的面部特征，如鼻子宽度等，并且无版权及法律风险。例如，影视剧导演可以根据作品需求生成各类角色，如男女主角、男女配角等，还可以实现实时更换。此外，数字拍摄的优势在于快速调用和特效生成，使电影特效制作变得轻而易举，像不同的天气效果、穿墙效果等都可以实现一键切换、一键调用。虽然我们目前主要拍摄动画片，但随着技术不断成熟，预计在2025年，在影视制作中的渲染效果将实现与实拍效果无缝衔接。在此过程中，需要始终确保数据内容的结构化，并实现与虚拟对象的交互。

打造AI影视产业新生态

在内容创作方面，还积极探索AI在短剧制作中的应用。虽然传统短剧制作成本高，但通过AI技术创新，在降低成本的同时，将实现单人独立制作短剧的目标。这一举措不仅体现了对技术创新的追求，也展示了在提升内容生产效率和降低成本方面的决心。

今年，将加大在影视剧内容制作方面的技术研发力度，最终目标是实现“个人日产10分钟影视级内容”的目标。如果影视剧制作能像小说创作一样，实现个人日产数分钟影视内容，其影响将会是颠覆性的。以前，在面向企业的服务中，往往是按要求为客户用AI技术制作企业宣传片或节目，但随着技术不断进步，AI化趋势日益明显，客户对全流程AI制作的需求也日益迫切。

特别是在直播方面，利用数字人作为企业宣传主持人，或是作为带领大家进行文旅体验的主播，等等，流量都非常亮眼。近期，我们为三星堆打造了一项创新体验，此项体验的核心在于摄像头技术。观众将有机会通过摄像头，实时控制数字人的表情与动作，展开一场别开生面的互动之旅。

值得一提的是，我们还推出了一项创新功能，即利用图片生成个人脸部模型，与IP角色进行互动。为了更广泛地推广这一技术，建立了数字人标准，使得第三方创作者也能将自己的数字人导入平台，希望最终能够赋能几十万企业和千千万万个人创作者。当下，我们正在推动“数字横店计划”，致力于打造一个虚拟影视产业生态。尽管AI生成的3D模型目前尚未达到影视级别，但我们相信，随着技术不断进步，这一愿景将成为现实。