影视AI技术在摸索中前行
2024-08-29冯刚
近期,多部AI微短剧集中上线,引发业界关注。2024年年初以来,AI视频生成技术成为人工智能研发领域的新宠,国内科技公司纷纷推出自研大模型。近期AI微短剧的密集上线,被视为此次AI发展浪潮的阶段性答卷。人工智能研发人员、影视从业者密切关注产品市场应用动态,以求在此次技术浪潮中获取先机。
优势与短板同在
人工智能大模型开发人员子健(化名)得知近期密集上线多部AI微短剧的消息后,第一时间守候在视频平台等待观看。他表示,AI微短剧的密集播出,是对技术端的一种呼应。技术人员可以通过市场和观众反馈,发现软件亟待完善的功能,找到开发方向。随着AI微短剧陆续上线,子健不断和从业者交流彼此意见。
“综合公开报道,以及与使用者的直接沟通,人工智能对于影视作品生产周期和生产成本方面的影响最为显著。”子健表示,目前来看,无演员、无摄影、无场景带来的人员成本降低是AI影视创作的最大优势。与此同时,需要技术端解决的问题还有很多。比如,由于技术限制,仍需投入大量人力干预,以及画面连贯性欠缺等,均是目前比较直观的问题。
国家广播电视总局科技委·网络视听专业委委员包冉表示,接踵而至的AI微短剧创作是行业市场化应用的共同尝试。目前,一些作品仍存在配音和口型不匹配、剧情连贯度不够等问题,完成度较低。这也是网友诟病较多的音画不同步和“会动的PPT”问题。对于前者,包冉表示,人工智能技术的深度伪造技术(deepfake),已经可以在人物领域做到以假乱真,可以在影视创作时给予创作者一些帮助。
“从内容上说,观众已经对视听语言的高科技‘炫技’见怪不怪了。”包冉认为,大众很难再对炫酷的画面表现极大兴趣,对于AI影视作品来说,会更关注画面的流畅度、剧情和其他各方面的完成度。他在与从业者交流后发现,即便使用目前人工智能行业公认的视频大模型,画面拼接感也难以完全避免,AI生成视频的典型画面风格依然明显。“毕竟生成式AI在影视领域的应用仍处于初级阶段,这些问题可以随着技术的发展得以解决。”
行业需携手探索“黑箱”难题
新技术的市场化应用必然伴随新挑战,AI影视作品同样如此。中科深智创始人兼CEO成维忠,此前在接受媒体采访时表示,目前所有AI视频模型均存在搞不清楚人与环境的关系、搞不清楚前后逻辑关系等情况。这些问题会导致模型在实际应用时,无法达到使用者设想的完美程度。
由于技术受限,大部分AI视频生成软件只能生成时间较短的作品,无论是“文生图再图转视频”,还是直接采用文生视频创作,将短时间的视频片段拼接成较长时间的影视作品是必经流程,因此需要创作者不断更换提示词以获取符合要求的视频素材。但在此过程中,创作者即便使用同一软件,不同时间、不同提示词获取的素材风格也存在很大差异,大量时间被浪费在与AI软件的交互上,效率反而被拉低。
子健表示,业内对造成这些现象的原因有两个相对主流的解读,一是认为人工智能对同一提示词在不同时间段的理解不同,因此会给出不同的结果;二是同一提示词下有大量素材,但提取条件的变化造成了结果的不稳定。此外,还有人工智能与人类对艺术创作的理解偏差、软件功能性不足造成的素材变化等观点。但具体原因尚未有统一说法。
包冉认为,这种情况主要是由生成式人工智能的“训练与推理过程黑箱”难题造成的。从使用者的角度来说,人工智能的训练和推理过程是全程“黑箱”状态,即便是编程人员,也无法预测完成训练后的产品是否符合预期,是否需要继续调整。AI生成视频的过程同样如此,使用者看到的是给出提示词,得到视频素材,但生成的逻辑和给出该结果的原因却无从知晓。这就需要人工智能行业和影视行业在编程和应用两个方面共同展开探索。
复合型人才不可或缺
全球AI视频生成技术的开发时间尚短,影视行业和人工智能行业均在不断探索其发展方向和发展路径。从人工智能大模型到专业的影视AI系统,AI视频生成变革的不仅是技术,更是在从头构建全新的内容生态。
谈及影视AI的未来,包冉认为,需要综合性考量。技术端,在不断提高文生视频大模型的基本功能,实现功能性突破的同时,可以考虑复合型平台的建设,打通不同产品的端口,融合不同模型产品的特色,方便创作者使用。此外,影视行业需要适应新的发展趋势,建立全新的技术体系、培训体系。“提示词要怎么写?如何确保提示词契合模型能力?如何恰到好处地发挥AI的功用?最好能够有系统性的培训+自动化、模板化的综合开发环境,让使用者更加了解创作系统。”
人才方面,无论是技术开发端,还是应用端,都需要更多复合型人才。包冉提到,跨域产品的开发需要更多跨行业人才的参与。如知名应用程序MATLAB的开发过程,便有大量数学家参与;本就具有一定编程能力的围棋九段俞斌,曾领衔开发围棋在线对弈产品——佳弈。“高度垂直领域的专业软件,一定是这个行业的人开发的;人工智能和影视行业的融合,首先应该是人才的融合。”
子健也表示,创作者对人工智能并不了解,技术人员对创作也是“门外汉”,双方在合作初期往往会因为不理解对方意图和需求,客观上增加沟通成本。因此,跨行业的复合型人才对于相关技术开发及其在影视领域的应用尤为重要。此外,及时了解需求端和开发端的动向,建立跨行业的沟通机制,也应提上日程。“随着行业融合的不断深入,新的需求会不断出现,及时沟通对于两个行业的发展非常重要。”
加快步伐谋求新发展
子健透露,目前,人工智能领域虽然推出了大量视频生成类产品,但很多都是在自研大模型或已有大模型基础上进行的功能性拓展。这些软件开发的目的,既有看好市场前景的提前布局,也有希望通过开放大众付费体验接口快速赢利的考量,而影视创作专用软件的开发投入力度不足。
他表示,在前期跑马圈地式开发的同时,部分公司开始考虑影视制作类AI产品与已有技术融合开发的可能性。如曾经广受关注的虚拟数字人、模拟真实物理环境的游戏引擎,以及虚拟拍摄技术等,能否和AIGC技术打通整合。“目前,AI影视作品还是以动画为主,不过很多技术人员已经开始深入研发,希望推出生成类真实环境的AI软件。”
包冉认为,行业首先要把产品的底层模型做好,在实现模型维度创新的同时,将算力提升……这些会涉及能源、芯片等多个行业。“有一个朴素的市场逻辑:当一个行业或技术,必须依靠大量资金投入才能生存,那么它往往是仍处在初级起步阶段。”包冉表示,包括影视AI在内的人工智能行业,目前仍需要大量资金投入才能维系生存,更遑论商业化模式或产品变现。但随着市场不断拓展,以人工智能为代表的新技术,必将迎来新的发展契机,而这个契机需要不同领域的从业者共同寻找。