APP下载

人工智能大模型在电影行业的发展展望与应用思考

2024-10-03常慧琴曾真

电影评介 2024年13期

【摘 要】 近年来,随着人工智能(AI)技术的发展与进步,深度学习、AI大模型等技术在自然语言处理(NLP)和图像生成领域取得了较大突破,为数字内容创作生产带来了重大创新和生产力变革。本文分析了智能科技对电影行业带来的影响,提出当前AI大模型展现的强通用性、强泛化性以及智能涌现能力,指出AI大模型有望成为推动电影产业智能化升级的重要驱动力,并基于电影科技发展状况对AI大模型在电影行业的应用进行了展望和思考。

【关键词】 电影; 人工智能; 深度学习; AI大模型; 自主创新

电影是科技与艺术的融合体,是国家文化事业和文化产业的重要组成部分,具有丰富的科技内涵、文化内涵和艺术价值。电影艺术的发展与电影科技的进步相伴相随,从无声到有声,从黑白到彩色,从胶片到数字,从常规技术格式到高新技术格式,电影科技的进步为电影艺术带来了更加广阔的发展空间,特别是电影数字化以来,数字摄影机、计算机图形图像(CG/CGI)、3D技术、2K/4K/8K、高帧率(HFR)、高动态范围(HDR)、广色域(WCG)、沉浸式音频(Immersive Audio)、视觉特效(VFX)、虚实融合、卫星传输、网络传输等技术,在一定程度上丰富了电影艺术的表现形式和呈现效果,提升了电影的视听品质、传播力和影响力。近年来,得益于云计算、大数据、虚拟现实/增强现实/混合现实(VR/AR/MR)、元宇宙、虚拟摄制、动作捕捉、虚拟数字人等技术的研究与应用,电影科技与新一代信息通信技术(ICT)和人工智能(AI)技术愈加呈现出深度融合、交融并汇的发展趋势。

2022年底,大语言模型ChatGPT取得了突破性进展,掀起了AI大模型的发展与应用浪潮,其具备强通用性、强泛化性以及智能涌现能力,能够赋能电影创作生产和产业提质升级。特别是视频生成大模型Sora的推出,在电影行业引发强烈关注。本文在分析梳理人工智能及AI大模型技术发展的基础上,结合AI在电影科技中的融合和应用,凝练提出电影行业推进AI大模型技术的展望与思考。

一、AI大模型最新进展

(一)AI大模型研究进展

深度学习是以复杂神经网络为模型的机器学习[1],大型深度学习模型的参数量可达千亿级,近年来受到广泛关注的AI大模型,主要就是指网络规模巨大的深度学习模型。[2]复杂神经网络含有大量参数,一方面需要大量样本用于模型训练以习得模型参数,另一方面对训练提出了极高的算力要求。为了解决这个问题,研究者提出使用无监督逐层训练,每次训练一层隐节点,将上一层的输出作为训练层的输入,训练层的输出作为下一层的输入,也就是“预训练”(Pre-training),之后使用少量标注数据,利用监督学习对整个网络进行“微调”[3][4],这种“预训练+微调”的训练形式,有效节省了训练开销,提升了模型处理复杂任务的能力。

基于注意力机制的Transformer架构(2017年)提出后,AI大模型的发展进入快车道,国内外科技企业积极推进AI大模型的研发与应用,出现了多个现象级应用。表1整理了2017年以来部分国内外在自然语言处理(NLP)、图像生成、音频生成、视频生成等方面知名度比较高的AI大模型。

(二)AI大模型的发展特点与应用趋势

1.生成式AI在数字内容创作生产领域具有较高应用价值

生成式AI(Generative AI)能够通过学习已有数据进而产生全新内容,能够协助人类解决创意、推理等问题,拓展人类的想象力和创造力,降低生产成本,在影视创作、教育、医疗保健、客户服务和营销等诸多领域展现出较强的适用性和较高的应用价值。同时,目前的AI大模型已经初步具备人类的通识和逻辑能力,这是之前的人工智能所缺失的[5]。目前多个AI大模型应用,例如ChatGPT、Stable Diffusion、Sora等均是基于生成式AI技术,生成内容已覆盖文本、图像、音频、视频,其中用于自然语言处理(NLP)任务的AI大模型是发展较早也较快的领域,视频生成大模型起步较晚。

2.AI大模型突破性发展和多模态技术加持,实现跨模态生成

简单来说,单模态是模型训练和处理的数据是单一类别,例如利用文本数据对模型进行训练,而模型的输出也是文本形式。多模态是模型训练和处理的数据是多种形式的数据,例如文本、图像、音频、视频。而目前人类接触的数据都是以多模态形式存在的,且多模态的数据可从不同维度描绘同一个物体,具备更高的精准性。因此,基于多模态数据的学习具备更高的精准性和可用性,能够在一定程度上提高学习方法的泛化能力。例如,GPT系列就是从单模态(文本)发展为多模态大模型,GPT-4可以接收图像和文本作为输入、输出文本。苹果公司发布的首个AI大模型MM1就是多模态大模型,具备增强的上下文学习和多图像推理能力。

3.模型、算法、数据、算力统筹推进,“百模大战”全面渗透各个领域

自2022年底ChatGPT发布并引发全球关注后,诸多国内外企业纷纷加入AI大模型赛道,2024年2月发布的Sora进一步推动基于文本和图像生成视频的技术加速演进。根据亿欧智库2024年3月发布的《2024中国“百模大战”竞争格局分析报告》,目前国内公布的大模型数量已超过300个[6]。同时,从表1的模型提出时间可以看出,大模型迭代速度逐步加快,基本一年就会更新一个版本,SUNO的Chirp甚至在2023年一年就迭代了三个版本。AI大模型数量爆发式增长,模型迭代时间缩短,“百模大战”的竞争格局愈演愈烈。

总体来看,当前人工智能模型在理解力、认知力、准确性方面得到大幅提升。同时,“百模大战”的竞争格局将进一步推动AI通用大模型和垂直领域大模型的应用创新升级。未来,人工智能将像互联网一样成为基础设施,在人类生产生活中得到更广泛应用,智能化趋势加速演进。

二、AI大模型在电影行业的发展与应用分析

党的十八大以来,科技创新成为国家发展全局的核心。关键核心技术、高水平科技自立自强成为科技工作者的奋斗目标和责任担当。当前,“百模大战”全面渗透电影产业链的各个环节,社会正在加快步入智慧时代。

(一)相关文献研究分析

目前已有诸多文献和专著从应用实践角度分析和阐述人工智能给电影行业带来的深刻变革。从产业发展角度,国内电影行业进行了大量的研究和探讨。学者祁勇等[6]分析了人工智能给电影制片、IP开发带来的融合与创新,也指出了面临的问题,包括智能创作和艺术创作的边界问题、版权问题以及功能转变问题[7];学者季向阳指出生成式人工智能将给影视行业带来巨大机遇和革命性改变,大幅提高影视行业创造力和效率,但会带来数据安全性、合法性、版权保护、平衡技术发展和人才保护方面的问题[8];学者沈浩等指出AIGC的潜在风险包括偏见与歧视、虚假内容、版权与问责等,提出了智能技术结合区块链保护作品版权的可能性[9];学者张陆园认为人工智能对电影行业的赋能是全链条渗透与局部改造,包括辅助剧本写作、智能剪辑、更低成本的特效呈现、智能配音等[10];学者谭剑认为随着人工智能的发展,人机交互方式也在不断革新,作者从人机交互的角度分析了人工智能发展对电影的重塑[11];学者赵宜认为,AIGC是通过学习训练数据的模式、结构、关联以创造新的内容,把AIGC定义为“21世纪的拼贴工具”是对其的误读[12]。作者提出对媒介艺术本体观念的更新,即以更积极的态度和起点,借助AIGC带来的革新,发挥新技术的影响力;学者王晋宁等认为,一方面人工智能在电影中的应用将会为电影提供更多可能,另一方面电影工业美学特质为人工智能技术提供了发展契机[13]。

电影科技领域也对人工智能在电影行业的发展与应用进行了总结与尝试。学者刘达分析了电影行业向大视听、大科学和元宇宙时代迈进的发展演进趋势,从电影智能化创作生产技术体系构建、电影行业垂直AI大模型研制、在关键核心技术自主安全可控前提下推动AI大模型和AI中小模型协同发展等方面,提出了智能科技引领电影产业提质升级的思考、策略与前瞻[14];学者陈军等认为多模态强人工智能创意工具在电影创制流程的应用将进一步深化,作者指出了电影智能制作的概念、内涵及特征,梳理了电影智能制作的现状、问题和挑战,对于电影智能制作给出了电影行业的应对策略[15];学者赵鋆凡等梳理了当下主流的3D人体动画生成算法,针对目前3D人体动画生成算法易用性不足的问题,提出一套集成的3D人体动画生成工具[16];学者于冰等针对影像修复与增强需求,在影像污损去除方面提出基于注意力循环时间聚合网络,在影像缺失补全方面,提出时间Transformer算法,实现了影像破损区域的大面积修复[17];学者李思佳等通过训练声源分离网络,对视频的声源进行分离和定位,再利用高保真环境立体声和双耳声重构技术重构空间音频[18]。

从以上分析可以看出,电影产业对于人工智能技术有拥抱态度,有担忧态度,也有转变思路实现新的“人机共创”,“重塑”“革新”“融合”“提质”成为研究关键词。但毋庸置疑,人工智能带来的重大创新和生产力变革是行业的共识。虽然目前各种模型和应用都存在改进空间,但从几个表现突出的应用的生成效果来看,已经具备在一定程度上辅助人类完成目标的能力。

(二)AI大模型在电影行业的发展与应用分析展望

全球电影行业及时捕捉到智能化趋势,并已在电影创作摄制的各个细分环节中开展了应用探索(图1),例如,在创意设计阶段,可利用AI系统或工具辅助电影剧本创作、概念设计、文图生成、项目策划与决策、视觉预演等工作;在前期拍摄阶段,AI影像智能处理工具、AI生成数字人、AI生成数字资产,可服务电影智能拍摄、视效生成和虚实融合;在后期制作阶段,AI技术能够服务智能剪辑、智能调色、智能三维模型生成等,以及演员增龄/减龄、AI换脸、对白录音降噪、配音等对图像、声音和字幕信息的智能化处理。

基于现有常规技术格式影片或档案影片,可采用人工智能图像增强和图像修复技术,开展图像分辨率、帧速率、动态范围、色域等智能提升和扩展,从而制作生产高新技术格式电影和实现档案影片修复升级。

虽然现在还未能完全实现,但一定情况下,可完全使用AI生成一部完整影片。例如2024年3月在洛杉矶首映的Our T2 Remake是由好莱坞50位艺术家基于经典影片《终结者2》,用AI工具重新创作的一部影片《我们的终结者2重制版》。[19]

除创作摄制外,AI还可应用于电影发行放映环节,可通过AI智能分发、智能推荐、票房分析预测、个性化营销、舆情分析和智能助手等系统或工具,提高电影宣发效率和精准度。院线和影院可通过智能排片系统、智能票务系统、智能设备管理实现影院运营管理的智能化、高效化和集约化。

总之,AI技术已广泛参与到电影全产业链的多个环节,以专用模型应用居多,目前生成结果还不能达到电影级高品质拍摄制作的需求,仍需要大量的人工修正。而AI通用大模型已表现出较强的涌现能力,并可作为基座模型支持多元应用。对此,电影行业应以“通用为先”,探索解决如何将高品质、具有版权约束的电影数据用于通用大模型再进行微调,即利用通用大模型已具备的海量通用常识,结合电影行业需求,实现电影画面对物理世界的真实模拟,以满足不同题材影片的画面要求,从而切实提升制作效率。

三、AI大模型应用于电影行业的思考与启示

近年来,在电影科技工作者的共同努力下,电影科技发展取得了长足进步和丰硕成果,特别是在2023年展现出厚积薄发的韧性。

2023年1月,由中国电影科学技术研究所(中央宣传部电影技术质量检测所)(以下简称“中国电影科研所(检测所)”)提供权威技术指导和帮助,时代华影公司自主研发的国产10米LED电影放映系统首次出口海外,这是继2021年5月我国首个自主知识产权LED电影放映系统通过DCI检测认证之后的又一次新突破。[20]长期以来,影院数字电影放映机的DMD核心芯片被国外技术公司垄断,LED自主知识产权电影放映系统过检,打破了国外技术公司在投影显示领域DMD芯片的垄断,而首次出口海外则推进了国产LED电影放映技术的国际化发展。中国电影追求了多年的自主放映端技术不仅“站起来”,而且“强起来”了。

2023年5月,中国首个电影国际标准《数字影院立体放映技术要求和测量方法》正式发布,打破了国外对电影技术标准的垄断[21],这也是首个“非好莱坞”国家提案并主导制定的电影国际标准,较大提升了我国在电影技术标准领域的国际话语权。2023年11月,全国电影标准化技术委员会正式成立,负责电影技术领域标准制修订工作[22],将充分发挥电影技术标准“国家队”的引领作用,为中国电影产业高质量发展做好标准支撑,为中国电影技术标准的国际化激发“新”动能。

2023年6月,中国最大的电影级LED虚拟摄制屏正式落户无锡国家数字电影产业园(图2),国内首个5G智慧虚拟拍摄联合实验室也正式建成,“5G智慧虚拟摄影中心”“AIGC影视科创中心”“影视智能算力中心”同步揭牌。[23]5G、云计算、大数据、人工智能技术从基础设施建设和智能科技应用角度不断推动电影创制的创新升级。

在中国电影科技实现“多点突破”的同时,国产电影票房也有着较为明显的提升。2023年,全国电影票房以549.15亿元收官,国产影片票房占比83.77%[24],中国电影科技实现了从“破冰”到“崛起”。电影是画面和声音创造的艺术,包含了文本、图像、声音等多模态信息,随着科技的发展,其创制过程愈加呈现复杂性、系统性、协同性。

2024年,“人工智能+”首次被写入政府工作报告[25],这不仅显示出人工智能技术在发展中的重要性愈加凸显,更意味着人工智能将作为未来基础性、驱动性的技术力量,与各行各业深度融合,驱动传统行业转型升级。实现电影产业的智能化升级是一项兼具复杂性、系统性、时代性的庞大工程,当前AI大模型展现出的强通用性和强泛化性以及智能涌现能力,有望成为推动电影产业智能化升级的重要驱动力。因此,要积极推进AI大模型在电影行业的发展与应用。

第一,凝聚电影行业内外科技力量,推进AI大模型技术在电影垂直行业的研究与应用。随着科技的进步和创新发展,世界已经进入大科学时代,多学科交叉融合成为科学研究的重要特征。AI大模型技术在电影垂直行业的研究与应用,需要整合电影行业以及智能科技行业的科技力量,以实现技术驱动与艺术赋能。2023年1月,利用AIGC技术辅助制作的动画短片《犬与少年》(牧原亮太郎,2023)受到广泛关注,该片由WIT STUDIO、rinna(微软小冰公司日本分部)以及日本奈飞公司共同制作[26],其中WIT STUDIO是专业动画制作公司,而rinna则专注于人工智能技术。《犬与少年》的成功推出是一次在数字内容创作生产领域跨界合作的尝试,也展示了AIGC在内容创作生产上的潜力。当前,以AI大模型为基础的文本、图像、音频、视频生成技术等智能科技研究方兴未艾,国产多模态大模型技术加速发展,电影行业要顺应智能化发展趋势,联合行业内外科技力量,协同攻关AI大模型技术在电影垂直行业的研究与应用。首先,当前AI预训练大模型的训练成本高昂,只有少数资金雄厚的大型科技公司能够负担,因此要充分利用开源大模型作为技术底座;其次,要建立更加适合电影垂直行业的训练数据集和测试数据集,为模型训练和优化奠定良好基础;再次,要基于电影生产制作等流程进行模型的定制化训练和调优,以便进一步提升模型性能,更好地完成电影相关任务;最后,要确保AI基础模型、核心算法、关键核心技术等自主安全可控。

第二,积极推进云计算平台、云数据中心、AI系统设施、5G/5.5G/6G信息通信网络等新型基础设施建设。数据、算法和算力是人工智能发挥作用的核心关键要素。随着数字经济和人工智能技术的发展,对数据存储和算力的需求将持续增长。云计算技术通过将计算资源、存储资源、软件资源集中起来(资源池化),以实现随时随地按需满足用户的资源需求。其中云计算平台可提供弹性计算资源以及人工智能技术相关工具和服务,云数据中心可以提供海量数据的存储与共享,5G/5.5G/6G信息通信网络可提供高速的信息传输。人工智能在电影行业的应用涉及文本、图像、音频、视频等四种模态的数据,相比于单模态数据需要更大的数据资源、存储资源和算力资源。当下的AI大模型已经对数据和算力提出了更高要求,因此,电影行业要积极推进云计算平台、云数据中心、AI系统设施、5G/5.5G/6G等新型基础设施建设,以支撑未来智能科技在电影行业的推广应用。一方面,云计算中心要注重技术创新,满足人工智能等新兴技术的需求;另一方面,加强安全防护,以保障数据和信息安全。

第三,AI作为一种全新技术手段,是一把双刃剑,兼具技术性和社会性双重属性,必须统筹考虑和有序推进。一方面,AI将有望颠覆并重塑电影创制流程,对于现有工艺环节,AI技术也将持续深化,未来通用模型和专用模型、大模型和中小模型、消费端应用和专业场景应用会协同发展,多元化的AI工具产品会应用到电影行业;另一方面,由此生成的部分高品质图像、音频、视频能达到以假乱真的程度,在信息安全、版权保护等方面引起广泛担忧,各国政府主管部门、设备商、软件商、AI生成工具将相继推出技术方案,既可以帮助识别和防范虚假内容,同时也为维护信息安全和实施版权保护提供有效手段。

结语

智能化是大势所趋,在中国由电影大国向电影强国转型的关键时期,推进电影全产业链的智能化升级,是电影产业高质量可持续发展的必然要求。当前以AI大模型技术为代表的智能科技正处于快速发展期,新的模型和应用层出不穷,需正确看待其在电影行业的发展与应用,妥善应对风险与挑战,强化顶层设计、立足自主创新和注重有序推进。以AI系统为核心关键基础设施的全新时代已经到来,AI技术将更全面、更有力地支撑电影产业发展,影视行业要抓住智能时代的创新变革机遇,大力推进人工智能在电影行业的发展与应用,以AI赋能实现电影产业提质升级。

参考文献:

[1][3]李航.机器学习方法[M].北京:清华大学出版社,2022:516,519.

[2]王晓华.从零开始大模型开发与微调:基于PyTorch与ChatGLM[M].北京:清华大学出版社,2023:523.

[4]周志华.机器学习[M].北京:清华大学出版社,2016:373.

[5]彭勇,彭旋,郑志军,等.多模态大模型:技术原理与实战[M].北京:电子工业出版社,2023:76.

[6]杨雨然.2024中国“百模大战”竞争格局分析报告|报告解读[EB/OL].(2024-03-27)[2024-03-25].https://www.iyiou.com/analysis/202403251062790.

[7]祁勇,刘传.“智能+”电影产业:人工智能介入电影产业问题前瞻[ J ].文艺争鸣,2022(09):200-204.

[8]季向阳.本期导读[ J ].现代电影技术,2023(06):3.

[9]沈浩,卢伟.影视行业中的生成式人工智能:机遇与挑战[ J ].现代电影技术,2023(06):10-16.

[10]张陆园.人工智能影像生产模式的技术赋能、媒介特征与文化危机[ J ].当代电影,2023(09):77-84.

[11]谭剑.人机交互视域下人工智能对当代电影的重塑[ J ].北京电影学院学报,2023(07):84-91.

[12]赵宜.人机共创、数据融合与多模态模型:生成式AI的电影艺术与文化工业批判[ J ].当代电影,2023(08):15-21.

[13]王晋宁,黄心渊,赵伟然.人工智能数字影像的电影化之路——未来影像奇观构建[ J ].北京电影学院学报,2023(11):71-79.

[14]刘达.电影产业云化与智能化升级的时代思考[ J ].现代电影技术,2022(04):4-9.

[15]陈军,赵建军,鲁梦河.AI与电影智能制作研究与展望[ J ].现代电影技术,2023(10):16-26.

[16]赵鋆凡,苏明扬,李秀.AIGC赋能高效电影制作——以3D人体动画生成工具为例[ J ].现代电影技术,2023(07):4-9.

[17]于冰,陈佳辉,范正辉,等.基于深度学习的电影数字修复系统研究[ J ].现代电影技术,2023(08):12-20,26.

[18]李思佳,刘世光.基于视觉画面的空间音频合成及电影行业应用研究[ J ].现代电影技术,2023(09):4-10,45.

[19]网易.AI制作的电影正式首映了!好莱坞大危机时代来了?[EB/OL].(2024-03-06)[2024-04-27].https://www.163.com/dy/article/ISJVEV8I0537ANQB.html.

[20]本刊.国产LED电影放映系统首次出口海外实现质的突破[ J ].现代电影技术,2023(03):11.

[21]本刊.中国电影标准国际化取得重大突破——中国首个电影国际标准正式发布[ J ].现代电影技术,2023(06):5-6.

[22]本刊.全国电影标准化技术委员会在京成立[ J ].现代电影技术,2023(11):4-5.

[23]新民晚报.全国最大!电影级LED巨幕拍摄屏亮相无锡[EB/OL].(2023-06-21)[2024-04-27].https://baijiahao.baidu.com/s?id=1769291332835365192&wfr=spider&for=pc.

[24]人民网.中国电影年度票房突破500亿元 国产影片包揽前十[EB/OL].(2023-11-14)[2024-04-03].https://www.chinafilm.gov.cn/xwzx/gzdt/202311/t20231114_778828.html.

[25]光明网.首次被写入政府工作报告“人工智能+”蓬勃发展赋能各行各业[EB/OL].(2024-03-11)[2023-04-03].https://baijiahao.baidu.com/s?id=1793195810243835497&wfr=spider&for=pc.

[26]高锐.从动画影片《犬与少年》到元宇宙:AIGC的潜力、应用及挑战[ J ].现代电影技术,2023(05):24-28,17.