XR技术和数字人技术在纪录片中的应用
2024-05-07顾彦君
[摘要] 近年来,随着科技的不断发展,XR、數字人等新技术逐渐在纪录片创作中得到应用,为纪录片的发展带来了新的美学影响和价值补充。以纪录片《风起东方》中XR技术、数字人技术的应用为例,述评新技术对纪录片制作产生的美学、价值等方面的影响。
[关 键 词] 纪录片;新技术;XR;数字人
在记录与传播的要求下,纪录片需要尊重客观事实,真实地保存文化现象。随着纪录片观看人群的年轻化,观众对于纪录片的需求也在不断变化,不仅要求纪录片具有真实性和教育性,还要求其具有观赏性和娱乐性。XR、AI等新技术已经成为影响纪录片发展的重要因素,这些新技术不仅拓展了纪录片的创作形式,还进一步拓展了纪实影像的创作边界和想象空间。
一、研究背景
新技术和新思维在纪录片中的应用已经是时代趋势。很多国际流媒体已经推出了运用虚拟制作技术的纪录片,如《我们星球上的生命》等。许多中国纪录片制作方也将重点转向探索纪录片与虚拟制作的结合,如2023年优酷出品的纪录片《风起东方》以当下为出发点,纵向溯源丝绸之路的“古”与“今”,运用XR、AR、AI技术,融合“艺术+技术”,首次采用阿里大文娱超写实数字人“厘里”作为串联线索,从“鉴古观今”“兼收并蓄”“美美与共”“丝路味道”“和谐共生”“大道同行”六大主题出发,以数字人视角跨越四大洲,带领观众感受千年丝路的厚重历史以及“一带一路”的十年变迁。
本文中提到的XR技术和数字人的概念如下:XR是“扩展范围(extended-range)”的缩写,虚拟现实(VR)、增强现实(AR)和混合现实(MR)这些技术统称为“扩展现实”(XR);数字人是一种由计算机程序驱动的拥有自身意识和身份的人工人,可以在数字世界中展现出与真实人类相同的生理、心理、社会表现。
二、新的美学体验:更沉浸的体验、更丰富的视听语言、更通顺的叙事结构
(一)XR技术的应用:可互动、立体化的视觉让观众更沉浸
新的数字图像技术,例如电脑动画、数字地图、全景成像、虚拟现实、延时摄影等,都让纪录片对时间和空间的视觉表达更加多元[1]。
XR技术在题材内容、叙事形态、视听语言、观众体验等方面对纪录片产生了新的影响。在题材内容上,题材的现实性和场景可表现性更加突出。在叙事形态上,XR的运用使得纪录片由传统的线性叙事发展为互动叙事。XR技术让观众参与到对“真实”的建构过程中,从“客观真实”转变为“主观真实”,从“旁观真实”转变为“参与真实”[2]。例如在纪录片《风起东方》选集《锦绣万里》中,厘里望着背后的天空点动手中按钮,XR生成的虚拟荒漠中就升起了现代化的城市高楼,印证了文明诞生、共生和交流的主题。再如厘里转动手中充满科技感的虚拟方块,CG大石头即从驿站地下出现,厘里与之形成了互动。
此外,VR 场景中“媒介”的存在感被削弱。“我们的文化既希望拥有多种媒介,同时又想消除所有媒介化的痕迹:理想化地说,它想要在增加媒介的同时消除媒介。”[3]在XR叙事场景里,没有“画框”将媒体里的虚拟世界和现实世界清晰地一分为二,整个视野范围充满真实的“现实事物”。在此场景下,导演无须担心观众出戏的问题,因为沉浸式的世界和多样化的感知体验能使观众“忘记媒介的存在”,更加深入地投入虚拟世界中。
观众可以通过XR技术感受更加真实的历史场景。如在纪录片《风起东方》中,厘里借助科技感的生态电梯塔打开不同的生态次元,观众可以跟随她一起“回到”古丝绸之路上,看见丝绸、制香等技术如何传承至今;“来到”老挝和英国,感受不同文化碰撞和交融。《风起东方》横向选取了最具代表性的多个侧面,以点带面、以面汇网,带着观众见证昔日的繁荣景象和十年来的变革,历史厚重感和现代生命力交相辉映。
(二)新技术拓展了视听语言:“艺术形式+”成为可能
虚拟现实空间对于纪录片的最大改变还有叙事模式[4]。《风起东方》在XR舞台上融合了戏剧表演、民乐融合展、魔术互动秀、诗歌朗诵等多种艺术形式,通过视听的双重感受,丰富了纪录片的表现力,立体展示了“一带一路”十年建设成果。同时,数字人与演播厅现场真实人物的互动使得整个节目更加流畅。本片总导演张伟表示:“XR与数字人物厘里的结合非常复杂,从XR素材制作到现场拍摄,需要精心调试,以确保画面真实、具有科技感和立体感。”
在纪录片《风起东方》中,厘里与真实的新疆舞者共同演绎了一段舞蹈,通过交互融合技术的运用,使得虚拟与现实完美融合,为观众带来了一场震撼的视觉盛宴。这种技术难度极高,需要精确的捕捉和同步系统确保厘里与舞者之间的动作协调一致。然而,正是通过这种技术的巧妙运用,厘里成功地融入现实的场景中,与新疆舞者共同展现出丝绸之路的文化魅力。
(三)叙事方式连续性强:“厘里讲述”的叙事主线结构完整、逻辑通顺
传统的纪录片叙事按照故事内容结构推进,而以《风起东方》为代表的新技术纪录片在叙事形态上由传统的线性叙事发展为互动叙事。这种以“数字人讲述”展开的叙事方式连续性好、结构完整、逻辑通顺,丰富了纪录片的表达方式。
《风起东方》每集基本都遵照同一个模式:AI生成与实拍结合的固定片头开场,导入本期主题相关实拍快剪构成的分集片头,演播厅中数字人厘里入场,以她的“感受/体验”视角进入正片。每集进入正片之前的解说和演播厅画面的导入都是具有连续性的“相似”重复,而集与集之间又保持了相异性。
例如在纪录片《风起东方》选集《锦绣万里》中,厘里在三次转场中横跨古今两千年,分别行走陆上、海上、空中三条丝路,从三个不同的视角展示了丝绸之路的古今发展;选集《和谐共生》中,厘里走过了三个相似的“动静结合”场景——非洲草原中狮子走过、海底世界中蓝鲸游过、湖边朱鹮飞过……接下来每集都选取了与主题契合的不同舞台表现形式例如表演、朗诵等,以具有趣味性的方式导入纪录片的主体:一个/多个主线人物的真实故事。接下来每集中都会配上对应的干货知识视频,配以厘里的语音播报。最后以厘里工整而雅致的解说主持作为结语升华主旨。
三、新的价值意义:更强的主体性视角、更自洽的叙事逻辑
除了为纪录片带来新的美学体验,数字人技术的应用也为纪录片的发展带来了新的价值意义。从形式主义美学思想来看,数字人为主体的叙事确立了形式在艺术审美中的重要意义,将艺术手法提升到了单独的本体地位。
作为《风起东方》中的主要叙事角色,厘里代替了真人主持诉说丝绸之路上的文化盛景,这样的表达视角是对传统纪录片的颠覆和创新。数字人既不同于传统的主持人,也不同于纯粹的虚拟形象。其独立主体性使纪录片的观点更抽离和独立。她不仅仅是在讲述历史,更是在引导观众去思考和感受。这种叙事策略极大地拓展了纪录片表达的空间范畴,是纪录片自我呈现的新创举。
(一)叙事的逻辑更为自洽的同时仍能够“接上地气”
斯图亚特·霍尔将媒介看作一种表意工具。“编码”过程即导演以电影语言为手段、以镜头为叙事单位,通过剪辑等方式组织成较为完整的影片的行为。“解码”即文本到达受众后“产生非常复杂的感知、认知、情感、意识形态或者行为结果”[5],即受众对纪录片观看和理解的活动。纪录片作为一种文化文本,其观看就是一种需要相应能力才能获取到其中意义的解码活动。在纪录片的传播过程中,由于受众的文化结构存在差异,对于纪录片美学叙事、话语系统等的理解会出现差异。因此,如何降低受众解码过程的复杂性是纪录片需要考虑的问题。
XR纪录片恰好降低了观众对于纪录片文本符号的解码难度。在编码过程中,导演、摄影、剪辑三类编码者权力的削弱,大力去除了传统纪录片可能带来的画面意义的模糊性[6]。XR技术为纪录片带来故事发生现场的逼真再现,这种被制造出来的虚拟平行世界和观众所处的世界无限相似接近,VR纪录片所制造的情感认同和心理劝服优势更容易形成。
对于年轻受众而言,纪录片的价值体现在能够满足他们的学习和认知需求。类似于《风起东方》的宣传类纪录片是需要突出其教育意义的。在这里AI的“上帝视角”让知识类的解说更加融洽,少了一些的“说教”的意味。厘里本身作为“少女”的身份设定使其充满活力和青春的气息,其生动可爱的语气显得易让人亲近。
例如在《风起东方》选集《美美与共》中,厘里听到陌生的音乐便进行了AI检索并向观众播报,主动提到“作为数字人我学习了人类的感知模式”;又如选集《丝路味道》中厘里在虚拟果园中游览,直接向AI云数据提问,再由搜索到的结果进行背景知识的补充——在数字人身份的铺垫下,这些“百科式”道理输出的叙事都发生得很自然。厘里和厨师亚当提到地三鲜这道菜的时候开玩笑地说“您一定来自东北”;讲到武术时,厘里举了李小龙的例子,以打趣的形式展示……这些生活化的语言更拉近了与人们的距离。
(二)“艺术+技术”拓展创作空间,促成更广泛的传播推广
真实再现的意义在于,其能通过虚拟的场景,真实地反映历史某个时期的真实,从而使人们容易理解过往的历史或显示现实已经不存在的场景[7]。借助最先进的虚拟现实技术,很多过去无法呈现的历史事件、历史场景和历史人物也都可以通过XR进行模拟。
传统媒体在传播信息过程中往往受制于时间、地点变化的影响,难以进行完整全面的呈现。照相术的发明,为传播带来真切直接的效果。然而随着特效合成等计算机技术的出现,“影像本体论”几乎遭到瓦解。一些经过处理的数字影像让影像和真实的界限变得模糊,影像已经无法保证其视觉的真实。经过实际拍摄的VR纪录片,创造出影史上前所未有的真实感。
摄影机不再需要将镜头对准完全真实存在的世界,一套强大的特效制作系统就可以完成从千军万马的战争场面到玲珑剔透的玩物珍宝的各种场景的制作。虚拟现实技术可以将所有文字的历史形象化,也可以将历史的遗迹或考古的现场进行复原,这样一来,数字技术使得历史纪录片非常富有表现力。借助XR媒介,人们可以多角度、全方位地获取世界其他地方的真实情境状况,跨越国界的同时,也克服了时空限制。例如在纪录片《风起东方》选集《鉴古观今》中,在呈现陆上丝绸之路和当今中欧班列的共生脉络时,数字人厘里和安西大都护共同见证了运用XR生成的“中欧班列”从“古城墙”中开出。
此外,数字人的应用还为纪录片带来了新的营销策略。数字人虚拟偶像IP可以增强观众黏性。虚拟偶像是一种自带关系的新型传播媒介,让内容在部分受众中更容易被关注和认可,更具影响力。例如本片中的数字人厘里,她作为AIGC打造的阿里文娱虚拟偶像数字人,此前已经出演过《异人之下》等知名剧目,并且数字人演员相对于真人演员会更吸睛,关于她的大规模讨论达到了“二次元人和纪录片爱好者双厨狂喜”的目的。
四、仍可改进:升级技术手段,以技术赋能艺术
纪录片《风起东方》总监制张伟介绍:“内容层面,节目更聚焦文化视角,从不同维度呈现‘一带一路国家的发展变化;形式层面的创新主要集中在技术和艺术的结合。” 虽然新技术在纪录片中的应用已经取得了一定的成果和经验,但仍存在待改进之处。
首先,目前数字人和XR之间的结合仍有些生硬,虽然有些选段已经很适配,但仍有些段落存在割裂感。例如在《風起东方》选集《和谐共生》中万物共生之塔和非洲草原的俯视大全景十分逼真,但是选集《大道同行》中外国友人站在卷轴虚拟背景下朗诵就显得有些违和。
其次,目前XR技术和数字人还局限在演播厅内,或许可以参考借鉴Pokemon Go中AR的应用,把虚拟生成的主体“放归自然”,将它们真实地融入现场拍摄中,实现更多场景的互动。
虚拟技术作为一种崭新的媒介传播技术,创造了全新的沉浸式的传播交流方式,对推动纪录片的传播发展、促进主客体交互感受的作用毋庸置疑。但其嬗变过程所带来的对真实性的考究、对职业伦理问题的追问、对本体与美学方面的权衡等一系列问题都是亟待思考的新课题[8]。坚持在多个维度上接近真实,才能让纪录片在整体上最大限度地还原真实。
虚拟影像的创造力所带来的美感,为纪录片创作提供了很多可能性,极大程度上丰富了纪录片作品的类型。在可以预见的未来,随着技术的不断发展完善,纪录片的创作将会更加丰富多样,实现更多的可能性,新技术在让纪录片更好看、更主流、更前沿的同时,也必将在产品传播层面带来更多变化,为观众带来更好的观影体验。
参考文献:
[1]梁君健,杨茹珺.破壁与融合:当代纪录片创新发展的技术动因研究[J].中国电视,2021(12):83-90.
[2]高天.技术及真实:VR纪录片的身份探讨[J].当代电视,2020(2):75-80.
[3]玛丽-劳瑞·瑞恩,徐亚萍.作为叙事的虚拟现实[J].北京电影学院学报,2016(3):28-36.
[4]丁艳华.“创新语言”讲述“传承精神”:虚拟影像在国产非遗纪录片中的新式美学探析[J].中国电视,2019(10):52-55.
[5]刘怡伶,王哲.反思—建构—价值:斯图亚特·霍尔文化领导权理论的思想内核与精神实质[J].西部学刊,2023(23):17-22.
[6]刘玉.虚拟现实技术下的纪录片创作与发展研究[D].兰州:西北师范大学,2017.
[7]汪磊.“真实再现”让纪录片不再“虚拟”:当代技术对电视纪录片带来的影响[J]. 广西大学学报(哲学社会科学版),2011(5):98-101.
[8]李春雷,曹芝慧.虚拟现实技术对纪录片功用的伦理冲突[J].徐州工程学院学报(社会科学版),2017,32(4):72-77.
作者简介:
顾彦君(2003—),女,汉族,江苏南通人,本科在读,研究方向:新闻与传播。
作者单位:苏州大学传媒学院