台前虚拟、幕后AI，文娱终变无人工产业

徐丹莹

摘要：「虚拟文娱」，正在入侵「现实文娱」，甚至即将发动传媒史上一场最大风暴的革命。它以未来之势，将从「内容」「场景」「职业」「产业」，全面渗透甚至取代当下文娱，最终「虚拟文娱」与「现实文娱」将会形成彼此交融又分庭抗礼的两大文娱阵营。

关键词：虚拟文娱;职业;产业

谈起虚拟偶像、歌姬、模特、主持人等虚拟职业名人，一袭水蓝色长发的「公主殿下」初音未来肯定榜上有名。

B站一年一度的BML（BILIBILI MACRO LINK）演唱会在上海梅赛德斯如期举行，日本超人气虚拟歌姬初音未来与国内顶级虚拟歌姬洛天依首次在线下演唱会同台，与B站站娘2233四人共唱《再来一杯》，台下荧光棒的海洋此起彼伏「哔哩哔哩干杯」的应援，与真人演唱会并无差别。

第二届世界人工智能大会上，让包括邓丽君在内的多位已逝歌手、演员重返舞台、荧幕的数字王国（Digital Domain），同时也是《复仇者联盟4》《头号玩家》等电影的特效制作公司，其华人CEO谢安分享，在最新机器学习与游戏引擎的帮助下，影片中虚拟人角色可实时渲染生成，成本下降了三分之二。

虚拟歌姬、虚拟人角色、虚拟偶像等虚拟职业已成为文娱产业中不可缺少的一部分，在娱乐业近5年趋势预测报告中，也一直有这样一个认知，当5G开放时，VR会第一个再次爆发，谢安亦在前不久举行的世界人工智能大会上表示「我们离《头号玩家》的世界仅差一个5G，虚拟时代已经来临。 」基于此大势，本文将带大家一起总结目前文娱产业中的虚拟职业，分为台前与幕后上下两篇，在梳理各个职业的同时对其以后的升级迭代展开畅想。

一、虚拟人技术发展迅猛，演员仍难替代

虚拟歌姬、虚拟现实等链接三次元世界的「虚拟」概念并不是近十年随着科技的进步才诞生的。

早在17世纪，人类就幻想过用机器模拟人声与乐声，并尝试用特质的管风琴模拟人的元音发音，19世纪时，人们开始研制Panharmonicon这件可模仿其他音色的自动演奏乐器。

也在同一时期，苏格兰科学家Davis Brewster发明了透镜式立体镜，让两眼感知两个不同的平面图像从而有3D成像效果的手持设备，后来受到电影诞生的冲击，这个概念便进入了休眠，直到近年VR的横空出世，它才重回视野。同样，直到计算机的问世，机器模拟人声的幻想才成为梦想，并得以实现。

（一） 二次元世界的虚拟明星

1961年，电脑音乐大师麦克斯·马修斯第一次让电脑成功演唱歌曲，在当时最先进的IBM 7094电脑上制作出模拟人声演唱《Daisy Bell》，可看作为虚拟歌手的初代雏形。https：//v.qq.com/x/page/s03971prrsd.html（IBM7094《Daisy Bell试听》）

虚拟歌姬依托的歌声合成引擎载体Vocaloid 并不是为打造虚拟歌姬诞生的，而是為了使真人歌声更好听而研制的，该公司当时希望研制出一款帮助「音痴」在KTV变「歌神」的软件。永远16岁的「公主殿下」是在为达到更好的产品宣传效果，将软件「娘化」「拟人形象化」为手持麦克风的红发姑娘起音美可和穿风衣的男孩始音海人大卖后才精心布局的。

2007年，其完美的人设一经问世，便迅速在ACG圈走红，一个月内将公司市场占有率由6%提升到33.9%，随后依托全息投影技术，初音未来成为第一个举办演唱会的虚拟艺人，也是首个走进大众视野的虚拟歌姬。

五年后的2012年，属于中国自己的虚拟歌姬洛天依问世，可能许多人不太明白虚拟歌姬与虚拟偶像的差别，在此明确一下，虚拟歌姬是指以初音未来为代表的依托Vocaloid程序合成声音的二次元女性歌手角色产品，虚拟偶像则是二次元动漫人物偶像，基本有真人声优配音。

这类二次元艺人与现实世界中的艺人一样，有明确的职业分工，二次元偶像、二次元模特、二次元演员、二次元乐队、二次元rapper等，二次元偶像产业的巨大商业价值吸引日本最大的男子偶像事务所，旗下拥有木村拓哉、KinKi Kids、岚、山下智久等人气偶像的杰尼斯也建立了「虚拟杰尼斯」项目，并于2月19日推出首批二次元虚拟偶像——海堂飞鸟和苺谷星空两位少年。

除带着明显的明星光环的二次元艺人外，2016年诞生了首个VTuber虚拟UP主——绊爱，她转变了原有的受众消费模式，将单向欣赏转向如普通YouTuber一样的实时互动新模式。她会直播玩游戏，会回答问题，甚至会按照google map去游览东京，并且做出解说。

VTuber是通过实时渲染和人物建模等技术虚拟背后真人的动作表演，加之同步声优配音的二次元主播，粉丝们把她背后的表演者称之为「中之人」。截至目前，绊爱频道的订阅数已高达2，673，436， 她的出世也点燃了日本VTuber市场，「VTuber」一词被票选为2018年日本流行语第一位，根据调研社User Local统计，2019年5月YouTube虚拟偶像总数已突破8000大关。

二次元虚拟艺人在霓虹的热潮也随着B站UP主的搬运被带来了国内，在8月初举行的2019 China Joy盛会，网易伏羲实验室带来了全球第一个引入AI技术的虚拟偶像「曲大师」的升级版「曲师师」，自称是具备「完备知识和感情的芯片」的唱跳爱豆全新人设，今后曲师师也将逐步开展直播。

以上二次元世界的虚拟职业中，Vocaloid系虚拟歌姬除合成音源数据来源于声优之外，相较于其他虚拟艺人，对于背后真人的参与度较低。

（二）三次元形象的虚拟名人

回归到三次元世界，虚拟人在文娱产业中都有哪些担当呢？

虚拟歌手活跃在台前的多为已逝歌手或摇滚乐队成员：

2012年数字王国（Digital Domain）公司用全息投影技术在Coachella 摇滚音乐节上复活了已去世 的美国著名饶舌歌手 Tupac Shakur之后，这个技术便被广泛的应用于已逝音乐人的「复活」;

2013年周杰伦台北小巨蛋演唱会与全息投影邓丽君跨时空对唱《红尘客栈》与《千里之外》开启了邓丽君的复活之路，2017年日本综艺用AR和全息投影带来了更真实版的《我只在乎你》。

「复活」已逝名人的技术不仅被用于舞台，亦被用于去世演员大荧幕的复活，如《速度与激情7》中的保罗·沃克与《星球大战外传：侠盗一号》中的彼得·库欣。

大荧幕中的虚拟角色，也称虚拟演员可能是观众最为熟悉的虚拟职业，他们几乎遍布所有好莱坞真人爆米花电影，依靠真人动作捕捉生成影片中的虚拟角色是好莱坞电影特效产业重要的一环，成功跨越「恐怖谷」每一帧都在烧钱的《阿丽塔》更将该技术领入新的「表演捕捉」高峰。

在前不久的巴黎时装周上，柏林的创意二人组Trashy Muse带来了全球首场虚拟时装秀，模特中不乏知名虚拟KOL、超模，Shudu就在其中。此次尝试，或给科技公司与时尚品牌打开了新领域的合作。不夸张的说，模特极有可能成为首个完全被虚拟人取代的行业。

（三）虚拟主持人

最后我们来谈下虚拟主持人，2000年全球首个虚拟新闻主播Ananova在网络诞生，她极具科幻感的面容与机器声线，与真人新闻主播的差距很大。真正将新闻主播带上「像真人」行列的还是在AI主播诞生后，2018年11月，新华社联合搜狗将语音合成、唇形合成、表情合成以及深度学习融合在一起，发布了全球首个AI合成主播，将语音合成、唇形合成、表情合成以及深度学习融合在一起，在这之后，撒贝宁的「孪生」AI主持人也在今年的央视春晚亮相。

就上文的梳理来看，虚拟职业可以说已涉及到整体文娱行业的台前职业，真人职业是否会被取代取决于观众对该职业「像真人」要求的强度。时尚行业的需求可能更偏重于外表，目前的CG虚拟技术极有可能使它成为首个被虚拟人取代的行业，这也可以很好的解释，为何人形角色目前不可摆脱真人表演的辅助，因为观众对于表演的要求不仅在外貌，更在感情的真实与感染力，所以真人演员的幕后表演是虚拟角色毫无违和感存在真人影片中的保障。

虚拟职业在三次元世界中的最高追求「像真人」，在外表更真实的基础之上其智商也要更像人甚至超越人。长久以来，文娱产业的台前职业都是有血肉的真人从事的，我们凭过往历史与经验认识、了解这个行业，所以都在尽力缩短虚拟人与真人的距离。

二、AI内容生产，渗透各领域

2017年5月湛庐文化出版了由「微软小冰」创作的诗集《阳光失了玻璃窗》;同年，「AIVA」为卢森堡国庆日庆典开幕式作曲;2017年双11，阿里「鲁班」制作了4亿张海报;2017年底「媒体大脑」10秒写稿…..引号的名字都是 AI内容生产系统，在机器学习、深度学习与循环神经网络等算法进步的推动下， AI已在文娱产业各幕后岗位上岗，或具备可以上岗工作的能力，作为读者的您或许早已看过它们撰写的新聞和天气预报。文章的下篇，我们就盘点一下文娱内容生产领域的各位在职AI。

幕后虚拟职业与上篇中提到的虚拟艺人最大的不同便是外形与智能，幕后AI生产者并没有具体外形，基本为程序或软件，但它们有着与人类一样甚至过人的工作能力。

（一）文学创作

AI在内容生产领域的应用，也就是AI在文娱产业幕后担任的职位，可分为四大类，分别为文字、音频、图像和视频。首先，文字创作方面，诗歌/词创作、新闻和天气预报的撰写、剧集编剧、小说撰写，广告词创作等工作均有AI「工作者」任职。希望机器写出畅销的文学作品的想法并不是 AI出现后诞生的，早在上世纪40年代《1984》的作者George Orwell就想过此事，AI 让梦想逐渐成为现实。

AI 写诗，开头提到的「微软小冰」是现代诗集的AI创作者，「编诗姬」等是古典AI诗人。

AI编剧在2016年创作出首部非人类撰写的科幻剧本《Sunspring》，该剧本被拍成9分钟的电影，参加了伦敦电影节48小时短片挑战赛。剧本中的每句话都为通顺的语句，但整体没有逻辑。

AI机器人写新闻稿应该是AI最早涉足的文字创作领域，2014年，《洛杉矶时报》的QuakeBot生成地震报告，美联社亦应用AI撰写财经新闻;2016年里约奥运会，《华盛顿邮报》运用Heliograf进行第一时间的体育新闻报道。

除文字工作的创作生产， AI亦可担任上下游的辅助工作，如「GiveMeSport」担任体育新闻前期资料收集与分类;根据过往电影资料提供编剧方向建议等准备工作，以及后期担任校对对文章进行纠错;为新闻报道配图加视频等工作。

（二）音视频领域

其次，音频创作领域，AI可担任作曲、编曲、歌曲制作人、模拟人声等工作。AI 作曲主要有五种方式，第一，Amper Music为代表的选择乐曲情绪、风格、乐器、用途等生成乐曲;第二，根据照片图片生成乐曲的「神经卡拉OK」;第三，输入简单旋律，可编写整首曲子的「Google Magenta」;第四，开头提到的AIVA等直接谱曲的AI，多为古典音乐创作;最后则是「The Seed」，可根据歌词谱曲。

编曲与歌曲制作人的工作，Amper Music和Flow Machines目前均有自己的代表作问世，前者完成了Taryn Southern歌曲《Break Free》的编曲工作;后者创作了《Daddy’s Car》与《Mister Shadow》两首风格迥异的歌曲。

模拟人声则是指Adobe的Voco项目，通过学习人声素材，模拟合成人的讲话声音，从而根据文字指示，生成新的音频。

再次，图像设计制作领域，充满大家较为熟悉的旧照高清修复、图片去水印等「黑科技」，AI可担任设计、图片后期、绘制照片等工作。设计包括海报设计、logo设计、配色方案、设计提案等AI都可完成;修图、调色、去障碍物、手绘等美术后期工作AI亦可包揽。

最后，视频制作领域，主要工作分为两部分，前期拍摄与后期剪辑，「VEO」丹麦创业公司自主研发的AI可以进行球赛的拍摄;6月11日，全球首款AI自导演摄像机——OBSBOT寻影正式亮相2019中国上海亚洲消费电子展，创造性地推出 AI 追踪、智能构图和手势感应，可为短视频内容创作者带来了颠覆性的拍摄体验。

后期剪辑方面，2016年IMBWaston为20世纪福克斯的惊悚片《Morgan》剪辑了预告片，Watson通过对电影进行视觉分析，识别角色、物体和场景，挑选出它认为最适合放在预告片中的高能内容再进行拼接，今年7月，流媒体巨头Netflix表示，看到的下一个电影预告片可能会由AI剪辑制作。

除了对创意要求较高的影视和影视预告片的剪辑之外，短视频平台对技术要求较低的视频剪辑中，AI参与制作的比重要大得多。尤其是产品展示类视频，Alibaba Wood可在1分钟之类制作200个商品展示短视频;智影人工智能在线视频制作，上传文字脚本后系统会根据内容的关键字、人名、事件等信息自动匹配相关视频素材，快速生成视频。

「逻辑创意」四个字也成为目前文娱产业幕后AI工作的最大限制，所以在音频与图像两个更偏重「感受」的创作领域中，AI的表现要明显优于文字与视频的内容生产。

因此在讨论AI或虚拟人与现实人类的关系时，李开复提出的「五秒原则」可判斷该职业的从业人员是否会被取代，即一项职业所从事的工作，如果可以在5秒钟之内对工作中需要思考和决策的问题作出相应决定，那么该职业在未来基本是会被取代的。以此原则来判定文娱产业中的内容生产领域，我们可以说，在一段时间内，这些幕后职业是不会被取代的，与AI「同事」的关系为协作促进的关系，更多时候AI扮演辅助工具的角色，从时间周期上提升内容产品的产出速度，从内容上提高文娱产业产品的质量。

三、结束语

在搜集资料的过程中，笔者看到最多的标题便是「XX要失业了」等一系列的标题，《卫报》则在《Deepfake时代，虚拟演员是否会将演员取代》一文中为演员站台，表示现有的人形角色仍离不开背后的真人捕捉，可能演员会不以自己的真是面貌出镜，但他们的表演是真实的。

或许未来是个眼见耳听均难辨真假的时代，但我们的感受是真实的，而这一切的虚拟也是为我们的体验更真实。

参考文献：

[1]2019 BML全息演唱会开演，初音未来与洛天依首次同台

https：//new.qq.com/omn/20190720/20190720A0D2EL00.html

[2]虚拟歌手的历史和存在的意义——论VOCALOID、UTAU、KONTAKT以及人力VOCALOID的创作

https：//www.bilibili.com/read/cv2362211/