“AI 孙燕姿”爆火，技术如何复刻声音？

颜媛媛

“AI孙燕姿”横空出世

2023 年最火爆的华语歌手是谁？不是周杰伦，也不是孙燕姿，而是“AI 孙燕姿”。

近期，在各大视频平台上，“冷门歌手孙燕姿”靠着各种各样的AI“分身”翻唱不同曲风的歌曲，营业时长感人，作品出圈火爆。从流行到摇滚、再到“魔性”，没有AI孙燕姿驾驭不了的曲风。

“这歌太上头了，我能循环听一个晚上。”这两天，经常逛B 站的“姿迷”（孙燕姿的歌迷）会常常发出这样的感慨，有人一晚上搜罗了“孙燕姿”翻唱的各种经典曲目。尤其是周杰伦的《发如雪》播放量高达106 万，《半岛铁盒》《爱在西元前》等播放量也超过了60万……

本人未曾开口，轻而易举地占据华语乐坛半壁江山，连资深歌迷都不太能听出差异。孙燕姿悄无声息“攻占”华语歌坛的背后，靠的还是人工智能。

音乐圈的科技与狠活儿

除了“AI 孙燕姿”，还有“AI 周杰伦”、“AI 王心凌”……据悉，这些翻唱歌曲，是由多位UP 主通过开源项目自制后上传。

“他们”的翻唱歌曲，由创作者通过开源项目“so-vits-svc”自制后上传。

按照目前的技术，歌手的唱腔、技巧和风格还很难完全模仿，但音色已经基本能1：1 复制了。而我们也发现，AI 孙燕姿用的核心技术主要来自一个叫作so-vits的开源项目。

随着AI 歌手的火爆，“教你打造属于自己的AI 孙燕姿”“让喜欢的歌手为你唱歌”等AI 训练教程也火速上线，制作此类歌曲的门槛越来越低。

在《下雨天》的AI 翻唱视频下，B 站网友评论，“那以后，能听见黄家驹、张国荣他们唱新歌了。”

目前，这个项目已经迭代到了4.0 版本。相较于以往VITS、soft-vc、VISinger2 等项目，so-vits 的使用大大简化，仅凭数段音频，就可用一个生成式模型来合成目标音色的音频，训练出用户想要的声学模型。这个模型可以保留音高和音调，也可以用不同的語言来翻唱。

制作一首AI 歌手演唱的歌曲需要4 个步骤：下载一键启动包、输入合适的干声（无音乐的纯人声）、训练声学模型（训练时间越长效果越好）、进入音频编辑软件进行合成和后期。目前，网上已经随处可见教学视频，博主仅需3 分钟就可教学AI 音频制作的全流程。

实际操作起来其实并没有这么简单，目前，有两个比较火的开源项目，分别是so-vits-svc 和RVC，它们都使用了一种叫作vits 的模型，原本是用于文本生成语音的，但是经过改造，可以直接将音色特征作为输入，不需要转换成文本。这样就可以实现任意歌曲的音色转换，而不仅仅是歌词。

AI 孙燕姿就是利用这些技术，将孙燕姿的音色特征提取出来，然后用它来翻唱其他歌手的歌曲。这个过程并不简单，需要一定的算法相关经验和成果，也需要大量的数据采集和实验。

据悉，AI 孙燕姿的创作者之一Rcell 表示，他和他的团队经过半年时间做了上百组实验，才得出了当前的最优解。他们采集了孙燕姿的四张专辑《孙燕姿 同名专辑》《克卜勒》《逆光》《是时候》，共计约100首歌曲作为训练数据。他们还尝试了其他歌手的音色转换，比如周杰伦、林俊杰、王菲等等，但是效果都不如孙燕姿的好。

而此前为了纪念邓丽君逝世22 周年，日本节目《金SMA》利用全息投影技术，令一代歌后“复活”。粉丝们自行训练张国荣、姚贝娜等故去歌手的模型，让故人以“数字生命”的形式重现，透过这些久违的声音，让听众在互联网的一片喧嚣之中，感受到独有的人文主义温暖。

今年3 月，歌手陈珊妮发布新歌《教我如何做你的爱人》，粉丝听完新歌后几乎都在称赞这首歌的演唱水准一如以往。但一周后，陈珊妮发表长文表示，她的新歌其实是由“AI 模型”演唱，就连单曲封面也是AIGC 生成。在歌曲制作过程中，她为调教AI 演唱做了充足的工作，这些工作量不低于甚至远高于亲自演唱。

而陈珊妮也表示，期望透过这首歌，促动所有关心艺术创作的人思考——如果 AI的时代必将到来，身为创作人该在意的或许不是“我们是否会被取代”，而是“我们还可以做些什么”。

绕不开的版权问题

AI 翻唱涉及的版权问题主要包括：AI翻唱是否侵犯了歌手的声音版权？ AI 翻唱是否侵犯了其他歌手的音乐版权？ AI 翻唱的歌曲是否享有自己的版权？

这些问题在我国目前还没有明确的法律规定和司法判例，存在很多争议和困难。

国外，AI“入侵”音乐界早有案例。如一名TikTok 用户利用AI 蕾哈娜翻唱碧昂斯热门单曲《Cuff It》的案例，引起了该曲版权方环球音乐的注意，并引发了侵权诉讼； 美国摇滚乐队Nirvana 起诉歌曲《Drowned in the Sun》的制作团队，称该团队利用AI 技术模仿了他们的风格；美国说唱歌手Jay-Z 起诉网站VocalSynthesis，称该网站用他的声音朗读《哈姆雷特》等文学作品，侵犯了他的声音版权和肖像权。

以大模型为桥梁，非编程人员便可打造专属AI 工具，无疑是向通用人工智能迈进的重要一步，但当AI 在音乐、绘画等领域的应用门槛逐步放低，相应的版权问题势必纷至沓来。

有意思的是，so-vits-svc 模型的开发者已经从源代码托管服务平台Github 上删库，并表示，删库主要是因为项目已经停止维护和更新，并且声明了项目的免责条款，强调项目是一个开源、离线的项目，所有成员和贡献者对项目没有任何控制权，也不知道用户使用项目的目的和方式，因此所有基于项目训练的AI 模型和合成的音频与项目的成员和贡献者无关。

5 月9 日，抖音也发布了关于人工智能生成内容的平台规范暨行业倡议。其中提到，创作者、主播、用户、商家、广告主等平台生态参与者，在抖音应用生成式人工智能技术时，发布者应对人工智能生成内容进行显著标识，帮助其他用户区分虚拟与现实，特别是易混淆场景；发布者需对人工智能生成内容产生的相应后果负责，无论内容是如何生成的；虚拟人需在平台进行注册，虚拟人技术使用者需实名认证；禁止利用生成式人工智能技术创作、发布侵权内容，包括但不限于肖像权、知识产权等。一经发现，平台将严格处罚。

AI 技术生产的声音，可能会让你感到新奇，但也可能会让你感到迷惑，在听这样的歌曲时，最好不要忘记了真正的歌手、真正的歌曲、真正的音乐。