人工智能，蒙眼狂奔

马冬

“10分钟被骗430万”“9秒钟被骗走245万元”“杨幂走进小商家直播间”“互联网大佬虚拟人真假难辨”……

作为普通人，我们往往是技术变革大潮里的一朵朵浪花，面对迭代速度超乎想象的AI技术，有的人正在被AI（人工智能）替代，失去工作岗位；有的人正琢磨利用AI工具掘金，为人生逆袭创造可能。

而骗子已经高效地利用了Al，侵入人际关系，用技术加持扮作你的亲友熟人，骗走你的钱财。

大模型火爆了3个月之后，比之更火爆的，是动辄百万的诈骗金额、虚假“明星脸”、真假难辨的AI生成内容、多次抵抗AI觉醒的联名上书，连续一周的热搜……让人们意识到，比发展AI更重要的，是保障AI安全。

如同航空火箭正式发射之前必须要经过不断验证和试错，技术进步和发展中，骗子的出现也是AI发展中重要的一环。

你的脸，值430万元

试想一下，有人将一张“贴纸”贴在面部，就可以使人脸识别门禁系统误认为是你，从而轻易打开你家大门；同样是这张“贴纸”，把它贴在眼镜上，就可以1秒解锁你的手机人脸识别，探取隐私如入无人之境。

技术改变了生活，也改变了诈骗。

4月20日11时40分左右，福州市某科技公司法人代表郭先生的好友突然通过微信视频联系到他。两人经过短暂聊天后，好友告诉郭先生，自己的朋友在外地投标，需要430万元保证金，且需要公对公账户过账，所以想要借用郭先生公司的账户走一下账。

好友向郭先生要了银行卡号，声称已经把钱打到郭先生的账户上，还把银行转账底单的截图通过微信发给了郭先生。

基于视频聊天信任的前提下，郭先生没有核实钱是否到账，于11时49分先后分两笔把430万元给对方打了过去。钱款转到后，郭先生给好友微信发了一条消息，称事情已经办妥。但让他没想到的是，好友回过来的消息竟然是一个问号。

郭先生拨打好友电话，对方说没有这回事，他这才意识到可能遇上了“高端”骗局，对方通过智能AI换脸技术，佯装成好友对他实施了诈骗。

“从头到尾都没有和我提借钱的事情，就说会先把钱给我打过来，再让我给他朋友账户转过去，而且当时是给我打了视频的，我在视频中也确认了面孔和声音，所以才放松了戒备。”郭先生说。

在多方全力协助下，用时10分钟，将该诈骗账户内的336.84万元被骗资金成功拦截。但剩余款项93.16万元至今未果。

不过，虽说是看上去离谱的小概率事件，但据相关统计，AI技术新骗局来袭后，诈骗成功率竟接近100%。

而在这起案件背后，核心涉及了AI换脸以及语音合成这2个技术。

大众所熟知的AI换脸方面，现在即便一张2D照片，就能让口型动起来。据了解，合成一个动态视频，成本也仅在2元至10元。

当时涉案嫌疑人表示：“客户”往往是成百上千购买，牟利空间巨大。

至于面向更精准、更实时的大型直播平台，视频实时换脸的全套模型购买价格在3.5万元，而且不存在延迟，也不会有 Bug（漏洞）。

至于语音合成方面，技术效果也是越来越逼真，新模型和开源项目涌现。

前段时间，微软新模型VALL·E炸场学术圈：只需3秒，就可以复制任何人的声音，甚至连环境背景音都能模仿。

而具备语音合成功能的工具Bark，更是曾登顶GitHub（开源代码托管平台）榜首，除了音色接近真人，还能加入背景噪音和高度拟真的笑声、叹息和哭泣声等。

在各类社交网络上，各种小白教程也层出不穷。要是结合虚拟摄像头，可能就更加防不胜防。只需一个软件应用程序，就可以在视频通话中使用任意视频资源。

点击接通后，对方完全不会看到播放、暂停视频等具体操作，只会看到视频播放的效果，“接通后看到的就是美女了”。这样一来，不仅视频可以通过虚拟摄像头，随意拍摄甚至更换，甚至连说话方式都可以真人定制。核心技术门槛的降低，也就给了犯罪分子可乘之机。

孙燕姿PK“AI孙燕姿”

“AI已经从实验室走到了工程化时代，而且比预想中更快。”某行业从业者无限感慨。

從语音识别，到今天遍地开花的人工智能应用场景，AI历经多年发展，结出累累硕果。

在普通人为深度伪造技术加持的诈骗行为而提心吊胆之时，这阵AI的风也吹到了公众人物身上。

“AI孙燕姿”走红全网。相较于真人孙燕姿，AI孙燕姿拥有几可乱真的唱腔，还能“翻唱”任意其他歌手的歌曲，因此在B站、YouTube等平台热度不减，最后甚至惊动了孙燕姿本尊。

后者在5月22日晚上亲自发出长文回应，其中写道“之前我们一直坚信，思想或观点的形成是机器无法复制的任务，这超出了它们的能力范围，但现在它却赫然耸现并将威胁到成千上万个由人类创造的工作”。

在海量的AI视频面前，她认为“人类无法超越它已经指日可待”，表示“我认为思想纯净、做自己，已然足够”。

在视频网站上搜索“AI孙燕姿”，不仅能看到成百上千的翻唱作品，还能看到制作教程。经过学习，每一个人都能拥有自己的定制歌手。在人工智能庞大的运算能力面前，从业23年的金牌歌手也会感到挫败，“你并不特别，你已经是可预测的，而且不幸的是，你也是可定制的”。

感到挫败的远不止孙燕姿一人。

随着人工智能的飞速发展，网友正见证着人类引以为傲的智力劳动和艺术创作领域被AI“入侵”。人类输掉的不仅是速度与数量，还有质量。

在这个意义上，孙燕姿和“AI孙燕姿”的较量，背后是整个人类与AI的较量。这种较量具体而言，首先是一种身份的争夺。在“AI孙燕姿”面前，我们忽然发现，曾经自认为专属的、代表个人身份特征的声音、面容等标识，已另有“分身”；曾经自认为独有的歌唱、表达能力，似乎也可以被运算、模拟、定制。

從生产力强弱上来看，或许孙燕姿与“AI孙燕姿”的较量胜负已定。正如孙燕姿自嘲“你跟一个每几分钟就推出一张新专辑的人还有什么好争的”。

但从身份的归属看，“AI孙燕姿”依然从属于孙燕姿。是孙燕姿听众的需求创造了“AI孙燕姿”，是孙燕姿的声音与唱腔教会了“AI孙燕姿”，是孙燕姿的影响力带火了“AI孙燕姿”。

身份的争夺，不是孙燕姿与“AI孙燕姿”的单挑。人类的情感，驱使AI去当抚慰人心的歌手；而人类的欲望，则可能会驱使AI去当不法分子的同谋。除了身份的争夺，关于“AI孙燕姿”的作品也有侵权之嫌，今后版权归属问题不可回避。

或许正如有人评论的：“究竟AI是利大于弊，还是弊大于利，现在还难以断定。唯一可以明确的是，AI的发展还在起步阶段，带给世界的震撼才刚刚开始。”

要命的AI

AI的发展速度让外界始料未及，唱衰和警告的声音也越来越多。

英国首相苏纳克针对AI安全性发出的一则警告：英国将带头限制AI可能带来的危险。

马斯克更极端。甚至把AI比作未来人类文明最大的风险之一，威胁程度远高于车祸、飞机失事、毒品泛滥等，甚至比核武器都要危险得多。

这两年谈到电信诈骗就不得不提一句缅北，作为一块事实上的“三不管”地区，缅甸北部聚拢了来自整个东南亚的“电诈精英”。无论是光明正大的在线招聘，还是同行介绍的暴富捷径，只要一只脚踏进了缅北的圈子，那么迎接你的就是电诈一条龙式的“集中营”生活。可以说缅北的诈骗团伙已经做到了一条完整的产业链，除了垄断了整个亚洲地区将近七成的诈骗案，甚至炮制了诸多让人心惊胆寒的命案。

仅不完全统计，缅北直接从事“电诈”行业的人数高达10万。

但规模如此宏壮，手段如此凶残、业务如此熟练的缅北电诈集团也在2023年接轨了“新手段”——借由人工智能技术打造的“AI诈骗”。

它不仅可以做到人工费无限趋近于0，而且相比以往缅北大海捞针似的撒网式诈骗，AI诈骗的精准度和得手率简直高得离谱。因为它可以1比1地刻画任何人的面部动作和表达方式，甚至连嗓音的相似度都能做到95%以上。完全由AI算法生成的小视频，和真人视频电话的场景一模一样。

如果一个跟你女儿音容笑貌完全一样的人向你打来借钱电话你借不借？如果一个跟你母亲长得一模一样的人通过视频电话告诉你她得了一场大病急需一笔住院费那你给还是不给？我相信大多数人都有可能中招，毕竟耳听为虚，眼见为实，看得见听得着的视频通话还能造假不成？

结果很不幸，大量AI诈骗的受害者都是抱有这样的心态而吃亏上当的。

AI技术仿佛在人类真正做好准备之前，就在一瞬间拥入了生活的方方面面，红利和风险同时摆在了人们的面前。

哈利·波特中赫敏扮演者艾玛的30秒换脸色情视频，在各个平台已经超过了上千万次的播放量。（更离谱的是，这个视频居然还是推广AI换脸技术的App制作商投放的。）

2021年，王某因为被不法分子利用AI换脸技术合成不雅视频而被敲诈了11万元。

苏州大学一名大学生多次通过恶意P图、特效合成的手段在色情网站上传播多位女性同学的色情内容。

随着ChatGPT、Midjourney、Stable Diffusion这些划时代的AI工具的诞生，利用AI技术进行犯罪的手段也开始变得越来越多，越来越高明。除了涉及应用，技术和法律层面的问题需要人们给予更多关注以外，在科技进步、信息发达的今天，年轻人“交往”的欲望越发强烈，并将这种诉求倾注在了线上。从另一个视角看，年轻人喜爱的线上热闹和时兴的技术，不但没拉近人与人之间的距离，反而将心推得更远。你很难确定网线那头是不是一只猫。

英国阿斯顿大学学者大卫·科林格里奇曾提出，这是一个探索未知的时代，一个充满机遇和挑战的时代，这同样也是一个时刻被新物种颠覆的时代。

想要突破AI的“科林格里奇困境”，需要国际组织、国家机关、企业团体与个人联合努力，携手并进。

AI频频失控的当下，罗生门究竟会开向哪一边，标准答案尚未浮现。不过，在社会高速公路上飞驰的AI，急停只会造成难以估量的损失，我们要做的，唯有认准方向，勇往直前。