英国人工智能犯罪清单

编译/王明一

近年来，人工智能技术突飞猛进，人工智能产品开始落地应用，犯罪预防和侦查等领域也出现了人工智能应用的身影。然而技术的发展在推动科技创新和产业变革的同时，利用人工智能技术实施犯罪带来的威胁也不容忽视。这种犯罪既可能是现有犯罪行为的延伸，也可能是某种新型犯罪。为充分预防人工智能犯罪的威胁、应对技术发展带来的刑事风险，英国伦敦大学学院道威斯未来犯罪研究中心（the Dawes Centre for Future Crime at UCL）举办人工智能与未来犯罪研讨会，邀请31 名涉及犯罪科学、计算机科学、法学等领域的各界专家，共同探讨人工智能技术所带来的犯罪威胁。

在研讨会上，各界专家对基于人工智能技术的潜在犯罪行为进行分类分级讨论。基于不同犯罪行为的本质，专家对其进行梳理，在危害性、获利性、可实现性、可抵御性四个维度对其进行评级分析，将这些犯罪行为划归高风险的犯罪行为、中风险的犯罪行为、低风险的犯罪行为三档，编制成人工智能犯罪清单，并将其放在《人工智能赋能的未来犯罪》一文中。本文即对编制而成的人工智能犯罪清单进行梳理介绍。

一、高风险的犯罪行为

（一）音视频造假行为

人类总是倾向于相信亲眼所见或是亲耳所闻的事情，尽管图片造假技术已经出现许久，人们仍对于视听资料这一证据类型给予法律上的高度信任。近年来，深度学习技术（Deep Learning）的发展，特别是生成式对抗网络技术（GANs）的发展，使得深度伪造技术（Deepfake）走入台前。如今已经出现了按照既定程序生成令人信服的虚假内容的技术，预计在不久的将来，交互式生成虚假内容的技术也会应用。与会专家们设想了深度伪造技术利用人们对于音视频的隐形信任而带来的各种犯罪问题：在视频通话中冒充子女对老年人实施诈骗犯罪；利用虚假语音解锁安全系统；生成公众人物的虚假视频操纵舆论等。在所有人工智能带来的犯罪类型中，音视频深度伪造带来的犯罪被列为最受关注的犯罪类型，在四个方面的得分都很高。虽然研究人员已经在深度伪造算法检测方面取得了一定的成就，但打击这一犯罪类型仍旧十分困难。虚假内容一旦生成，就会不受控制通过诸多途径迅速传播。因此，改变公众对于音视频的无条件信任或许是抵御犯罪唯一的方法。另一方面，这种犯罪行为也会导致受害人对真实视频证据信任度的降低，这是其带来的间接社会伤害。事实上，哪怕一小部分视频证据被证实是彻底的虚假内容，对于真实视频证据的抹黑就会变得极其容易，这是对刑事诉讼程序以及依赖于视听信任的政治和社会机构可信度的破坏。利用音视频造假进行犯罪的获利性低，这并不是因为此种犯罪的犯罪成本高，而是因为音视频深度造假犯罪更容易针对自然人而非公司。另一方面，这种犯罪获利性低的原因也在于针对社会的音视频深度造假犯罪目的并不在于获取利益，而是旨在产生舆论、政治等多重影响。

（二）自动驾驶汽车作为武器使用

长期以来，汽车既被用于炸药的运输媒介，又被用作实施恐怖主义犯罪的动能武器（kinetic weapons），后者近年来日益普遍。在大多数国家，汽车比枪支和爆炸物更容易获得，那些零散单独行动的恐怖分子可以利用汽车作为动能武器，以较低成本实施恐怖袭击。虽然由人工智能控制的完全自动驾驶汽车还未面世，但众多汽车制造商和科技公司已经在推动该种车辆的生产进程，其中有些公司已经着手道路测试。此外，停车辅助、车道引导等有限自动驾驶功能已经十分成熟。总而言之，自动驾驶汽车可以使得单个恐怖分子实施多次汽车恐怖袭击，恐怖分子甚至可以借助自动驾驶技术在一次性协调多辆汽车的同时发动恐怖袭击，从而扩大恐怖袭击的范围。当然，自动驾驶汽车肯定会配置安全系统防止上述情况发生，这或许会增加恐怖袭击的犯罪成本，但与会专家们仍然认为上述恐怖袭击具有高度可实现性和危害性，并且犯罪成本相对较低。但另一方面来说，预计到交通障碍，以及传统有人驾驶汽车较高的保有量，利用自动驾驶汽车实施的犯罪是相对容易抵御的。

利用深度伪造技术生成的“英国女王圣诞文告”视频截图

（三）定制的网络钓鱼

网络钓鱼（Phishing）是一种社会工程学（Social Engineering）的网络攻击方式，其通过发送大量声称来自银行或其他知名机构的欺骗性垃圾邮件，引诱收信人给出敏感信息或欺骗其安装恶意软件。攻击者会利用受害者的信任说服他们执行私密操作，例如输入密码或点击可疑链接。除了鱼叉式网络钓鱼（Spear phishing）针对特定目标进行攻击外，目前主流的网络钓鱼都是对不特定目标的攻击。它们利用热点事件拼凑出博人眼球的消息，吸引对其偶感兴趣的部分用户。攻击者以低成本的方式发送大量垃圾邮件，将低响应率转化为实际的利益。在网络钓鱼中，人工智能可以被用来制作看似更加真实的垃圾邮件。例如：（1）通过从社交网络中收集信息训练模型来伪造出更为可信的行文风格，借此提高网络钓鱼的成功率。（2）通过人工智能的参与，鱼叉式网络钓鱼可以根据每个人的特定漏洞，向收信人针对性发送信息。（3）人工智能可以主动学习发现“什么是有效的”，即收集受害方的反映并针对性改变信息的细节。由于网络钓鱼攻击的目的通常是为了获取经济利益，因此该类犯罪类型危害性仅高于平均水平，但其可实现性较高，且受害人损失不易追回。

（四）针对人工智能工控系统的攻击

随着人工智能技术在政府、企业和家庭中使用量的增加，人工智能系统的角色变得越来越重要，针对人工智能工控系统的攻击将会倍增。这一系统的部署通常是为了效率和便利而非安全性，并且其也不会被先验地视为关键信息基础设施。与会专家们可以预见，针对人工智能工控系统的破坏将会导致大范围的电力故障、交通堵塞或食品物流中断，随之而来的是更多犯罪和恐怖袭击。因此负责公共安全、金融交易的人工智能系统将会成为关键目标。这种犯罪类型的危害性、可获利性都很高。此外，控制系统越复杂，完全防御就越困难，因此足够先进的人工智能系统似乎天生就容易受到精心定制的攻击。但从另一方面来说，针对人工智能工控系统的攻击其可实现性并不高，因为这种攻击通常需要详细的知识，甚至需要在攻击前实地访问所涉及的系统，这通常很难实现。

（五）人工智能技术下的大规模勒索攻击

传统勒索是指以公开个人隐私、犯罪证据等威胁对受害者进行勒索，只有当受害者支付勒索赎金比行为人获得个人隐私的成本高时，勒索犯罪才是值得的，这也是传统勒索没能大规模发生的原因。但是人工智能技术可在更大规模内以较低的成本收集信息，进而突破这一限制，使得勒索犯罪大规模发生。例如人工智能可以从社交媒体或电子邮件、浏览器浏览历史、硬盘内容、通话内容等层面收集消息，经过识别分析后针对性定制威胁消息。如同网络钓鱼一样，利用人工智能进行大规模勒索的获利很高，这种“规模经济”意味着只需要低命中率即可获利。这种犯罪类型难于侦破，很大程度上它与传统勒索案件存在相同的原因，即受害者不愿站出来面对曝光。由于大规模勒索仅针对个人，因此这种犯罪的危害性仅为中等。此外，由于大规模勒索的数据量要求较高，并且需要行为人协调使用多种不同的人工智能技术组合，因此其可实现性较低。值得注意的是，在当前的网络钓鱼中，简单粗暴的非人工智能模拟勒索十分常见，这种勒索行为被称为“性勒索”。勒索者会向大量用户随机发送消息，谎称拥有其被黑客攻击电脑中的有害视频。一些用户会相信这一谎言，并出于惶恐而付款。与会专家并不知道它的成功率有多少，但直观认为这一数字并不高。

（六）人工智能撰写假新闻

假新闻是一种借助可信来源或者看似可信来源提高其可信度的虚假信息。数量庞大的假新闻还能混淆视听，转移人们对真实信息的注意力。与会专家们一致认为，人工智能可通过生成多个版本的特定内容，提高假新闻的可信度。此外，其还可以个性化选择内容或呈现方式，以提高假新闻的影响力。该类犯罪在危害性、可实现性和可抵御性方面得分均高于平均水平，在获利性方面得分低于平均水平。危害性方面得分高的原因在于，人工智能撰写的假新闻被认为有影响特定政治事件的巨大潜力。而且，如果真实新闻被假新闻的传播破坏或取代，就会产生广泛的社会影响。打击假新闻被认为是一个十分困难的专业技术问题，因为假新闻和真实新闻之间的界限是模糊的。截至目前，打击假新闻最成功的尝试是通过教育予以打击。在获利性维度，尽管有利用假新闻操纵市场的可能，但总体而言，借助假新闻犯罪谋取利益是困难的。假新闻因其广泛的后果会对社会带来不确定的影响。

英国铁路遭勒索攻击，导致自助售票系统瘫痪

二、中风险的犯罪行为

（一）军用机器人

与许多技术领域的发展进程一样，军方在机器人技术的发展历史中也有浓墨重彩的一笔。虽然军用机器人与民用机器人在很多技术方法上存在重叠，但其应用对象与民用用户完全不同。犯罪团体或恐怖组织获得的任何军事产品（例如枪支或爆炸物）都有可能构成严重威胁。部署在战场的军用机器人倘若被用于犯罪，带来的危害更是不可想象。然而军事能力往往是保密的，外界对当下军用机器人的技术水平和发展速度知之甚少，因此对于军用机器人的犯罪危害性评级也不能苛求其精准性。

军用远程作战机器人

（二）“万能灵药”骗局

所谓“万能灵药”骗局源自一个犯罪分子向政府和军队出售昂贵“颠覆性产品”的典故，其声称该技术是解决国家治理和国防的“万能灵药”，事后却被证明是偷梁换柱的骗局。如今，人工智能时代的“万能灵药”骗局是指打着“人工智能技术”或“机器学习技术”的旗号出售虚假服务的诈骗活动。从严格意义上讲，这并不是一种将人工智能用于犯罪的特定类型，但这一骗局能否成功取决于受骗者是否相信其声称的人工智能能力，成功实施的骗局又让公众陷入对人工智能技术的认知误区，造成恶劣的社会影响。但“万能灵药”骗局并非不可破解。通过开展人工智能教育、在购买人工智能产品前加强调查可让“万能灵药”不攻自破。

（三）数据投毒

人工智能数据投毒活动本质上是指干预深度学习训练数据集、降低模型准确性，使其输出错误信息或带有偏见信息的一种犯罪活动。数据投毒的目的可能是为了损害人工智能领域的商业竞争对手，针对社会发布误导的政治言论或散布公众不信任。对人工智能生成的信息信任度越高，数据投毒带来的危害性就越大。尽管数据投毒危害性大且有利可图，但其可实现性较低，因为在当下的人工智能研发中，深度学习的训练数据均具备难以篡改的可信的来源。在模型调试中数据集也会受到多方监管和审查，因此数据投毒可实现性较低。

（四）基于深度学习的网络攻击

现有的网络攻击要么是十分复杂且仅针对特定目标的特定网络攻击，要么是十分简陋但高度自动化、依赖于庞大数据量的规模网络攻击，如分布式拒绝服务攻击（distributed denial of service attacks）、端口扫描（port scanning）等。人工智能勾画了特定网络攻击和规模网络攻击相结合的可能性，例如，用于网络攻击的人工智能技术，在同时发起多个攻击前，可以通过使用强化学习的方法，并行探测多个系统的弱点。尽管与会专家并不能确定这种网络攻击的现实可行性，但一致认为这种攻击方式危害性、获利性都很大。

（五）自主攻击无人机

由无线电远程控制的非自主无人机已经被用于犯罪活动，而自主攻击无人机可借助人工智能技术提高攻击的协调性和复杂性，行为人也可摆脱无人机的无线电控制距离，从而使犯罪侦查和逮捕犯罪嫌疑人变得十分困难。虽然目前无人机并不用于暴力犯罪，但质量过硬、动能优秀的无人机存在被用于特定目标犯罪的潜在风险。此外，无人机还可以加挂武器。如果无人机以蜂群方式发动攻击，它们的危害性可能变得非常高。虽然自主攻击无人机的潜在危害性非常高，但在较多情况下使用物理屏障即可抵御这种攻击。

（六）欺骗性人脸识别

人脸识别人工智能系统被越来越多地应用于智能手机、笔记本电脑等设备上，并被用于登录验证、商业交易等场景中。警方和国家安全部门也在测试利用人脸识别人工智能技术提高公共场所追踪犯罪嫌疑人的效率，并将这项技术应用于加快国际边境旅客检查速度。这项技术对犯罪分子来说十分有吸引力，针对人脸识别人工智能系统的攻击已经被证明可以成功实施，例如多人使用同一张照片骗过人脸识别系统。因为犯罪规模等原因，该项犯罪的获利性和危害性都被认为低于平均水平。

三、低风险的犯罪行为

（一）算法偏见

算法偏见十分常见，例如，视频网站广告推荐算法可以向观众针对性投放广告，搜索引擎的竞价排名算法可以用来提高产品形象或诋毁竞争对手的产品。上述算法可能违反提供商的服务条款，但这种行为已经十分普遍，并通常被认为不属于违法行为。在某些地区，上述行为甚至打着搜索引擎优化的名义，堂而皇之地将其冠以合法在线商业模式的帽子。倘若加入人工智能技术的辅助，可能使这一行为更容易使用，且更难预防。

（二）盗窃机器人

小型自动机器人可以通过信箱或者猫门等小型接入点进入室内，并从室内取出钥匙或打开门让窃贼进入。倘若技术不被严格限制的话，这种小型机器人将比大型的自主机器人容易实现。但受制于小型机器人本身的规模，这种利用小型机器人进行盗窃犯罪的危害性和获利都很低，而且相对来说可以通过简单的物理手段来抵御这种犯罪。

（三）人工智能撰写虚假评论

人工智能可被用于为购物或点评网站自动生成评价内容，从而为公众留下该产品或服务错误的印象，并促使潜在客户选择或者放弃购买产品或服务。这种造假行为已经被应用于现实，但与会专家认为这种行为的获利或危害可能是小规模或局部的。

打击治理人工智能犯罪宣传画

（四）人工智能辅助跟踪

人工智能可被用于监控个人的位置和活动。人工智能还被认为可用于与胁迫关系、家庭虐待、煤气灯效应有关的一系列犯罪。人工智能辅助跟踪造成的犯罪，其危害被评价为低等级。这并不是因为这些犯罪没有破坏性，而是因为它们本质上专注于单个个体，没有大规模运作的空间。

（五）伪造犯罪

人工智能技术可被用于生成绘画、音乐等艺术作品，使用者可能会声称是他们自己创作了这些作品，并以作者的身份拍卖这些人工智能生成的艺术品获利。无论是从危害性还是从可实现性来看，这一威胁被认为是所有威胁种类中最不值得担心的。虽然人工智能技术现在可以生成图画作品，但这些图画基本都模仿了已知的著名画家的视觉风格，能够较为容易识别出并非使用者本身的原创作品。从另一方面来说，几个世纪以来，艺术界已经有了广泛的应对伪造品的实践，足以抵御人工智能带来的伪造品牟利的威胁。

自2019 年至今，人工智能技术呈现蓬勃发展的态势，ChatGPT、GPT-4 开始落地应用，世界各国加紧人工智能技术的研发应用进程，技术的演进也使得上述人工智能犯罪类型逐步走入现实。利用人工智能技术实施音视频造假、自动驾驶汽车攻击、算法偏见等行为已经成为当前热点，人工智能政策也从构建以“软法”为导向的社会规范体系逐步迈向以“硬法”为保障的风险防控体系。2021 年，英国相继发布《算法透明度标准》《自动化决策的伦理、透明度和可责性框架》《国家人工智能战略》，在促进技术发展的同时，也推动健全完善人工智能监管体系。2023 年3 月，英国发布《人工智能和数据保护指南》，要求确保采取必要措施，评估和管理人工智能对权利和自由构成的风险，初步建立起以风险为基础的监管思路。同时，该指南要求提供审核人工智能应用程序的明确方法，确保人工智能应用程序公平、合理透明地处理个人数据。人工智能监管治理逐步走深走实，消除风险、推动发展成为人工智能监管研究的重点。