英国智库RUSI报告：人工智能与国家安全

曾辉

近日，英国防务智库皇家联合军种国防研究所（RUSI）发布报告，系统研究了人工智能对国家安全的威胁以及应用。报告指出，随着数据量不断呈指数级增长，使用更先进的分析工具已成必要。但人工智能的恶意使用已经对国家安全构成了“切实威胁”，因此，安全机关迫切需要采用更先进的数据科学技术，以应对人工智能带来的潜在威胁。IPP评论组织翻译了这一报告的关键部分，供读者参考。

一、背景

虽然人工智能可以增进现有安全机制的效率和有效性，但同时也会带来新的问题，这些问题需要在现有法律和监管框架内进行评估。最近，一些分析人士称，人工智能和高级分析技术在监管方面有潜在的风险，可能会产生隐私或人权问题。科技发展带来的安全挑战是英国的高度优先事项之一。根据英国政府通信总部（GCHQ）的说法，有必要开展有关国家安全与人工智能的辩论，这样有利于更快地获得应对方案，也能给公众一个交代。

GCHQ进一步指出，“人工智能的应用必须符合伦理规范，并接受有效的监管”。英国军情五处总干事安德鲁·帕克（Andrew Parker）表示，虽然人工智能能够让我们实时地了解成千上万人的生活细节，但是我们仍无法通过数据了解人类的思想。

令人担忧的是，许多不成熟的人工智能技术在商业界开始流行。英国安全机关在数据的获取和使用方面需要接受额外的审查，而私营部门却并非如此。

因此，人工智能的国家安全应用需要比商业应用有更高程度的鲁棒性、弹性和独立性。

此外，英国安全机关需要在不损害社会和伦理价值观，以及公众信任的前提下，充分利用人工智能带来的机遇，制定明确、科学的决策。

二、何为人工智能？ 

人工智能现在仍没有广泛接受的定义。人工智能大致可分为两大类：强人工智能（General AI）和弱人工智能（Narrow AI）。强人工智能具备与人类同等智慧或超越人类的人工智能，能表现正常人类所具有的所有智能行为。弱人工智能不具备人类完整的认知能力，只处理特定的问题，例如语音识别、图像识别和翻译。几乎目前所有的人工智能都属于弱人工智能的范畴。科学界普遍认为，强人工智能的普及还需要几十年的时间才能实现。

弱人工智能可以理解为“使机器能够有效地执行高度复杂任务的通用数字技术”。人工智能通常定义为“执行通常需要人类智能的任务”，主要由六个关键要素组成，即自动推理、自然语言处理、知识表示、计算机视觉、机器人学以及机器学习。

弱人工智能的发展与机器学习的发展息息相关。机器学习能通过经验自动改进计算机算法，其特点是使用统计算法进行建模、理解和预测。算法可以定义为“为解决一个特定的问题而精心设计的一组数学指令或规则”，而机器学习是一种特殊算法，使用新数据可以优化计算机程序的性能标准。机器学习可以大致分为四种类别：监督学习、半监督学习、无监督学习和增强学习。

监督学习：从给定的训练数据集中学习出一个函数，当新的数据到来时，可以根据这个函数预测结果。监督学习的训练集要求包括输入和输出，也可以说是特征和目标。训练集中的目标是由人标注的。例如，在物体识别方面，机器可以根据训练数据中有关水果的照片和描述正确识别不同类型的水果。

无监督学习：与监督学习相比，训练集没有人为标注的结果。例如，在图像识别方面，机器可以根据训练数据中有关动物的照片，但在缺乏相关描述的情况下，对不同类型的动物进行正确分类。

半监督学习：介于监督学习与无监督学习之间。训练集一半为人为标注，另一半则为无人为标注。机器可以根据这种训练集进行预训练，然后通过人为标注集进行调整。

增强学习：机器为了达成目标，随着环境的变动，而逐步调整其行为，并评估每一个行动之后所得到的回馈是正向的还是负向的。例如，使用者可以对机器推荐的音乐进行反馈，以便让机器学习使用者的音乐喜好。随着反馈的增多，推荐结果将越来越贴合使用者的音乐喜好。

近年来，大型数据集的普及使机器学习的应用日益广泛。在医疗领域，机器学习的图像识别技术可用于预测婴儿患自闭症的风险和检测皮肤癌。地方议会目前正在大力推广机器学习在社区事务中的应用。在治安管理方面，机器学习可用于预测在押案犯再次犯罪的可能性，根據“破案成功率”对案件进行优先排序。随着“智慧城市”概念的不断深入，机器学习越多越多地被用于垃圾处理、交通管理、污水处理等民政工作。根据英国政府人工智能办公室的预测，人工智能可在2030年为英国经济创造约2320亿英镑的价值。

然而，值得注意的是，英国大多数人工智能的发展成就都是由私营部门和学术机构创造的。英国公共生活标准委员会（Committee on Standards in Public Life）的调查显示，尽管人工智能引起了不少官员的重视，但人工智能在英国政府的普及程度并不高，而且英国政府的人工智能项目仍处于计划阶段。因此，如何在未来充分利用人工智能带来的机遇，应当成为英国政府的高度优先事项。

三、AI在国家安全中的应用 

“信息过载”给英国安全机关带来了严峻挑战，正如美国贝尔弗科学与国际事务中心（BCSIA）格雷格·艾伦（Greg Allen）和塔尼尔·陈（Taniel Chan）所说：“随着数据量的激增，情报工作的难度也随之加大，想要找出有价值的信息犹如大海捞针。”

“信息过载”只是一方面。英国上议院议员大卫·安德森（David Anderson）在2015年的政府工作报告中指出，通信方式的变革、电信供应商的分散化、通信权归属的争议，加密技术的升级和新数据源的出现，加大了英国安全机关的工作难度。为了应对这些挑战，英国政府需要开发更高级的数据分析工具，而人工智能将是实现这一目的重要途径之一。英国政府通信总部（GCHQ）曾公开表示：“许多类似GCHQ的机构将考虑使用机器学习和人工智能，这有利于提高英国安全机关的工作效率和有效性，英国的国家安全也将得到更有效的保障。”

1. 人工智能在商业和行政领域中的优势

对于任何大型行政机构而言，重复性工作占总工作量的很大一部分。使用人工智能最直接的优势是行政管理自动化。2016年美国政府发布的人工智能报告称：“人工智能带来的主要经济效应是行政管理自动化。”

人工智能在商业领域中的运用也具有重要的价值和意义。人工智能可在前台和后台使用：在前台，基于计算机视觉和自然语言处理的人工智能系统可根据图像信息，用语音引导用户完成电子商务交易;在后台，人工智能系统可通过图像扫描，对发票进行全自动化的数据转换，在贷款业务中进行交叉引用数据，整理巨量信息，例如行业公告、财务数据等。同样，使用人工智能可大大减少政府的工作量。

监管自动化也可提高政府的工作效率。德国新责任基金会（SNV）最近的一份报告提出了七种以数据驱动的监管工具，这些工具可使监管机构进行未经宣布的检查和审计，人工智能便是其中之一。本报告建议将简单描述法、高级机器学习和统计分析技术相结合，开发一种可用于识别数据不正当使用和非法活动的“行为检测系统”。监管自动化不仅有助于督促被监管机构遵守国家法律，而且还能给监管机构的员工腾出时间处理更复杂的技术问题。

2. 人工智能对网络安全的重要性

当今网络威胁的增长速度已远远超过了人类应对的速度。鉴于网络攻击频率的迅速上升，越来越多的人工智能网络防御系统被用于检测和防御网络威胁。传统的防病毒技术是基于病毒特征码和特征库的，而基于人工智能的防病毒技术无需借助病毒数据库就能识别潜在的网络威胁。

英国人工智能网络安全公司Darktrace最近的一份报告称：“传统的网络安全工具可识别已知的威胁，而人工智能却可识别未知的网络威胁。随着网络犯罪分子创新能力的不断增强，提升网络安全能力已变得十分必要。”

基于人工智能的网络检测系统可对各种网络活动进行分析，对异常活动做出实时响应。用户认证也是一个值得关注的方向。最近有研究提出了一种“行为的生物测定法”，即根据用户数字活动的特征判断用户的安全性，例如用户使用鼠标的习惯、输入的字词、语言特征等。这也是一种增强网络安全的有效手段。

3. 人工智能在情报领域的应用

人工智能可对非结构化或繁杂的数据集进行分析，并找出有价值的信息，提高情报工作的效率。人工智能在情报领域的应用可大致分为三个方面：（1）认知自动化;（2）数据筛选、标记、分类;（3）行为的生物测定法。

（1）认知自动化

人工智能最明显的优势是“认知自动化”，即人类感官数据化（如自然语言处理和视听分析）。这项技术可大大减少人工分析数据的时间，同时还可降低情报外泄的风险。

使用语音到文本的转换可减少处理音频数据的人力。机器翻译也有明显的优势，可用于文本的转录，也可直接应用于音频数据。最近，语言分析技术取得了长足的进步。“说话者识别”的应用可提高搜索语音数据的效率。2019年2月，美国人工智能研究组织OpenAI公布了一个大规模无监督语言模型GPT-2。该模型可生成连贯的文本段落，并能够执行基本的阅读理解、机器翻译、问答和总结，在许多语言建模基准上表现出色。最近研究表明，受过机器学习训练的模型可根据语言风格识别作者的身份。

人工智能还可提高视频数据处理的效率，物体分类和面部匹配技術的应用也可以大幅度减少搜索视频的时间。另一个优势是对不同的视频进行分类，防止有害内容对用户造成不良影响，例如涉及暴力或性虐待的视频。视频摘要在视频分析和基于内容的视频检索中扮演着重要角色，例如，机器学习算法在视频摘要中的应用，即采用“关键帧捕获”技术捕获原始视频的内容，生成视频摘要。这项技术可用来记录某一时间段内视频所发生的变化。

美国软件工程研究所（SEI）正在开发多视频摘要技术，其最终目标是通过识别和搜索多个视频中的行为模式，预测未来可能发生的事件。

（2）数据筛选、标记、分类

英国安全机关采集的数据主要是通过体积缩减系统进行处理的，这个系统能够对数据进行过滤、搜索和筛选。如果在这一过程中使用人工智能，就可提高体积缩减系统的效率，确保情报分析人员只接触到与手头任务相关的数据，最大限度地减少间接入侵。美国国家研究委员会（UNRC）在2015年的一份报告中称：“虽然目前仍没有可完全取代大规模信号情报采集的技术，但可提高情报采集的针对性及控制所采集情报的使用。英国需要开发一种可限制对情报的访问、审核和使用的系统以加强隐私保护。”

大卫·安德森在2016年撰写的一份审查报告阐述了英国政府通信总部是如何批量拦截信号情报的。这项技术可分为三个步骤，即“采集”、“筛选”和“核查”。首先，评估通信的情报价值，选择承载。然后，对选定承载的通信量进行一定的过滤，筛选出有潜在情报价值的通信，同时丢弃无情报价值的通信。最后，将剩余的通信输入数据库进行有针对性和非针对性的搜索，以获得有情报价值的通信。由于数据量巨大，情报分析人员通常会采取应用分类法来确定哪些情报最有价值，然后对筛选出的搜索结果进行核查。

英国调查权利专员办公室（IPCO）最近的年度报告指出：“绝大多数通过批量采集获得的情报并未经过情报分析人员的审查，但会根据特定标准进行自动筛选审查，使我们尽可能地获得有价值的情报。”

如果使用得当，人工智能可比人工操作更有效地识别多个海量数据集内部和之间的关联，进而提高筛选和过滤的准确性。然而，使用人工智能识别重要情报与使用行为分析法检测（预测）可疑活动不能相提并论。为了有效地从海量数据中提取有用的信息，人工智能可作为人机交互工作流的一部分。当搜索或过滤通过批量采集获得的情报时，使用人工智能可最低限度地减少人工审查内容，以此降低间接入侵的风险。

（3）行为分析法

行为分析法可定义为将复杂算法应用于分析和预测人类行为的一种分析方法。安全机关可通过基于行为分析法的人工智能预测各种对国家和个人的威胁。

人工智能用于反恐情报分析已成为目前关注的焦点。2017年伦敦和曼彻斯特恐怖袭击事件发生后，就有官员提出改良英国安全机关的数据使用方式，以提高其反恐能力。

大卫·安德森最近撰写的报告描述了开发相关技术所需的能力和数据，其中提到：“随着人工智能提取信息能力的不断增强，行为分析法在人工智能中的应用也越来越成熟，届时现有的技术难题将会迎刃而解。”

大卫·安德森指出，行为分析法永远不会过时，不仅可用于完善现有的反恐风险评估机制，而且还可用于侦测可疑目标，例如分析个人心理变化、犯罪分子进行犯罪活动前的行为等。目前有大量的学术文献研究临床（自主）决策与统计（非自主）决策的相对优势，但学术界对它们的理解和评价仍存在巨大争议。上世纪50年代的一些实证研究显示，无论在学术或实践上，统计预测都比非结构化临床判断更准确。

有专家认为，在评估个人层面的风险时，综合预测准确率从根本上是有误导性的，而且有证据表明，基于专业判断的风险评估机制优于基于统计法的风险评估机制。

此外，由于恐怖暴力事件的发生频率较低，统计风险模型的历史数据集通常较小。根据学术文献中的案例分析，恐怖分子的个人背景、行为模式、犯罪动机，以及犯罪诱因等方面皆存在巨大差异。因此，恐怖分子之間的共同点很少。正如美国弗吉尼亚大学法学教授约翰·莫纳汉（John Monahan）总结的那样：“大多数现有研究未能从统计学的角度明确地找出诱发恐怖主义的因素，难以进行微观化的风险评估。”将统计法纳入风险评估机制的另一个问题是使用行为分析法可能会导致个人背景信息的丢失。

考虑到行为分析法的局限性，本报告建议开发增强智能系统。这种系统能够整理来自多个来源的信息，并可对重要的数据项进行标记以供人工核查。尽管如此，在评估个人行为模式或心理状态的变化仍需要一定的人为判断。美国软件和服务公司Palantir最近发表的一篇文章指出：“人工智能被过分夸大了。机器的作用并不是取代人类，而是服务人类。在数据泛滥的今天，增强智能使安全机关能够以更加透明的方式做出数据驱动的决策。”

伦敦警察局局长克雷西达·迪克（Cressida Dick）在2020年的RUSI年度讲座上强调：“虽然我们需要借助各种先进技术开展工作，但我们不会把所有的希望都寄托在人工智能上。人工智能的目的是增强人类智能，而不是取代人类智能，这也是公众所期望的。”

四、恶意人工智能的潜在风险 

人工智能可以带来好处，但它也有其黑暗面，黑客利用人工智能制作恶意软件攻击的做法早已屡见不鲜。更让人不安的是，一些不受同等法律框架约束的敌对国家正在大力开发恶意人工智能。网络犯罪集团在未来也会通过科技的高速发展，使用更高级的恶意人工智能进行犯罪活动。

1. 数字安全

人工智能恶意软件给英国国家安全造成的威胁在未来将成为常态。具体地说，许多传统的恶意软件防御措施几乎无法检测到使用无限数量的加密算法的多态恶意软件。这些软件可主动确定攻击目标，对攻击目标进行优先排序，环境适应力强，可在无人为操控的情况下传播。另一个值得关注的问题是域生成算法的恶意使用。域生成算法在恶意软件中用于生成大量的域名，这些域名可用于与恶意软件的命令和控制服务器的通信，例如，受感染的计算机可创建数千个域名，这无疑加大了反制僵尸网络的难度。

近年来，更多的黑客转向利用人的弱点即社会工程学法来实施网络攻击，这通常被认为是一种欺诈他人以收集信息、行骗和入侵计算机系统的行为。社会工程学攻击以不同形式，通过多样的攻击向量进行传播，例如，在大多数情况下，攻击者利用受害者账户发送电子邮件，由于人们通常更容易相信来自熟人的邮件附件或链接，从而让攻击者轻松得手。

人工智能在商业领域的应用也存在着不小的风险，而这些风险很可能会被黑客利用。针对训练数据的供应链攻击可能会导致人工智能系统无法正常运行。攻击者还可通过训练算法将恶意软件伪装成合法软件在人工智能系统中安装后门程序。

2. 政治安全

随着人工智能的发展，造假技术也越来越高级。深度伪造技术是人工智能的另一种形式，可用于歪曲事实，甚至可对政治秩序构成威胁。这项技术利用生成对抗网络（GAN）的机器学习技术，将现有的图像和影片添加到目标图像或影片上，例如换脸、像傀儡般的同步动作、伪造声带、唇形同步等。2019年5月，三星电子（Samsung）的研究人员展示了一个人工智能系统，该系统可根据照片生成“会说话”的视频。英国2019年大选前夕，一位名叫比尔·波斯特（Bill Posters）的艺术家公布了一段以深度伪造技术制作的视频。在该视频中，首相候选人鲍里斯·约翰逊（Boris Johnson）和杰里米·科尔宾（Jeremy Corbyn）相互支持对方竞选首相。他想以此告诫公众：人工智能是一把“双刃剑”，既能助力社会发展，也能对社会带来危害。

假视频很容易被识破，但由于数字内容在网上传播的速度很快，决策者有可能会被虚假信息误导，给国家带来灾难性的后果。

3. 实体安全

尽管目前人工智能武器化的案例很少，但恐怖分子可利用商业人工智能系统进行犯罪活动，例如，使用无人机或自动驾驶车进行恐怖袭击。可以肯定，这些风险会随着人工智能的高速发展而进一步加大。

据预测，到2035年，自动驾驶车在欧洲的销量将达到世界汽车总销量的31%。此外，人类还可借助人工智能轻而易举地完成需要专业技术的任务，例如军事无人机的“集群攻击”，即利用分布式人工智能网络，使无人机具备持续监视、大区域预警、对特定目标执行快速协调攻击等能力。

物联网、“智慧城市”和基础设施互联互通暴露出的问题让黑客找到了可乘之机。虽然这些威胁尚未明确，但威胁仍无处不在。因此，英国政府需要制定积极、主动的政策，应对人工智能对国家安全的威胁。

责任编辑：赵宇然

zhaoyr@staff.ccidnet.com