智能无人系统安全防御体系研究*

吴炜霞，向红权，石 凯

（中国电子科技集团公司第三十研究所，四川 成都 610041）

0 引 言

随着无人平台的广泛应用，其面临的信息安全问题也成了研究热点[1]。具有自主运动和决策能力的智能无人系统，不仅要面对传统针对无人平台的网络攻击，也要面对针对智能系统发起的新型安全攻击。这将使智能无人系统面临的安全威胁比有人系统更难发现和应对。由于没有人工操作员在线实时地监视、操作、决策和控制，导致智能无人系统面对异常或未经授权的系统行为时更加难以察觉。研究人工智能安全防御，推动无人平台安全向智能安全转变，构建智能无人系统的安全防御体系，具有很强的现实意义和学术价值。

2006年，多伦多大学的Hinton教授在顶级期刊Science上发表论文，并对深度学习进行定义，开启了深度学习研究和发展的热潮。深度学习方法带动了语音、计算机视觉、自然语言处理等人工智能相关技术领域的跨越式发展，也在诸多行业应用中取得巨大成功[2]。

随着人工智能在无人平台中的广泛应用，人工智能面临的安全威胁也引入到智能无人系统中。2013年，谷歌研究人员首次证实深度神经网络面临对抗样本攻击威胁[3]，由此引发了学术界对人工智能的安全性和可信赖性的担忧。近年来，国内外高度重视人工智能的安全性，开展了大量的技术研究[4-5]，规避人工智能带来的安全风险挑战。目前，国内外针对人工智能安全的研究内容包含：对抗样本攻击和防御、训练数据投毒攻击和防御、模型可解释、算法后门攻击和防御、联邦学习、差分隐私机器学习、深度伪造及检测、机器学习开源框架平台安全漏洞挖掘修复等多个领域。

1 智能无人系统安全威胁分析

智能无人系统的整个生命周期中潜在的安全威胁[6]如图1所示。

图1 智能无人系统各阶段面临的安全威胁

（1）平台任务规划阶段，主要面临的安全风险有学习框架后门和漏洞攻击、预训练模型投毒攻击、计算环境网络攻击等。

这个阶段的主要任务是开发智能系统，选择机器学习模型和框架，确保系统的准确性、鲁棒性、计算资源和运行时效性等指标。

（2）训练数据采集阶段，典型的攻击手段有数据投毒攻击、标注投毒攻击、数据集偏差攻击和预处理攻击等。

数据投毒攻击的实施可以发生在离线数据采集、模型训练阶段和模型在线微调阶段。数据投毒攻击通过在训练数据集合中注入虚假数据或混淆性标记信息，影响深度模型的归纳偏差，造成模型推理性能下降。通过在训练集中添加污染后的有毒数据，使得正确模型的决策边界出现偏离，从而造成测试样本的分类出现错误。

（3）智能模型训练阶段，面临的主要攻击手段有后门植入攻击、云中心攻击、木马攻击、超参数攻击和可解释模型攻击等。

首先在准备阶段选择算法框架时，可以利用框架、依赖包等软件bug或漏洞，发起拒绝服务（Denial of Service，DoS）攻击和逃避攻击。攻击者利用这些漏洞，不仅能窃取模型参数，更严重的后果是利用模型实施恶意攻击。

深度学习网络具有脆弱性，当攻击者对开源模型进行攻击时，会向其中注入恶意行为，生成“变异”的神经网络模型。变异的神经网络模型一般情况下表现正常，隐藏其中的恶意行为很难暴露，会引起重大的安全问题。攻击者也可以通过数据污染和修改模型参数等方法误导模型的训练过程，改变训练模型导致模型针对特定样本分类出错。

人工智能框架自身可能存在安全漏洞，而开发人员在实现人工智能算法时难免会出现内存越界、空指针引用等程序漏洞。这些客观存在的各种漏洞将成为影响人工智能模型安全运行的重要因素。

（4）智能模型推理阶段，典型的攻击手段有对抗样本攻击[7]，攻击者通过构造恶意输入样本，导致模型以高置信度输出错误结果，包含白盒攻击和黑盒攻击。

对抗样本攻击，通过在物理域中构建光电或射频扰动，或者在数字域中添加对抗噪声，这种细微扰动跨越了模型的决策边界，导致智能算法判决出错，使深度学习模型表现出一定的脆弱性。与传统物理域的欺骗不同，对抗样本攻击的实施攻击成本更低，部署和应用更加灵活。推理阶段的许多攻击方法不需要获取数据和模型的先验信息，采用黑盒方法，基于迁移性进行攻击，安全危害极大。

（5）智能无人平台应用阶段，典型的攻击手段有模型窃取攻击、模型逆向攻击[8-9]、无人系统通信网络攻击等。

模型窃取攻击，攻击者向目标网络发送海量数据，模型通常会返回预测结果，有时甚至会返回置信度。如果将模型视为一个黑盒，通过这些精心构造的信息尝试构建出与原模型尽可能相似的模型，实现对模型信息的提取。

模型逆向攻击，模型的输出结果隐含着训练/测试数据的相关属性，攻击者利用返回的结果信息，恢复原始输入数据，窃取用户隐私。在分布式训练智能模型的场景中，多个模型训练方之间交换模型参数的梯度也可用于窃取训练数据。

无人系统通信网络攻击，无人系统依赖各种通信网络传递信息。特别是移动无人平台，严重依赖无线通信链路实现测控信息的有效传输。这些通信网络将面对侦察、监听、窃听、篡改、饱和攻击和病毒注入等攻击，威胁无人系统的安全运行。

（6）智能无人系统部署阶段，将测试完成后的模型部署到相应的软硬件平台中，并完成真实物理环境中用户交互验证。智能系统部署阶段面临的主要安全风险有软件系统攻击、硬件系统漏洞、操作系统后门等。此外，无人平台工作在不受控的环境中，可能存在因数据采样设备、GPU服务器、端侧设备等基础设施缺乏安全防护而被攻击者入侵等现象，进而被利用实施恶意行为。

2 智能无人系统安全防御体系

智能无人系统安全防御体系构建了“线上防御”和“线下防御”一体化动态防护，“应用—样本—无人—智能—验证”全生命周期、综合化、多维度安全防御体系。智能无人系统安全防御体系通过“感知—决策—防御—评估—溯源”的高效闭环，实现智能无人系统安全防御体系联动，对攻击和漏洞进行检测与评估，支撑各类典型安全威胁的动态联动防御，形成智能无人系统的安全威胁感知预警、智能要素的一体化防护、线上线下动态多维协同响应、智能无人系统安全攻防评估体系。智能无人系统的安全防御体系如图2所示。

图2 智能无人系统安全防御体系

“线下防御”是在模型发布前从智能安全和安全验证两个角度出发，建立智能载荷的鲁棒性和安全性，对已知攻击进行验证，属于最大化模型的防御能力。“线上防御”包含无人安全防护、样本安全防护和系统安全治理。无人安全防护包含无人平台安全、无人系统计算环境安全和无人系统通信网络安全。智能模型部署到无人系统之后，从输入样本获取和模型应用两个角度出发，在确保传感器数据准确的基础上，实时检测和擦除输入样本中的对抗噪声，实现智能系统中数据和算法的全周期安全加固防御。智能无人安全治理软件主要用于监测智能无人系统运行状态，完成工作日志存储、上报和可视化呈现等功能，实现防御体系动态联动。

2.1 应用安全

智能模型在实际部署应用的过程中，由于客观或主观的原因导致智能模型运行时出现多种安全风险防护技术，其中包括：智能应用软硬件安全、模型窃取防护、模型逆向防护[10-11]、导航定位传感器数据防欺骗等。

2.2 样本安全

智能载荷工作阶段，首先确保获取的任务传感器数据准确，通过异常样本检测实现传感器信号安全防护。获取的传感器数据在线检测和擦除输入样本中的对抗样本。其中，对抗样本检测属于被动防御，若输入的是对抗样本，则进行数据预处理，将对抗样本擦除，或将对抗样本还原为正常样本或非攻击样本。被动防御无须对智能系统本身进行更改，防御操作与智能系统解耦，具有灵活、复用性强的特点，适合在线对抗样本防护应用场景。

2.3 无人安全防护

无人平台的安全防护可以通过平台失控预警实现。无人平台通过基于多因素的平台失控综合判断能力，提供预警信号。

无人系统计算环境安全主要通过对平台上的操作系统、软硬件模块、芯片、计算服务平台等设施进行安全加固与安全控制来实现。

无人系统通信网络安全主要包括无线传输安全、网络传输安全和网络安全传输控制等防御技术。

2.4 智能无人系统安全治理软件

安全治理软件首先通过建立智能无人系统全生命周期初始安全行为基线，对智能无人系统的安全状态进行综合监测和展现，持续对智能无人系统全生命周期各阶段行为信息进行收集。通过大数据综合分析、机器学习、人工智能等方法对收集的信息进行分析、建模和分类判断，发现其中隐藏的有意/无意恶意行为以及未知攻击威胁。进而通过数据标识实现全路径追踪溯源，构建一体化、智能化、联动式的各环节和全链条人工智能行为监控及追踪溯源软件，实现对智能无人系统全生命周期的综合化、智能化监管。

2.5 智能安全

智能安全是智能无人系统安全的重要组成部分，包括智能框架、智能模型、智能数据、对抗样本多个要素的安全防护[12]。

智能框架安全检测修复，对来自第三方的预训练模型和机器学习开源框架平台进行安全检测，并对发现的安全问题即时修复，以提前感知风险，降低安全事件发生概率，制定完善的漏洞管理流程，提高快速响应安全漏洞问题的能力。

智能模型安全，完成模型后门的检测和消除。模型后门检测方面，针对后门模型参数构建触发器检测机制，依据多维度检测标准建立过滤条件，实现对模型中隐藏后门的快速识别。模型后门消除方面，针对常规后门攻击、基于图案触发器的攻击可以采用网络裁剪法、后门逆向法等后门防御技术。

智能数据安全，对恶意的训练数据进行筛选剔除，保证训练数据的纯净可用，实现数据投毒攻击的防范。

对抗样本防御[13-14]，是对抗样本严重威胁了深度神经网络模型的安全。对抗样本主动防御通过网络蒸馏、对抗训练等方式增强深度学习模型本身的鲁棒性。

2.6 智能无人安全验证平台

构建包含智能无人测试方案库、典型智能模型库、典型智能威胁库、安全性评估库等测试验证组件。模拟智能无人系统的应用场景、部署环境、运行使用过程，检测智能无人系统安全脆弱性，并进行安全风险评估。采用可重构、体系化和模块化的智能无人系统攻防验证试验技术，构建攻防演练平台，以及面向攻防场景的安全对抗演示验证环境。

3 智能无人系统安全防御关键技术

3.1 全生命周期安全评估体系构建技术

智能无人系统承载了不同类型的智能模型和应用，面对不同类型的安全攻击和系统不可控行为，研究安全性测试方法，建立全周期安全等级量化评估方法。从智能无人模型对抗防御能力和行为表征两个角度出发，建立智能无人系统的安全性标准体系，实现安全性的标准评价。

以多层次、多维度安全可信指标体系为基础，研究智能无人系统安全可信属性动态推理技术，分析安全可信指标在系统动态演化过程中的相互关联与相互影响，建立智能无人系统安全可信属性动态演变模型，实现由智能算法、组件、行为等孤立指标向系统综合指标的转变，进而构建跨领域智能无人系统的安全性评估理论体系。

在智能无人系统生命周期安全评估体系的基础上，检验目标系统面对不同攻击时的健壮性，从总体上评估深度学习系统的鲁棒性，以制定更好的防御策略来应对对抗攻击等安全威胁。

3.2 智能框架安全防护技术

以机器学习开源框架平台和预训练模型库为代表的算法基础设施，因开发者蓄意破坏或代码实现不完善而面临后门算法嵌入、代码安全漏洞等风险。

以典型人工智能算法框架（如Tensorflow等）为研究对象，从第三方库、内存分配、识别污染训练数据、识别恶意样本、软件实现方面的漏洞、数据可控监测、程序执行监测等多个维度对常用的人工智能平台进行安全性的检测和增强。对框架本身的漏洞进行修复，实现框架缺少的实时监测报警等功能，从而最大限度地减少安全风险。

3.3 高对抗能力的模型投毒检测防护技术

面向模型的防护主要检测模型中是否含有后门，若含有，则将后门消除。后门消除主要利用剪枝、微调以及基于微调的剪枝3种方法。后门触发器会在模型的神经元上产生较大的激活值，使得模型出现误分类的现象。目前，通过剪枝操作删除模型中与正常分类无关的神经元，以实现后门攻击防御。提取正常数据在模型神经元上的激活值，根据从小到大的顺序对神经网络进行剪枝，直到剪枝后的模型在数据集上的正确率不高于预先设定的阈值为止。然而，若攻击者意识到防御者可能采取剪枝防御操作，将后门特征嵌入到正常特征激活的相关神经元上，这种防御策略将会失效。研究应对这种高对抗性攻击的防御能力，通过使用干净数据集对模型进行微调便可以有效消除模型中的后门，结合剪枝和微调的防御方法能在多种场景下消除模型中的后门。

3.4 高泛化能力对抗样本安全防护技术

对抗样本攻击主要是指在智能模型推理阶段的攻击，通过在原始样本中加入精心构造的微小噪声便能使深度学习模型识别出错，主要包括白盒攻击、防护迁移和模型边界刻画技术。高泛化能力对抗样本安全防护技术通过产生新型对抗样本的对抗网络，不断输入人工智能算法模型，提高神经网络的鲁棒性，增强防护模型的泛化能力，形成演进协同的模型防护机制，构建具有扩展能力的鲁棒性学习模型。

4 结 语

本文分析了智能无人系统的安全威胁，构建了融合传统无人平台安全防御和人工智能安全防御在内的全新智能无人防御体系，梳理了主要关键技术，积极推动传统无人平台的安全防护向智能无人系统的安全防御演进。下一步，将智能无人系统安全防御体系及关键技术应用于各类型无人系统的人工智能载荷，如人工智能光电系统、无人自主运动系统、无人智能决策系统等，将是深化落实智能无人安全防御研究的主要方向。