警惕人工智能 带来的网络安全威胁

王超

近年来，人工智能越来越成为引领未来的战略性技术，世界主要发达国家纷纷把发展人工智能技术、推进人工智能在网络安全领域的深度应用作为提升国家网络空间核心竞争力、维护国家网络空间安全的重大战略。然而，人工智能技术是把“双刃剑”，在大力发展人工智能网络安全技术的同时，必须高度重视可能带来的网络安全风险，加强前瞻预防与约束引导，最大限度地降低风险，确保人工智能在网络安全领域安全、可靠、可控发展。

一、推进人工智能技术在网络安全领域的深度应用成为全球趋势

（一）人工智能技术成为国家网络空间竞争的新高地

当前，发达国家纷纷加强网络安全领域的人工智能战略布局。美国把人工智能技术提升到能给网络安全，甚至国家安全带来颠覆性变革的战略的高度。在我国，工信部于 2017 年12 月发布《促进新一代人工智能产业发展三年行动计划（2018-2020 年）》，明确倡导人工智能先进技术在网络安全领域的深度应用，提出到2020年要实现的目标，即“完善人工智能网络安全产业布局，形成人工智能安全防控体系框架，初步建成具备人工智能安全态势感知、测试评估、威胁信息共享、应急处置等基本能力的安全保障平台”。

（二）人工智能技术成为 IT 企业布局网络安全技术产业的新抓手

人工智能技术正在引发网络安全产业变革热潮。根据 CB Insights 的统计结果，在应用人工智能领域，网络安全是活跃度排名第四的行业。一方面，新兴IT 企业着力研发基于人工智能的网络安全技术，并强势崛起成为领域独角兽企业。另一方面，大型互联网和网络安全企业纷纷加码网络安全领域人工智能技术的创新和应用。

（三）人工智能技术成为应对网络安全风险的新方案

网络安全专业人员不足和网络攻击发现能力薄弱，日益成为抵御网络安全风险的短板。人工智能技术以其强大的运算能力逐步成为应对网络安全挑战的新方案。一方面，人工智能技术能够大幅提高分析效率。一个信息安全分析师一天的日志数据分析量，人工智能只需几分钟就能完成。另一方面，人工智能有助于提升威胁检测效果。基于机器学习、深度学习等算法，人工智能技术能够主动识别网络中的异常行为，现已充分应用于物联网设备防御、恶意软件预防、安全运营中心效率提升、风险量化，以及网络流量异常和恶意移动应用检测等领域 。

二、人工智能技术发展引发新的网络安全风险

（一）易遭受“投毒攻击”

当前，机器学习、深度学习等人工智能算法严重依赖于数据的分布，如果黑客改变数据分布生成恶意的对抗样本，向人工智能系统发起“投毒攻击”，就可能造成人工智能系统的识别错误。

OpenAI 在最新研究报告中指出，攻击者将对抗样本输入图像识别的机器学习模型，就能够使人工智能系统在视觉上产生幻觉，从而出现错误的图片识别结果。一旦人工智能技术在无人驾驶等领域推广普及，“投毒攻击”很可能对人们的生命、财产安全产生巨大威胁。

（二）底层开源框架是薄弱环节

当前，Google、FaceBook、IBM、百度等国际 IT 巨头纷纷开源其人工智能系统，帮助应用开发人员屏蔽底层实现细节，构建起以自身技术框架为基础的应用生态。然而，不时曝出的安全漏洞提高了人工智能系统的安全风险。2017 年 12 月，奇虎 360、美国佐治亚大学和美国弗吉尼亚大学的安全研究人员一致认为，Google 开源的 TensorFlow、FaceBook 开源的 Caffe 和 Torch 等深度学习框架对第三方开源基础库过度依赖，这会导致其存在大量的安全威胁。安全人员在上述三个框架中发现了 15 个安全漏洞，极易导致人工智能系统遭到拒绝服务攻击、逃逸攻击、系统损害攻击的影响。

（三）基于人工智能技术的网络攻击多样化

一方面，人工智能技术降低了网络攻击门槛。随着大量人工智能模型开源，黑客入侵的工具愈发多样化，其可以利用开源工具欺骗识别系统。另一方面，基于人工智能技术的网络攻击危害严重。人工智能技术会进一步丰富攻击模式，以自动化方式提升复杂攻击的速度与效率，加大鱼叉式网络钓鱼等劳动密集型网络攻击的危害;追踪、分析信息系统进化趋势和安全软件更新特点，设计出新的、更强大的恶意程序来发动网络攻击。利用人工智能技术操作无人机或其他智能设备发起定向攻击，可能导致物理设备损害，威胁关键信息基础设施安全，危及个人生命、财产安全。

（四）新一轮军备竞赛难以避免

当前，以美国为首的发达国家不断拓展人工智能技术的网络安全应用范围，并逐步向军事领域扩散。美国海军已开始将人工智能技术用于进攻型网络行动中。考虑到人工智能技术可能对军事领域产生的变革性影响，世界各国为了巩固、提升网络空间话语权，势必会加强基于人工智能技术的网络攻击系统的研发，打造新的网络攻击“杀手锏”，新一轮全球网络军备竞赛恐难避免。

三、几点建议

（一）重点突破人工智能网络安全技术

一是重视和加强前瞻性基础研究，加大对感知技术、深度学习、机器学习等人工智能算法的研发支持力度，提升算法的可解释性、透明性、运行效率等。二是加强基于人工智能的漏洞挖掘、安全测试、威胁预警、攻击检测、应急处置等网络安全技术攻关，强化人工智能安全态势感知、测试评估、威胁信息共享和应急处置等能力。三是支持应用技术研究，重点加强对抗性机器学习研究，分析机器学习对抗性攻击对人工智能系统的危害程度，提出应对的技术方案，提升算法的鲁棒性。

（二）加快优化人工智能开发框架

一方面，研发推广应用国内人工智能技术开发框架，重点支持自动驾驶、城市大脑等国家新一代人工智能开放创新平台发展，带动和引领国内人工智能企业构建涵盖机器学习、语义分析、控制决策等众多技术在内的体系化开源平台，推进人工智能开源代码、开源软件的信息汇聚和技术交流，推动国内企业逐步摆脱对 TensorFlow 等国外开源开发框架的依赖。另一方面，提高开发人员的安全技能和意识，将安全理念贯穿到需求、设计、实施、测试和发布响应等各个阶段，坚持在开发阶段发现漏洞，强化安全测试，提高人工智能开发框架的安全性。

（三）积极应对人工智能型网络攻击

一方面，加强关键信息基础设施等重要信息系统的安全防护能力。结合关键基础设施控制系统的体系架构特征，有针对性地开展漏洞挖掘、安全测试，排查关键信息基础设施的安全风险隐患，提升關键信息基础设施的抗侦听、抗攻击和恢复能力。另一方面，以人工智能技术对抗人工智能技术，推动人工智能先进技术在网络防御领域的深度应用。

（四）联合抵制人工智能型网络安全军备竞赛

随着人工智能网络安全技术的不断成熟，研发、利用、推广人工智能型网络攻击武器的安全威胁日益加剧。我国应着力加强与各国的网络安全交流与合作，尽快就抵制人工智能型网络安全军备竞赛达成共识。一是积极开展双边、多边对话，就抵制人工智能技术在网络攻击领域的使用进行沟通与协商，推动形成有力的管控举措并逐步推广。二是推动在联合国框架下制定各国普遍接受的防范网络武器扩散的国际公约，确立国家及各行为体在防范网络武器扩散方面的基本准则，明确将人工智能型网络攻击武器列入国际禁运、禁用的网络武器清单。