警惕人工智能技术发展带来的网络安全威胁

王超

近年来，人工智能越来越成为引领未来的战略性技术，世界主要发达国家纷纷把发展人工智能技术、推进人工智能在网络安全领域的深度应用作为提升国家网络空间核心竞争力、维护国家网络空间安全的重大战略。然而，人工智能技术是把“双刃剑”，在大力发展人工智能网络安全技术的同时，必须高度重视可能带来的网络安全风险，加强前瞻预防与约束引导，最大限度地降低风险，确保人工智能在网络安全领域安全、可靠、可控发展。

AI在网络安全的深度应用

（一）人工智能技术成为国家网络空间竞争的新高地。当前，发达国家纷纷加强网络安全领域的人工智能战略布局。美国把人工智能技术提升到能给网络安全，甚至国家安全带来颠覆性变革的战略的高度。2016年10月，美国前总统奥巴马发布的《国家人工智能研究和发展战略计划》提出，“确保人工智能系统安全可靠”的发展战略，要将“对抗机器学习”作为人工智能发展的关键领域。同年 12 月20日，美国白宫发布的《人工智能、自动化与经济报告》提出，“出于网络防御和欺诈侦查目的发展人工智能”，意在打造能精准预测网络攻击、有效侦测欺诈交易和欺诈信息的人工智能系统。在我国，国务院于 2017年7月印发《新一代人工智能发展规划》，提出要加强人工智能网络安全技术研发，强化人工智能产品和系统网络安全防护。工业和信息化部于2017年12月发布《促进新一代人工智能产业发展三年行动计划（2018—2020年）》，明确倡导人工智能先进技术在网络安全领域的深度应用，提出到2020年要实现的目标，即“完善人工智能网络安全产业布局，形成人工智能安全防控体系框架，初步建成具备人工智能安全态势感知、测试評估、威胁信息共享、应急处置等基本能力的安全保障平台”。

（二）人工智能技术成为IT企业布局网络安全技术产业的新抓手。人工智能技术正在引发网络安全产业变革热潮。根据CB Insights的统计结果，在应用人工智能领域，网络安全是活跃度排名第四的行业。一方面，新兴IT企业着力研发基于人工智能的网络安全技术，并强势崛起成为领域独角兽企业。美国Cylance是世界上最早提供基于机器学习和人工智能反病毒的公司之一，其研发的反病毒软件Cylance PROTECT利用人工智能预测网络攻击的发生，在没有网络连接的情况下，仅需60MB 内存和 1%的CPU就能保护计算机免受攻击。目前，该公司的估值已超过10亿美元。美国帕洛阿尔托网络公司（Palo Alto Networks）推出的名为Magnifier 的行为分析解决方案，使用结构化和非结构化的机器学习来模拟网络行为，改善网络危险检测。另一方面，大型互联网和网络安全企业纷纷加码网络安全领域人工智能技术的创新和应用。2017年，亚马逊先后收购人工智能网络安全公司——Harvest.ai 和 Sqrrl，通过机器学习和人工智能算法，加强对数据窃取行为的识别和阻止，以保护云中的敏感数据。2018年5月，360发布了“安全大脑”，利用人工智能技术对采集的安全数据进行分析计算，可实时感知网络安全运行状况和态势，预测网络攻击并自动响应。

（三）人工智能技术成为应对网络安全风险的新方案。网络安全专业人员不足和网络攻击发现能力薄弱，日益成为抵御网络安全风险的短板。人工智能技术以其强大的运算能力逐步成为应对网络安全挑战的新方案。一方面，人工智能技术能够大幅提高分析效率。一个信息安全分析师一天的日志数据分析量，人工智能只需几分钟就能完成。另一方面，人工智能有助于提升威胁检测效果。基于机器学习、深度学习等算法，人工智能技术能够主动识别网络中的异常行为，现已充分应用于物联网设备防御、恶意软件预防、安全运营中心效率提升、风险量化，以及网络流量异常和恶意移动应用检测等领域。ESG 的调查显示，12%的企业组织已普遍应用了基于人工智能的安全分析产品，27%的企业间接使用了基于人工智能的安全分析服务，20%以上的网络安全工程师希望使用基于人工智能的网络安全技术加速事件检测和响应、识别和处置网络安全风险，掌握网络安全态势。

AI引发新的网络安全风险

（一）易遭受“投毒攻击”。当前，机器学习、深度学习等人工智能算法严重依赖于数据的分布，如果黑客改变数据分布生成恶意的对抗样本，向人工智能系统发起“投毒攻击”，就可能造成人工智能系统的识别错误。OpenAI 在最新研究报告中指出，攻击者将对抗样本输入图像识别的机器学习模型，就能够使人工智能系统在视觉上产生幻觉，从而出现错误的图片识别结果。一旦人工智能技术在无人驾驶等领域推广普及，“投毒攻击”很可能对人们的生命、财产安全产生巨大威胁。

（二）底层开源框架是薄弱环节。当前，Google、FaceBook、IBM、百度等国际 IT 巨头纷纷开源其人工智能系统，帮助应用开发人员屏蔽底层实现细节，构建起以自身技术框架为基础的应用生态。然而，不时曝出的安全漏洞推高了人工智能系统的安全风险。2017年12月，奇虎360、美国佐治亚大学和美国弗吉尼亚大学的安全研究人员一致认为，Google开源的TensorFlow、FaceBook开源的Caffe 和Torch等深度学习框架对第三方开源基础库过度依赖，这会导致其存在大量的安全威胁。安全人员在上述三个框架中发现了15个安全漏洞，极易导致人工智能系统遭到拒绝服务攻击、逃逸攻击、系统损害攻击的影响。考虑到基于深度学习的应用往往需要复杂的训练过程，针对深度学习框架的恶意攻击很难在短时间内被识别，这就可能导致攻击持续的时间更长，造成的危害更加严重。

（三）基于人工智能技术的网络攻击多样化。一方面，人工智能技术降低了网络攻击门槛。随着大量人工智能模型开源，黑客入侵的工具愈发多样化，他们可以利用开源工具欺骗识别系统。另一方面，基于人工智能技术的网络攻击危害严重。人工智能技术会进一步丰富攻击模式，以自动化方式提升复杂攻击的速度与效率，加大鱼叉式网络钓鱼等劳动密集型网络攻击的危害;追踪、分析信息系统进化趋势和安全软件更新特点，设计出新的、更强大的恶意程序来发动网络攻击。利用人工智能技术操作无人机或其他智能设备发起定向攻击，可能导致物理设备损害，威胁关键信息基础设施安全，危及个人生命、财产安全。

几点建议

（一）重点突破人工智能网络安全技术。一是重视和加强前瞻性基础研究，加大对感知技术、深度学习、机器学习等人工智能算法的研发支持力度，提升算法的可解释性、透明性、运行效率等。二是加强基于人工智能的漏洞挖掘、安全测试、威胁预警、攻击检测、应急处置等网络安全技术攻关，强化人工智能安全态势感知、测试评估、威胁信息共享和应急处置等能力。三是支持应用技术研究，重点加强对抗性机器学习研究，分析机器学习对抗性攻击对人工智能系统的危害程度，提出应对的技术方案，提升算法的鲁棒性。

（二）加快优化人工智能开发框架。一方面，研发推广应用国内人工智能技术开发框架，重点支持自动驾驶、城市大脑等国家新一代人工智能开放创新平台发展，带动和引领国内人工智能企业构建涵盖机器学习、语义分析、控制决策等众多技术在内的体系化开源平台，推进人工智能开源代码、开源软件的信息汇聚和技术交流，推动国内企业逐步摆脱对TensorFlow等国外开源开发框架的依赖。另一方面，提高开发人员的安全技能和意识，将安全理念贯穿到需求、设计、实施、测试和发布响应等各个阶段，坚持在开发阶段发现漏洞，强化安全测试，提高人工智能开发框架的安全性。

（三）积极应对人工智能型网络攻击。一方面，加强关键信息基础设施等重要信息系统的安全防护能力。结合关键基础设施控制系统的体系架构特征，有针对性地开展漏洞挖掘、安全测试，排查关键信息基础设施的安全风险隐患，提升关键信息基础设施的抗侦听、抗攻击和恢复能力。另一方面，以人工智能技术对抗人工智能技术，推动人工智能先进技术在网络防御领域的深度应用。通过人工智能技术，加强对网络攻击的特点和规律的分析，发现过去网络攻击的共性和特殊性，分析恶意程序和攻击手段的演化方向，提升网络攻击防御的效率和精准度。