人工智能安全问题研究

张燕平 李中文 张华龙

摘要：近年来．人工智能又一次迎来发展的热潮，在自然语言处理以及数字图像处理等多个领域中的表现都超过人类。它已经被应用于教育、医疗、金融、军事等领域，与此同时，人工智能引发的一系列安全问题逐渐显现出来。人工智能系统的安全问题主要分类2类．即模型与数据隐私以及模型安全。对于不同的人工智能系统，它们处理的问题以及实现的原理都不同，因此，一個棘手的问题就是如何让防御措施更具有普适性，以处理各种对人工智能系统的安全威胁。

关键词：人工智能；安全问题；防御措施

中图法分类号：TP18 文献标识码：A

人工智能技术已经广泛应用于人类生活的各个领域，为人们提供了便捷、高效、智能的服务和体验，极大地提高了生活品质，也促进了社会的创新和变革。然而，人工智能也不是完美无缺的，它可能带来一些潜在的风险和挑战，如算法歧视、隐私泄露、判断失误等，这些问题可能导致个人和社会遭受经济损失、心理创伤，甚至危害社会道德、法治秩序。因此，保障人工智能技术的安全性、可靠性和可控性是实现其最大价值和最佳效果的重要前提。

１ 人工智能发展历史

在历经了１９５６ 年来的２ 次起伏之后，人工智能技术的第３ 次发展热潮到来了，被视为第４ 次工业革命的标志性技术，并在各个领域广泛应用。人工智能不仅是硅谷包装的“答案主义”意识形态，更是一种通用技术，它能够通过机械化脑力劳动，让人类从烦琐的任务中解放出来，从而进行更有意义和创造性的活动。然而，在享受人工智能带来的便利和效率的同时，我们也必须警惕其相关的治理风险。例如，智能推送算法可能加剧社会分化和信息孤岛，人脸识别系统可能构建出无处不在的监控网络，以及对个人隐私、舆论引导、就业影响等方面的潜在威胁。这些典型案例已经引起了公众的广泛关注，并促使各方推动人工智能与安全风险管理伦理问题的研究和探讨。

虽然目前为止，很少有国家制定了专门针对人工智能风险治理的法律法规， 但根据德国非营利组织Ａｌｇｏｒｉｔｈｍ Ｗａｔｃｈ 的统计，世界各地已经有１６０ 多项关于人工智能伦理规范和治理原则的倡议和文件出台。

人工智能与网络安全的融合，对于相关企业的业务发展具有重要意义。在这个过程中人工智能算法的研发模式是一个关键因素，它将影响企业的技术创新能力和市场竞争力。

目前，国内网络安全企业主要采用了２ 种人工智能算法的研发模式：一是基于开源框架进行二次开发和优化；二是完全自主研发人工智能网络安全算法。

这２ 种模式各有优劣，需要根据企业的实际需求和目标进行选择。开源的优势在于节省了研发费用、人力资源和时间成本，而自研的优势在于拥有更大的创新空间和拓展领域。从性价比角度来看，开源相对于自研更具有成本效益，基于开源框架可以快速定制出符合自身需求的人工智能算法。从可持续发展角度来看，自研相对于开源更具有竞争力和前景，可以根据市场变化和技术进步不断优化和创新。因此，网络安全企业应该根据自身的目标、资源和能力，权衡利弊，做出合理的决策。自研人工智能算法意味着能够对算法的原理和实现有深入的掌握，从而更好地满足自身业务需求。因此，除了在网络安全领域具有优势，拥有自研人工智能算法的企业还可以更灵活地将其应用于智能交通、智慧医疗等其他产业领域，实现跨界创新和价值增长。相比之下，基于开源的人工智能算法存在安全可控性方面的风险，因为其安全性很大程度上取决于开源框架的安全性，而这可能难以保证。

２ 人工智能安全风险

任何事情都有两面性，信息技术的发展也不例外，在人工智能可以为相关部门制定网络安全治理的有效保护措施提供帮助，防御各种网络攻击，提升国家治理能力［１］ 的同时，人工智能的发展也带来了有关安全方面的挑战［２］ 。目前在各个领域，甚至在一些安全相关的领域，都可以看到人工智能的影子，但是对于人工智能本身的安全性的研究才刚刚起步［３］ 。

以机器学习和深度学习为核心的新一代人工智能由于其潜在的缺陷和广泛的应用而不可避免地带来了许多日益增长的安全风险和社会伦理问题，主要有人工智能算法的目标失范、不透明性、难解释性等导致的技术风险；人工智能可能对基本人权、社会秩序、国家安全等造成负面影响或被滥用而产生的社会风险；人工智能与人类价值观、道德准则、责任机制等存在冲突或不协调而引起的道德困境。

２．１ 人工智能的潜在技术风险

首先是在技术层面上，人工智能系统的安全的问题主要被分类２ 类：数据与模型隐私以及模型自身安全［４］ 。

模型与数据隐私是指保护训练数据和人工智能模型本身的参数不被泄露或窃取的问题。在人工智能模型的使用过程中，可能会产生一些包含敏感信息的中间数据，如输出张量、模型参数以及模型梯度等。

这些中间数据也属于模型与数据隐私的范畴。

与模型与数据隐私不同，模型安全存在于人工智能模型的整个生命周期。例如，模型本身由于健壮性不良导致的安全危险，或者在训练模型的时候可能遭受攻击从而导致一些功能无法正常使用。

２．２ 人工智能遭受滥用的社会风险

在人工智能算法造福我们的同时，也被应用于消极的方面，如虚假新闻和虚假广告的生成、推荐算法不当应用、人脸识别被滥用、个人隐私挖掘、消费行为诱导以及不良信息传播等。除此之外，人工智能算法本身的一些漏洞也会被不法分子利用从而进行不公平竞争，如数据投毒导致的决策偏离等。市场和社会秩序被上述的现象严重扰乱。

在这种情况下，我们的隐私受到极大的威胁，本来在海量的数据中，对数据的分析无法对应某个个体，但是有了人工智能，我们可以轻易地对某个个体的数据进行复杂的逻辑推理分析，个人隐私将在人工智能下一览无余。比如，城市中的监控系统本来是无法对应到个体，但是有了人脸识别、步态识别等技术，就可以轻易地得到每个人的信息。

２．３ 人工智能衍生的道德伦理困境

首先，人工智能算法的设计者由于本身的一些偏见或者负面情绪以及训练数据的片面性，会导致人工智能算法模型表现出种族歧视或者其他的偏见。其次，人工智能算法的不当使用也会导致一些问题，如成瘾性算法会诱导人们沉迷于游戏或者短视频。最后，即使人工智能算法的设计和使用目的都没有出现问题，但人工智能算法在实际使用的过程中做出的一些决策或者预测从而导致了问题的发生，也会带来道德伦理的问题，如自动驾驶汽车在发生事故后，如何判断责任归属和道德选择。

３ 如何应对人工智能安全隐患

我国应积极占据人工智能安全治理及监管这一制高点，积极推动我国人工智能应用可信可靠发展。

对于技术层面的安全隐患，应该大力发展防御性的算法，攻击和防御之间的关系就好比矛和盾，它们相互博弈，共同进化。目前已经有相关研究人员提出了具有针对性的防御算法，但是由于不同的人工智能的原理差异性太大，这些防御算法的普适性不是很好。另外，一些人工智能算法自身的可解释性比较低，所以这些攻防研究还处于实验阶段。

目前来看，这些防御性算法还处于试验阶段，无法完全解决人工智能带来的所有安全问题，那么一系列切实可行的技术标准以及应用规范就显得尤为重要。在这方面，建议系统有条理地制定与人工智能有关的技术和工业标准，包括人工智能模型、算法、数据和应用，特別侧重于算法的公平性要求、算法验证、算法诱导、智能推荐、决策评估、结果评估和样本检查，以促进人工智能的健康发展和系统应用。

鉴于目前人工智能的技术缺陷，导致其在价值判断上受到限制，这使其在机器人、自动驾驶仪、智慧解决方案、智能医学等诸多应用中面临伦理问题。为了应对这些伦理问题，国际社会已经展开了广泛的研究和探讨，提出了一些人工智能伦理原则和规范，如自由、隐私、尊严、自主权、透明性、责任等，旨在保障人工智能技术的合理开发和使用。我国也应该积极参与这一进程，组织相关部门和行业制定符合我国国情的人工智能伦理原则和规范，并加强科学化管理，建立成果共享机制，并严格遵守伦理准则，促进科技的健康发展。在人工智能的研发过程中，强化了科研人员的伦理观念、伦理约束和法律意识，确保人工智能朝着造福人类的积极健康方向发展。另外，在解决某些具体的伦理问题时，也可以利用科技自身来寻找解决方案。例如，在面对恶意收集信息的情况时，可以利用保护隐私数据的智能程序来对抗非法获取信息的智能程序。

４ 人工智能在安全态势感知中的应用

４．１ 建立防御策略

在本研究中，我们首先建立了一个三维模型，作为应用战略细化关键技术的基础。在模型构建过程中，我们采用了系统思维、模式技术和网络知识相结合的方法，以确保系统工程的安全性。同时，我们利用联合安全机制来提升数据库性能、信息完整性和计算机设备性能。在实施战略细化技术时，我们还注意使网络信息与弱发展相适应，并增强高级别防御战略的有效性。因此，在应用过程中，我们根据服务资源需求，在节点端口处获取系统安全参数，并根据参数变化进行实时优化配置，无需额外处理。值得一提的是，在参数配置中，不仅涉及大量数据包和接口数据的处理，还涉及语法转换的问题。因此，在模型构建时，我们对这些内容进行了充分考虑。本研究基于ＣＮＤＰＲ 模型，并将战略细化概念应用到具体加工中。

生成防御策略后，在设备节点上以可执行策略规则形式实施，并通过该模型展示系统状态变化和活动特征。从形式上看，模型主体分为主体和节点２ 类。节点通过节点名、ＩＰ 和掩码生成用户名和密码，并改变计算机信息流向。主体则是具有相同特征的主体集合。通过分析系统实际应用情况，我们发现具有相同特征的主题集可以反映出论文特征的综合，并且不同论文权限之间存在强相关性。因此，我们需要使用不同表达式来描述它们。

４．２ 建设模型安全体系

在本研究中，我们对计算机特性和网络运行状况进行了全面的分析和掌握，以提高技术应用的合理性，并增强人工智能技术和大数据技术的安全性能。

在构建模型安全体系的过程中，我们重点关注了防御策略模型。该模型采用了三维概念，包括ｘ 轴、ｙ 轴和ｚ 轴。其中，ｘ 轴表示系统的安全性水平；ｙ 轴表示不同的网络层次，如网络层、应用层、物理层、传输层、数据链路层等；ｚ 轴表示物理环境因素，包括信息网络、信息处理和安全管理等。确保模型合理，安全防护效果全面提高。在建立模型时，网络安全问题是技术人员必须考虑的，进而提高模型与用户需求的一致性。

５ 结束语

人工智能作为全世界竞争的焦点，正在引领着第４ 次工业革命。为了掌握人工智能的发展方向，各国和组织都在积极研究人工智能攻防技术和安全监管治理。我国在人工智能产业规模和核心企业数量方面仅次于美国，位居世界第二。我国的人工智能企业涵盖各个领域，有望成为全球最大的人工智能市场。

我国应积极占据人工智能安全治理及监管这一制高点，积极推动我国人工智能应用可信可靠的发展。首先对于技术层面的危险，我们要积极发展防御性的算法来抵御各种攻击，并发展出一套框架来适应各种不同的人工智能算法。但是由于目前的技术限制，单纯靠防御性的算法还不足以对抗各种攻击，这就需要一套规范的技术标准以及应用规范来使我们的人工智能算法更加规范，从而避免一些人工智能算法攻击。

其次，对于人工智能衍生出来的道德伦理问题，我国也应该与时俱进，组织相关部门和行业制定人工智能的伦理原则和规范。

参考文献：

［１］ 张涛．人工智能时代的网络安全治理机制变革［Ｊ］．河南工业大学学报（社会科学版），２０２２，３８（２）：７６?８２．

［２］ 彭长根．人工智能安全治理挑战与对策［Ｊ］．信息安全研究，２０２２，８（４）：３１８?３２５．

［３］ 谭毓安．高度重视人工智能安全问题［Ｊ］．信息安全研究，２０２２，８（３）：３１１?３１３．

［４］ 叶晓亮，陈羽凡．人工智能安全风险及治理研究［Ｊ］．工业信息安全，２０２２（２）：８３?８９．

作者简介：张燕平（１９８７—），本科，中级测评师，研究方向：网络安全。