人工智能军事应用面临的技术伦理困境

尹 恒

人工智能自诞生之日起就引起人们无限的想象和憧憬，同时也伴随着巨大的伦理争议。在诸多成因中，人工智能技术的安全性问题引发的伦理争议尤为激烈。一方面，人工智能在增强人类应对和解决安全危害能力，提高安全控制水平方面将发挥重要作用；另一方面，受制于技术本身的特点和缺陷，拥有自主能力的人工智能则很有可能成为全新的安全威胁。相较于社会其它领域，人工智能在军事领域的应用起步较晚，但由于军事活动自身的特殊属性，人工智能一旦大面积应用到军事活动中，其内在缺陷引发的伦理风险必然呈现放大的趋势。在新一轮世界军事科技革命风起云涌的关键时期，对人工智能技术层面的局限性和不确定性进行分析，结合军事活动的实际特点进行合理推想，从而挖掘潜在的伦理风险，显得尤为紧迫而必要。

算法缺陷引发的伦理风险

算法安全通常是指由于算法本身不完善，使设计或实施过程中出现与预期不相符的安全性问题。如：由于设计者定义了错误的目标函数，或者选用了不合适的模型而引起安全问题；设计者没有充分考虑限制性条件，导致算法在运行过程中造成不良后果，引起的安全问题等。

人工智能发展到当前阶段，深度学习已成为掀起第三次人工智能浪潮的核心算法。通俗地讲，深度学习是机器学习研究中的一个新的领域，其动机在于建立、模拟人脑进行分析学习的神经网络，通过模仿人脑的机制来解释数据，例如图像，声音和文本等信息。作为神经网络的3.0版本，深度学习算法相较于过去拥有更深的网络层级、更庞大的神经元结构、更广泛的神经元连接，加之大数据的支持和计算机处理能力上的飞跃，目前在无人驾驶、图片识别、机器翻译等众多领域已经取得了令人瞩目的成果，并且还保持着巨大的发展潜力。不过，深度学习算法也并不是完美无缺的，三类缺陷使得学界对于其发展和应用持审慎态度：一是算法的不透明性和运算过程的不可解释性。由于神经网络所获取的知识体现在神经元之间相互连接的权重值上，其网络架构的高度复杂性使得无论是设计者还是使用者都无法解析这些知识，致使在下达指令后，人们对于人工智能如何落实指令、通过什么样的方式完成任务还无从得知，这就带来不可解释的“黑盒”问题。二是算法潜藏的偏见和歧视。由于算法在本质上是“以数学方式或者计算机代码表达的意见”，设计者和开发者自身持有的偏见将不可避免地带入到算法的设计中，从而可能导致针对个别群体的歧视，引发严重的社会问题和伦理风险。三是神经网络的稳定性。环境的轻微改变和目标内容的适度伪装会影响神经网络的稳定性，从而使人工智能对目标的识别判断出现失误甚至无法识别。例如，如果对图像进行细微的修正，对人类而言，这种修正完全不会影响图像识别，但会导致神经网络错误地将其分类。

当前，人工智能的深度学习已经开始模拟神经网络

一旦人工智能在军事活动中开始大面积被使用，上述缺陷就会充分暴露出来，从而引发极为严重的安全问题和巨大的伦理争议。下面，将逐条分析三类缺陷在军事应用过程中可能引发的伦理风险：

对于第一类缺陷，目前学界并无统一的完成度高的解决方法。在这个前提下，各方认为，足够大的数据支持能够有效缓解“黑盒”问题引发的安全风险。神经网络中往往包含着众多的隐藏层，只有利用体量足够大、类型足够丰富的数据进行安全测试时，“激活”模型中各个部分，才能测试出更多的安全漏洞。在民用领域，这一设想不难实现，只需要不同测试场景下足够丰富的测试数据即可。但在军事领域，上述设想的实现难度将大大增加。训练和实战之间存在着巨大的反差，要想获得足够丰富可靠的训练数据，就需要使人工智能的应用场景尽可能地贴近实战。不过这也就带来了新的问题：人们是否能够允许“不够成熟”的人工智能离开实验室，进入训练场、演练场甚至战场？谁又对在这个进程中出现的意外伤害和附带损伤负责？困境显而易见：要想让人工智能军事应用变得更安全，就得在初始阶段承担更大的风险；若想要在全过程将潜在的风险降至最低，则人工智能军事应用的发展便将举步维艰，安全性也将一直得不到提升。

与第一类缺陷相比，第二类缺陷包含着较为复杂的人为因素。在民用领域，算法歧视主要同企业文化、设计者个人背景等社会层面的原因相关，而由于军事行动的主体通常为国家，军事领域的人工智能算法歧视还同国家利益、民族意识等密不可分。设想一下，如果二战时期的德国具备设计和制造人工智能武器的能力，是否可能在设计阶段嵌入针对犹太人和非犹太人进行区分打击的算法？当然，这只是一种猜想，历史不可能假设，今天的世界与20世纪中叶的世界相比，已经发生了天翻地覆的变化，纳粹和希特勒这样的极端个例在今天并不存在，但这并不代表以上的风险不存在。以历史唯物主义的视角审视，只要阶级还没有完全消亡、国家和以国家为主体的战争还没有退出历史舞台，国家与国家之间的矛盾关系便依然存在，只不过在不同的历史时期有着不同的表现形式罢了。国家需要他者扮演敌人角色，以便创造可以实现“权益”“光荣”“尊严”或者“道德”等价值的场所。因此，身处国家之中、深受民族文化熏陶的设计人员在建构人工智能军事应用的基础算法时，就有可能受意识形态影响，有意识或无意识地对人工智能武器在盟国和敌对国的应用进行区分，而一旦做出这样的区分，无论动机为何、程度如何，都会带来严重的伦理问题，也将给人类和平事业造成巨大威胁。有一种观点认为，加强科学团体的社会责任感可以有效规避上述风险，但在笔者看来，仍然存在几点疑虑。首先，对于国际社会的责任感是否能够抵消意识形态层面的因素；其次，科学团体及其中的个体也都可能受自身价值观影响而含有各种不同形式的偏见；再者，即便上述两点影响得以克服，根植于内心深处的爱国热情、民族意识、社会文化也将不同程度地左右每个人的选择。因此，要将以上伦理风险降至最低，就需要暂时跳出民族国家的具体语境，在更高的层面进行商讨，以期达成一定程度上的共识，并通过相关法规予以确认，通过国际社会版本的“交往理性”抵御人工智能算法歧视在军事领域引发的伦理风险。

编程的主观性以及算法的复杂性带来了“黑盒问题”

如果说前两类缺陷更多体现设计层面的静态因素，那么第三类缺陷则更容易受动态环境因素影响。历史上，已经出现过类似的先例。1983年9月26日，苏联的导弹自动预警系统报告称，美国向苏联发射了5枚洲际弹道导弹。而事实是，苏联卫星从云层反射的阳光（与环境的意外相互作用）中检测到“导弹发射”的假阳性。可以想见，如果当时彼得罗夫中校选择相信系统报告的错误信息，按照规定程序上报，后果将不堪设想。当然，科学技术毕竟是在不断发展的，今日的自动预警系统相较于过去在测算精度、稳定性、安全能力等方面均有了不小的提升，未来人工智能在军事领域的应用理应有更好的表现。但是，潜在的威胁并没有完全消除。一方面，就目前的技术发展状况来看，还无法确保未来的人工智能在动态复杂环境下不会出现误判；另一方面，由于战场电磁环境日趋复杂，未来人工智能系统在战场上受到的干扰和迷惑只会越来越复杂多变，从而对算法的稳定性产生更大的考验。有人可能会提出，降低人工智能的自主性，将判断权和决定权牢牢限制在指挥官和操作人员手中，可有效规避上述风险。但这只是一种理想的假设，人对于军事技术的运用不仅仅受伦理的约束，还与作战效率密切相关。主观上将军事技术的使用限制在一定阈值下，在实际操作层面实现起来并不容易。

数据漏洞引发的伦理风险

数据安全是指算法内部数据模型或外部数据集在处理、存储过程中的数据安全问题。在军用领域，人工智能数据安全主要面临两大风险，即训练数据被污染的安全风险和核心数据遭窃取的安全风险。

人工智能发展到当前阶段，训练数据被污染的风险主要来源于数据投毒。数据投毒是指通过在训练数据里加入伪装数据、恶意样本等，破坏数据的完整性，进而导致训练的算法模型决策出现偏差。在军事领域，人工智能应用的安全性与其准确的识别能力、精确的打击能力、快速的反应能力密不可分。而一旦训练数据被严重污染，就有可能导致以下几种情况的出现：人工智能决策系统给出的方案并非最优方案，甚至存在巨大安全隐患；人工智能武器系统在无人授权的情况下随意改变攻击目标、扩大攻击范围，造成严重的平民伤亡；与人工智能相关联的战略武器系统受到错误诱导，自主启动发动攻击，从而引发毁灭性灾难。诚然，人工智能作为科学技术发展的最新成果，其本质的工具属性并没有改变。正如爱因斯坦在1930年给英国反战团体“不再打仗运动”的复信中所指出的：“科学是一种强有力的工具。怎样用它，究竟是给人带来幸福还是带来灾难，全取决于人自己，而不取决于工具。刀子在人类生活上是有用的，但它也能用来杀人。”人工智能在军事领域应用的巨大潜力和潜在风险同时存在，既不能一叶蔽目，也不宜因噎废食，要一分为二、辩证看待。同时，也应看到，虽然人工智能的出现并没有彻底颠覆科学技术和军事安全之间的关系，但由于人工智能高度“拟人化”的行为特征和“去人化”的运行机制，加之军事活动与以生命健康权为基本权利的人权密切关联，一旦内在的风险释放出来，势必会对人类安全造成严重的威胁。因此，从技术伦理的角度对训练数据被污染的潜在风险进行审视，并加以规制，不仅是必要的，也是必需的。

人工智能算法本质上可以看成一个很复杂的函数，若其内部某些参数泄露，则攻击者可以利用这些信息构造出与原模型相似度非常高的模型，进而可以还原出模型训练和运行过程中的数据以及相关的隐私数据。在民用领域，数据遭窃取的风险主要集中在用户隐私、公民权益、商业秘密、知识产权保护、社会公平公正等方面，世界各国已陆续从国家战略层面、法律法规层面、标准制定层面对人工智能数据管理加以规范。而一旦进入到军用领域，由于数据安全的责任主体从个人、企业、组织上升到了国家，数据安全风险的波及范围也从社会内部延伸到了国家之间，其复杂程度和敏感程度均有了显著提升。譬如，在战时，为了掌握战争主动权，对交战对手的军事情报和密码进行窃取和破译通常被认为是符合战争法和军事伦理规范的。但在平时，以人工智能技术为媒介，窃取别国的核心军事数据，以至于严重威胁国防安全，则无论是在法理上还是道德上都存在较大的争议。这样的行为一旦得到默许，势必会加剧国与国之间的紧张关系，对原本就脆弱的国际安全局势产生恶劣影响。另外，黑客和恐怖组织也同样有可能通过人工智能技术漏洞窃取相关数据，开展非法和恐怖活动，危及国家安全。

数据投毒为以人工智能作为主要防御手段的数据安全带来巨大挑战

简言之，由于人工智能军事应用以大量的数据为支撑，其发展的同时必然伴随着巨大的数据安全风险，如果管控不当，势必引发严重的安全伦理问题，这也提醒我们以审慎的态度来看待人工智能在军事领域的应用前景，切勿盲目乐观、急于求成。

信息失控引发的伦理风险

信息安全是指人工智能技术下，信息的保密性、真实性等安全问题。一方面，大数据的出现使得对于个人隐私信息的收集变得越来越容易进行；另一方面，随着换脸换声技术的兴起，伪造图片和音视频信息大量涌现且真假难辨，大大降低了信息的可信度和透明度。基于以上特点，人工智能军事应用将面临两大伦理风险，即个人隐私信息被用于军事目的和信息迷雾冲击战争伦理的风险。

斯诺登将美军的“棱镜”项目公之于众

关于人工智能对于隐私权的侵犯，目前学界讨论的重点主要集中在商业民用领域，所产生的问题基本上都可在现有的法律框架内予以解决。而一旦信息采集的主体变为国家、政府、军事集团，信息采集的目的从经济扩展到了政治、军事等层面，问题将变得尤为尖锐和复杂。2013年6月，中情局前职员爱德华·斯诺登向媒体披露美国国家安全局的一项代号为“棱镜”的秘密项目，项目内容显示，过去6年间，美国国家安全局和联邦调查局通过进入微软、谷歌、苹果、雅虎等九大网络巨头的服务器，监控美国公民的电子邮件、聊天记录、视频及照片等秘密资料。2018年3月，《卫报》和《纽约时报》同时刊登长文，共同将矛头指向了服务于特朗普团队的数据助选公司Cambriage Analytica，指控其通过Facebook获得了总计5000万用户信息的个人资料，并建立模型，为之后大选的精准推送打基础。可以预见的是，随着人工智能和大数据的不断发展，通过各种渠道收集个人隐私信息的门槛将变得越来越低。现代战争不仅是交战双方军事力量的抗衡，更是双方在经济、政治、文化、外交、科技等方面的综合较量，从某种意义上来说，本国某一特殊群体对于战争的态度、敌对国某一企业的财政状况等微观层面的因素均会在无形中对战争的走势发生影响，这也为政府出于军事方面考虑收集组织、企业、个人的信息提供了动机。当今世界，美国作为头号军事强国，其海外军事基地遍及全球，在缺乏外部有效监督的情况下，极有可能利用人工智能技术带来的便捷条件，将触角伸到本土之外，以确保对战略竞争对手的信息优势。相较民用领域，出于军事目的对于个人隐私权和信息权的侵犯更具持久性、隐蔽性和破坏性，对于国际安全环境和全球人权事业也将造成更为深远的影响。设想一下，一名A国的普通公民，其行动轨迹图、人际关系网甚至日常上网记录等信息均存储在B国的国防数据库中，一旦战事开启，B国就可利用网络对其进行信息轰炸。如果此人属于B国认定的“危险人物”，还有可能随时遭到B国派出的杀手机器人的精准暗杀。此外，如果B国掌握的个人信息落入到恐怖组织手中，还会在全球范围内造成更大程度的恐慌，引起难以弥合的信任危机。因此，人工智能在军事领域的应用同样可能对个人信息权、隐私权、生命健康权造成侵犯，要避免这一可能性转化为现实，单单寄希望于各国政客、科研技术人员、军人的道德修养和伦理操守显然是不现实的。

重要情报一旦落入别有用心的人手中，将引发巨大灾难

随着人工智能技术在图像处理上的飞速发展，通过人工智能生成的图像和视频资料几乎可以达到以假乱真的效果。随着人工智能在军事领域的应用越来越广泛，不难想见，未来战争中的信息迷雾只会不断加深，若缺乏外界的有效约束，交战双方必定会想方设法伪造对自己有利的证据资料，并以此裹挟舆论风向。一方面，信息迷雾的出现会严重损害普通民众对战争中事件真相的知晓权；另一方面，在舆论战中使用的各种欺骗手段将大大降低战争伦理水平，从而导致参战人员在战争中遵守交战规则和实行人道主义的外部约束力量进一步减弱，进而滋生一系列破坏交战规则和反人道的行为。虽然，在现代战争中并不禁止一切形式的欺骗，但这并不代表交战双方可以为了赢得战争实行任何形式的欺骗，认可后者，等同于将人类社会的文明程度拉回到原始社会，是对人类文明的肆意亵渎和恶意嘲弄。再者，随着全球化趋势的不断增强，国家的知情权已成为国家在国际法上享有的一种私法权利。现代战争已不仅仅是交战双方的对抗，战争进程的任何细微变动都会对“地球村的其他居民”产生影响，这也就要求在交战双方在战争中遵守特定的交战规则，保持一定的透明度。因此，如何防止人工智能在军事活动中产生的信息迷雾冲击现有战争伦理，将是各国在发展人工智能军事应用进程中无法回避的重要课题。