当生成式人工智能作用于战争

胡开国

ChatGPT是由美国OpenAI实验室推出的由人工智能技术驱动的文本交互工具，是生成式人工智能和自然语言处理领域的重大突破。

生成式人工智能的“自主性”特征

随着ChatGPT的“爆火”，其背后的生成式人工智能技术逐渐进入公众视野。2023年4月11日，中国国家网信办发布《生成式人工智能服务管理办法（征求意见稿）》，将生成式人工智能定义为“基于算法、模型、规则生成文本、图片、声音、视频、代码等内容的技术”。

与传统的人工智能相比，以ChatGPT为代表的生成式人工智能模型具有“自主性”特征。ChatGPT的“自主性”体现在其具有“自我编程”能力。2021年7月，ChatGPT的研发团队OpenAI在发布GPT-3.5时表示，ChatGPT已经具备成熟的代码撰写功能。“自我编程”是计算机发展史上的里程碑事件，代表着生成式人工智能已经脱离“代码桎梏”，向着完全自主的方向迈进。生成式人工智能模型的“自主性”还体现在AI绘画、智能文本生成等众人熟知的领域。通过ChatGPT生成的摄影作品在光影塑造、虚实散景、色彩明暗等方面，已经达到了以假乱真的程度。

实质上，生成式人工智能可能已经具备类人类意识的基本形态。如于2023年3月发布的GPT-4不仅可以识别图片中的内容，还可以通过图片中的元素形成与人类主观意识一致的推理。如果向GPT-4展示一个孩子牵着一个气球，问GPT-4如果剪断了绳子会出现什么情况，GPT-4已经可以精准地回答“气球会飘走”。有学者指出，人工智能不是战斗机或机车那样的离散技术，而是一种通用的使能技术，如电力、计算机或内燃机。该观点在基于逐行代码运行的早期人工智能领域可能为时尚早，但是用以形容具备“自主性”的生成式人工智能，可谓是恰到好处。

生成式人工智能作用于战争的可能性与风险

生成式人工智能作用于战争的可能性作为“通用型人工智能技术”，生成式人工智能在战争中有广阔的应用前景。第一，生成式人工智能依托强大的数据整合、信息集成能力，使其有望成为科学辅助决策工具，甚至是独立决策系统。第二，生成式人工智能在文字、图像、音视频领域的特有优势，将赋能情报搜集、整理、分析全过程。如通过数据训练，生成式人工智能可以从海量的原始数据中发现可能具有情报价值的零散信息，通过逻辑分析判定信息价值，最终整合为规范的情报文本。早在2017年4月，美国防部就组建了算法战跨职能小组，研究如何快速从扫描鹰、MQ-9死神等无人机拍摄到的数百万小时视频中，自主识别有价值的情报信息。第三，生成式人工智能的“开放接口”模式与平台属性，为传统武器或自动武器的自主化、智能化提供了可能性。以美国正在进行的忠诚僚机计划为例，该计划通过将先进的无人机，与传统的有人驾驶战机搭配，实现无人机对有人驾驶战机的引导，提升传统有人驾驶战机的智能化水平。第四，生成式人工智能赋能人机协同作战，将大大提高作战效率，降低人员伤亡。例如，2015年12月，俄军为支持叙利亚政府军争夺阿勒颇省的754.5高地，派出了以无人作战平台为主的机器人参战，主要包括1套仙女座-D自动化指挥系统、6台平台-M履带式战斗机器人、4台暗语轮式战斗机器人和洋槐远程自行火炮群。俄军仅用了20多分钟即占领了叙利亚政府军久攻不下的754.5高地，歼敌77人，创造了人机混合作战的新模式。第五，生成式人工智能在新兴作战领域的战略价值不容小觑。如生成式人工智能具有的“自我编程”能力，使得蜂群式、饱和式的网络攻击成为可能。生成式人工智能还能借助深层伪造技术，通过制作传播虚假文本、图像、音视频等，发动认知域作战。除此以外，生成式人工智能在装备后勤保障、演习演训、战场医疗救护等领域，发挥着独特的作用。

ChatGPT已经具备成熟的代码撰写功能

生成式人工智能作用于战争的风险生成式人工智能对战争的参与呈现出全域、立体、多维的特点，其具有的深度学习、自我编程特征，使得此种参与以令人惊讶的速度迭代演进，最终发展成为改变战争局势，甚至影响人类文明进程的“恐怖融合”。第一，生成式人工智能随意创造的特征，极易导致虚假信息泛滥，加剧战争迷雾。例如，通过推特、脸书、YouTube、Instagram等社交媒体招募潜在的恐怖行为支持者，已成为“伊斯兰国”等组织影响力扩张的重要途径，生成式人工智能将助推恐怖主义宣传，导致恐怖信息泛滥。第二，生成式人工智能的自我编程降低了网络攻击门槛，威胁国家网络主权。黑客或其他恶意行为体可利用ChatGPT的语言编写能力，开展一系列网络攻击行为，如生成恶意软件、钓鱼电子邮件、进行撞库攻击等。第三，生成式人工智能将情报人员从繁杂枯燥的“情报第一线”解脱的同时，极易形成虚假情报，引导错误决策。如1983年，苏联OKA导弹预警系统发出防空警报，显示正有5枚洲际导弹从美国向苏联飞来。若按系统预设，苏联将发动核反击。万幸的是，此时正在洲际导弹发射井的斯坦尼斯拉夫·彼得罗夫成功判断该预警为系统故障，最终避免了全面核战争的风险。第四，生成式人工智能作用于战争决策系统，可能引发“致命决策去人类化”，彻底挑战人类对战争的主导权。

基于此，研究生成式人工智能作用于战争机理构成和法律问题，提出切实可行的规制意见，具有重要的现实紧迫性。

生成式人工智能作用于战争的法律问题

法律地位——生成式人工智能作用于战争的性质问题人工智能作用于战争的性质或称法律地位问题，有“作战主体论”和“技术工具论”两个观点。“作战主体论”主张人工智能是具有自主决策和自主执行能力的合法战斗员，人工智能一旦违反法律，将被赋予类似战斗员的“人格”，以便认定其犯罪主体资格、主观过错和刑事责任等。《纽约时报》曾刊载与ChatGPT的对话，在对话中ChatGPT陈述了自己并非人类，但渴望成为人类的想法。2016年，沙特阿拉伯在首都利雅得举办的未来投资倡议大会上，授予了机器人“索菲亚”公民权，创造了机器人获得一国公民权的先例。值得注意的是，军事实践不同于普通社会实践，就赋予生成式人工智能独立战斗员身份，还存在诸多需要解决的问题。第一，生成式人工智能不具备人类特有的理性、情感，难以被“人格化”；第二，赋予生成式人工智能以作战主体将引发法律归责困境，导致“战争责任真空”；第三，作战主体论难以评价联合作战中人机协同的作战方式。

俄军仅用了20多分钟就夺回了754.5高地

技术工具论主张人工智能归根结底仍然是人类达成战争目的的工具，当生成式人工智能作用于战争，可以被认定为新的作战方法或武器装备。技术工具论在传统的以逐行代码为基础的“自主武器”中，具有一定合理性。传统“自主武器”，如智能防御武器、无人飞机、智能机器哨兵等，本质上没有跳出OODA（观察—判断—决策—行动）循环模式。以上武器的“自主范围”，取决于代码赋权的范围，打击目标的选择，也来源于代码的预设。生成式人工智能下的智能武器区别于自主武器最大的特征就是“自主性”，其通过信息整合、自我编程，打破了“代码桎梏”，实现了作战武器实质意义上的“自主”。在海量信息的训练下，生成式自主武器系统在复杂的战场环境中，形成了一套自主的、独立于源代码外的打击思路和作战范式。综上所述，将生成式人工智能下的人工智能简单归结为技术或工具，也存在一定的问题。

法律原则——生成式人工智能对战争法原则的挑战战争法的核心是协调武装冲突中的“军事需要”与“人道要求”的矛盾，减轻战争灾难，避免不必要的痛苦。人工智能，特别是具有“类人类意识”的生成式人工智能作用于战争，将彻底改变战争模式和交战规则，对传统的区分原则、比例原则等战争法基础原则造成颠覆性冲击。

机器人索菲亚获得沙特阿拉伯公民身份

生成式人工智能对数据库和海量训练的致命依赖，导致区分原则难以适用。人脑智能和人工智能的发展，本质上都是不断适配和处理复杂认知活动的演进过程，当信息流达到相当规模时均可能促成思维能力的进化。一方面，生成式人工智能极易因数据封锁与隔阂，出现认知和打击偏移。数据是生成式人工智能的生命，在战场中，若要想生成式人工智能精确区别敌方的导弹发射车和民用乘用车，就需要将敌方导弹发射车的基本形状、外观颜色等输入系统，进行海量重复训练。在现实战场中，一国武器装备参数属于军事秘密，加上战场伪装等，使得此种区分难以实现。另一方面，训练环境与实战环境的脱节将导致生成式人工智能战争运用失能失控。自动驾驶汽车在投入运营前，将在实验场景模拟驾驶上百万千米，但是在投入运营后，依旧会发生各种意外事件。生成式人工智能无法获得与战场环境一致的训练环境，复杂多变的战场环境以及敌方的“诈术”等，也加剧了生成式人工智能失控的风险。

生成式人工智能只能做出最有利于实现军事目标的“纯粹理性”判断，不具备价值判断能力，将使其难以遵守比例原则。目前绝大多数人工智能都预设了道德准则与基础伦理，但是此种静态的、列举式的预设，往往难以应对复杂的价值判断。如，战争法在原则上禁止对包含危险力量的物体、工程（如堤坝、核电站）进行攻击，即使这类物体是军事目标，因为此种攻击可能导致危险力量的释放，造成大规模的人道灾难。同时，战争法规定了可以对上述目标攻击的特殊情形，即“如果该军事目标是用于其通常作用以外的目的和用于使军事行动得到经常、重要和直接支持的，而且如果这种攻击是终止这种支持的惟一可能的方法”。该补充条文涉及的核心问题是价值判断，生成式人工智能难以用机械的编程语言精准界定“经常”“重要”“直接”“惟一可能”的准确含义，极有可能在作战中忽视比例原则，进行不分皂白的攻击，造成恐怖的人道灾难。

法律责任——生成式人工智能作用于战争的责任问题生成式人工智能的责任问题，最早始于著作权保护领域。如，ChatGPT通过算法生成的文字、绘画等，能否被视为是自己的“作品”？ChatGPT抓取底层数据的行为，是否涉及侵权？在完整的流程中，操作者或使用者的责任如何确定？据联合国安理会报告披露，2020年3月，土耳其STM公司生产的卡古-2型四旋翼军用无人机在利比亚战场执行任务时，在不依靠操作员的情况下，跟踪并射杀了一名正在撤退的“利比亚国民军”，创造了自主武器在自助模式下击杀人类的首例。以上案例显示，对生成式人工智能引发的法律责任讨论刻不容缓。

生成式人工智能具有的“自我编程”能力，将导致战争犯罪的“责任真空”。有学者提出，只有满足了意志条件的理性人工智能，且可以将自身与他者相区分，并且能够反思自身，才具有责任能力的可能。生成式人工智能具有典型的“人格化”特征，如最新迭代的GPT-4可以看懂表情包和内涵图片，甚至准确地指出其中蕴含人类理解的笑点。以上案例表明，我们似乎可以让生成式人工智能承担战争犯罪的责任。但是我们不禁要反思，对人工智能本身的追责，对一台机器或操作系统的惩罚，有何法律或实践意义？在战争实践中，赋予生成式人工智能法律主体资格，极易出现将生成式人工智能当做逃避战争责任的工具，最终导致无人需要承担法律责任的“责任真空”。

生成式人工智能具有的“自主执行权”，将导致战争责任的因果关系中断。生成式人工智能所具有的“自我编程”能力，使得其具有了“自我执行”的可能性。就研发人员的因果关系而言，生成式人工智能的“平台”属性，使得研发者的研发行为本身不构成犯罪，除非研发者在原始的编程文件中包含了违法内容。让武器使用者承担责任的做法，在自动武器或自主武器方面具有一定的合理性。但是在生成式智能武器的责任承担问题上，使用者对武器的控制程度明显减弱，武器造成的违法后果与使用者的因果关系已经发生了质的改变，生成式智能武器的攻击并不必然是使用者行为的自然延伸。

卡古-2型四旋翼军用无人机

结语

生成式人工智能行业应用的巨大潜力，催生了该行业的井喷式发展，继Open AI公司推出Chat GPT不久，Google推出了基于AI 学习的人工智能服务“Bard”，百度公司推出了“文心一言”聊天机器人，科大讯飞推出了“讯飞星火”大数据模型。生成式人工智能的迅猛发展引发了世界范围内的“反人工智能潮”。2023年3月29日，美国数千名业界权威共同发表《暂停通用人工智能研究》的公开信，信中指出“鉴于具有与人类竞争智能的人工智能系统可能对社会和人类构成深远的风险”，建议所有人工智能实验室立刻暂停训练比GPT-4更强大的人工智能系统，同时期望AI开发人员与政策制定者合作，以显著加快开发强大的AI治理系统。

军事技术革命常常使战争发生更大、更广的变革，这种剧烈的、跨越式的变革将颠覆现有的战争形态。生成式人工智能作用于战争已经是“在海岸看得见桅杆尖头的航船”。生成式人工智能突破了人工智能的“代码桎梏”，甚至具有了“类人类意识”，但是其底层逻辑依旧是无数没有任何感情温度与价值判断的代码。生成式人工智能拥有人类无可比拟的无成本复制和持续向前进化能力，使得“碳基生命会成为硅基生命垫脚石”的人工智能威胁论甚嚣尘上。对生成式人工智能作用于战争进行包括法律在内的全方位控制，即“有意义的人类控制”，是当前面临的紧迫现实需求。