总体国家安全观视域下的算法安全与治理

贾珍珍 刘杨钺

一、算法安全的兴起与时代内涵

算法安全问题的兴起，本质上是人工智能作为“智能时代”解决复杂问题的工具不断深化发展，并嵌入人类社会的深刻进程。美军加快推进深度学习技术走向应用，自2017财年开始增加了三军的深度学习研发项目，其中包括研发可用于低功耗平台的嵌入式深度学习算法与稀疏数据分析的深度学习技术，以及通过深度学习方法和人工神经网络实现目标分类等内容。2017年底，刚成立半年的美军“算法战跨职能小组”就已开发出首批4套智能算法。然而，算法并非完美无缺，也存在漏洞与安全隐患。如美军F-35战机高度依赖控制系统，在试验过程中曾暴露出的两百余项问题几乎都与软件的算法高度关联。与此同时，算法需要与实际相结合并不断探寻才能发挥巨大潜力，而这个过程中涉及的算法安全问题将直接决定算法的最终应用效果。因此，尽管算法通常是按照设定好的方式运行，但由于在解决复杂问题时涉及大量变量因素，因此，一旦失控，就有可能做出“反常”行为。

随着人工智能技术日益深度融入社会生活的各个方面，关于智能化算法可能引发的伦理、正义、安全等问题也开始受到关注。2020年9月《自然》杂志子刊《机器学习》便在其社论中提出警告，当人们试图用快速的技术和算法手段解决那些结构性、复杂性的社会问题时，将可能带来深远的负面影响。[1]凯西·奥尼尔则将具有内在伦理缺陷的有害算法模型称为“数字杀伤性武器”[2]，这种隐性的、潜移默化的伦理风险伤害性如此巨大，以至于有学者提出了“算法向善”的主张。[3]但总体来看，现有文献大多聚焦于伦理层面，主要探讨的是算法缺陷以及过度依赖算法可能导致的社会后果，而较少从国家安全的角度系统分析算法安全问题带来的更深层次的风险挑战。鉴于此，本文将从算法安全的概念探讨出发，试图分析算法安全问题给国家安全带来的影响及其治理之道。

(一)算法安全的概念基础：算法、算法战与算法安全

法兰西科学院院士瑟格·阿比特博在《算法小时代：从数学到生活的历变》中将算法定义为人类解决问题的方法、进程及手段。[4]在这里，瑟格·阿比特博尝试勾勒出一张俯瞰算法世界的地图，以对话算法与人工智能共同定制的复杂时代。进入20世纪，算法开始与计算机充分耦合，其核心是建立问题模型与求解目标，并依据不同模式进行设计。近年来，随着智能化趋势的来临，算法更是成为人工智能发展的重要引擎。由此，算法、算法战与算法安全等与算法相关的新技术和新概念也逐渐进入公众视野。

1.算法

“算法”一词最早来源于公元9世纪的波斯数学家阿布阿卜杜拉·穆罕默德·伊本·穆萨·花赖子密的一本关于代数的系统著作《还原与对消的科学》，将他名字的拉丁语音译“算法”(algorism)，作为任何程序化运算或自动运算方法的统称。[5]20世纪，随着计算科学的发展，人类能够利用“算法”对数据信息进行“计算”，以逻辑计算能力替代部分人类智能类活动，从而实现成为“一种有限、确定、有效并适合用计算机程序来实现的解决问题的方法。”[6]以AlphaGo为代表的基于联结主义范式的神经网络技术的出现，使得人们对算法的应用关注度与日俱增。联结主义(Connectionism)又可以称为平行分布加工模型或人工神经网络(artificial neural networks)，它是神经网络实现平行分布式知识表征和计算的理论框架的总称，致力于探究认知或智能是如何从大量单一处理单元的相互作用中产生的。目前神经网络技术大多数采用“并行分布处理”(Parallel Distributed Processing，简称“PDP”)的计算方式，具有很高的运算速度和学习能力，而这也使得其成为新一代智能算法的主要研究方向。2017年1月，DeepMind公司在德国慕尼黑的DLD创新大会上正式宣布将推出AlphaGo2.0，它将通过数学模型下的自我对局和深度学习以探索“学习”的极限。这种彻底“摒弃”人类棋谱，完全依赖算法自主演化的方式，将有可能引发智能社会的实质性变革。

2.算法战

从我国古代的各类兵法、阵法与战法到一战前德军的数学公式推演和图上作业，从1914年提出的兰彻斯特方程到美军在海湾战争前的兵棋推演，战争始终需要“算法”。2013年4月，美国智库“大西洋理事会”网络治理倡议研究项目主任詹森·希利在一篇题为《“震网”病毒与“算法战争”的曙光》的文章中首次提到“算法战”的概念。2016年9月，哈佛大学法学院在研究报告《战争算法问责》中，将“战争算法”定义为“通过电脑代码表达、利用构建系统实现以及能与战争相关的行动中运作的算法”。[7]2017年4月26日，美国国防部正式提出“算法战”的概念，并明确“算法战”包含三个要素：针对关键任务需求的算法、与实现算法相匹配的计算资源、基于算法的各种智能化军事应用技术及系统。近年来，随着现代战争加速向军事智能化迈进，各国对算法在军事领域的应用关注度进一步加强，并纷纷加紧对“算法战”的整体规划与部署。美军将“算法战”作为第三次抵消战略的关键技术支撑，试图在占据技术优势的基础上，全面拉开与其他国家的技术差距，从而为抢占新一轮军事变革制高点奠定坚实的技术基础。美国防部副部长沃克则进一步表示：“自主学习、机器辅助人员作战、有人—无人作战编组、网络化半自主武器将是第三次抵消战略重点发展的五大关键技术领域。”

3.算法安全

国家安全体系涉及政治、国土、军事、经济、文化、社会、科技、网络、生态、资源、核以及海外利益等多种领域安全。[8]算法安全属于国家安全体系中的科技安全领域。根据科技安全的概念，可以将“算法安全”定义为算法体系完整有效、国家重点领域核心算法技术安全可控、国家核心利益和安全不受外部算法技术优势危害以及保障持续安全状态的能力。2017年7月，美国哈佛大学肯尼迪学院贝尔佛科学与国际事务中心发布《人工智能与国家安全》研究报告。该报告详细评估了以算法为核心的人工智能在军事、信息和经济领域的巨大潜力，总结核、航空航天、网络和生物技术四种变革性军事技术发展的经验教训，并对人工智能与国家安全的关系进行了系统分析。该报告认为，以算法为核心的人工智能对国家安全的影响将渗透到战略、组织、优先事项和资源配置等方方面面，甚至可与核武器比肩，具体表现在：一是通过变革军事优势影响国家安全；二是通过变革信息优势影响国家安全；三是通过变革经济优势影响国家安全。近年来，美国政府、美国国防部、美国各军种及智库更是先后发布十多份有关算法与人工智能安全的相关报告，从战略性、全局性的高度对算法安全的影响进行系统审视，体现出美国政府和军方对算法安全的高度重视。

(二)算法安全的技术演变：从“计算”到“智能”

有人认为，为了让机器可以像人脑一样学习和“举一反三”，我们必须用简单的计算单元重建人脑的复杂性。然而，为了真正实现这种复杂性，智能必须从这些基本计算单元的交互中涌现，必须来自这些无意识的代理，就像是从无意识的神经元中涌现出来一样。[9]这里的关键问题是，以算法为基础的计算机如何渐次突破，从“计算”逐步走向“智能”，从而完成“数据—信息—智能”的演变。

1.算法工具——第一台电子计算机的诞生

回顾历史，作为拥有智慧的生物，人类从野蛮逐渐走向文明，关键是学会了制造和利用各种工具。于是，当人类发展到需要面对大规模的、传统手段无法处理的数值计算问题时，算法工具出现了。第二次世界大战期间，为解决大量的军用数据计算难题，美国军方发起ENIAC项目，该项目由宾夕法尼亚大学的莫奇利教授的研究小组主要负责研发。1946年2月14日，世界上第一台电子计算机——ENIAC(The Electronic Numerical Integrator and Computer，简称ENIAC)问世，从此为人类打开了一扇通往“算法世界”的大门。到了智能技术高度发达的今天，计算机最基本的算法——有限字长二进制数字依然没有被取代，而人类物化的智能过程，也大都是建立在基本算法的基础之上的。

随着算法工具的不断完善，算法在科学计算应用中的能力不断增强。1957年，任职于IBM公司的约翰·巴科斯和他的研究小组开发出第一个计算机高级程序语言——面向科学计算的高级程序语言FORTRAN(FORmula TRANslator)，直到现在它仍然是计算机科学计算的主要工具。然而，由于这一阶段技术条件的限制，算法任务在大部分情况下解决的都是“局部性”的问题，而对于更为复杂的“全局性”的问题，则表现得有些“难以适从”。

2.算法应用——互联网的普遍性影响

随着计算机处理能力的进一步提高，算法逐渐超越技术本身而从“象牙塔”似的计算机科学计算领域渗透到其他社会领域，并开始了计算机对社会多领域的普遍性影响阶段。1969年，现代互联网的先驱——阿帕网(Advanced Research Projects Agency Network，ARPANET)诞生。从一开始只为军方和学术界服务，到20世纪90年代向社会公众开放，计算机在算法应用上不再拘泥于单一自然属性的数值表达，而是将“眼光”投向社会实体对象。由于这一时期的算法工具在“辅助人类”执行智能活动的过程中已经慢慢远离相对“简单”的数值计算领域，人们也不再称其为“数据”，而是以“信息”代称之。

此时，相关的算法应用主要有两类：一是直接借助互联网或通过互联网的延伸来实现结构化数据处理；二是利用互联网进行的非特定用户的非结构化信息处理。对于结构化数据处理，其核心是通过若干数值逻辑算法组合而实现数据处理。[10]对于非特定用户的非结构化信息处理，其核心是通过建立信息流通的渠道，并对信息进行适当变化以实现信息处理。目前的算法应用还只能算是非结构化信息处理的初始阶段，更为复杂的、多样的、规范的算法应用还将不断孕育发展。

3.终极算法——全面智能的未来前景

康奈尔大学计算机科学系教授乔恩·克莱因伯格曾经编写过一套算法，这套算法能够在一群人的只言片语间寻找线索，从而分辨出这群人中谁是真正的“影响者”，比如谁是拥有影响舆论走向、推动产品面市等杰出才能的个人。这种算法似乎有些令人难以置信。而即便如此，它依然只能算是一种“低智”的算法，即一种通过大数据统计相似性、关联度等来探寻规律的算法方式。

佩德罗·多明戈斯则指出：“所有知识，无论是过去的、现在的还是未来的，都有可能通过单个通用学习算法来从数据中获得。”[11]终极算法所要解决的将是借助大数据建立更多关于空间和时间这两个维度上的全面融合化的功能，由此，人类将进入全面智能社会。

(三)算法安全的时代特征

人工智能本质上是一种算法革命。从美军近期公开的信息来看，2018年11月22日，美国《2019财年国防授权法案》批准成立人工智能国家安全委员会，主要职责包括：考察军事应用中的风险以及对国际法的影响；解决国家安全和国防中的一系列伦理道德问题；建立公开训练数据的标准，推动公开训练数据的共享。[12]2019年2月11日，美国总统特朗普签署“美国人工智能倡议”行政令，以促进国家层面人工智能战略的发展。对此，谷歌前CEO埃里克·施密特指出：“人工智能领域的‘卫星事件’已经发生。”而在算法安全方面，则日益呈现出逻辑操纵的政治性、行为影响的颠覆性及场域渗透的隐蔽性等时代特征。

1.逻辑操纵的政治性

美国技术哲学家和政治家兰登·温纳认为：“技术不可避免地与制度化的权力和权威模式相联系。当恩格斯把纺纱工厂的机器描述得比任何资本家更为专制的时候，也同时印证现代技术正强烈地塑造了政治生活的观点。”[13]自2016年起，伴随着西方政治中一系列“黑天鹅事件”，如2016年美国总统大选中，唐纳德·特朗普竞选团队和希拉里·克林顿竞选团队都被指在竞选中运用了高度保密的算法，英国公民公投脱欧与脸书信息“靶向推送”的关联等接连发生与持续发酵，兰登·温纳“现代技术强烈地塑造了政治生活”的观点再一次得到印证，有关算法安全的研究不再拘泥于自然科学领域，而是越来越多地转移到对算法安全政治性问题的关注上。美国学者塔尔顿·吉莱斯皮提到：“我们需要对计算出来的公众逻辑进行审查，并密切关注应该在何处以及在何种方式下，将它引入到人类的政治活动中从而产生影响。”[14]这一观点揭示出算法逻辑对社会公众的政治性影响。有的学者提出“算法即权力”，认为算法是在科学和计算的“合法性外衣”下，以“政治设计”嵌入的方式参与政治传播的，且这种方式将潜移默化地影响着社会公众的行为选择。

2.行为影响的颠覆性

从系统科学的角度来看，人工智能技术中的算法安全问题可以看作是国家安全中具有颠覆性作用的序参量。传统意义上的国家安全主要包含经济安全、环境安全、文化安全、科技安全、信息安全、人类安全等在内的综合安全。由于国家安全领域的安全问题涉及范围广、内容复杂，安全要素相互累加形成的系统效应(System Effects)已远远超出人们的理解范围，这就为算法的介入与辅助决策提供了条件，而这种依赖性同时也为算法安全带来了隐患。2018年10月和2019年3月，全球接连发生波音737-MAX8型客机坠毁事故，调查显示，坠毁源于飞机自动化的“机动特性增强系统”(MCAS)识别了错误的迎角信号，从而持续发出让机头向下俯冲的指令并最终致使飞机失控。[15]原本旨在增强飞行安全性的智能算法系统却成了“阿喀琉斯之踵”。算法安全从表象上看是一种技术安全问题，但其背后潜藏的算法行为逻辑，使其与传统的安全问题相异，并有可能对国家安全带来颠覆性影响。2018年宣布国家人工智能发展战略的国家数量比上年增加了2倍多。[16]由此，将算法作为人工智能发展的关键领域，加强算法安全的战略布局已逐渐成为国家竞争的新高地。

3.场域渗透的隐蔽性

法国社会学家皮埃尔·布迪厄从关系的角度思考，最早提出“场域”的概念，即在各种位置之间存在的客观关系的一个网络，或一个架构。在此基础上，他进一步指出：“任何一个场域，其发生发展都经过了一个为自己的自主性而斗争的历程，这也是摆脱政治、经济等外部因素控制的过程。”[17]从某种程度上来看，算法的演化和发展在无形中也形成了一种与物理空间、认知空间充分交汇的“算法场域”。由于算法场域的隐蔽性，所有场域中的组织和个体都被纳入算法分析的技术与安全治理体系中，公共空间与个体空间在场域中的空间边界逐渐消融。[18]“社会各部分正广泛而迅猛地采用数字技术和大数据，这导致人工智能、自主系统和算法决策之间的无缝集成，影响了数以亿计的人的生活。”[19]为此，2018年2月，来自于14家顶尖人工智能研究与安全组织，包括新美国安全中心、电子前沿基金会、剑桥大学、牛津大学、非营利组织OpenAI的26名专家，共同撰写了题为《人工智能的恶意使用：预测、预防和缓解》的研究报告，探讨以算法安全为核心的人工智能在未来五年内可能出现的安全威胁。

二、算法安全带来的新挑战

科技进步与变革往往是国际体系深度调整的重要推动力量，也是国家安全内涵变化发展的主要因素。随着大数据、智能算法广泛应用于人类社会各个领域，“一代人之前依靠人工或纸张的工作(阅读、购物、教育、交友、工业和科学研究、政治运动、财务、政府档案保管、监视和军事战略)都经过了计算领域的过滤筛选。人类活动变得越来越‘数据化’，成为一个‘可计量、可分析’系统的一部分”。[20]算法安全问题产生于算法应用与社会各维度的互动进程中，表现出权力结构失衡、未知隐患增多、体系失能崩溃等一系列安全风险。

(一)算法鸿沟拉大国家间权力“级差”

智能算法的广泛应用将深刻改变国家间权力结构对比，在军事和经济领域掌握先进算法的国家更容易形成对其他国家的权力“级差”。拥有大量数据资源、充足人才储备、持续资本投入的国家和企业将在人工智能和算法领域获得领先地位，从而成为国际社会公共产品的重要提供方甚至垄断者，由此形成的话语权、影响力决定了公共产品的提供模式，而使用者则处于被动接受状态。事实上，国家间权力转移和权力格局变迁往往与技术环境变化密切相关。[21]人工智能技术带来的权力结构性效应甚至可能更加显著。根据麦肯锡的报告，到2030年人工智能技术将为全球经济带来13万亿美元的贡献，全球经济增长率年均提升1.2%。但技术发达国家与发展中国家从中获益差别较大，前者能获得20%—25%的净经济效益，后者则只有5%—15%。以瑞典和赞比亚为例，麦肯锡预计2025年瑞典因发展人工智能产生的经济增长率比赞比亚高3%，而这一差距到2030年将迅速扩大到19%。[22]强者愈强、弱者愈弱的“马太效应”在算法时代将变得更加明显。算法应用同样会对军事实力带来极大改变。在提升装备性能、模拟仿真训练、获取战场信息、预测战争走势、部署作战规划、完成作战任务等军事各环节各领域，算法都扮演着日益重要的角色。[23]现代战争的节奏和速度在不断提升，观察—调整—决策—行动的链路(OODA loop)反应速度越快，就越能获取战场优势，而智能化算法则是加速的关键动力。[24]

不断扩大的算法鸿沟将为国家安全带来严重挑战。在算法开发和应用上占据优势的技术发达国家将具有更多能力和渠道，以剥削、控制、威慑或讹诈技术上处于劣势的国家。例如，无人机蜂群算法的发展成熟能使个体单元自行组织协作，完成复杂的军事任务，这种新的作战模式“远远超过使用(传统)机动作战方式的对手”。[25]在同等条件下，基于更快响应速度和协同性算法的蜂群也能更好地实现军事和战略目的。技术弱国维护自身安全的能力将显著下降，甚至有学者认为人工智能带来的权力极端分化会催生“科技帝国主义”并使进攻性对外战略成为普遍选择。[26]算法鸿沟的另一项安全风险在于制造“未知的不安全状态”(unknown insecurity)。沃尔弗斯早已指出，客观与主观层面的国家安全并不必然重合，因为国家可能高估或低估对其利益(价值)造成损害的实际可能性。[27]正如在信息安全领域，“棱镜门”事件曝光，才使得各国长期处在信息监控和泄露的不安全状态浮出水面。算法的应用具普遍性也更具隐蔽性，因此算法能力差距导致的潜在或真实安全风险不易为人觉察，很可能当发现时已产生严重且不可逆的负面安全后果。上述作用机制——弱化安全能力、阻碍安全认知——意味着“算法鸿沟”成为国家安全不得不面对的重要议题，国家间在算法能力上的系统性差距将深刻改写国际政治安全面貌。

(二)算法依赖蕴藏隐性负面影响

对科学技术的依赖本是人类社会历史进步的表现，但与电力、内燃机等技术的广泛使用不同，智能化算法不仅是一项“赋能”的工具(enabler)，而且在某种程度上是人的决策过程的替代物，日趋“独立地”开展对复杂事务的评估与判断工作。这使得算法及相关技术存在不容忽视的异化风险，即科学技术“反过来成了压抑、束缚、报复和否定主体的本质力量，(成为)不利于人类生存和发展的一种异己性力量”。[28]有学者在20世纪80年代就对类似现象提出过预警：“新技术带来新的自由和新的依赖。自由一开始更加显而易见，而依赖可能并不明显，这使得(依赖)更加糟糕，因为只有危机发生时它才被觉察。”[29]

就算法依赖而言，其安全风险可能来自至少以下几方面：一是将决策交给算法可能带来人的部分核心能力逐渐退化，当算法不可用或被证明不可靠时可能丧失替代选择。例如，在瞬息万变的未来战场，军事指挥控制系统中的智能算法在加快战争速度的同时，也使得人工干预日益难以实现甚至被边缘化——除非一方甘愿冒着被打败的风险而主动放慢决策速度。[30]但日趋依赖算法进行战斗决策的结果，很可能使指挥官应变能力和指挥艺术逐渐退化。当这种趋势不断发展和强化之后，如果在真实战斗中突然出现算法系统崩溃等诸多难以预料的状况时，优秀或是合格的指挥人员可能一将难求。类似的风险已在其他领域得到证明。有研究发现，对定位和导航技术的依赖使人们无须依靠大脑进行方位判断，这不仅导致人们本身的方向感变弱，甚至造成大脑中的海马体萎缩和智力衰退。[31]

算法依赖的第二层风险在于，算法中蕴含的偏见、歧视等可能固化下来，对社会造成持久性、长期性负面影响。一方面，算法开发设计人员的价值观和伦理会不自觉地渗入其设计的程序或使用的数据。另一方面，算法日益复杂的技术“黑箱”状态，使得外部观察者甚至程序本身设计者都难以完全掌握其运算规则，导致算法偏见难以被发现并被永久性保留。[32]在一个著名的案例中，美国许多州的执法机构都使用了一种名为COMPAS的算法软件，来评估被告人再发生犯罪的可能性，而调查发现这一算法预测黑人再犯罪的风险远高于实际情况，也就是说，黑人相对于白人遭受了算法的不公平对待。[33]当社会各领域全面依赖算法形成决策判断而又对其中的偏见、歧视未加察觉时，其持续性的负面影响将构成对国家安全的系统性威胁。

(三)算法漏洞易致逆向算法攻击

智能化算法本质上依靠计算机代码运行，因此即使相对成熟的算法也可能包含不为人知的漏洞，易于遭受攻击、欺骗或操控，这是因技术原因而无法避免的算法安全问题。算法漏洞通常在两个层面出现：一是代码层面，即用于运行算法、传输数据、执行决策等各个环节的代码存在漏洞或错误，导致恶意行为体加以利用并实现对算法系统的远程攻击和操纵。二是逻辑层面，即算法本身的逻辑体系存在缺陷，在面对不同使用情境时出现不适应性，或是被人为方式设置条件导致算法失效。在一项运用人工智能算法识别图像的实验里，研究人员将一张大熊猫图片中加入极其细微的干扰因素，所合成的图像尽管肉眼难辨差别，但却让计算机误认为是长臂猿的图片。[34]由于算法有效性的边界难以准确预知，造成其失效的因素也无法全面把握，因此算法是否出错、如何出错、何时出错似乎很容易处于人的判断和控制范围以外。

当算法应用于涉及国计民生或军事领域的核心系统时，算法漏洞的安全风险会呈指数级升高。2010年5月6日，美国股市突然出现异常波动，道琼斯、纳斯达克等指数在数分钟内暴跌约9%，导致近万亿美元瞬间蒸发。商品期货交易委员会(CFTC)2014年的一份研究报告将这起事件称为金融市场历史上最激烈的动荡之一。[35]造成这一现象的部分原因在于被交易者普遍使用的自动交易程序，这些程序原本用于捕捉市场瞬息万变的动态，但当机器之间的互动超出算法承受或“理解”范围时，就出现了意想不到的突发状况乃至崩溃。有研究指出，这一事件说明“即使那些在99%以上时间都比人类处理得好的系统，也可能偶然产生灾难性的、难以预料的失误”。[36]这种失误尽管不会时常出现，但只要一发生就可能带来难以想象的损失和灾难。算法应用的本意是提升人类福祉——更加富裕、更加安全，但不为人知的算法漏洞可能转瞬之间就使其所支撑的社会、经济、军事等系统陷入崩塌。

进一步看，算法漏洞的存在为战略博弈对手提供了可资利用的攻击渠道。由于智能算法需要依靠高质量数据来进行训练和学习，因此对手可以针对性地篡改数据或提供虚假数据——即所谓的“数据污染”(data poisoning)——以使算法做出错误判断。[37]例如，研究者在路边“停车”标识上贴上小块胶带或进行其他细微改动(使得图像识别算法的输入数据受到“污染”)，就能导致无人驾驶汽车识别错误。[38]在人工智能算法不断进步的同时，通过“数据污染”等形式欺骗或诱导算法的针对性方法——也被称为逆向机器学习(adversarial machine learning)。“随着人工智能渗透到生活的方方面面，从汽车驾驶、监控系统分析，到面部身份识别，对这些系统的攻击也变得愈加可能且危险。”[39]逆向算法攻击在军事领域同样意义深远。例如，无人机蜂群作战被视为未来战争重要样式之一，但假如支撑蜂群作战的算法基础(如协同飞行或目标识别的算法)遭到攻击和破坏，原本极具战斗力的蜂群将立刻无用武之地。[40]而如果有核国家的战略打击系统面临类似状况，其安全后果更加不堪设想。

三、算法安全的秩序重构

新技术的崛起蕴含着改善人类社会的巨大潜力，也同时潜藏着难以预估的风险与挑战。在智能时代，算法的出现及在不同场景的应用，让人们关注技术机遇的同时，也提醒人们要警惕算法背后的安全隐患可能给国家安全带来的巨大冲击。近年来，随着算法安全在各个领域影响的日益深化，加强算法安全治理已经成为国际社会的共识。例如，美国关注算法对国家安全的影响，成立了人工智能国家安全委员会与“联合人工智能中心”，并计划通过一系列“国家任务倡议”将算法能力转化为决策力和影响力；欧盟的立法建议书认为人工智能需要伦理准则，并呼吁制定相关的“机器人宪章”；联合国发布了《机器人伦理初步报告草案》，强调机器人不仅需要尊重人类社会的伦理规范，而且需要将特定伦理准则嵌入机器人系统中；我国也相继颁布《新一代人工智能发展规划》《促进新一代人工智能产业发展三年行动计划(2018—2020年)》等，对人工智能及算法的规范发展提出相关要求。

(一)提高算法风险意识

有关人工智能与算法发展可能带来的安全担忧并非一时兴起。早在1951年，艾伦·图灵就提出：“即使我们可以使机器屈服于人类，比如，可以在关键时刻关掉电源，然而作为一个物种，我们也应当感到极大的敬畏。”伴随着算法技术及其应用突飞猛进的发展，对于算法安全的担忧更是不断发酵。雷·库兹韦尔提出“技术奇点”理论的两个假设：其一，虽然不同于人脑的结构，但机器人的演进也可以在某一天拥有“类人智能”，这种智能与人类智能有许多相似的特征，甚至是“自我意识”也不例外；其二，按照计算机科技发展目前遵循的“摩尔定律”或别的规律，随着计算机科技的不断发展，终究有那么一天计算机的复杂度会达到和人类一个量级的水平，到那时，“类人智能”或“超人智能”就会从机器中自动涌现出来。

如果算法没有得到有效控制或是被滥用，其带来的安全影响将是难以预估的，提高算法风险意识将是维护算法安全的必要前提。为此，一方面，应明确算法开发过程中的安全原则，这主要包含技术方面和伦理方面。技术方面的核心是使算法的技术风险能够为人类所控制，主要表现在有关算法开发过程中的安全原则。如美国白宫报告书《为人工智能的未来做好准备》中指出：“必须确保功能系统如下：一是可控性(governable)；二是开放性、透明性、可理解性；三是能与人类共同有效地发挥功能；四是始终符合人类的价值观及愿望。”在伦理方面，如欧洲议会法务委员会《关于机器人的民事规则向欧洲委员会所做提案的报告方案》中提到：“伦理指导方针的框架应该依据欧盟基本权宪章中规定的人类尊严等原则。”英国下议院科学和技术委员会报告书《机器人和人工智能》中将“验证与稳妥性确认、决策的透明度、减少不公平现象、提升可解释性、隐私及安全等”作为开发的基本原则。以上开发原则反映出国际社会有关算法风险意识的提升，而这也应作为我国算法开发指导方针制定工作的有力借鉴。另一方面，应完善算法应用过程中的法律法规。法律规制是风险控制的重要方式，技术的合理应用须借助于法律的有效规制。2017年7月，国务院印发的《新一代人工智能发展规划》指出：“建立人工智能法律法规、伦理规范和政策体系，形成人工智能安全评估和管控能力。”[41]2019年1月1日，十三届全国人大常委会第五次会议表决通过的《电子商务法》正式实施，其中第四十条规定，电子商务平台经营者应当提供自然搜索算法的结果，对于算法优化或干预应当显著标明广告。尽管如此，由于算法的自主迭代存在无限可能，现阶段有关算法的法律法规仍然是滞后的，包括“确保算法的透明度、可解释性”等原则的法制化还未实现。此外，应重视开发和应用算法的过程中风险控制理念的法制化，从而避免算法可能造成的潜在危害，从而使算法能够真正造福人类。

(二)重视算法专业人才

可以说，得算法人才者得天下。算法的技术突破与创造性应用的关键在于高端算法专业人才的培养集聚。从各国发布的有关报告来看，对人才的争夺和培养都是其推动算法发展的重要组成部分。美国在《国家人工智能研究与发展策略规划》的“更好地把握国家人工智能研发人才需求”部分提出：“人工智能的发展需要一支强劲的人工智能研究人员团体。要更好地了解目前和将来人工智能研发对人才的需要，以确保有足够的人工智能专家应对本计划中概述的战略研发领域。”[42]英国政府科学办公室发布的《人工智能、未来决策面临的机会和影响》中，对如何保持英国人工智能人才优势进行了特别的说明。加拿大政府推出的《泛加拿大人工智能战略》将增加加拿大优秀人工智能研究人员和技术毕业生人数作为其战略目标之一。我国《新一代人工智能发展规划》也明确指出，要把高端人才队伍建设作为人工智能发展的重中之重。

综合以上研究报告，我国在算法专业人才的培养上具备了一定的优势，特别是近些年来，我国在积极推动人工智能与算法相关基础研究和算法学科设置方面取得了较大的成绩。2018年4月，我国教育部出台《高等学校人工智能创新行动计划》，同年7月，包括清华大学在内的26所高校联合签署的《关于设置人工智能专业建议书》提出设立人工智能本科专业，以加强算法专业人才队伍的建设。如今，在算法技术不断渗透，算法安全形势日益严峻的大环境下，一是要重视对算法复合型管理人才的吸纳。算法安全可以说是一种集科学、技术与社会安全问题为一体的复杂系统工程，这已与过去那种简单的技术问题有了明显的不同。应在把握国家算法研发人才需求的基础上，依托国家重大人才工程，注重对具备包括算法技术创新研发能力、算法安全综合工程能力、复杂社会化问题处理能力的算法的复合型管理人才的吸纳。二是要重视对算法技术研发人员的安全管制。算法技术本身的安全性与可控性是确保算法安全的核心。为了避免由于算法系统的设计缺陷所带来的“意外事故”，算法技术研发人员至少应保证做到这样两点，即算法系统在运作的过程中不会出现预期之外的不良行为与后果；授权当事人能够在算法系统开始运作后控制该系统，且非授权当事人无法蓄意操控。三是要重视对算法技术应用开发人员的安全管制。算法通过代码加以表达和阐释，而其表达主体仍为算法技术应用开发人员。据统计，80%的网络安全事件不是由于外部的攻击，而是来自内部人员的误操作和缺乏最基本的防护意识。[43]由于该类人员主要分布于高校、科研院所与企业当中，因此，应加强有关人才与技术的交流与合作，构建起多方参与的算法安全治理体系，从而推动算法安全的有效治理。

(三)探索算法监管体系

行之有效的监管体系，需要建立于技术与产业创新的基础之上。然而，从目前国内外有关算法监管的规划来看，主要是采取激励性的政策，而尚未形成完善的算法监管体系。如美国众议院通过《自动驾驶法案》，对自动驾驶汽车提出包含“系统安全、网络安全、人机交互、防撞性能”等在内的12项安全要求。英国下议院科学和技术委员会在其发布的《机器人和人工智能》报告中，呼吁应从“检验和确认、决策系统的透明化、偏见最小化、隐私与知情权、归责制度与责任承担等方面”加强对人工智能与算法安全的监管。我国《新一代人工智能发展规划》中提到“建立健全公开透明的人工智能监管体系，实行设计问责和应用监督并重的双层监管结构，实现对人工智能算法设计、产品开发和成果应用等的全流程监管”。

因此，寻求技术创新与技术规制之间的平衡，对于算法监管而言至关重要。一方面，在促进算法技术与产业创新的基础上，应建立有关算法安全的技术标准体系。算法安全的技术标准的主要对象为算法技术的工程师与开发人员，它对于算法本身是否存在技术漏洞，进而造成安全隐患具有重要作用。例如，算法是支撑无人驾驶技术决策最为关键的部分，目前主流自动驾驶公司普遍采用的实现方式是机器学习与人工智能算法。然而，近年来无人驾驶汽车频频出现的交通事故，反映出算法存在尚未解决的技术缺陷，而算法安全技术标准体系的建立将在一定程度上减少这些技术缺陷。2017年，德国伦理委员会专门针对无人驾驶算法设计提出了20条伦理指导意见，以缓解由于算法技术缺陷造成的安全威胁。另一方面，在算法技术标准之上，还应制定严格的程序规范体系，以确保对算法安全的有效控制。随着算法技术的兴起，智能决策算法开始更多地参与到公共服务和社会管理之中。为确保对算法风险的控制，对于算法在不同领域的应用，还应当遵循严格的程序规范。例如，美国纽约出台的《关于政府机构使用自动化决策系统的当地法》明确要求自动化决策工作组制定程序，确保政府向公众提供“包括智能决策系统技术性信息在内的相关信息”，使公众可以有效获悉智能决策算法的运行原理以及政府对智能决策算法的使用方式，并确保政府向受决策算法影响的个人提供“做出决策的原因和依据”。[44]此外，由于算法运行的共享特性或曰公共性[45]，对算法安全的监管仅依靠政府部门的控制显然是不够的，需要政府、市场以及公民社会各司其职，依据相应的规范进行综合监管，从而促进算法安全监管体系的形成与完善。