人工智能发展应用中的安全风险及应对策略

◎盘冠员

人工智能（Artificial Intelligence，AI）被称为21世纪三大尖端技术之一（基因工程、纳米科学、人工智能），扩展延伸了人的智能，逐渐转变成渗透到人类生活和社会各个方面的通用技术，为人类认识世界、改造世界增添了新工具新手段新方法。

推动因素与发展现状

随着网络、超级计算、大数据、云服务及传感器等技术的发展进步，人工智能进入了重新崛起并迅猛发展的新阶段。

1.现状

从发展史来看，人工智能并不是最近才出现的新技术。1956年夏天，在美国新罕布什尔州汉诺威市举行的“达特茅斯会议”上，“人工智能”术语的提出，标志着它已成为一门新兴学科。此后，它逐渐为世人熟悉接受，其相关理论和技术也在起伏中得到逐步发展。进入21世纪，人工智能再度进入爆发式发展应用的新阶段，主要有四大推动因素：

（1）相关基础理论、技术和应用的积累进入新阶段。计算机、大数据、云计算以及物联网等技术的突破，特别是神经网络（模仿人脑思考结构）、机器学习（记忆与认知）、数据库和算法等研究取得的新成果，为人工智能产业化快速发展提供了重要技术基础。

（2）国家战略布局和相关政策的有力支持。美、欧、日等发达国家和地区将人工智能上升为国家战略，纷纷出台政策支持人工智能技术研发和产业发展，抢占发展先机。日本在2015年1月发布《机器人新战略》，未来十年将投入1000亿日元用于人工智能的研发；2017年3月，又出台《人工智能技术战略》，进一步规划部署人工智能的技术研发。2016年，美国白宫连续发布《为未来人工智能做好准备》《美国国家人工智能研究和发展战略计划》《人工智能、自动化和经济》等政策和研究报告，明确提出人工智能研发战略，构建人工智能研发实施框架，并于2018年5月设立相关组织机构，协调推进人工智能研发与政企协作。2018年9月，美国国防部决定未来五年投资20亿美元用于开发机器常识（MCS）项目。2018年6月，欧洲委员会提出一项数字欧洲计划，计划2021-2027年投入10.4亿美元推进人工智能技术研发与应用。2016年12月，英国发布《人工智能：未来决策制定的机遇与影响》，阐释了人工智能对现代社会的影响，不断提高政府对人工智能的认知，2017年4月英国皇家学会发布《机器学习：计算机通过案例学习的能力与潜力》研究报告，呼吁英国加大对机器学习技术的研发投入，2018年英国启动了《人工智能行业新政》，推动英国成为人工智能领域的领导者。2018年以来，德国、法国、韩国和印度等国也纷纷推出本国的人工智能战略进行规划布局。

（3）各大企业加大金融资本的支持。高科技企业将人工智能视为下一代产业革命的技术引爆点进行投资。2016年9月，谷歌、微软、亚马逊、脸谱和IBM五家企业宣布成立人工智能联盟，交流共享人工智能发展经验。由于人工智能产业化和商业前景看好，各种金融资本迅速介入。数据显示，2016年，全球科技巨头在人工智能领域投资就达300亿美元。资本市场的火热催生了一大批人工智能领域初创公司的诞生和快速发展。如以云知声、思必驰等为代表的语音识别和自然语言处理公司，以商汤科技、旷视科技、依图科技等为代表的计算机视觉公司，它们中有很多如今已发展成为新兴的独角兽企业。2018年4月9日，中国恒大与中国科学院签署合作协议，未来10年恒大将投资1000亿元人民币，布局量子科技、机器人等新科技领域。

（4）应用场景的影响。谷歌公司机器人阿尔法狗战胜韩国围棋九段棋手李世石和围棋世界冠军柯洁，唤醒了世人对人工智能的高度关注。百度指数数据显示，从2015年底开始，“人工智能”热度逐渐升温，且持续到现在。2015-2016年，其媒体关注度已经暴涨6倍。

2.发展现状

目前，人工智能蓬勃发展，技术进步迅速，其应用已经渗透到我们的日常生活中，如人脸识别、刷脸支付、语音助手、无人机、服务机器人、自动驾驶和智能系统等。与互联网、大数据、物联网、云服务融合的人工智能应用给我们带来了更多的便利。专家认为，人工智能的应用将使劳动生产率提高90%；至2035年，人工智能将使年度经济增长率提高一倍。

但是，业界普遍认为真正的人工智能尚处于发展的初级阶段（认知智能发展阶段），即弱人工智能阶段，有“技能”，但远远谈不上有“智能”，还没能出现像人一样思考和行动的真正的人工智能产品，离通过“图灵测试”这一衡量人工智能技术水平的标准为时尚远。有专家认为，人工智能目前处于婴儿期，其智商大抵相当于3岁的孩子，说不好、笑不真、想不清、行不稳，这四“不”客观地描写了人工智能目前的现状。

安全风险

1.国家安全

国家安全包括国土安全、政权安全、制度安全和意识形态安全等。2017年7月，美国智库发表题为《人工智能与国家安全》的研究报告，认为人工智能将会是国家安全领域的颠覆性力量，其影响可与核、航空航天、信息和生物技术比肩，将深刻改变军事、信息和经济领域安全态势。该报告强调人工智能通过变革军事优势、信息优势和经济优势影响国家安全。其中，军事领域引入人工智能几乎是不可阻挡的，而人工智能技术与生俱来的军民两用特性则要求决策者必须调和商业与国家安全之间的利益。而且，利用“换脸”、“换声”等人工智能技术可以制作具有欺骗性的假时事新闻。已有案例说明，利用人工智能技术在社交平台大量制作散发虚假新闻可以在政府首脑选举中影响选民的抉择。

2.社会安全

传统犯罪借助人工智能，将会衍生出新型犯罪形态、犯罪行为、手段和方法，出现无法辨识是机器人犯罪还是真实人犯罪的尴尬场景。2018年3月，美国发生了两起涉及自动驾驶的车祸。3月19日，优步（Uber）一辆自主驾驶汽车在美国亚利桑那州坦佩市发生致命车祸，一名49岁的女子晚上推着自行车穿过马路时被汽车撞死。3月23日，一名工程师驾驶特斯拉Model X型号汽车在加州101公路和85公路交接处发生致命车祸，车祸发生时汽车启用了自动驾驶（或自动辅助驾驶）功能。这些案例说明，人工智能产品如果没有彻底解决安全可靠性问题，将会危及社会公共安全和人身安全。

3.网络安全

网络和大数据的发展推动了人工智能的进步，网络攻击智能化趋势也给网络安全保护提出更高要求。有关人工智能与网络安全关系的研究表明，一旦人工智能运用到网络攻击活动，将使得网络攻击活动更加难以预警和防范，关键信息基础设施也将会面临新的安全风险威胁。如人工智能技术运用到木马病毒制作传播，将会出现难以防御的超级病毒木马，传统应对方法将不足以制止这些恶意程序传播扩散的速度。此外，人工智能的技术研发与应用也存在一些不确定性的安全风险。

应对人工智能安全风险的对策建议

人工智能的安全风险取决于技术发展及其安全可控的程度，短期风险可以预见，长期风险受制于现有认知能力难以预测和判断。因此，一方面，人类社会要积极推动人工智能技术研发和应用；另一方面，要为人工智能的发展应用规划一条安全边界，防止其被恶意运用、滥用，给人类社会造成不可逆转的伤害。

1.加强人工智能安全风险的研究

树立正确的安全观，科学对待人工智能安全风险。研究掌握在人工智能技术研发和应用过程中会出现哪些风险，并从法律、政策、技术和监管等方面进行有效防控管控。

2.加强人工智能立法研究和法律规范

人工智能理论、方法、技术及其应用引发社会关系、社会结构和行为方式的变化，产生不可预知的安全风险和新的法律问题。建议运用法律手段，重点防控人工智能行为主体及其行为的异化。从现有情况看，人工智能法律研究应主要聚焦在人工智能产品主体，如智能机器人的法律地位、行为的法律属性以及法律责任如何确定等方面。在立法方面应加强对人工智能技术应用可能出现的法律问题的前瞻性研究探索。

3.加强人工智能安全防控体系建设

按照趋利避害原则，处理好人工智能发展应用与安全防控的关系，既要促进人工智能发展应用，又要推动其在安全、可靠和可控的轨道上前行。要加强对人工智能安全防控体系建设的战略规划部署，围绕人工智能安全风险点，借鉴已有经验，有步骤地推进人工智能安全综合防控体系建设。

4.加强人工智能产品服务的安全监管

要及时制定人工智能安全产品和服务技术标准规范，规范和引导产品研发推广。加强对人工智能安全产品和服务的市场监管执法和相关产品上市前的安全测试。对有安全缺陷的产品和服务要依法处理，对造成危害后果的要依法追究法律责任。要积极运用人工智能技术提高安全监管能力，善于运用人工智能技术改进和加强安全监管执法，提高安全监管执法的能力和效率。

5.加强人工智能技术研发的管控

人工智能的快速发展引起了国际社会对于道德伦理问题的关注和担心，应当为人工智能技术研发划出“红线”，设置禁区，禁止研究开发危害人类生存安全的人工智能技术和产品，防止人工智能技术的滥用。美国科幻小说家阿西莫夫在1950年出版的小说《我，机器人》中提出了著名的“机器人三大法则”，第一定律：机器人不得伤害人类个体，或者目睹人类个体将遭受危险时袖手不管；第二定律：机器人必须服从人类发出的命令，当该命令与第一定律冲突时例外；第三定律：机器人在不违反第一、第二定律的情况下要尽可能保护自己的生存。2017年1月，美国著名人工智能研究机构未来生命研究院（FLI）在加利福尼亚州召开主题为“有益的人工智能（Beneficial AI）”的阿西洛马会议，法律、伦理、哲学、经济、机器人和人工智能等众多学科和领域的专家，共同达成了23条人工智能原则（“阿西洛马人工智能原则”，被称为人工智能发展的“23条军规”），呼吁全世界在发展人工智能的时候严格遵守这些原则，共同保障人类未来的利益和安全。23条规则规定，人工智能研究的目标应该建立有益的智能，而不是无向的智能。应该设计高度自主的人工智能系统，以确保其目标和行为在整个运行过程中与人类价值观相一致。对于人工智能造成的风险，尤其是那些灾难性的和存在价值性的风险，必须付出与其所造成的影响相称的努力，以用于进行规划和缓解风险。同时，人工智能军事化问题也是国际法律界关注的热点。目前，国际上限制致命性人工智能武器的呼声不绝于耳，有上百家人工智能领先企业呼吁禁止发展致命性人工智能武器。国际社会应当共同努力，加强合作，反对人工智能军事化，共同应对人工智能安全风险。