基于产业链视角的人工智能风险分析及其防范

李新瑜　张永庆

内容提要 伴随技术的日益成熟以及与各行业融合的不断深入，人工智能在给公众、行业和社会带来便利和机遇的同时也暴露出一系列潜在的社会风险。基于人工智能产业链的研究视角，人工智能风险分别表现为基础层面的机器伦理风险、算法歧视风险和数据应用风险，技术层面的网络安全风险和人机互动风险，应用层面的系统性风险、法律制度风险和社会福利风险。为全面有效地防范人工智能风险，一方面应从研发技术层以研发人员作为内部风险防范的起点，构建多层次的防范机制，并营造理性积极的社会舆论环境，另一方面应从行业应用层结合不同的行业应用实际构建“人工智能+”的风险防范体系。最后，在当前世界各国激烈的人工智能发展竞赛中，作为人工智能发展的领先大国，中国也应在监管模式、立法进程及全球治理中树立前瞻性思维，增强人工智能领域的影响力和话语权，为全球人工智能风险防范提供参考。

关键词 人工智能 产业链 风险构成 风险防范

〔中图分类号〕F49;TP18 〔文献标识码〕A 〔文章编号〕0447—662X（2020）04—0047—11

如今我们生活在一个智能化的时代，人工智能作为工业4.0、物联网的应用基础，被广泛应用于资源与环境、零售与物流、工业制造、医疗保健、城市建设等各个领域，给行业和生活带来革命性的改变。人工智能技术如智能语音、机器视觉等日渐成熟，人工智能与边缘计算、5G技术的融合也进入加速发展期，社会公众对人工智能的了解逐步深入并广泛认同其广阔的发展前景。但是，随着人工智能技术和系统的融合被赋予更多的感知能力和自主水平，数字化和智能化等场景应用的不断增多，也引发了大量与人工智能安全和风险有关的负面问题，如虚构语音诈骗、智能设备劫持、智能网络攻击、自动驾驶事故、个人信息泄露等。因此在人工智能技术普及應用的当前，关于人工智能的风险分析和风险防范值得社会关注和警惕。

一、文献综述

技术本身是中性的。从本质上看，人工智能对安全、经济和社会的影响主要取决于其使用方式。从其正面影响看，人工智能在生活中应用的不断深入，如图像和语音识别、翻译、会计、推荐系统和客户支持等，使得公众生活享受到极大便利。同时，人工智能在各行业不断突破创新，如无人驾驶的研发、生产过程中的智能化改造、金融领域内的科技创新、智慧城市的布局和建设等。利用人工智能加强决策、重塑商业模式和生态系统、提升客户体验，给行业带来了新的发展机遇。①研究可见，人工智能的应用能够降低生产和经营成本，提升企业生产绩效，推动产业结构升级，催生了新的经济增长点。②从人工智能的负面影响看，相关研究主要聚焦于智能化与劳动力市场和收入分配的关系。③纵观历史，人们一直担心机械化、计算机以及当前的人工智能和机器人等会扼杀就业机会，引发技术性失业。由于智能系统重组生产过程，从短期看中等技能的工作被自动化取代的可能性更高，低端和高端技能的劳动力留存下来，导致就业极化现象。④由于基础设施和数据应用的分布差异，人工智能在不同国家、不同行业的推进并非同步，因此也会加剧行业和区域的不均衡发展，⑤进一步导致收益分配的失衡。

关于人工智能造成的安全隐患和社会风险，根据全球风险研究院的调查，全球人工智能项目研究主要分布于学术机构和企业，多数项目都没有积极地解决人工智能的安全问题，学术项目在安全方面尤其缺乏。⑥根据自主学习程度，人工智能可以分为弱人工智能、强人工智能、超人工智能三个级别。目前人工智能的研究和开发主要限于单项任务、完成人类指令，都属于弱人工智能。有学者指出，虽然目前的人工智能仍处于弱人工智能阶段，但是一旦机器能与人类的一般智力相匹敌可能会迅速超越人类，对社会产生巨大威胁，出现所谓的“超级人工智能”。⑦来自科技界的许多杰出人士，如特斯拉首席执行官埃隆·马斯克将人工智能称为“召唤恶魔”，比尔·盖茨认为人类应该担心人工智能带来的威胁，计算机科学家史蒂夫·奥莫亨德罗、默里·沙纳汉和大卫·麦卡莱斯特警告称人类应保持对超越人类智慧的智能系统的控制权，否则人工智能可能会带来生存风险。⑧美国智库“新美国安全中心”发布报告将人工智能风险分为脆弱性、不可预测性、弱可解释性、违反规则法律、系统事故、人机交互失败、机器学习漏洞被对手利用七个方面。2018年世界人工智能大会提出人工智能安全风险包括网络安全风险、数据安全风险、算法安全风险、信息安全风险、社会安全风险和国家安全风险。麦肯锡2019年4月发布的《面对人工智能的风险》研究报告中提出数据应用、技术问题、安全障碍、模型偏差和人机互动等因素都会引发人工智能风险。虽然有众多研究机构或专家对人工智能风险做出解释或分类，但人工智能技术本身的特殊性及其应用场景的差异性决定了不同行业应用人工智能产生的风险具有明显的异质性。比如在金融科技领域和无人驾驶领域，人工智能风险的预防、发生、引发的后果以及解决方案存在极大区别。如何在最优化利用人工智能技术的同时规避人工智能风险，成为每个行业亟待解决的问题。

针对人工智能的监管和治理，我国多数学者基于公共政策角度提出了相应的对策建议，⑨期望维护社会安全的同时填补人工智能制度方面的空白，确保人工智能发展和应用的规范化。区别于以往研究，本文结合人工智能产业链对其风险构成进行分类评述，在全面系统分析风险的基础上提出风险防范的机制和措施，并进一步在国家层面从监管模式、立法和全球合作三方面对我国防范人工智能风险提出对策建议。

二、人工智能产业链及其风险构成分析

1.人工智能的发展、应用及产业链分析

（1）人工智能的发展和涵义

1956年，计算机科学、心理学和经济学的研究人员如马文·明斯基、西摩·派珀特、约翰·麦卡锡、赫伯特·西蒙和艾伦·纽维尔等人在达特茅斯会议上率先提出人工智能的概念。人工智能在20世纪90年代重新流行并迅速发展，目的在于复制并在模式识别和预测方面进行改进（前人工智能时代的计算机在计算和数据处理方面已经优于人类），包括人脸识别（来自视觉数据）、语音识别（来自听觉数据）、识别日常数据中的抽象模式，以及依据过去的经验和当前的信息做出决策。人工智能领域的突破主要得益于硬件和算法的进步，研究重心表现为人工智能的机器学习方法（使计算机和算法能够从大量数据中学习、预测和执行任务）和深度学习（如神经网络，提高机器学习效率、进行统计推断和优化）。

（2）我国人工智能的应用及产业链分析

我国人工智能技术起步虽晚，但是发展迅速。2017年，人工智能首次写入政府工作报告，中央明确提出“加快人工智能等技术研发和转化”，随后2018年的政府工作报告再次指出“加强新一代人工智能研发应用”，2019年的政府工作报告提出“深化大数据、人工智能等研发应用”的关键词。在国务院印发的《新一代人工智能发展规划》中，系统部署了我国人工智能领域的发展，提出到2020年人工智能总体技术和应用与世界先进水平同步，到2025年人工智能核心产业规模超过4000亿元，到2030年人工智能理论、技术与应用总体达到世界领先水平。

根据世界知识产权组织（WIPO）统计，从2013年到2016年中国的人工智能专利申请数量以年均20%的速度增长。根据《中国新一代人工智能科技产业发展报告（2019）》，截至2019年2月我国人工智能企业数量达到745家，位列世界第二，主要集中于北京、上海和广东。企业广泛分布于18个应用领域（见图1），融资规模也在逐年扩大，2018年融资规模达1311亿元（见图2）。当前，我国人工智能核心产业的规模已超过1000亿元，带动相关产业规模超1万亿元。其中，浙江、江苏、广东的人工智能相关产业规模预计2020年分别可达到5000亿元、1000亿元和3000亿元。

基于人工智能的涵义及其在行业中的应用，人工智能产业链体现在三个层面（见图3）：首先，基础层是人工智能发展的基础，涉及数据的收集与运算，包括芯片、传感器、大数据与云计算;其次，技术层是人工智能发展的核心，依托基础层的数据资源和运算平台进行海量识别训练和机器学习建模，以开发面向不同领域的應用技术，目前最熟知的包括感知智能和认知智能;最后，通过结合不同的行业背景，将人工智能应用于实践，实现与行业的深度融合以及不同场景的应用。未来，随着深度学习、计算机视觉、语音识别等人工智能技术的快速发展，人工智能与终端和垂直行业的融合将持续加速。我国人工智能企业布局侧重于技术层和应用层，截至2019年2月，应用层人工智能企业占比为75.2%，技术层企业占比为22.0%，基础层企业占比为2.8%。

图1 中国人工智能企业的主要应用领域分布

图2 2012-2018年中国人工智能领域融资额（单位：亿元）

图3 人工智能产业链

2.基于产业链的人工智能风险构成分析

人工智能是由软硬件设备、大数据、算法及其呈现出的具体技术和场景应用构成的综合体。区别于以往技术，人工智能最明显的特征是具有自主性。人工智能的自主性所带来的风险一方面表现为预见性问题，另一方面表现为控制问题。为全面系统分析人工智能风险，下面从基础层、技术层和应用层三个维度对影响社会生产或者使公众生活遭受损失的相关风险进行分类评述。

（1）基础层面的风险构成分析

①机器伦理风险

人工智能的伦理问题一直是科技界和学术界讨论的焦点。如美国佛罗里达州法庭使用的预测系统，调查发现黑人被系统预测再次犯罪的几率比其他族裔高出45%，黑人被预测再次暴力犯罪的几率比其他族裔高出77%，刑事审判中的风险评分系统在结果中对黑人存在偏见。当智能机器人陪伴和帮助老年人时，必须遵循相应的文化规范执行特定的任务，日本已经推出能识别人的情感并与人交流的机器人Pepper，但长期与机器人交流会产生过度依赖等问题。为解决人工智能应用中的社会关系和社会认同等问题，瓦拉赫提出，软件代理和机器人应该被灌输明确的道德原则来管理其行为。机器伦理主要通过融合规范伦理、人工智能和其他学科的见解，试图在机器中将伦理推理模型编码化，以确保符合伦理的机器行为以及探索人类伦理的本质和可计算性，旨在创建能够做出适当道德选择的人工智能系统。但是世界范围内各国的道德规范并不存在统一的标准，并且难以量化。道德哲学没有发现令人满意的人类价值观的形式化，人工智能实施中面临道德困境的“电车难题”，由于伦理的本质、计算代理的局限性和世界的复杂性等因素存在，导致机器伦理在某些情况下增加道德行为的概率无法保证。

②算法歧视风险

人工智能技术上的盲点和偏见会导致特定人群成为系统“偏见”和“歧视”的受害者。在浏览网页时，算法会根据用户偏好推荐个性化、定制化信息，破坏了信息的多样性，剥夺了个人自主决定权，产生信息茧房效应。一些互联网公司运用大数据技术区分不同的目标客户群体，由此产生价格歧视。谷歌的广告定位算法存在性别歧视，当搜索20万美元薪水的行政职位时，模拟男性用户组收到1852个招聘广告，而模拟女性用户仅收到318个广告。引起算法歧视主要源于两个层面：一是算法的公平性。人类决策会受到有意或者无意的偏见以及信息不充分等主客观因素的影响。二是算法的可解释性。人工智能最大的问题为“黑盒风险”，即运算过程的不透明性和不可解释性。算法的不透明性通常源于三方面：企业为维护商业秘密和竞争优势或缘于国家机密而进行的自我保护，受到编写（和读取）代码和算法设计等专业技能所限而产生的不透明性，以及实际操作中海量数据和复杂的多组件系统导致的不透明性。

③数据应用风险

数据是人工智能应用中最重要的运算和决策基础。随着来源于网络、社交媒体、移动设备、传感器和物联网等方面的非结构化数据越来越多，个人数据常被过度采集，加剧了隐私泄露的风险。根据中国消费者协会2018年的调查报告，85.2%的人遇到过信息泄露的情况。在脸书的数据泄露事件中，剑桥分析公司通过关联分析的方式获得了海量的美国公民用户信息，包括肤色、性取向、智力水平、性格特征、宗教信仰、政治观点以及酒精、烟草和毒品的使用情况。如果对获取的数据进行恶意篡改，通过污染训练数据改变分类器分类边界，或者采用反馈误导方式，利用用户反馈机制发起攻击，直接向模型输入伪装的数据或信息，会误导人工智能做出错误判断。当人工智能训练数据遭到污染时，在自动驾驶领域可导致车辆违反交通规则甚至造成交通事故，在军事领域，通过信息伪装的方式可诱导自主性武器启动或攻击，从而带来毁灭性风险。

（2）技术层面的风险构成分析

①网络安全风险

由于人工智能的自动化以及强大的数据分析能力，越来越多的个人、家庭、企业和政府利用网络安全检测体系对抗网络安全威胁与网络异常。但是美国电气和电子工程师协会（IEEE）的《人工智能与机器学习在网络安全领域的应用》报告指出，人们面临着有组织的全球范围内的大规模网络攻击。人工智能技术的开源框架和组件由于缺乏严格的测试管理和安全认证，可能存在漏洞和后门等安全风险，一旦被攻击者恶意利用，会危及人工智能产品的完整性和可用性。如公众生活中常常见到的黑客对网络漏洞的“攻击”、“僵尸”网络的出现、屡禁不止的钓鱼网站、个人隐私的泄露等，类似的网络安全威胁在不断发生。网络犯罪利用比以往成本更低的人工智能技术执行各种恶意的任务，对开放的、易受攻击的端口进行扫描，或是通过电子邮件的自动组合，窃取个人数据或企业机密，利用钓鱼网络的自动化提高攻击的效率。当前，人工智能系统与众多行业领域的深度融合，涌现出许多无人值守系统，若一些重要的人工智能系统被入侵或劫持，将会威胁到社会公共安全。

②人机互动风险

随着智能语音、网联汽车、视频图像身份识别等技术的发展及其所带来的日趋丰富的应用场景，实际运用中会引发感知认知风险。2016年3月，微软公司的人工智能聊天机器人TAY上线仅一天就被“教坏”，成为一个集反犹太人、性别歧视、种族歧视等于一身的“不良少女”。美国制片公司猴爪（Monkeypaw）利用名为“深度仿真”的人工智能技术，通过替换人脸制作了一段奥巴马严厉批评现任美国总统特朗普的虚假视频。④支付领域中的人脸识别功能方便了公众的支付和消费，但被恶意盗取人脸信息后进行“隔空盗刷”问题也开始逐渐出现。2019年8月，一款名为“ZAO”的人工智能换脸软件风靡社交媒体，只需提供一张人脸照片，就可以将选定视频中的人物面部替换掉生成新的视频片段，引发个人信息安全保护、肖像权、版权等安全隐患。

（3）应用层面的风险构成分析

①系统性风险

现代通讯技术及交易的高科技程度、全球经济一体化和金融全球化的发展趋势以及人工智能技术的普及，为系统性风险的溢出创造了条件。如今互联网环境日益庞杂，越来越多的物联网设备从各种渠道获取信息，当由人工智能导致的风险发生时，由于网络上信息的不对称性和响应的不及时，会出现放大的倍数效应。人工智能带来的系统性风险存在外部性，当某个节点突发问题，原本可能只属于某个市场的动荡会通过网络体系迅速蔓延，发生级联效应，进而会影响到世界其他地区的贸易和金融局势。

②法律制度风险

随着人工智能系统变得越来越强大、复杂和自治，控制和监督问题将会出现。谢勒指出，人工智能系统带来的风险可能会被证明是法律体系难以应对的。例如当前的医疗人工智能技术已经成熟，但依然难以得到推廣，其主要原因就在于“AI+医疗”方面的法律处于缺失状态，隐私泄露问题、数据丢失问题、违规使用问题等诸多因素制约了医疗人工智能的发展。如果没有完善的法律保障和规范，人工智能与产业的深度融合只能是纸上谈兵。一般来说，法律法规的监管分为事前和事后两个阶段。人工智能的研发具有与一般商品生产不同的特点，比如研发人员和地理位置上的分散性和不明确性、研发过程的不透明性等，使得传统的监管方法并不适合处理与人工智能和自主机器相关的风险，导致事前监管会非常困难。而人工智能的自主性引发风险的预见性和可控性的难度，也使事后监管失效。并且人工智能技术应用的行业领域不同，采用统一的标准去判断也有失公允。

③社会福利风险

人工智能的发展和应用导致的社会福利风险主要表现为加剧失业和社会分化。基于人工智能的自动化系统会逐步取代一些程序化的工作岗位，如文员、服务生等。但在就业人口被压缩的情况下，人工智能应用所带来的劳动生产率提高很难转化为劳动力工资收入的普遍增长。与行业融合的过程中，一些拥有较好的数据信息积累且生产过程适宜人工智能技术介入的行业（如制造业的流水线加工组装等），能够在较短的时间内获得较大的发展空间，由此导致行业分化趋势也更加明显。

三、构建防范人工智能风险的机制和措施

尤德科夫斯基提出了友好人工智能的概念，旨在促进人工智能系统做出对人类有益且无害的行为。如果人工智能是以牺牲社会利益为代价的话，那么它就不应由于设计者的私利而设计。从本质来说，人工智能研发设计的目标在于通过将智能化的技术应用于生产和生活中，造福于社会公众，同时促进各行业领域的创新升级，最终实现全世界的科技进步和福利提升。具体表现在以下四个方面：第一，考虑长期性和可持续性;第二，考虑社会凝聚力，包括就业、资源共享、包容和社会认同;第三，兼顾公众权力以及历史、社会、文化和伦理价值观念;第四，考虑环境影响或国际关系的全球性制约因素。

1.从研发技术层面构建防范人工智能风险的机制

（1）以研发人员作为内部风险防范的起点

从防范风险的角度来看，人工智能的挑战在于其研发方式。人工智能系统的设计可在不同的地方和时间进行，而不需要任何有意识的协调，同时内部研发工作可能处于保密状态。危险的人工智能的目的性设计会包括所有其他类型的安全问题，最危险和最难防范的就是故意制造的恶意人工智能。对研发人员实施相应的约束或激励机制，或通过伦理道德培训施加影响，可有效促进研发人员主动追求安全有益的人工智能。

第一，约束机制。在人工智能研发过程中，必须采用某些有益的设计，例如验证、有效性、安全性和控制权等，同时考虑避免负面影响，强化可扩展的监督和安全开发。约束机制的设计需要注意：必须经过精心设计和反复验证，设计有效的人工智能约束机制需要人工智能领域的专家和决策者之问的密切互动;由于技术本身的与时俱进，约束机制需要不断更新。

第二，激励机制是让研发人员保留设计自由，通过制定特定设计的奖励或惩罚，将开发者推向不同的设计方向。比如为有益的人工智能研究提供资金支持，或者为应对负面的人工智能后果，由人工智能公司承担责任支付赔偿等。激励机制也可采取其他形式，如社会表扬或批评、行业促进或制裁。其优势表现在，通过给人工智能研发人员或企业更多的自由，更容易实现其所追求的设计目标，易于在群体中产生良好的示范效应。

第三，伦理道德培训。建立完善、系统的培训机制，促进研发人员树立良好的伦理道德价值观念。首先，由人工智能专家、心理学与哲学等学科研究人员共同参与制订符合人工智能伦理的培训内容（权利、责任、人类福利、公平等），形成一套完善的培训体系;其次，在高校中将伦理和安全的相关课程列入人工智能、数据科学或计算机相关专业必修课，加强对相关专业伦理道德的学习;最后，考虑对人工智能从业人员进行涉及伦理道德的岗前培训，设置从业门槛，加强从业人员伦理道德责任的认识。

（2）构建多层次的人工智能风险防范机制体系

关于数据应用方面的风险防范，需要从国家层面出台数据信息监管制度去规范数据信息的获取行为和渠道。2018年5月欧盟正式执行《通用数据保护条例》（GDPR），该制度在获得用户许可、处理儿童数据和敏感数据方面对企业提出了严苛的要求，此外还明确规定了数据主体（消费者）的修改权、被遗忘权、限制处理权等权利。欧盟条例的实施为公众的数据提供了安全保护，为企业规范使用数据信息提供了依据，为其他国家提供了借鉴和参考的范本。总之，人工智能中的数据安全治理是一个系统性工程，需要从法规、标准、技术、行业等各个层面寻求应对策略，并需要监管方、政策制定者，人工智能开发商、制造商、服务提供商，以及网络安全企业的共同协作。

关于算法歧视方面的风险防范可以通过两个途径：第一，确保训练数据集的时效性、全面性和广泛性，避免输入数据单一和片面;第二，确保算法的可解释性和透明性，避免黑盒操作，必要时由行业主管部门对算法进行审查或备案。谷歌团队发布了一项名为“概念激活向量测试（TCAV）”的新技术，能够直观显示神经网络模型运算所依据的概念和比重。技术目标是将支撑模型的变量以人类能够理解的高级概念表现出来，并显示各种概念的权重，当把技术运用于涉及现实的识别模型上时，能够清晰地判定该模型是否涉及歧视。总之，该技术不仅在技术层面解决了算法的可解释性问题，而且即便是没有任何技术背景的普通人也可了解算法的运作标准，进而能够及时解决算法偏见和歧视问题。由此可见，今后科技的发展方向一方面是智能技术的不断创新以及与行业的深度融合，另一方面也向算法的公开性、透明性和可解释性方向发展。

关于机器伦理方面的风险防范，阿西莫夫曾提出著名的“机器人三原则”，即不伤害人类、服从人类指挥和保护自己。但随着人工智能技术的不断创新发展，机器人三原则已经不适用当前复杂的社会环境。目前处理人工智能伦理问题的关键是首先由各国共同商讨基准的伦理道德标准，然后再根据本国的伦理道德实际，在全球认可的机器倫理基准框架下制订本国的机器伦理设计标准。目前各国提出的机器伦理设计原则大都停留在理论阶段，在实际的人工智能伦理设计中可以考虑的方式是，基于不同的道德情境把伦理规范编程，应用时作为基准来衡量各种道德选择的可接受性，或者给智能机器创造体验和学习环境，让机器逐渐学会可接受的道德规范和行为准则。

关于网络安全方面的风险防范，需要从法律和政策、人为因素、软硬件、算法和数据、可操作性等领域协同响应，共同推进。政府与行业间应紧密协作推出受到市场接受的、由监管部门认证的智能产品。监管机构对科研和运营要加以保护，建立行业间的合作组织，不断提升人工智能技术的创新水平，利用人工智能技术保障网络安全，以标准化的、严格监管的方式实现对技术的安全运用。同时要增强网络安全人员的能力，以灵活、高速地应对未知威胁，进行网络安全预警，落实应急处置工作。

（3）营造理性防范风险的社会舆论环境

社会舆论主要指企业有责任和义务警告用户，智能系统可能会扭曲运行结果。营造良好的社会舆论环境，首先是企业应基于社会责任标注风险提示，如个人数据信息的收集、影响、危害，有必要要求系统保持中立和公平;其次公众应具备风险意识，对人工智能相关技术和产品做出合理判断和决策;最后，需要国家层面的引导，在法律层面规范企业行为，保护用户权益。由此可见，构建积极理性的社会舆论环境需要消费者、生产者和国家三方的共同参与。

2.从应用层面构建人工智能与行业相结合的风险防范体系

随着越来越多的行业与人工智能深度融合，在实现行业创新、提升行业效率和利益的同时，也对行业提出了全新的挑战。构建行之有效的风险管理体系应该结合行业特征，在行业的风险观念和偏好框架下重构适合人工智能操作的工作流程和处理方式。从应用层构建防范人工智能风险的控制体系，需要重点考虑两点：第一，考虑人工智能的具体算法操作中所面临的技术问题，涉及开发、测试和部署人工智能系统基础模型和数据的实际应用;第二，结合人工智能技术嵌入的组织和制度环境，考虑行业环境的特殊性。综上，“人工智能+”的风险防范体系可归纳为三个阶段（见图4）。

首先，事前阶段涉及与具体行业应用相关联的人工智能系统的开发、设计和部署。此阶段需要人工智能研发人员与行业专家的密切合作，通过更具针对性和实操性的研发，最大限度地杜绝初期阶段人工智能系统存在的风险和漏洞。其次，事中阶段涉及人工智能技术的具体行业应用，根据人工智能技术介入行业应用的自动化程度进一步细分为短期、中期和长期。短期内，由于自动化程度较低，人工智能技术表现为反应式指导，根据问题系统会基于既定的规则运算然后给出结果或解决方案。短期风险主要来自于人工智能系统做出预测的可靠性和可解释性，包括系统所训练的数据与预测环境之间的匹配程度，以及理解和解释机器学习系统如何进行预测。中期内，人工智能系统自动化程度较高，系统根据大量的训练数据集进行周期性训练，得出的测试结果相对准确。中期风险表现在人类对智能系统的过度依赖，或由大量历史数据训练完成的机器学习系统在操作中难以适应快速变化的现实环境。长期内，人工智能系统的自动化程度最高，系统能够主动识别问题并采取最优方法进行积极干预。长期风险表现为系统的自主性带来的风险，如自主发现实现预期目标的新方法，或通过不安全的方法去实现设定目标。最后，事后阶段涉及相关风险发生后的法律制度规范和保障，包括风险评价、责任判定、惩罚补偿等。为了保证行业风险控制体系的时效性和敏捷性，数据、算法的动态更新机制和风险、信息的循环反馈机制应时刻贯穿于整个过程。

伴随人工智能技术的不断更新以及外部政策环境的不断变化，系统管理员与研发人员应保持密切沟通配合以防范系统性风险的产生，同时规范人工智能技术的应用，防止出现技术滥用风险。针对由于人工智能技术的应用而带来的社会福利损失，可通过增加对中等技能劳动力的技能培训的力度，降低失业风险，同时拓宽就业渠道，要求企业开展灵活多样的再就业方式。

图4 “人工智能+”的风险防范体系

四、我国人工智能风险防范的对策建议

1.采取多主体多层次的监管模式

人工智能的研发设计和应用涉及公民团体、社会组织、学术机构、产业界、科学界、政府部门等多个领域，因此对人工智能的监管应采取多主体多层次治理的模式。在研发技术层面由地方科技部门对关于人工智能技术研发的高校或者企业进行备案并实施监管，涉及重大研发项目应向国家科技部门备案。在行业应用层面，行业自律和监督是医疗、制造、矿业、交通、教育、金融等众多行业的关键治理工具，应由相应的行业主管部门和所屬行业协会共同监管。

2.加快人工智能领域的立法进程

面对机遇与挑战并存的人工智能技术，技术发展与法规制订必须齐头并进，才能为研发和产业应用实践提供强有力的法制保障。当前我国的人工智能发展政策在网络安全和数据使用方面，《中华人民共和国网络安全法》规范了对个人信息保护的要求，《中华人民共和国电子商务法》约束了大数据的使用。2019年7月，我国新一代人工智能治理原则正式发布，旨在发展负责任的人工智能。虽然国家层面对人工智能产业发展足够重视，也有多部法律法规和规章涉及个人信息保护，但总体分散，涉及细分行业的法律制度甚至是缺失的。目前国际层面对于人工智能相关领域的立法工作也都处于探讨阶段。国家监管的内容包括伦理、标准、研发和创新，以及作为指导机器人和人工智能伦理治理框架的行业、公众参与等诸多要素。对法律问题的思考应当具备前瞻性思维，能够率先在该领域抢占先机的国家可能会决定其未来的发展方向，并从中获得最大的利益。作为人工智能发展的领先国家，我国应该力图在人工智能立法领域有所突破，加快人工智能领域立法的进程，从人工智能技术研发再到行业推广实践，建立信息和数据开放标准、界定开放边界，在应用推广上采用循序渐进的开放原则，并且促进最佳实践、指南、标准的形成，打造全球科技竞争新的优势。

3.促进人工智能监管的全球合作

世界经济论坛（WEF）白皮书指出，技术革新的快速步伐正在重塑产业，模糊地理界限，挑战现有的监管框架。防范人工智能风险需要利益相关者的共同努力，采取更具包容性和敏捷性的治理形式共同解决创新所带来的社会后果。全球层面对于人工智能的有效监管的难点在于，既需要落实在一个国家内部有效实施监管的问题，也需要促使全球层面不同国家关于监管的必要性达成一致意见。考虑到跨国治理的弱点主要表现在超越国家层面建立的监管机构没有足够的军事和经济胁迫机制去要求各国或机构配合调查甚至对危险行为进行惩罚，因此全球技术监管中应制订跨国协议，成立国际层面的监测和核查机构，同时设置从经济制裁到军事力量等的强制执行机制。在人工智能监管的全球合作中，一些重大技术突破可能会涉及多个国家机构、人员和资源的合作，那些可能会对社会产生重大影响的人工智能技术尤其应该受到更严格的监管，以确保安全、公平地传播和共享信息技术。除了对于人工智能研发领域风险的监管以外，国际合作还能进一步在人工智能的应用层面展开，如医疗保健、自动化、气候变化、智能化武器装备等。设计安全可控且符合全人类共同利益的人工智能技术需要各国的共同参与，以制定出有助于促进人工智能研发并且能够应对风险挑战的国际框架，在全球范围内建立创新和高度自动化的系统，对危险和异常的技术迹象进行全球监测。我国应该在人工智能监管的全球合作中树立大国责任，在高技术产业领域增强话语权和影响力，积极倡议风险防范和预警，并号召国内的研发企业提供中国方案为人工智能的全球治理提供参考。

责任编辑：牛泽东