创新监管方式 防范人工智能风险

魏强 陆平

人工智能风险日渐显现

近年来，人工智能发展迅猛，国外的Google、微软、苹果、特斯拉，我国的百度、腾讯、阿里巴巴等，这些企业都纷纷通过自主研发、收购兼并等途径跨界进入人工智能领域。同时，随着人工智能技术的大规模应用，其安全隐患和发展风险日渐显现。大众一般认为，新技术的研发是难度最大的，应用及监管与研发相比难度就会低很多。但对于将深远影响人类社会运营方式的人工智能来说，情况或许正好相反。那么人工智能存在哪些风险？监管的难点又是什么？具体有以下三方面。

产品应用后果预判难

随着计算能力的不断攀升，人工智能可以计算大量的可能性，其选择空间往往大于人类，它们能够轻易地去尝试那些人类以前从未考虑的解决方案。换言之，尽管人们设计了某人工智能产品，但受限于自身的认知能力，研发者无法预见其所研发的智能产品做出的决策以及产生的效果。如果其效果与人们利益保持一致，便不会引发人们的担忧。然而，基于深度学习技术的新一代人工智能产品大都具备自学习能力和自适应能力，如果放任自流，难以保证其行为结果与大众期望始终一致。

例如，美国一些法院使用犯罪风险评估算法COMPAS对犯罪人的再犯风险进行评估，非营利组织ProPublica研究发现，这一算法系统性地歧视了黑人，白人更多被错误地评估为具有低犯罪风险，而黑人则被错误地评估为具有高犯罪风险且几率是白人的两倍。再如，2016年3月，微软公司的人工智能聊天机器人Tay上线不到24小时，就在一些网友的恶意引导和训练下，发表了各种富有攻击性和歧视性的言论。最近，据亚马逊Echo智能音箱用户反映，自家搭载亚马逊智能语音助手的Alexa在回应某些命令时发出令人毛骨悚然的笑声，对用户造成不小的心理阴影。

事后确定责任归属难

人工智能产品一旦出现安全问题，划分责任归属可能会异常复杂，主要有以下原因：一是由于人工智能系统通常借助虚拟社区（如Github开源平台）进行协同研发，开发过程中可能会用到许多其他人开发的组件，数量众多的潜在责任人给权责划分带来了困难。二是大多数人工智能产品的内部运作并不透明，多数企业尚未公开其智能产品的源代码、训练数据及测试信息等，从而增加了监管部门确定责任归属的难度。例如，训练人工智能模型时需要招募大量的人员（通常采用众包模式）来对数据集进行标注，然而这些群体往往具有根深蒂固的偏见，从而导致人工智能产品携带了某特定群体的偏见。三是许多人工智能产品在设计之初，便包含了诸多不受控机制（如后天自学习、自适应能力），一旦出现事故，大量法律灰色地带给企业推诿责任带来了便利。

例如，2016年5月，在美国佛罗里达州，一辆特斯拉S型电动轿车在开启Autopilot辅助驾驶模式下与一辆垂直横穿高速的白色拖挂卡车发生撞车事故，车顶被削平，导致驾驶员不幸遇难，针对这起事故的责任判定存在严重分歧，特斯拉公司、用户、传感器Mobileye公司各执一词。再如，2017年7月，由Knightscope平台制造的一款打击犯罪的机器人在硅谷购物中心工作时出现自主决策失误，将一名男孩判定为危险人物，撞倒并展开攻击，导致该男孩受伤。事后，在责任判定与赔偿时，当事人家属、商场以及机器人设计公司发生了较大分歧。

安全风险源管控难

新一代人工智能的高度自主化特征可能造成人类难以预见的风险，加上人工智能产品研发过程较为分散和隐蔽，增加了事前监管措施（比如，风险点监测和预警）的难度。一是人工智能研发所需的物理设备较少，一些研发人员可以租用弹性计算服务来训练人工智能产品，由于不具备物理可见性，监管部门发现危险源的困难程度大大增加。二是研发主体极为分散。在当今开源编程逐渐兴起的条件下，普通大众借助个人电脑或智能手机与互联网接入就能完成具有特定功能的人工智能产品开发，这意味着潜在危险源极为分散。

比如，有研究者认为人工智能系统的内部工作模式以及各个组件之间的互相配合，比起以往的任何科技，都更加的不透明。汽车曾被认为是最大的公共危险源之一，尽管汽车拥有接近30000个物理组件，但是汽车的设计者与生产者非常了解这些物理组件之间是如何工作的。但反观人工智能，即使人工智能跟随信息科技时代的发展大趋势，它也不太可能获得如汽车一般的透明度。复杂的人工智能系统在设计上存在的缺陷，不仅消费者们难以发现，就算是下游的生产商与销售商同样无法知晓，极易埋下安全风险隐患。

监管体系促使人工智能发挥积极作用

目前，欧美一些国家针对人工智能存在的风险制定了相应的防范措施、战略计划，甚至列入法案。从归责制度、道德约束等多方面监管人工智能带来的风险。

人工智能安全监管升至战略高度

2016年10月，英國科学和技术委员会发布了关于人工智能和机器人技术的报告，呼吁政府应介入对人工智能的监管，通过建立监管体系来保障人工智能技术更好地融入社会经济，并产生符合人们预期的效果。英国政府试图在监管过程中引入人工智能技术，以增强监管的适用性，从检验和确认、决策系统的透明化、偏见最小化、隐私与知情权、归责制度与责任承担等方面，加强对人工智能安全性的管控。2017年12月，美国国会提出两党法案—“人工智能未来法案”（FUTURE of Artificial Intelligence Act of 2017），“人工智能未来法案”旨在要求商务部设立联邦人工智能发展与应用咨询委员会（AI咨询委员会），并阐明了发展人工智能的必要性，对人工智能相关概念进行了梳理，明确了AI咨询委员会的职责、权力、人员构成、经费等内容。“人工智能未来法案”作为美国国会两党的共识，其提出受到各界广泛欢迎，该法案如经众议院和参议院通过，将成为美国针对人工智能的第一个联邦法案。

渐进创新方式确保监管规则连续性

美国政府在自动驾驶领域采取渐进式监管创新，在许可颁布、自动驾驶汽车设计、驾驶系统等方面都制定了过渡性监管规则。例如，2014年10月，美国加州车辆管理局将29张自动驾驶汽车公共道路测试许可证，分别颁给了谷歌、戴姆勒、大众三家公司，获得许可的条件之一就是人要能够随时接管汽车。2015年12月，加州车辆管理局要求所有自动驾驶汽车的驾驶座上必须始终乘坐一名拥有驾照的人士，并要求汽车在设计方面必须具备方向盘、油门踏板、制动踏板等操控装置，以便车主在自动驾驶汽车系统操控失误时能够随时接管汽车。2017年9月，美国众议院一致表决通过了一项加快自动驾驶汽车测试和部署的立法提案《自动驾驶法案（Self Drive Act）》，这标志着美国自动驾驶汽车上路监管由各州分制的情形即将终结，全都服从于联邦层面制定的自动驾驶汽车监管法案，按照统一的标准被监管。

“人工道德”约束人工智能产品

目前，Google、微软等公司已在其内部设置了人工智能伦理委员会。太空探索技术公司（SpaceX）首席执行官埃隆·马斯克也于2015年底成立了人工智能非营利组织OpenAI，试图通过开源、开放预防人工智能可能带来的灾难性影響，推动人工智能发挥积极作用。2016年12月，标准制定组织IEEE发布《合伦理设计：利用人工智能和自主系统（AI/AS）最大化人类福祉的愿景（第一版）》，旨在鼓励科技人员在AI研发过程中，优先考虑伦理问题。这份文件由专门负责研究人工智能和自主系统中的伦理问题的IEEE全球计划下属各委员会共同完成。这些委员会由人工智能、伦理学、政治学、法学、哲学等相关领域的100多位专家组成。2017年2月，马斯克、霍金等人连同数百名研究人员、科技领袖和科学家联名表示，支持人工智能应该在生产力、道德和安全领域遵守的23条基本原则，从而确保人工智能为人类利益服务。

自我终结机制防范系统性失控风险

人工智能最大的威胁是当前人类尚难以理解其决策行为，存在未来失控的风险，而一旦失控则后果严重。正如衰老机制是内嵌于所有生命体中的必然，人工智能应该也存在自我毁灭机制，其否定该机制等同于否定其自身存在。2016年，谷歌旗下DeepMind公司曾提出要给人工智能系统安装“切断开关（kill switch）”的想法，为的是阻止AI学会如何阻止人类对某项活动（比方说发射核武器）的干预，这种提法被称作 “安全可中断性”。据介绍，安全可中断性可用于控制机器人可能导致不可逆后果的行为，相当于在其内部强制加入某种自我终结机制，一旦常规监管手段失效，还能够触发其自我终结机制，从而使其始终处于人们监管范围之内，能够防范系统性失控风险。

借鉴欧美经验 推动我国人工智能发展

通过借鉴欧美国家人工智能风险监管经验，我国应结合自身人工智能发展现状，建立安全责任体系，推动我国人工智能健康发展，具体建议如下。

对人工智能持包容态度，采取渐进式监管创新。人工智能在对经济社会形成巨大促进作用的同时，其存在的潜在风险不容小觑。在迎接人工智能时代到来时，采取渐进方式进行监管创新，以确保监管规则的连续性。对于自动驾驶汽车，采取包容的监管态度，在试点示范中逐步探索规范相关领域产品、服务及安全标准，倡导企业自律和社会监督。例如，英国政府提议将汽车强制险的适用范围扩大到自动驾驶模式，在驾驶者将汽车控制权完全交给自动驾驶系统时能为其安全提供保障。而美国在自动驾驶汽车领域则逐步推动州层面的立法向联邦层面的立法过渡，并在2017年9月经众议院通过《自动驾驶法案》，为美国自动驾驶汽车上路监管提供了统一的标准。

强制披露智能产品安全信息，建立安全责任体系。为了保障人工智能产品效果与设定的目标一致性，确保人工智能产品的安全可控，监管部门对人工智能研发者应进行认证审批，强制要求其公布或提供与人工智能产品相关的安全信息，比如源代码、训练数据集、第三方测试结果等。在安全责任体系方面，可以从人工智能系统的开发者、生产者、销售者、使用者等角度，进行责任体系的设计。例如，经过合法审批的开发者、生产者等将承担有限责任，而未经过审批的开发者将承担无限责任。用户在使用人工智能产品时，应遵守用户使用准则，如存在不当使用，用户也将承担一定责任。

根据学习与适应能力特征，实现监管边界动态化。由于人工智能产品通常都具备自主学习和适应能力，现有监管方法难以适用于不断进化的人工智能系统，监管部门应当根据人工智能系统源代码，以及人工智能在测试环境的表现，从学习力、适应力等角度，对人工智能系统进行定期界定，判断其进化速度和所达到的程度，进而实现人工智能的监管边界动态化，使人工智能处于可控、安全的发展范围之内。

掌握关键决策权，提升人们对智能产品的信任水平。为了提高人们对人工智能产品的信任度，限制其自主度和智能水平是有必要的，至少要让人们在心理上认为其拥有对人工智能产品的主导控制能力。一些传统装备（如高铁、飞机）虽然在速度上已经实现超越，但人们并不认为它是不安全的，因为这些装备的自主决策度受到人们的限制，人们在关键决策上仍占据绝对地位。建议根据不同领域特点，定向发挥人工智能的某项特定优势或技能。比如，让数据分析处理等能力成为人们辅助决策的工具，但最终的关键决策权仍需掌握在人们手中。这也是当前阶段提升人们对人工智能产品信任度的关键。

当前，新一代人工智能正加速向经济社会各个领域渗透，将对我们的生产方式、生活方式产生深刻影响。人类历史的进程表明，科技发展对社会进步的积极意义不言而喻，但同时也是一把双刃剑。我们在不断享受人工智能带来的巨大便利之时，也应未雨绸缪，及时预见它对社会秩序可能产生的冲击。面对人工智能发展带来的挑战，我们不能放任自流，也不能因噎废食，而应积极采取切实有效的监管措施，最大限度发挥人工智能的优势，防范其可能产生的社会危害。