对人工智能引发安全问题的思考——以波音737-MAX 8坠机事故为例

军事科学院研究生院 彭 辛 陆军边海防学院 尼瓦扎提 孔维君／文

2019年3月10日，埃塞俄比亚航空一架波音737-MAX 8飞机，起飞仅6分钟就坠毁，机上157人全部罹难，失事飞机的机龄不到4个月。这是继2018年10月29日印尼狮航空难事故造成 189人罹难后，波音该机型发生的第二起空难，其机龄也只有3个月，且起飞仅13分钟后便坠入了爪哇海。都是新机、事故都发生在起飞阶段、坠毁前都发生了控制异常，这些相同的关联因素，不由得使人试图从事故中寻找内在的原因。

波音737-MAX8因发动机位置的更改导致飞机机头容易抬高。因此，它使用了一个自动防失速系统：MCAS（机动特性增强）。机头装了三个攻角传感器，在飞机迎角过大时系统会自动下调机头以进入它设定的安全状态。狮航空难调查结论认为，机头左侧攻角传感器故障，使MCAS错误地连续进入自杀式俯冲，一共26次，而狮航飞行员则努力拉了33次机头，试图拯救飞机，但最终人工操作没能成功纠偏。2019年4月4日，埃塞俄比亚交通部公开了埃航空难调查报告：飞机连续出现上升和下降两种姿态，飞行员多次执行了飞机制造商提供的所有程序，但依然失去了对飞机的控制。随后波音公司企业网站发布公司首席执行官米伦伯格自事故发生以来的首次致歉声明，其承认两架客机坠毁前都出现特定传感器读数错误、促使客机飞行姿态矫正系统“错误启动”。由此，我们不难发现，智能辅助系统在两起空难中扮演了特殊的角色。随着人工智能在我们生活领域的应用越来越深入和广泛，其带来的安全问题也逐步显现，如何进行有效应对成了一个不得不思考的问题。

人工智能技术在应用上的安全隐患

（一）弱化人的思维能力

随着大数据、云计算、物联网的出现，人们在实际生活中遇到的数据越来越海量和纷繁复杂。通过机器学习，高效率地从巨量数据中获取隐藏的、有效的、可理解的知识，已逐渐成为当今人工智能技术发展的主要推动力。但与此同时必然带来的是人类思维工作量的减轻，从而被动的弱化思维活动。在自动化装置面前，飞行员的角色从操纵者转变为观察者、监督者和决策者，飞行控制过程在一定程度上对于飞行员是不透明的，一旦出现问题，飞行员无法凭自己的经验和能力从机器感知的大量数据中精确找出致命危险。甚至在人工智能保姆式的代办下，飞行员也会很难形成某方面经验和能力。

（二）剥夺人的实践能力

为了避免人为失误，各行各业不断引入自动化装备。这些自动化装备在设计之初便有一个普遍的准则，就是人是有可能犯错的，但是执行程序的机器是不可能犯错的，所以在人犯错的过程中，机器必须帮助人纠正自己的错误。这也就产生了狮航飞行员几十次的与控制系统做斗争，但依然没有夺回控制权的问题，因为机器“执拗”的认为人在执行错误的操作。甚至在埃塞航飞行员发现了问题所在，断开MCAS系统以后，控制权依然没有交还给飞行员。

（三）影响设备的可靠性

自动化、智能化装置往往强调方便高效，但在技术发展的初期却往往与可靠性相背离。为什么前苏联乃至现在的俄罗斯，在武器装备研制上，长期以来让人感觉粗放、人机交互差？相对而言，高精尖的美军装备在实战运用中也常常因故障频发而备受诟病，这从两国航母的发展上就能直观说明。前者坚持使用低效但可靠性高的滑跃式甲板，而后者里程碑意义上的“福特”级航母，自2017年服役以来，平均400次电磁弹射就产生重大故障，远低于4166次的作战要求，甚至不能保证一整天的连续作战。两相对比，在实战中孰优孰劣，似乎还不好说。这样的矛盾，在高技术发展领域一直相生相伴。虽然从长远来看，发展自动化、智能化是大势所趋。但是在人命关天的安全领域，安全的控制权至少不能完全交给机器，必须有人类自己的一片自留地。

安全问题产生的原因

（一）过度的智能化把人隔离在认知之外

“黑箱”是控制论中的一个概念，是指内部结构不清楚，只能通过外部观察和试验去认识其功能和特性的系统。研究黑箱的常用办法就是找出其输入、输出关系，进而了解其内部原理。人脑就是“黑箱”的典型代表，当人完成一个思维活动时，外人也很难知道他是把什么样的材料进行了怎样的组合和提炼。而所谓人工智能，就是构造一个人工系统，使其去完成以往需要人的智力才能胜任的工作，这就好比又制造了一个黑箱。开发者也许清楚其运作机理，但对于使用者来说，在其带来方便性的同时，却可能对其如何运作一无所知，甚至不知道其输入、输出了什么。波音737-MAX8的MCAS系统高度智能化，却没有安装MCAS启动显示装置，更不用说相关传感器错误诊断和报警装置，一旦发生故障，飞行员都找不到故障的原因，更不能从输入、输出数据中找到问题的根源并消除。在事故发生后，波音公司才准备将MCAS显示器作为标配安装。在人工智能系统中，你“不知道自己不知道什么”的窘境既会出现在设计者身上更会大大出现在使用者身上。虽然我们不追求也不可能把所有未知情况一网打尽，但一个成熟的智能辅助系统应该从大量输入的数据中告诉人类，现执行的输出结果其最可能的原因指向的是哪一类的输入数据，也许做不到准确，但最起码能够提供操作者进行自主思维判断的一些基本理论依据，不至使其迷失于大数据的洪流中。

（二）缺少故障容错设计

在现代科技中，从安全上考虑，很多硬件设备即便损坏了，但都会有相应的备用措施。如民航客机，不像单发战斗机那样，发动机损坏其人员可以跳伞逃生。客机载客如此众多，就必然设计至少2个发动机，即使一个发动机空中停车，也能够通过调整方向舵和飞行姿态的方式来保证飞机就近安全着陆。硬件的容错度都这么高，但波音MCAS系统软件，却仅凭一处的错误，就判了整个硬件的死刑，这样的智能化设计是不是舍本逐末？随着人工智能技术的日益复杂，不可避免的会有很多潜在的技术漏洞尚未发现。这就要求在研发和生产过程中，要提前做好备份和保险措施，避免紧急情况下人工智能的失控。

（三）强人工智能的时代远未到来

强人工智能是指能够胜任人类所有工作的人工智能。乘坐过飞机的人应该都有体会，类似于失事波音737-MAX8连续过山车式的爬升和俯冲行为，人肯定能感觉到强烈的不适感。但作为飞行辅助系统的MCAS却依然能做出错误的判断，并由自己不断强化这个错误。由此可见现有的人工智能在抽象学习上仍难以突破瓶颈。也就是目前来说我们很多机器上的传感器乃至系统都是专用式的，通过收集特定的数据而形成深层次的判断，就比如MCAS系统通过收集飞机的飞行角度，而判断飞机是否会因迎角过大而失速。但还远远没有达到人工智能的无监督学习或者半监督学习能力，不能通过组合没有标签（特征）或者仅有部分标签（特征）的底层特征，来发现事物的内在规律，进而形成更加抽象的高层次判断。如果飞机不仅能从飞行姿态，还能从飞机的高度、加速度、飞行阶段；飞行员的奋力抗争；甚至乘客惊恐的尖叫等信息中判断出飞机即将坠毁的状态，那么这样的事故是很容易避免的。只有人工智能的深度学习能力发展到能够在飞行全程做到自动驾驶，并且能够根据各种意外因素选择最优的飞行方式，才能够说强人工智能时代已经到来。

避免人工智能引发安全问题的思考

（一）使用系统工程的方法提高整体安全性

资料图片

系统工程是“两弹元勋”钱学森晚年重要的理论建树，其本质是研究局部和局部、局部和整体间相互联系、相互制约的关系，是运用各种组织、管理和技术，使系统的整体与局部之间的关系协调并相互配合，以实现总体的最优运行。从系统工程的角度出发，飞机的安全性是就整体而言的，系统中99.9%的部分是安全的，并不代表飞机是安全的；同样，系统中每一个部分都有99.9%的可靠性，也不代表整个系统是安全的。波音737-MAX8虽然是一款“明星”机型，但其MCAS系统引起的坠毁，即因为单点的故障而影响整体的安全，充分说明其在系统设计上有严重的漏洞。系统的任意一部分和任意另一部分，都相互关联，相互影响，相互制约。出现了错误，而各系统只让其互相关联更加放大，而不考虑其互相制约，通过综合其他方面数据来降低报错率，这无疑是系统设计上应当警醒的。这些就需要从系统工程的角度出发，从设备功能安全、环境适应性检测到故障时的行为等方面进行综合考量，以避免可能导致系统性失效的错误和故障。

（二）实现强人工智能的机器学习

2017年虚拟机器人“微软小冰”学习了自1920年以来中国近现代诗人的数万首诗歌，而出版了现代诗集《阳光失了玻璃窗》，这是机器学习的一个成功范例。机器学习是研究一个系统怎样模拟或实现人类的学习行为，重新组织已有知识结构以不断改善或获取新的知识或技能，从而提高自身性能的能力。但是其未来前景还不仅在于从大量正确的例子中学习进而模仿，允许机器犯错，并使其自己能纠正错误也许才是最重要的。狮航飞机空难前，其带着攻角传感器问题故障飞行了4次之多，事故前一天还出现过机头持续下压的危险状况，直到飞行员关闭MCAS才安全降落。如果每一次飞行不仅能使飞机的操作系统能够从掺杂着正确和错误的指令中形成正确起降的流程，还能从每一次正确指令纠正错误指令的行为中学习到如何排除故障，即自动对产生故障的系统进行修复、屏蔽，哪怕仅仅只是报错，都能避免这样惨剧的发生。就像人不可能不犯错一样，如果机器虽然犯了错，但却能够比人类更迅速的判断并纠正自己的错误，这才是机器学习中跨越性的一步。届时，这个“会犯错的机器”才可能是真正的强人工智能，即真正能推理和解决问题的智能机器。这样的机器将被认为是有知觉的、有自我意识的，可以独立思考问题并制定解决问题的最优方案。

（三）给人类以最终裁量权

日本2007年出台的《下一代机器人安全问题指导方针（草案）》，要求所有机器人在帮助人类的时候，要提前告知其行为可能的负面效果，让人类来决定是否执行。虽然在波音坠机事故中的MCAS系统，还没有强大到能判断它当时的错误“行为”能导致坠机，更不用说在坠机前将飞机的控制权主动交给飞行员。但如果人工智能发展到了强人工智能阶段，那就意味着人类能干的脑力活动，机器都能胜任，其可以像人类一样独立思考和决策，甚至有自己的价值观和世界观，即实现人类的“自由意志”和“个性”，某种意义上说，这诞生了一种新的文明。此时，如将人类的安全完全交给可能与我们意志有冲突的“自由意志”的机器，由其进行判断和决定，那将是危险和不负责任的。在智能系统做出最终决定前征询人的意见，或者人保留在紧急时刻断开人工智能而进行手工操作的权利，是安全的最后一道防线。人工智能与纳米技术和基因工程一起被并称为21世纪三大尖端技术，它无疑给我们打开了一扇通往绚丽未来的大门，但如果不加节制，谁又能保证打开的不是潘多拉魔盒呢？而受节制了的人工智能，又是真正意义上的“智能”吗？霍金说过，强大人工智能的崛起，要么是人类历史上最好的事，要么是最糟的，其本身是一种存在问题的趋势，而这些问题必须在现在和将来得到解决。

综上所述，埃塞航和狮航空难是巨大的悲剧，悲剧背后要求我们对人工智能技术心存敬畏。只有积极发挥其优势的一面，同时深刻认识其潜在隐患，从而大力提高人工智能的安全性，才更有利于促进科技的进步和时代的发展！