自动驾驶的安全风险及其治理

谭九生,胡健雄

(湘潭大学 公共管理学院,湖南 湘潭 411105)

自动驾驶是人工智能技术在交通领域的前沿应用。智能算法嵌入驾驶系统,能够赋予车辆自主性,降低车辆能耗,增强人、车、路、云的交互性。近年来,随着自动驾驶技术的推广普及,改善交通安全、提高运输效率、优化驾乘体验等社会积极效应不断释放。然而,在具体实践中,刹车失灵、软件故障以及用户隐私泄露等现象时有发生,自动驾驶的安全风险不容小觑。习近平总书记指出:“要加强人工智能发展的潜在风险研判和防范,维护人民利益和国家安全,确保人工智能安全、可靠、可控。”[1]在我国全面推进交通强国战略的时代背景下,厘清自动驾驶的多重安全风险样态,系统地探析安全风险的成因和治理路径,对于未来构建智慧交通系统、提升技术治理效能都具有极为重要的理论价值和实践意义。

一、自动驾驶的安全性与风险性

自动驾驶指的是通过车辆自身对环境进行感知并开展智能决策而在没有人员干预的情况下由车辆自动完成行驶的驾驶行为。从技术上讲,它依靠人工智能、计算机视觉、激光雷达以及高精度地图的紧密协作,让机动车辆自己安全地操作行驶。[2]参照国际汽车工程师学会(SAE International)制定的自动驾驶汽车分级标准,本文所称的“自动驾驶”意指由L3及以上自动驾驶系统所主导和完成的驾驶活动。其中,L3对驾驶员有接管要求;L4不需要人为接管,但驾驶活动必须在运行设计范围内展开;L5则覆盖了所有驾驶模式,所有动态驾驶(接管)任务皆由智能系统完成。

自动驾驶比传统驾驶更安全吗?一方面,从交通安全层面来看,自动驾驶的数字安全叙事(the safety-in-numbers narrative)认为自动驾驶更为安全。该叙事始于一个简单的计算:我们知道人类驾驶的安全隐患,自动驾驶旨在消除这种隐患,因此,只要有数据表明这项技术能够奏效,驾驶的安全性能就会得到提高。欧洲议会的调查数据表明:95%的交通事故是由人为失误或不当驾驶行为造成的,具体原因包括鲁莽、分心、酒驾、疲劳、压力等。[3]通过将驾驶任务从人类转移到更可靠的数字控制系统,自动驾驶能够规避人类生理、心理等方面的限制,消除交通安全事故的人为因素,从而降低事故发生率,挽救无数人的生命。另一方面,在网络系统安全和隐私保护层面,自动驾驶面临的安全挑战更为严峻。传统汽车主要由孤立的硬件系统支撑,而自动驾驶汽车的正常运行则需要与其他设备交换数据,交换对象包括其他汽车、智能手机和终端控制系统等。驾驶员的行为偏好等相关数据也会被车辆内嵌的机器学习算法技术检索、存储和分析。在自动驾驶汽车运行过程中,一旦出现技术漏洞或安全防范措施缺位,就容易诱发网络安全风险和隐私泄露风险。有数据显示,目前智能网联汽车遭受的远程攻击数量远远超过物理攻击数量,占比达到80%以上[4]。自动驾驶汽车内嵌的智能系统越复杂,联结的设备和平台越多,面临的安全威胁就越大,因为这实际上扩大了网络攻击的暴露面,增加了安全威胁入口。综上,与传统驾驶相比,自动驾驶虽然在促进交通安全方面具有独特优势,但也存在网络安全风险和隐私泄露等新兴风险。

目前,关于自动驾驶的安全风险,学界已经取得了不少研究成果。其一,在安全风险表征上,除交通安全风险外,自动驾驶还容易引发隐私安全风险、信息安全风险、数据安全风险和网络安全风险,“上述风险之间并没有清晰的界限,而可能出现迁移和叠加,形成高度复杂的风险样态”[5]19。其二,在成因剖析上,自动驾驶安全风险的诱因可以归结为自动驾驶系统的技术缺陷[6],技术设计和部署中的道德困境[7],汽车研发主体的认知能力限度、治理监管制度真空和逐利型企业文化[8]2003-2013。其三,在风险治理上,应将“负责任创新”理念嵌入自动驾驶技术的所有环节[9],秉承以人为本的价值理念而确立“级别适配”的规制路径[10];要加强数据法治安全保障,探索“分层次的数据治理”[11],并“构建以自动驾驶算法为核心的安全监管框架”[12]31。

虽然有关自动驾驶安全风险的类型化分析逐渐增多,但既有研究多基于“物理-网络”和“技术-伦理”的维度划分来阐述安全风险,缺少具有层次感的分析视角,对安全风险样态的整体性把握有待加强。同时,既有研究对自动驾驶安全风险的成因剖析不够深入,往往局限于静态的成因分析,缺少动态的系统性分析,未能厘清风险生成过程中技术因素与社会因素之间的互动关系,在很大程度上限缩了安全风险治理的探索空间,不利于提升安全风险治理效能。有鉴于此,本文首先从个体、社会、国家三个层面对自动驾驶的安全风险样态进行类型化呈现,然后基于风险生成的一般逻辑,运用“社会-技术系统”分析框架探析自动驾驶安全风险的成因,最后从伦理、技术和制度等方面提出自动驾驶安全风险的治理路径。

二、自动驾驶的安全风险样态

安全风险实质上是人的身心健康受到侵害、社会和国家的有序发展受到威胁的可能性。近年来,自动驾驶技术在赋能交通出行安全的同时,也引致了弥散在个体、社会及国家领域的新兴安全风险,相关风险认知对于实现安全、可靠、可控的人工智能发展具有重要意义。

(一)个体层面的安全风险

1.交通出行安全风险

交通出行安全是人们日常生活的基本价值诉求。为了降低由人为因素导致的交通安全事故发生率,特斯拉、谷歌的Waymo、通用的Cruise等主要的汽车研发生产企业纷纷推出自动驾驶汽车产品和相关服务。但应认识到,不可能实现绝对的安全。囿于软硬件的固有缺陷以及与其他道路使用者的相互影响,自动驾驶汽车仍会给人们带来交通出行安全风险,无法实现零事故。一旦自动驾驶汽车的传感器、通信装置、制动器和算法控制系统出现技术漏洞或偏差,就容易导致处于自动驾驶模式中的汽车忽视道路中的行人、障碍物和其他车辆,给人们的交通出行埋下安全隐患。例如,2016年1月,一辆开启自动驾驶功能的特斯拉汽车在京港澳高速邯郸段与前车追尾,致车主死亡。2018年3月18日,美国坦佩市一辆“优步”(Uber)自动驾驶汽车与一名白人女性行人相撞,致其死亡,专家认为事故的主要原因是该车的雷达设备将受害者归类为静止物体以外的事物。[13]2022年11月24日,在美国旧金山海湾大桥的高速公路上,一辆特斯拉“Model S”变道后,车内搭载的全自动驾驶软件突然对车辆进行刹车,使车速骤然降至约20英里/小时,导致8辆汽车连环相撞。[14]在以上案例中,个体为自动驾驶的技术缺陷付出了财产和生命的代价,揭示了自动驾驶的交通出行安全隐忧。进言之,当面对不可避免的交通事故时,尤其是面对两难处境时,自动驾驶算法会面临“是选择最小化人员伤亡,还是不惜代价地保护车乘人员”[12]29的难题。自动驾驶技术应当遵循何种伦理原则?是义务论还是功利主义?这就是人们经常讨论的自动驾驶“电车困境”,内蕴着交通出行领域中自动驾驶技术特有的伦理安全风险。

2.公民隐私安全风险

作为一种文明象征,隐私指的是人们私密信息不被窃取和公开、自主决策不被外界干扰的自由状态。在自动驾驶汽车进入公众视野之前,私家车曾被视为个人空间的一部分。人工驾驶的车辆通常被比喻为“移动的角落”(mobile nooks),坐在车里的乘客和驾驶员可以合理地预期自己不被外界观察、研究、监视或打扰。从这个意义上说,人工驾驶的车辆能够保护个人隐私、增强个人自主。然而,一旦为汽车装上自动驾驶智能系统,则可能会对人们的隐私安全构成威胁,因为自动驾驶汽车的硬件设备和智能系统使汽车具备了看和听的能力,由此生成大量关于我们如何生活、去哪里、买什么等问题的个人数据。这种数据规模之大超乎人们想象。据芯片巨头英特尔公司介绍,一辆全自动驾驶汽车每天记录大约4TB的数据,留下的数据痕迹相当于3 000多个普通人用智能手机处理日常事务而产生的数据规模。[15]在智能系统设计存在漏洞或者监管不力的情况下,无数个体将面临隐私“裸奔”的尴尬境地,进而触发隐私安全风险。例如,2022年底,网上有人明码标价,公开兜售蔚来公司员工和车主的大量数据,包括车主身份证、地址、贷款数据等私密信息[16]。无独有偶,据路透社报道,在2019—2022年,特斯拉公司员工通过内部信息系统,私下分享汽车摄像头记录下来的视频和图像,包括高度私密的内容,如一位男子全身赤裸地接近一辆汽车的画面、人们的私人车库和个人物品图片、车祸和“路怒”事件的现场视频[17]。可见,在自动驾驶汽车面前,个人隐私变得无处遁形,公民隐私安全岌岌可危。

(二)社会层面的安全风险

1.技术性失业的风险

充分就业是社会安全稳定的基石。汽车产业作为当代世界大部分国家国民经济发展的支柱型产业,吸纳了大量的社会劳动力,为社会健康有序发展作出了贡献。自动驾驶汽车的推出和普及“不仅会给传统汽车行业的商业模式和盈利模式带来巨大的冲击,无疑也会使得相关从业人员失业”[18]。可以预见,传统汽车和专职司机的数量会大幅减少,汽车制造、汽车租赁、汽车金融、汽车零售、加油站等道路运输支撑行业的从业人员也将面临失业危机,由此引发社会层面的大规模失业潮。根据美国劳工部的统计数据,美国有88.4万人从事汽车及其零部件制造,302万人从事汽车经销和维修,600万人是专职司机,这些人的工作在未来十至十五年内将被淘汰很大一部分。[19]人工智能和计算机专家苏巴什·卡克(Subhash Kak)表示,在一些发达经济体中,大约三分之一的劳动者在交通运输行业工作,随着智能时代的到来,他们的工作很可能被自动驾驶汽车所取代。[20]虽然从理论上讲这些潜在的失业群体可以在自动驾驶技术创造的新兴行业中再就业,但近年来,随着工作自动化趋势从工厂操作工到白领分析型岗位的延伸,普通劳动者的重新就业变得困难重重。由此看来,面对如此大规模的技术性失业,如果缺少相应的职业培训和再就业扶持等公共服务,则失业群体难以获得基本的生活保障和稳定的心理预期,容易成为影响社会和谐稳定的不安定因素。

2.社会公共安全风险

作为人民安居乐业的前提条件,社会公共安全主要指社会有条不紊运行、不发生极端事件的应然状态。自动驾驶汽车的推广应用可以显著减少汽车逃逸、飞车追逐和盗车劫车等涉车犯罪,但自动驾驶汽车本身也可能成为威胁公共安全的“炸弹”,引致公共安全风险。与区块链、深度伪造和生成式人工智能等新兴技术不同,自动驾驶技术是人工智能在交通运输场景中的具体应用,其可能产生的社会公共安全风险具有一定的独特性,即并不局限于虚拟网络空间这个单一的作用场域,而是延伸到了物理空间,现实生活中的人、车、物都成为自动驾驶汽车潜在风险的影响对象。一是违法人员蓄意破坏外部交通基础设施,以迷惑或扭曲自动驾驶汽车智能算法。自动驾驶非常依赖完善的交通基础设施,如交通信号、道路标线、指示标志等。当这些基础设施被人为破坏或恶意篡改时,自动驾驶汽车的智能系统将会接收到无效的或者存在偏误的数据信息,并相应地生成不符合交通规则实际要求的行驶指令,误导汽车行驶,使得整个交通系统面临紊乱甚至崩溃的风险。迈克菲(McAfee)公司的技术人员做过一项实验,在“35英里/小时”路标上数字“3”的左边贴一条黑胶带,就能骗过特斯拉汽车,使其误以为限速是85英里/小时而突然加速。[21]二是黑客非法入侵自动驾驶汽车内嵌的智能算法系统,远程控制和操纵车辆,使其成为恐怖袭击的工具。通过操纵自动驾驶算法系统,不法分子可以实现各种犯罪目的,例如远程控制车辆行驶方向而使其坠毁,或者引导车辆驶至偏僻之地以恐吓或绑架司乘人员。一辆自动驾驶汽车或者一个装满炸药的自动驾驶车队,可能被极端主义分子利用,他们通过编程的方式控制车辆高速驶入人员密集的公共场所,让汽车肆意冲撞人群,或者直接引爆汽车,会严重威胁人民群众的生命财产安全,对社会公共秩序造成毁灭性影响。

(三)国家层面的安全风险

1.跨境数据安全风险

自动驾驶企业的跨境数据流动事关国家数据主权,是影响国家安全稳定的重要因素。由于自动驾驶技术的前沿性和复杂性,单一企业主体仅凭自身有限的研发实力和生产力,难以在激烈的自动驾驶产业竞争中脱颖而出。与跨国公司共同兴办合资企业来实现优势互补,目前已成为大部分自动驾驶汽车企业的现实选择,例如:2020年3月,韩国现代汽车集团与美国无人驾驶技术研发企业安波福(Aptiv)设立合资公司“Motional”,旨在推动全球性能最优、安全性最高的自动驾驶汽车的开发和商业化进程;2022年底,德国大众集团旗下的自动驾驶公司“CARIAD”宣布与中国自动驾驶芯片企业地平线公司设立合资企业,致力于在一个芯片中整合众多自动驾驶功能。跨国合资就不可避免地涉及数据跨境流动问题。众所周知,为了提高汽车安全性能,自动驾驶汽车需要基于海量数据进行学习和优化,不断训练和改进软件算法。当国内收集的数据信息被传送到国外的自动驾驶技术研发合作企业,便存在数据泄露和不当运用的风险。美国发生的“棱镜门”事件警示我们,境外自动驾驶企业可能迫于政治压力,为本国国家安全部门提供跨境数据库的访问权限,使后者能轻松监控其他国家公民的行踪、聊天对话和业务往来等私密活动,从中窥探其他国家的国防军事信息和战略规划数据,严重威胁他国的国家安全和社会稳定。此外,部分自动驾驶企业为了自身发展,会积极寻求在海外挂牌上市,而一旦上市成功,企业就必须遵守上市所在地的市场规则和行政规定,公开披露相关数据信息,稍有不慎就可能危害本国的国家安全。例如,在我国境内开放自动驾驶服务的“滴滴出行”赴美上市后,国家网信办等部门对其进行了网络安全审查,认为其存在非法传输国内重要数据的安全风险,甚至可能被迫交出关乎国家主权的部分数据,对我国的国家安全和公共利益构成威胁。

2.国家机密泄露风险

自动驾驶特有的360度无死角感知探测、高清视频图像采集、快速数据传输等便捷功能在个体和社会层面可赋能智慧出行、智能交通管理,但同时也容易引发国家机密泄露风险。一般而言,国家机密意指关系到国民经济命脉、重大民生、军事布局、国防科技等重要方面的国家核心数据。自动驾驶汽车通常会配备高分辨率摄像头,摄像头虽然是为了实现安全行驶,但也能通过收集、存储和传输周围环境视频的方式充当监视摄像头。一旦与远超人类的感知识别能力相结合,汽车就可能成为“机器人间谍”。自动驾驶汽车行驶中除了收集公民个人数据信息,还“会采集包括军事管理区、港口等敏感区域信息,构成对国家安全的威胁”[22]80。有鉴于此,在对特斯拉公司生产的电动汽车进行安全审查后,我国明确禁止特斯拉汽车出入政府机构、军工部门等涉密场所,并限制军事人员、国家公务员和主要国企员工使用特斯拉汽车。[23]例如,湖南岳阳三荷机场停车场禁止特斯拉汽车入内,引起社会广泛关注,据机场工作人员解释,“特斯拉有哨兵模式,存在泄密的风险”。此外,需要警惕的是,普通数据也有可能包含情报信息,仅需通过加工处理,使其以一种有意义的方式呈现出来,一些普通数据就会成为情报信息。因此,在缺乏严格的数据安全措施的情况下,一些别有用心的人就可能盗取自动驾驶汽车所持续收集的交通运输行业领域重要数据,继而从中提取有价值的国家机密信息,并将其传送到国外,导致国家机密泄露。

三、自动驾驶安全风险的成因

对自动驾驶安全风险的成因进行剖析,既要契合风险生成的一般逻辑,也应考虑自动驾驶技术应用的系统性和独特性。我们将自动驾驶技术研发和应用视为“社会-技术系统”,社会因素与技术因素在自动驾驶实践中集聚并产生互动耦合,由此引发安全风险事件。以社会放大机制为中介,安全风险事件被社会公众所感知,经过利益权衡后,超过社会公众容忍限度的安全风险得以显现。概言之,自动驾驶的安全风险遵循“因素集聚—互动耦合—社会放大—风险显现”的生成路径(如图1所示)。

图1 自动驾驶安全风险的成因

(一)自动驾驶的安全风险因素

自动驾驶治理必须将自动驾驶技术视为一种社会技术现象(sociotechnical phenomenon)。这一视角的核心前提是,作为一种实用的人工物(artifact),智能技术与外部的社会文化和制度环境紧密相关,其发展迭代由人类价值观、社会制度等因素之间的动态互动所支撑和塑造。智能技术在复杂的人类、社会和组织系统中得以开发和部署,因此,与该技术相关的风险完全是社会技术性的。自动驾驶作为人工智能技术的重要应用范例,其安全风险因素也可从社会技术方面分析。

其一,自动驾驶安全风险的技术因素包括设备硬件和算法软件两方面。从设备硬件方面看,以雷达、摄像头、激光雷达和超声波传感器等环境感知技术设备群为依托,自动驾驶汽车能感知和理解周围环境,这是实现汽车智能的基本前提。但应认识到,没有任何一种传感器能保证在任何情况下都提供完全可靠的信息。传感器以机械方式从车内和汽车周围环境中采集数据信息,这一过程容易受极端天气、恶劣道路条件等不可控因素影响,加之硬件设备本身存在脆弱性和不稳定性,最终可能导致设备故障或失灵。一旦无法收集数据或最终采集的信息有所偏颇,则自动驾驶汽车容易出现功能紊乱,作出危险驾驶决策,威胁道路交通安全。从算法软件方面看,自动驾驶智能算法系统能取代人类驾驶员完成定位、感应、规划路线、作出并执行驾驶决定等主要驾驶任务。然而,算法黑箱的存在使得车辆运行数据容易被吞噬,导致数据保全出现纰漏,因而阻滞算法的深度学习进程。车辆运行中的某些关键数据(如事故中的刹车踏板位移数据、发动机助力数据)无法获取,导致难以通过数据训练和模型迭代优化等过程提升算法安全性能。同时,自动驾驶的算法系统设计可能存在缺陷,数据安全措施缺位,容易导致公民个人信息数据泄露,用于行人、车辆、障碍物、交通信号标志等方面检测识别及其他图像处理任务的深度学习算法为黑客攻击提供了渠道。

其二,自动驾驶安全风险的社会因素主要包括经济利益、伦理价值、社会矛盾/问题、社会制度结构和行为主体等方面。首先,经济利益和伦理价值是安全风险成因的一对基本要素。自动驾驶汽车研发生产企业趋向于以自动驾驶技术为中介重塑人们的行为方式、生活习惯以及城市的空间布局,从而实现收益最大化和成本最小化。企业天然的逐利性容易侵蚀社会伦理价值,这具体表现为体验性产品投入挤占安全投入,社会秩序稳定让位于经济效益最大化。以安全稳定为核心的社会伦理价值能否成功嵌入自动驾驶汽车产品的研发设计,直接关系到能否有效筑牢自动驾驶的安全底线。其次,阶层分化、数字鸿沟等社会问题可能成为自动驾驶社会安全风险的催化剂。伴随着自动驾驶的推广应用而来的技术性失业风险容易加剧阶层分化,扩大数字鸿沟,给社会的安全稳定埋下隐患。面对自动驾驶技术所引发的社会变革,由法律法规、行政规制和伦理规约组成的社会制度结构能否有效应对,也是自动驾驶安全风险生成的关键变量。最后,部分自动化驾驶活动的相关行为主体(如司机、乘客等)的技术认知和不当行为以及公众的安全风险感知构成了安全风险的引爆点。行为主体对自动驾驶技术的盲目信任容易引发完全托管和延迟接管驾驶任务等现象,造成“驾驶危险临近却无法及时化解”的人机交互困境,难以确保行驶安全。黑客和不法分子的技术恶用、技术滥用是自动驾驶安全事件爆发的导火索。若是境外人员盗取了国家核心数据,则会进一步威胁国家安全。社会公众对自动驾驶安全事件的风险感知构成了风险生成的主观面向。安全风险事件造成的价值减损一旦超出公众的容忍限度,就会生成严重的风险后果,使得风险意识和不安情绪在全社会蔓延。

(二)自动驾驶安全风险因素的互动耦合

社会风险在人类实践活动的发展和变迁中生成。自动驾驶实践活动是安全风险的生成场域,所有潜在的安全风险因素在自动驾驶汽车的生产研发、推广应用和监管治理等具体实践中集聚并产生联系。由于自动驾驶的各项技术要素之间的强依赖性,单一要素无法与社会系统中的各要素发生实质性相互作用,因此,我们不再细分技术系统的构成要素,而是将自动驾驶的技术系统视为一个整体分析单位,重点探究自动驾驶的技术系统与社会系统各要素之间的互动耦合。

1.自动驾驶技术打破伦理价值平衡,安全价值难以嵌入自动驾驶技术

技术人工物(technical artifact)并非“价值中立”,而是具有很强的政治、伦理意蕴的。作为一种技术人工物,自动驾驶汽车之所以备受推崇,是因为它在一定程度上能够促进安全、效率、公平等社会价值,这些价值之间的动态平衡是实现自动驾驶技术可持续发展的关键。然而,自动驾驶技术也有可能暗中贬低或消解某些特定的价值观,以致打破价值平衡。例如,为了改善乘客体验,自动驾驶研发企业不惜降低或者限制技术系统的安全性能。在新的“乘客体验指标”发布之际,“优步”曾将自动驾驶系统设计成“在即将发生碰撞的情况下无法启动紧急制动,从而减少突然制动的频率”,目的在于减少乘客每次乘坐汽车的“糟糕体验”。[8]2009又如,有研究表明,自动驾驶技术存在种族偏见,使得自动驾驶汽车更可能撞向黑人[24],这会加剧社会分裂,破坏社会团结。应当将伦理价值嵌入自动驾驶软件,但问题在于,安全价值与算法规则之间存在龃龉,前者难以嵌入自动驾驶算法软件。自动驾驶汽车编程的算法架构始于“if-then-else”规则,这些规则定义了特定条件下应当采取的驾驶行为。但驾驶活动复杂多变,不适合采取算法“预测和提供”(predict-and-provide)的规则架构。当驾驶途中遭遇突发情况时,人类司机主要依靠经验和常识予以应对。不幸的是,没有人知道如何将常识推理和实践理性植入汽车智能算法当中。机器学习只能处理已经明确编码到自动驾驶系统软件中的边缘案例(edge cases),在高度复杂且不确定的现实世界,汽车智能算法无法用一套软件编码将所有可能发生的突发情况囊括在内。因此,安全价值无法以软件代码的形式嵌入自动驾驶系统。当遇到自动驾驶算法工程师未曾预料到的边缘情况时,自动驾驶汽车可能作出错误决策,威胁交通出行安全。

2.自动驾驶技术冲击挑战社会结构,规制制度无法回应自动驾驶技术

社会结构既是人类行动的结果,又作为桥梁和中介而反作用于人类行为。[25]随着自动驾驶的大规模商业化应用逐渐成为现实,原有的产业布局将不可避免地受到冲击,产业升级、就业市场转型接踵而至,为结构性失业浪潮埋下伏笔,“现在的经济不再需要大量的劳动力,它已经学会了在减少劳动力及成本的同时增加利润和产出”[26]。转型后的社会结构能否成功吸纳失业者,直接关系到整个社会的和谐稳定能否实现。一旦广大失业群体的生存和发展诉求在社会体制内得不到基本满足,且由此产生的愤怒情绪得不到妥善安置,那么,愤怒的情绪就容易催生极端行为,即失业群体出于对社会体制的不满,可能滋生报复社会的极端心态。他们可能以自动驾驶汽车为工具或对象,实施破坏交通系统、网络黑客攻击等违法犯罪行为,严重危害社会公共安全。与此同时,作为社会结构的重要组成部分,已有的规制制度体系无法回应自动驾驶技术带来的冲击和挑战。一方面,自动驾驶监管通常面临“制度真空”困境。例如,目前我国尚未构建以数据分级分类安全规范、数据共享和(跨境)流通规范为核心的自动驾驶数据基础制度体系,对自动驾驶汽车跨境数据安全和国家机密泄露风险的治理往往只能援引其他法律规定,如《网络安全法》和《数据安全法》关于跨境数据安全的规定,《军事设施保护法》和《测绘法》关于国家军事机密的规定[22]81。但这些法律并未对自动驾驶汽车数据中“重要数据”和国家秘密相关数据的范畴进行明确界定,这就给自动驾驶数据规制留下了模糊地带。这种制度漏洞为自动驾驶跨境数据安全事件和国家机密泄露行为提供了空间。另一方面,“前智能化时代”的行政规制体系与自动驾驶安全风险的防范需求之间存在张力。例如:“以部门为中心的分隔式组织形式不敷应用”[5]22,无法有效防范高度复杂的自动驾驶安全风险;面对日新月异、充满不确定性的自动驾驶技术,规制主体对技术标准的认知把握有限,“技术标准规制模式遭受挑战”[5]24。概言之,规制制度的缺位和僵化为自动驾驶安全风险的生成提供了温床。

3.自动驾驶技术规训监视行为主体,行为主体盲目服从或恶意利用自动驾驶技术

规训是一种权力,它通过一系列技术和手段作用于人体,使人体在变得更有用的同时(从功利的经济角度看),也变得更顺从(从服从的政治角度看)。[27]一种典型的规训机制是“全景敞视”。车内外人员的任何言谈举止和外部环境情况都无法逃脱自动驾驶汽车激光雷达、摄像头等感知设备的监视,人类司机和乘客的身体不再是自然意义上的身体,而是被权力操纵的身体,以技术研发工程师预先设定好的方式开展交通出行。监视和权力的结合会给国家机密和个人隐私带来极大的安全威胁。同时,自动驾驶汽车收集的多源“聚合数据”(aggregated data)被用来建构生物政治意义上的用户画像,借助智能技术对用户进行社会排序,能够生成关于用户的“统计真理”(statistical truth),据此将用户变成驯顺的数据实体,以用户数据的附加价值助力经济效益提升。[28]在人机共驾模式下,驯顺的用户容易沉浸于汽车智能系统为其量身打造的个性化驾乘体验,以至于过度信任自动驾驶系统的安全性能,盲目服从自动驾驶指令。很多人在第一次使用自动驾驶功能时还会全神贯注,但随着美好体验次数的不断增多,他们会变得越来越放松,直到发生不幸。诸多自动驾驶事故都是由人类司机接管不及时引致的,他们在车内从事非驾驶活动,如读文章、看电影、玩手机等,严重分散驾驶注意力,以致危险临近时浑然不知。此外,自动驾驶技术为行为主体采取危害社会公共安全的行为提供了可能。行为主体可以利用自动驾驶汽车的技术漏洞,对汽车进行黑客攻击。自动驾驶汽车的软件漏洞和硬件漏洞可能是广泛存在的,这意味着网络攻击会被放大,例如,黑客可能侵入并控制搭载着同一自动驾驶系统的所有智能汽车[12]28,并以智能汽车为工具,开展大规模违法犯罪活动。

(三)自动驾驶安全风险的社会放大、叠加与生成

风险的社会放大理论认为,除非被人类观察到并将其传播给其他人,否则风险事件的影响力将会不断降低,甚至变得无关紧要。风险、风险事件以及两者的特点通过各种各样的风险信号刻画出来,经过个人、社会团体、公共机构、新闻媒体等“放大站”的再解读,风险信号中部分信息分量显著增大,并逐渐在社会公众中广泛传播。[29]

自动驾驶安全风险的社会放大机制包括以下几个方面:其一,媒体报道。如2018年3月,媒体对特斯拉和优步的两起自动驾驶车祸进行了广泛报道,此后不久,人们关于自动驾驶技术的负面推文增加了32个百分点(从14%增加到46%)[30],公众对自动驾驶汽车安全隐患的担忧可见一斑。其二,抗议维权。就“机器替换人”这一社会问题,美国出租车司机、公交车司机等群体曾充满敌意地辱骂自动驾驶出租车经理,摧毁自动驾驶车辆,并有组织地在加州山景城的Waymo总部外面请愿和抗议。[31]该事件不仅增强了公众对自动驾驶可能引发的技术性失业风险的感知,还会影响当地的市场经营秩序和社会稳定,加大社会治安成本,导致社会公共安全风险与失业风险产生叠加效应。其三,风险治理。企业对自动驾驶安全风险的治理活动在一定程度上会凸显不同的风险信号源,例如:针对上海车展曝出的刹车失灵维权事件,特斯拉公司采取的治理举措是公布维权车主事故发生前30分钟的行车数据,该措施后来遭到维权车主丈夫的强烈反对,反对的理由是公布数据的行为侵犯了隐私权。[32]在媒体的跟踪报道下,公众的注意力从交通出行安全风险转移到数据安全问题上,自动驾驶可能存在的隐私安全风险和数据滥用风险得以放大,并与交通出行安全风险交织叠加。

在社会放大机制的作用下,自动驾驶安全风险事件的信息分量显著增强,社会公众的风险感知由此被唤醒。他们继而对风险事件造成的安全价值减损进行评估权衡,当安全价值减损超过容忍限度时,就会通过制度性或非正常渠道,将小概率或局部性的安全风险事件外显为普遍意义上的安全风险,个体、社会和国家层面的自动驾驶安全风险由此得以生成。反之,当安全价值减损仍在公众容忍范围之内时,自动驾驶的安全风险则会处于隐匿状态,不会对人们工作生活和国家政策变迁造成实质影响。

四、自动驾驶安全风险的治理路径

以自动驾驶安全风险的社会-技术风险源为逻辑起点,可从伦理治理、技术治理、制度治理和公民治理层面抑制安全风险的产生和蔓延。

(一)伦理治理:树立审慎平衡治理理念,强化技术专家的责任感

面对自动驾驶安全风险与挑战,企业和政府监管主体需要树立审慎平衡的治理理念。一方面,自动驾驶汽车生产企业应做好安全风险预警工作,审慎分析自动驾驶中可能出现的问题,合理界定安全风险边界,即根据自动驾驶汽车安全方面的隐患和利益相关者反对的原因来界定风险等级和维度,在此基础上前瞻性地做好风险预案,针对不同维度的安全风险采取相应的风险治理策略,例如对技术维度的不确定性交通安全风险采取预防策略,征求利益相关者的意见,有针对性地采取技术改进措施,以防止意外的发生。另一方面,妥善平衡自动驾驶安全与技术发展需求之间的矛盾和张力。鉴于自动驾驶对高精度地图的高度依赖,政府应在确保国家安全的前提下,有条件地开放地图测绘资质,对不涉密、不危及国家安全的地图及测绘进行分类审批。同时,为了提高自动驾驶技术的安全性能,智能算法系统需要从经验中学习,这就不可避免地涉及海量测试数据、真实行驶数据和事故信息数据的流动和共享问题,监管机构应在数据共享需求与确保司机和乘客隐私安全的基本要求之间作好权衡。

强化专家系统的道德责任感,是风险社会自我拯救的内在要求。[33]自动驾驶汽车的软件系统和硬件设备均由技术专家研发设计,因而汽车的总体安全性能与技术研发主体的道德责任感紧密相关。不难想象,假若技术研发主体秉承仅对资本和利润负责的研发理念,则其研发设计的自动驾驶汽车的安全性能必然相对较低。为避免技术研发主体单纯将效率和乘客体验等商业价值作为自动驾驶汽车的设计理念,应强化技术研发者的公共责任意识,使他们不仅深刻认识到人的生命安全、隐私安全价值的重要性,还能对自动驾驶实践应用与公共安全、国家安全之间的内在联系形成总体把握。在责任践行实践中,自动驾驶汽车企业可通过组建“负责任创新”中心团队、成立隐私顾问委员会、开展科技伦理培训和创建“伦理黑客”(“白帽黑客”)社区等多元化举措,将安全价值融入自动驾驶汽车设计、评估、开发、部署的全生命周期,定期开展产品运行安全监测和隐患排查,实现责任伦理与技术创新的深度融合。

(二)技术治理:构筑多重安全防护措施,持续提升算法安全性能

与传统汽车的人车二元系统不同,自动驾驶汽车是一个高度复杂的人-车-路-环境强耦合系统,其安全运行面临恶意攻击、零部件失灵、软件漏洞、道路破损、极端天气等诸多不确定性因素的挑战。自动驾驶技术能否成功抵御这些潜在风险因素的干扰和侵袭,是安全风险防范的关键所在。因此,我国应当抓住汽车行业智能化转型的战略机遇期,加大对自动驾驶基础技术的研发投入,着力构筑多重安全防护措施,持续提升汽车智能算法的安全性能。

其一,完善自动驾驶安全冗余系统设计。为了避免自动驾驶汽车由于单点故障而陷入整体性崩溃,有必要对车辆的传感器、计算单元和控制系统等关键子系统采用冗余设计,实现冗余系统对子系统的实时安全监控,确保冗余系统在某一子系统发生故障的情况下能立即承担起相应的驾驶任务,从而最大限度地降低因自动驾驶车辆功能失效而导致的交通安全风险。不仅如此,自动驾驶硬件传感系统的冗余设计还能防范黑客攻击,例如:备用激光雷达输出的非重叠波长增加了黑客攻击的难度,因为黑客难以同时对多个信号展开攻击;配置多个备用摄像头则使探测感知系统更难被攻破,因为攻击者无法将光源同时对准所有摄像头。[34]目前,我国自主研发生产的带有自动驾驶功能的大部分汽车品牌(车型),如长城WEY摩卡、蔚来ET系列、理想汽车L8/L7 Max等,均配备了覆盖感知、控制、制动和转向等基本功能的冗余系统。这些冗余设计为智能汽车安全行驶提供了最后一道防线,但其整体性和全面性仍有待提高。未来,智能汽车企业和科研院所应当加大自动驾驶安全冗余系统的研发力度,力求完善自动驾驶汽车的冗余设计,并使之体系化。

其二,通过数据共享提升算法安全性能。自动驾驶机器学习算法以数据为支撑,无人驾驶系统收集的数据越多,其驾驶技术就越高明。鉴于各级政府部门掌握着交通、气候等方面的海量原始数据,因而“需要在行业与政府之间实现B2B、B2G、G2B等形式的数据共享,尤其是与安全事故、网络安全、自动驾驶系统脱离等安全事件相关的数据”[12]32。应将收集和共享的数据用于训练深度学习算法,使算法从实践经验和安全事故中学习,从而提高物体识别准确率,增强检测和预防网络攻击的能力,进一步改进总体安全性能。同时,应当对涉及公民个人信息的数据进行匿名化处理,并以数据加密、身份认证等技术手段合理限制数据访问,“加强对云端数据安全的管控,综合应用区块链、数据安全标记、强制访问控制、资源隔离等技术构建具有较强数据安全防护能力的云平台”[35],从而有效防范公民隐私安全风险和跨境数据安全风险。

(三)制度治理:健全自动驾驶监管制度,完善社会就业保障体系

自动驾驶的安全风险治理需要建立健全与之相适应的监管制度体系,从而纾解制度真空所带来的监管困境。《深圳经济特区智能网联汽车管理条例》已于2022年6月23日通过,同年8月1日起施行。这是国内首个对L3及以上自动驾驶的权责、定义等重要议题作出详细规定的官方管理法规。该条例从道路测试、准入登记、使用管理、交通违法及事故处理等方面对自动驾驶的安全监管进行了全链条立法,为国家层面监管制度的构建提供了重要参考。目前,我国已出台一系列相关新规,如《信息安全技术 汽车数据处理安全要求》与《智能网联汽车生产企业及产品准入管理指南(试行)(征求意见稿)》等,主要聚焦于自动驾驶汽车数据安全、产品准入和道路测试等方面的监管要求。2023年5月5日,工业和信息化部发布了《汽车整车信息安全技术要求(征求意见稿)》与《智能网联汽车 自动驾驶数据记录系统(征求意见稿)》,对车辆通信、软件升级、数据出境等方面的安全要求作了初步规定,公开征求社会各界意见。已有的政策法规、标准规范为推进自动驾驶的商业化应用和安全风险防控提供了制度依据,但其中大部分制度尚处于试行或意见征求阶段,监管细则有待完善,规制效力有限,自动驾驶汽车正式商用的整体性制度和监管框架尚未建立。接下来,应当结合社会各界意见和政策试行情况,进一步细化相关要求和标准,并将其上升为正式制度,从事前审批、事中使用、事后调查等监管阶段入手,构建涵盖自动驾驶汽车全生命周期的监管框架,从而健全自动驾驶监管制度体系。

针对自动驾驶推广应用可能引致的技术性失业风险,政府主体应采取切实有效的措施,完善社会就业保障体系。一方面,应当健全社会救助体系,加强失业人口的兜底保障,通过发放失业补贴和最低生活补助等方式,确保因自动驾驶汽车替代而失业的专职司机群体能够满足基本生活需要。另一方面,根据自动驾驶技术的市场渗透步伐,提前设计就业培训制度和方案。在自动驾驶汽车市场份额较高的省份和城市,政府应当有针对性地开展规模化的劳动技能提升和转岗培训活动,使专职司机等失业群体具备再就业能力,如从事与汽车行业相关的车辆清洗、维修等服务行业工作的能力;在自动驾驶行业起步较晚的城市,政府应加强劳动力市场公共服务,及时对接劳动力市场需求方,为潜在失业群体提供职业咨询、工作介绍等就业帮助,促进劳动力资源的有效利用,以此积极应对自动驾驶可能引发的技术性失业风险。

(四)公民治理:提高公众风险感知能力,推动技术决策民主参与

风险具有社会建构性,公众对风险的主观感知是风险生成的重要因素。“在技术成熟并得以大规模部署之前,社会对自动驾驶技术的风险容忍阈值的不确定性将一直存在。”[36]有鉴于此,应当提升社会公众的风险感知能力,及时阻抑自动驾驶安全风险的社会放大,尽可能将公众对安全价值减损的感知水平控制在安全风险阈值内。一要积极开展多种形式的人工智能科普教育活动,加深公众对自动驾驶技术的理解,使他们理性地认识自动驾驶的社会价值和局限性,引导广大消费者、用户规范地使用自动驾驶功能,避免盲信盲从自动驾驶的功能指令。二要加强对媒体机构的监督,使其以客观中立的立场对自动驾驶安全风险事件进行报道,杜绝刻意夸大安全风险后果的行为,避免激发公众的技术恐慌情绪。三要强化政策宣传教育,充分利用政府网站、电视媒体等官方平台,及时向公众发布、讲解与自动驾驶相关的政策法规,帮助公众充分了解自动驾驶的潜在安全风险及其监管举措,增强公众对安全风险官方治理的信心。

提升公众风险感知能力虽然有助于抑制技术恐慌和焦虑情绪的社会蔓延,但无法从源头上遏制自动驾驶安全风险的生成。因此,应在技术设计阶段推动技术决策的民主参与,对技术塑造的相关社会价值观进行公共辩论,让所有相关的社会群体都参与自动驾驶汽车技术开发的关键对话和决策。一方面,要拓宽公众参与渠道,运用线下讨论与线上参与相结合的方式,让利益相关群体参与自动驾驶技术的研发设计,推动技术承载安全价值。在线论坛、网络沙龙等线上参与方式能够有效突破公众参与的时空限制,是专题座谈会、现场意见征求等传统线下公众参与方式的重要补充,具有很大的推广价值。另一方面,应提倡开放自由的协商对话形式,为公众与技术专家的持续对话创造条件,将公众参与落到实处。在对话过程中,鼓励参与者挑战自动驾驶技术的主流观点(如“自动驾驶意味着更安全的道路交通安全”),督促技术专家及时回应公众的疑问和担忧,并将公众的安全价值诉求和建设性意见整合到技术设计中。

五、结束语

我国《数字交通“十四五”发展规划》提出,到2025年基本建成“一脑、五网、两体系”的数字交通发展格局,其中“一脑”即数据大脑,旨在通过综合运用大数据、云计算、人工智能、区块链等新技术,实现交通运输数据资源的整合共享、综合开发和智能应用。作为数据、算力和算法等核心技术要素与传统汽车深度融合的产物,自动驾驶无疑是打造综合交通运输数据大脑的助推器,并将彻底改变数十亿人的生活、工作和出行方式,重塑人们的日常生活结构。因此,自动驾驶安全风险的认知和防范对于我国成功构建数字交通系统具有重要的现实意义。

通过降低人为因素对交通运行的消极影响,自动驾驶能够提高交通运输的安全性。然而,与传统汽车相比,自动驾驶汽车作为“车轮上的机器人”和“车轮上的数据中心”,面临着软件系统和信息数据等方面的新兴安全威胁,一旦防范应对措施缺位,就可能引发侵犯公民隐私、技术性失业、危害公共安全、跨境数据安全风险和国家机密泄露等一系列安全风险,对个人权益、社会秩序乃至国家利益构成多重的复合型危害。自动驾驶安全风险遵循风险生成的一般逻辑,是技术系统与社会系统各要素互动耦合的结果。对安全风险成因的系统剖析为风险治理提供了有益思路,治理主体应当瞄准自动驾驶安全风险的社会-技术风险源,从伦理、技术、制度、公民等层面协同推进,采取针对性的治理举措,抑制安全风险的产生和蔓延。

任何技术的发展和应用都不是绝对安全的,自动驾驶技术的商业化落地也与安全风险相伴而生,我们不能因噎废食。目前,自动驾驶在我国已经进入商用阶段,政府应采取积极主动的治理举措,最大限度地降低自动驾驶的安全风险,为自动驾驶技术造福社会保驾护航。未来需持续关注自动驾驶技术的发展动态,结合具体实践案例,细化自动驾驶新兴安全风险样态的类型化分析,不断探寻行之有效的治理方案。