警告刺激对驾驶员接管性能的影响机理研究

王丹，林业

(天津科技大学，机械工程学院，天津 300457)

0 引言

随着自动驾驶技术的快速发展，有条件自动驾驶系统正在逐渐成为现实。在人机共驾系统中，驾驶员需要时刻保持对驾驶环境的认知，并准备在需要时接管车辆控制权。为确保驾驶员能够有效地接管控制，需要考虑多个关键因素，包括：多模态警告设计，监控请求的数量和时机，不同警告方式的优劣比较，以及驾驶员对接管请求的遵从程度等[1]。视觉警告信号可以通过显示警告灯或者图形向驾驶者传达相关信息，听觉警告信号可以通过语音提示或者声音提示提醒驾驶者注意，触觉警告信号可以通过座椅震动或安全带震动提醒驾驶员注意。多模态警告综合声音、视觉和触觉等多个感官通道，以更全面和直观地传达意外事件信息，帮助驾驶者更全面地理解周围环境和自动驾驶系统的行为，做出更为准确的决策和反应。

由于监控请求的频率和数量对驾驶者的警觉性产生影响，过多或过于频繁的监控请求可能导致驾驶者疲劳或厌倦，降低其对道路情况的关注和反应能力。因此，控制监控请求的数量和时机对于维持驾驶者的高度警觉性是至关重要的。MA S.等[2]探讨一种两阶段警告系统对于情境认知、驾驶压力、接管表现和用户接受度的影响。YUN H.等[3]讨论多模态警告设计对于接管请求在条件自动驾驶中的重要性，通过多种感官通道传达警告信息，可以提高驾驶者对于接管请求的察觉能力，增强情境认知能力，并提升用户对于自动驾驶技术的接受度。GEITNER C.等[4]旨在比较声音、触觉和多模态警告在传达意外事件信息方面的效果，通过对比研究几种警告方式，探讨各种警告方式在情境认知、注意力分配和用户体验方面的优势和劣势。FORSTER Y.等[5]研究不同声音输出方式对于驾驶员接管请求遵从程度的影响，通过对比研究，探讨声音输出方式在驾驶员接管行为和遵从性方面的差异。另外，研究人员提出使用多模态显示方法设计此类警报，即将视觉(V)、听觉(A)和/或触觉(T)信号相结合[6]。CHEN J.等[7]调查空间定向听觉碰撞预警信号的设计，以促进驾驶员对潜在碰撞的反应。HUANG G.等[8]研究非年龄因素和从事体育锻炼是否对年轻和老年人在复杂环境中对多模态(视觉、听觉和触觉的组合)信号的反应产生不同影响。同时，分析接管信号的方向(同侧和对侧)、提前时间(4 s 和7 s)和模态(视觉、听觉和触觉信号的多种组合)，探讨对自动驾驶接管性能的影响[9]。Muto K.[10]研究在3级自动驾驶车辆中，驾驶员姿势对从自动到手动驾驶接管请求后驾驶控制的影响。JING C.H.等[11]确定高速列车自动驾驶最有效的多模态警告界面，并提出优化和改进建议。

另一个重要的研究领域涉及多模态警告信号和信息显示的呈现。同时，有研究围绕是否有身体的某些区域(或身体周围空间的某些区域)的触觉信号或多模态警告信号特别有效。KITAGAWA N.等[12]最新的研究表明，在靠近后脑勺的区域，听觉交互作用与其他区域在本质上是不同的。XU L.L.等[13]通过测量眼动行为了解驾驶者在接收监控请求时的注意力和视觉注意分配，当驾驶者面临多个监控请求时，他们的眼动行为可能受到干扰，导致对接管过程的准备不足或延迟。以往的研究调查了两阶段接管系统的可行性，该系统将接管请求系统分为监控请求和接管请求。但是，如果在没有接管请求的情况下多次发出监控请求，是否会影响驾驶员的态势意识和接管性能尚未得到充分考虑。另有研究者认为，与听觉，听觉&触觉警告相比，对触觉警告的反应时间明显较慢。尽管车内听觉警告和双模态警告之间的反应时间相似，但双模态警告减少了错过警告的数量，错误反应减少[14]。

当前，大多数研究围绕驾驶员用户接受度等主观维度开展，但单一模态警告与双模态警告如何影响驾驶员的接管绩效，结合眼动数据和车辆动力学数据等客观行为研究较少。本文探讨不同模态警告刺激对接管性能的影响，重点关注在不同非驾驶任务和触发场景下，单一模态和双模态警告刺激对驾驶员的影响。对比6 种不同类型的警告模式组合，包括：视觉(V)、听觉(A)、触觉(T)、视觉&听觉(VA)、视觉&触觉(VT)、听觉&触觉(AT)。同时，探讨驾驶员的接管时间、车辆动态参数以及驾驶员的眼动数据与警告类型之间的关系。本文对于设计智能人机交互刺激形式，实现安全平稳的控制过渡具有重要意义。

1 研究方法

1.1 参与者

邀请49名被试者(12名女性，37名男性)完成本次实验研究。被试者要求持有一张有效的驾照，视力正常或矫正到正常。平均年龄为37.59 岁(SD=7.78)，年龄范围为23～52岁。驾驶员的平均驾驶经验为7.49 年(SD=5.05)，同时，获得所有被试者的书面知情同意。

1.2 实验仪器与警报刺激

本文使用Prescan、Carsim 和Simulink 软件构建高速公路接管场景工况，并开发人机交互界面，如图1 所示。由于前期实验中已经研究了视听触这3 种警告刺激的组合，并得出最佳效果，为进一步研究不同刺激组合在人机交互中的警告和预警效果，对其他6 种方式进行了分析。设计V、A、T、VA、VT及AT这6种不同方式的警告刺激。采用底层逻辑脚本实现接管功能设计，并获取车辆的动力学变量。此外，应用D-LAB 眼动仪设备收集驾驶员的眼动数据。

图1 接管试验平台与人机交互界面Fig.1 Taking over experimental platform and human-machine interaction interface

在本实验中，自动驾驶系统控制着车辆在高速公路上的横向和纵向运动，驾驶员通过按下方向盘上的按钮激活自动驾驶系统。当自动驾驶系统运行遇到触发场景，即系统超出操作运行域时，系统会发出单一模态警告刺激或双模态警告刺激请求驾驶员接管车辆控制权。其中，视觉刺激方式为红色的“请立即接管”图样显示在中控屏中，听觉刺激方式为语言播放“请立即接管”，持续1 s，触觉刺激方式为座椅震动，震动持续1 s。双模态警告刺激即上述3 种的不同组合方式。针对人机切换的操作方式，设计两种类型。第1 种方式是，启动自动驾驶模式，驾驶员需按下方向盘上的按钮。第2种方式是，移交控制权给驾驶员，即车辆检测到方向盘转动角度大于等于8°或制动踏板开度大于10%。两种操作方式由驾驶员自行掌握，并在实验准备阶段提前告知驾驶员。

1.3 自变量与因变量

自变量包括单一模态和双模态警告方式，以及不同的非驾驶相关任务，因变量包括接管时间、驾驶员眼动数据和车辆接管过程中的车辆动力学数据。本文的目的是综合评估和探讨不同警告刺激方式及非驾驶相关任务对驾驶行为的影响，重点研究在警告刺激发出后，驾驶员在接管车辆10 s后的驾驶行为及眼动行为，具体参数定义如表1所示。

表1 因变量参数定义Table 1 Definition of dependent variable parameter

2 实验方案

本文采用4(非驾驶相关任务)×6(警告类型)的被试者组内实验设计。第1 个因素是非驾驶相关任务类型，第2个因素是警告类型。在每个接管场景中，只有一种类型的警告刺激(单模态或双模态)呈现给驾驶员，在每个触发场景中，警告出现3次，按照拉丁方实验设计对非驾驶相关任务与触发场景进行实验设计。当接管时间为8 s 时，大多数驾驶员可以有充足的反应时间接管车辆，因此，本文自动驾驶接管请求提前期设置为8 s。警告在距离操作运行域失效前8 s 发出，针对不同的非驾驶相关任务，驾驶员在接收到不同的警告刺激时及时接管车辆控制权。

本次实验场景模拟高速公路环境，减少道路周围建筑物以及环境车辆的密度，不设置上下匝道等复杂交通情景。自动驾驶车辆车速设置为60 km∙h-1，限速80 km∙h-1。整个实验路径为单向4 车道，包括4 种触发场景：前方有障碍车、车道线缺失、前方施工及车辆加塞。每个触发场景之间间隔，包括手动驾驶200 m 与自动驾驶400 m。选择4 种非驾驶相关任务：监控、1-back 视觉、1-back听觉及1-back 视听。非驾驶相关任务具体设计如下。

(1)1-back视听(听觉—视觉通道)

被试者同时接收到视觉刺激(不断变化的绿色方块)和听觉刺激(语音数字播报)，每个刺激呈现500 ms，两个刺激之间间隔1000 ms，被试者需要判断前一个刺激和现在呈现的刺激是否是同一个播报的数字，且是否为同一个位置，如果是，则点击数据或位置进行标记。

(2)1-back视觉(视觉通道)

被试者需比较当前刺激和与它相邻的前一个刺激，本任务类型选取图形图片轮播形式，仅有视觉刺激，若与相邻的前一个刺激对比相同，要求被试点击相应的位置。其中，训练时长2 min，刺激间隔时间2000 ms。

(3)1-back听觉(听觉通道)

被试者需比较当前刺激和与它相邻的前一个刺激，本任务类型选取字母声音轮播形式，仅有听觉刺激，若与相邻的前一个刺激对比相同，要求被试点击相应的位置。其中，训练时长2 min，刺激间隔时间2000 ms。

(4)无任务测试(基线)

被试者被要求观察自动驾驶过程中的驾驶情况，并在警报刺激发出时转动方向盘或者踩制动踏板，避免碰撞，触发从自动驾驶到手动驾驶的转换。在此实验期间，无其他非驾驶相关任务。

2.1 实验整体流程

在本试验中，自动驾驶系统控制车辆在高速公路上的横向和纵向运动，驾驶员通过按下方向盘上的按钮激活自动驾驶系统。当自动驾驶系统运行遇到触发场景，即系统超出操作运行域时，系统根据设计发出V、A及T不同模式的警告刺激，驾驶员需要在有限的时间内接管车辆，确保车辆及自身的安全。本文设计两种人机切换的操作方式：第1种，为启动自动驾驶模式，一旦驾驶员按下方向盘上的按钮，自动驾驶系统将被启动；第2种，为激活手动驾驶模式，当自动驾驶车辆检测到方向盘转动角度大于等于8°，或制动踏板开度大于10%时，车辆控制权将转交给驾驶员，即驾驶员将接管车辆的控制权。这两种操作方式由驾驶员自行掌握，若驾驶员未采取有效的接管操作，车辆将保持原速度继续行驶。

自动驾驶系统有4 种不同的状态，即不可用、可用、激活和接管请求，这些状态会通过中控屏显示。本文需观察警报刺激方式对接管绩效的影响，由于视听触这3 模态的警告刺激方式最优，因此，本文仅针对V、A、T、VA、VT及AT这6种组合的警告刺激方式开展研究，并分析警报发出后10 s的数据，包括驾驶员的眼动数据与车辆动力学数据。

2.2 分析

本文采用4×6 的组内因子设计，其中，包括4个非驾驶相关任务和6 种警告类型。使用统计分析工具SPSSAU进行双因素方差分析，计算统计学差异。因变量是接管时间，同时，收集眼动数据和车辆数据作为其他客观因变量，并对数据进行预处理，包括处理异常数据和整理不同警告刺激类型的数据[15]。

3 结果

3.1 不同警告类型对接管方式的影响分析

驾驶员在接管车辆时，有3 种操纵方式(单制动、单转向或同时进行制动和转向操作)，本文对其进行统计分析，不同警告类型下各接管方式的比例如图2 所示。结果显示，采用制动操作的比例为77.48%，转向操作的比例为19.39%，同步操作的比例为3.13%。驾驶员在面对不同类型的警告刺激时，首选的接管方式是转向接管，其次是刹车接管，同时接管车辆的比例最低。表明当需要驾驶员接管车辆时，他们更倾向于通过转动方向盘控制车辆安全。这可能是因为在车辆周围没有其他交通流时，驾驶员更倾向转动方向盘保证安全驾驶。另外，不论是双模态还是单一模态的警告刺激，驾驶员在选择接管方式时的偏好并没有显著变化。这意味着双模态和单一模态的警告刺激对驾驶员的接管方式选择没有显著影响。

图2 不同警告类型下的接管方式统计Fig.2 Statistics of takeover methods for different warning types

3.2 不同警告类型对接管时间的影响分析

3.2.1 接管时间

由于驾驶员采取的接管方式不同，接管时间可分为制动反应时间与转向反应时间。其中，制动反应时间指驾驶员在接收到接管请求刺激时踩制动踏板的时间，转向反应时间指自发出接管请求刺激到驾驶员开始转动方向盘的时间。本文接管时间为上述两者中的最小值。在不同警报刺激下，不同的非驾驶相关任务的接管时间分布如表2 所示。针对占用视觉通道的非驾驶相关任务，当警告刺激为视觉时(M=3.37 s,SD=1.09)，驾驶员的接管时间大于其他模态警告刺激，这是由于驾驶员在从事视觉非驾驶相关任务时，不能及时接收到视觉警报刺激的提醒，因此，不能及时恢复驾驶情景意识，接管时间更长，接管绩效更低。同时，针对非驾驶相关任务占用听觉通道(M=3.08 s,SD=0.82)，占用听觉与视觉通道(M=3.31 s,SD=0.97)(M=3.32 s,SD=1.01)，同样，导致较其他警告刺激中更长的接管时间。而在监控任务下，采用视觉警告刺激(M=3.60 s,SD=1.01)作为提醒方式时，接管时间高于其他模态警告刺激类型，这是由于监控任务占用驾驶员的视觉通道，导致其不能及时捕捉到仅视觉警告刺激，因此，接管时间更长，接管绩效更低。

表2 不同警告类型下接管时间的均值与标准差Table 2 Mean and standard errors of takeover time under different warning types

针对不同警告刺激类型，在监控任务中，包括触觉刺激的警告，即T(M=2.62 s,SD=0.39)、VT(M=2.63 s,SD=0.42)及AT(M=2.27 s,SD=0.53)，与没有触觉刺激的警告相比，接管时间更短，即V(M=3.60 s,SD=1.01)、A(M=2.95 s,SD=0.78)和VA(M=2.76 s,SD=0.68)。同时，所有警告刺激中，AT的接管时间最短，这与HUANG G.等[8]的研究相同。

在1-back听觉任务中，包括触觉刺激的警告，即T(M=2.75 s,SD=0.73)、VT(M=2.62 s,SD=0.41)及AT(M=2.53 s,SD=0.34)，与没有触觉刺激的警告相比，接管时间更短，即V(M=2.98 s,SD=0.5)、A(M=3.08 s,SD=0.82)和VA(M=3.00 s,SD=0.68)。同时，所有警告刺激中，AT的接管时间最短。在1-back 视觉任务中，包括触觉刺激的警告，即T(M=2.73 s,SD=0.49)、VT(M=2.59 s,SD=0.40)及AT(M=2.61 s,SD=0.35)，与没有触觉刺激的警告相比，接管时间更短，即V(M=3.37 s,SD=1.09)、A(M=3.12 s,SD=0.62)和VA(M=2.78 s,SD=0.53)。同时，所有警告刺激中，VT的接管时间最短。而在1-back 视听任务中，双模态警告刺激的接管时间均低于单模态警告刺激，即VA(M=2.69 s,SD=0.73)、VT(M=2.65 s,SD=0.41)、AT(M=2.65 s,SD=0.57)，V(M=3.31 s,SD=1.01)、A(M=3.31 s,SD=0.97)和T(M=3.23 s,SD=0.98)。

根据双因素方差分析可得，警告类型对接管时间呈现出显著性差异(F=27.347,p=0.000<0.05)。通过简单效应分析，A警告刺激与AT、T、VA及VT间均呈现显著性差异(p<0.05)，AT与T、V、VA间均呈现显著性差异(p<0.05)，T与V、VT均呈现显著性差异(p<0.05)，V与VA、VT均呈现显著性差异(p<0.05)。而非驾驶相关任务对接管时间没有呈现出显著性(F=0.619,p=0.603>0.05)。由于接管边界时距，即驾驶员接管时刻到系统边界的时间同样影响驾驶员的安全，因此，本文除分析接管时间外，同时分析驾驶员的接管边界时距。不同类型警告刺激下，接管时间与接管边界时距的关系如图3 所示，相较于单一模态警告刺激，双模态警告刺激的接管时间更短，接管边界时距更大，表明驾驶员在从事非驾驶相关任务时，可以快速恢复驾驶情景意识，安全接管车辆的控制权。

图3 不同警告刺激下的接管时间与接管边界时距Fig.3 Takeover time and time to takeover boundary under different warning stimuli

3.2.2 首次注视时间

为研究不同警告刺激对眼动数据的影响，将驾驶员的首次注视时间设定为驾驶员首次注视道路兴趣区域的时间和首次注视人机交互界面兴趣区域时间中的最小值，并分析两者的最小值。驾驶员在从事非驾驶相关任务时，接收到警告提醒后，首次注视道路兴趣区的时间与首次注视中控屏兴趣区的时间数据为原始数据。由于监控任务中，驾驶员注视点持续在道路兴趣区域中，因此，监控任务下的首次注视时间远高于其他非驾驶相关任务中的时间，如图4所示，图4(a)呈现的是驾驶员在不同警告刺激下首次注视道路兴趣区域的时间，图4(b)呈现的是首次注视中控屏的时间。由双因素方差分析结果表明，警告类型对首次注视时间呈现出显著性差异(F=2.301,p=0.043<0.05)，非驾驶相关任务对首次注视时间没有呈现出显著性(F=2.252,p=0.081>0.05)。事后检验证明，A与AT呈现显著性差异(p=0.040<0.05)，其他警告刺激之间没有呈现显著性差异。

图4 不同警告类型下，驾驶员首次注视时间Fig.4 Driver's first glance time under different warning types

由于接管请求提前期为8 s，因此，本文将大于8 s 的数据作为异常数据，并进行异常值处理。处理后的首次注视时间具体数据如表3所示，可以看出，针对V，VA，VT；A，AT，AV；T，TA，TV这3 组警报刺激，可得双模态的首次注视时间均低于单一模态的首次注视时间。尽管非驾驶相关任务对首次注视时间没有显著影响，但针对占用视觉通道的首次注视时间，利用视觉作为警告刺激的提醒方式的首次注视时间大于其他模态警告刺激，这是由于驾驶员在从事视觉非驾驶相关任务时，不能及时接收到视觉警报刺激的提醒，因此，驾驶员不能及时恢复驾驶情景意识，首次注视时间更长。同时，针对占用听觉通道，同样可得上述结论。

表3 不同警告类型下首次注视时间的均值和标准差Table 3 Mean and standard errors of first glance time with different warning types

3.3 驾驶员眼动数据

眼动数据可以提供有关驾驶员的注意力分配、视觉关注点和视线移动等信息，从而帮助了解驾驶员在不同警报刺激下的反应情况。本文分析接管过程中驾驶员的眼动数据，不同警告类型与非驾驶相关任务对驾驶员眼动数据的影响如表4 所示。可得，警告类型对平均眨眼率、平均凝视时间及平均扫视时间无显著性影响(p>0.05)，其他均有显著性差异。

表4 警告类型与非驾驶相关任务对眼动数据的显著性影响Table 4 Effects of warning types and non-driving related tasks on eye movement data

3.4 车辆动力学数据

本文将接管绩效评价指标设定为车辆最大纵向加速度、最大横向加速度及最大横摆角。使用双因素方差分析研究警告类型和非驾驶相关任务对最大纵向加速度、最大横向加速度及最大横摆角的影响，如表5所示。警告类型对最大纵向加速度没有呈现出显著性差异(F=2.114,p=0.061>0.05)；对最大横向加速度呈现出显著性差异(F=7.897,p=0.000<0.05)，经过简单效应分析发现，A与V，A与VT，AT与V，T与V，V与VA，V与VT均对其有显著影响(p<0.05)；对最大横摆角呈现出显著性差异(F=3.511,p=0.004<0.05)，经过简单效应分析发现，A与AT，A与T，A与VA，A与VT均对其有显著影响(p<0.05)；非驾驶相关任务对所有车辆数据均没有呈现出显著性差异(p>0.05)。

表5 警告类型与非驾驶相关任务对车辆数据的显著性影响Table 5 Effects of warning types and non-driving related tasks on vehicle data

不同警告刺激类型与车辆动力学参数在监控任务下与从事非驾驶相关任务的数据对比如表6所示。由于车辆最大横向加速度越小，接管质量越高，VT警告刺激的最大横向加速度最小，因此，车辆接管更稳定，接管质量最高。单模态警告刺激下的V警告刺激的最大横向加速度最大，因此，接管绩效最差。同时，在一般情况下，较小的横摆角度更有可能表明车辆更稳定，双模态警告刺激的最大横摆角整体小于单模态警告刺激。

表6 警告类型和非驾驶相关任务下车辆动态数据的均值和方差Table 6 Mean and standard errors of warning types and non-driving related tasks with different vehicle dynamic data

4 结论

本文得到的主要结论如下。

(1)不同警告刺激类型对浏览道路的次数，平均每次浏览的时间，兴趣区域的浏览率，浏览次数百分比，平均凝视次数，平均扫视次数，总扫视次数，首次注视时间，接管时间，车辆最大横向加速度及最大横摆角呈现出显著性差异。

(2)针对占用视觉通道的非驾驶相关任务，当警告刺激为视觉时，驾驶员的接管时间大于其他模态警告刺激，同时，针对占用听觉通道，听觉与视觉通道同时占用，同样可得上述结论。而在监控任务下，采用视觉警告刺激作为提醒方式时，接管时间高于其他模态警告刺激类型。当非驾驶相关任务占用驾驶员感官通道时，且警告刺激类型占用同样通道中，接管时间及接管绩效最低，即使非驾驶相关任务对不同警告刺激类型没有显著性差异，但对驾驶员接管行为仍有显著影响。

(3) 针对V，VA，VT；A，AT，AV；T，TA，TV这3组警报刺激可得，双模态的首次注视时间均低于单一模态的首次注视时间，驾驶员对双模态警告刺激更快地做出反应和注视，警觉性更高。VT警告刺激的最大横向加速度最小，车辆接管更稳定，接管质量最高，单模态警告刺激下的视觉警告刺激，最大横向加速度最大，接管绩效最差。同时，较小的横摆角度表明车辆更稳定，双模态警告刺激的最大横摆角整体小于单模态警告刺激。