自动驾驶车辆与行人交互：基于手势的意图传达行为实验研究

章薇，吴昌旭，Leo Kust,Yijie Chen

(1.清华大学 工业工程系，北京，100000；2.美国纽约州立大学 布法罗分校,美国，纽约州，布法罗 14222；3.亚利桑那州立大学，美国，亚利桑那州，凤凰城 85281)

1 前言

自动驾驶技术的发展给未来的交通出行带来很大程度的改变，如优化交通流，降低交通事故发生率，缓解空气污染问题，提升驾驶舒适度等[1-2]。美国汽车工程师协会[3]将自动驾驶分为六个等级，其中，Level 3以上的自动驾驶系统不再要求人们监控交通环境，因此，自动驾驶车内的驾驶员往往会执行各种非驾驶相关任务如看视频、打游戏、睡觉等[4]。在这种情况下，自动驾驶系统和其他的道路使用者需要相互理解以维持一个安全和有秩序的交通环境[2,5]。

从自动驾驶系统的视角出发，算法工程师不断地设计和提升自动驾驶系统的算法来处理由雷达和相机等传感器收集的信息以理解人类的行为[6-8]。然而，人类进行信息加工和处理的大脑的认知资源是有限的[9]。传统地，道路交通者(包括驾驶员、行人、骑自行车者)依赖车辆的移动(如超速或逐渐靠近左车道)、非语言交流(如面部表情、眼神交流、手势、身体移动)和语言来进行意图交流[10-11]。然而，在自动驾驶车辆环境下，自动驾驶车内的驾驶员往会因执行非驾驶相关任务而大概率不再参与意图交流。如果道路使用者(尤其是行人)误解了自动驾驶车辆的意图，他们可能会采取不恰当的行为，因而可能会增加事故发生的风险并影响交通效率[12]。因此，自动驾驶系统需要和道路使用者[5]进行有效地交流以使得其他道路使用者能理解其意图[13-14]。

前人研究对自动驾驶车辆和道路使用者的意图交流方法和内容进行了广泛的探索[5]。意图交流方法包括被动地交流信号(如利用手环或智能手机)[15]、车辆的运动特征[12]、以及车外的人机交互界面(如LED显示屏)[16-18]。此外，传输的内容信息包括基础信息(即驾驶模式和对自动驾驶车辆的感知)、意图信息(即告知道路使用者自动驾驶车辆的意图和接下来的行为决策)和指示信息(即指示道路使用者该如何进行行为反应)。其中，相比其他信息，意图信息相对更为重要。

然而，上述研究中提出的意图交流的方法存在一定的局限性。首先，一些车外的人机交互界面存在学习成本。例如，被试需要提前学习研究者提出的代表自动驾驶车辆状态的灯光显示方式才能进行决策[18]。其次，研究者们提出的自动驾驶车辆和人的交流界面可能不适用于来自不同文化背景的人。基于一项全球调查研究，Zandi 等(2020)发现来自不同国家的人对自动驾驶车辆和行人交流信息的重要性持不同的观点。在自动驾驶车辆忽略行人意图的情况下，“小心，我很危险”这一信息对美国人来说相当重要而对德国人来说相对没有意义。这可能是因为不同国家和地区的语言、道路文化和交通规则不同[19-20]，人们和自动驾驶车辆的交互也不同，因此他们对人机交互界面的预期也存在差异[21-22]。

被广泛应用于日常生活中的手势被视为普遍和有潜力的交流方法[23]。相比先前提到的意图交流方法，通过手势来传达意图可能存在独特的优势。首先，手势是自然的和直接的[24]。人往往不需要额外的学习成本就可以在第一眼看到手势的时候快速地感知和理解手势的意图。其次，相比人机交互界面(尤其与文本和语言相关)，不同国家和地区间的手势相对更加一致。基于前人研究发现的不同国家间在手势理解上的一致性[25]，通过手势传达自动驾驶车辆的意图可能可以得到一致的理解。最后，通过简单地摆动手臂，手势可以传递复杂和清晰明了的信号。例如，手掌朝上的姿势代表“走吧，我给你让道”[20,23]。因此，综上所述，使用手势传递自动驾驶车辆的意图将会是一种人性化的促进人们直接和快速地理解自动驾驶车辆意图的方式。

基于手势在传递自动驾驶车辆意图上的潜在优势，本研究进一步提出如下问题：如何让自动驾驶车辆来传递这些手势呢？前人研究表明，用机械臂来传递手势可以有效地促进人和系统的交互[26-29]。例如，在探索使用机械手传达指示性手势对装配任务中的人机交互的影响时，Sheikholeslami 等(2017年)发现人们识别机械手传达的手势的正确率高于60%。Gleeson 等(2013年)同样发现人们可以容易地理解由机器人系统传达的手势。机械手臂除了易于理解，还能在呈现和感知上获得人们的积极评价[27]。综上，基于机械手在人机交互中的有效性，通过机械手来产生手势以传达自动驾驶意图可能是促进自动驾驶车辆和道路使用者沟通的有效方式。

运动速度是影响机械手传递手势的有效性的关键重要参数[30]。前人研究表明，速度会影响人们对机械传达的手势的感知[31-33]，而且是人们理解机器人意图的重要线索[34]。例如，Berger 等(2021年)发现当改变机械手的速度时，人们会把手势理解成不同的含义。多样化的手势意图对于社会环境下的人机交互十分有用。然而，对于人和自动驾驶的意图交流而言，最重要的是保证人能正确地感知和理解自动驾驶车辆的手势。如果不同的挥动速度导致驾驶员误解了手势的意图，可能会导致不可预测的交通事故的发生。但当前并未有研究关注基于机械手的手势来传达自动驾驶车辆的意图，以促进人和自动驾驶车辆的交流，使得机械手在自动驾驶车辆意图传达的有效性尚不清楚。

基于以上前人研究，本研究考虑的自动驾驶等级为L3级及以上，因为以上自动驾驶等级车辆中的驾驶员不再需要监控道路(SAE International,2021年)且大概率不会参与和其他道路使用者的意图交流。此外，本研究主要考虑了两大经典的手势类型，即让道和占道[22,25]。本研究旨在探究：(1)相比人手，使用机械手产生的手势在传递自动驾驶车辆意图的有效性；(2)机械手的挥动速度是否会影响人们对不同手势的行为反应和意图理解。

2 对象与方法

2.1 被试

募集志愿者30名被试(15名男性，15名女性)作为行人，年龄18到30岁(Mean=21.43,SD=3.18)参与了本次实验。所有被试都要求视力正常或矫正视力正常，并且拥有有效的驾照。被试的驾驶经验从一年到五年不等(Mean=2.0,SD=0.83)。

2.2 实验设计

本实验采用了2 × 3 被试内设计。自变量包括手势类型(让道 vs.占道)和手臂类型(人手 vs.快速挥动的机械手 vs.慢速挥动的机械手)。研究中将给被试传递两大常用的手势：一个垂直设计的手臂被设计为占道，一个手掌朝向被试的移动手势被设计为让道。三种类型的手臂被用来传递这些手势。所有被试均要体验用快速挥动(每分钟120次)和慢速挥动(每分钟80次)的机械手臂，以及人手(控制条件)传递的手势。

实验收集了被试对自动驾驶车辆所传达的手势的客观反应和主观态度。研究中共收集了两个客观指标以评估参与者的行为：(1)反应时间：从手势发出到被试按下键盘上的空格键之间的时间，这个动作意味着被试理解了手势。(2)反应的准确性：参与者对相应的传递的手势反应是否准确(记为1)或不准确(记为0)。研究中共收集了三个指标来评估被试对自动驾驶车辆所传达的手势的主观态度：(1)可理解度：通过询问“你对所给出的手势理解程度如何？”来了解参与者对不同手臂所传递的手势的理解程度; (2)礼貌度：通过询问“你感觉这个手势有多礼貌?”来了解不同手臂传达的手势的礼貌度；(3)舒适度：通过询问“你对不同手臂传递的手势感觉有多舒服？”来了解被试体验到的手势的舒适度。本研究采用李克特量表对以上三个主观指标进行评价，为了尽量减少被试对中值点的误用并找到一个最佳的评价值，上述主观测量都是基于一个四点李克特量表，即从“一点也不”到“非常”[35]。

2.3 实验材料

出于安全考虑，本研究采用实验室实验的方法，真正的手势传递场景将事先被拍摄成视频。以下是生成手势传递场景的步骤。

步骤1：建立一个机械手并生成手势

机械手包括塑料手掌和手臂部分。塑料手掌的大小基于平均男性手掌的人体测量数据，即手掌的长度为0.188 m，手掌的宽度为0.08 m[36]。为了区分机械手与汽车仪表盘的区别，以及在视觉上区分手掌和手臂，研究中将手掌的部分涂成白色，将手臂的部分涂成黄色。将手掌定位在手腕的固定角度，拇指朝上并从手腕开始摆动。

如图1所示，本研究中设计了两个动作来产生“让道”和“占道”的手势。“让道” 手势包括水平挥动的手掌和手臂的动作，表明自动驾驶车辆希望被试先行通过。在 “占道” 手势中，机械手的手掌垂直于中控台，这表明自动车辆希望被试等待。快速挥动的手臂和慢速挥动的手臂的摆动速度分别为每分钟120次和每分钟80次。研究者在距离方向盘 0.2 m的驾驶座右侧的仪表板上安装了触发手臂的装置。通过以上方式，被试可以很容易地看到自动驾驶车辆上的手势。

图1 用不同类型的手传递手势的场景

步骤2：视频拍摄和剪辑

本研究共拍摄了六个与实验条件相对应的视频。我们邀请了一位中年男性驾驶员参加拍摄。驾驶员坐在汽车里模拟自动驾驶汽车的驾驶员。汽车的左转信号灯是亮着并在闪烁的，以模拟自动驾驶车辆打算左转的场景。在人手条件下，驾驶员使用手掌和手臂在接近十字路口时传递手势。驾驶员戴着墨镜面对镜头，眼睛向下看，尽量减少与其他道路使用者的眼神接触和面部表情交流。在机械手条件下，分别由快速挥动的机械手和缓慢挥动的机械手传递手势，在这个过程中，驾驶员低头以模拟其正在执行非驾驶相关任务。在驾驶员开始挥手的同一个位置，手臂装置触发机械手以产生手势。

视频录制结束后，每段视频都被编辑为6 s，在机械臂装置或驾驶员做出任何动作前都有2秒的准备时间，手势呈现的时间为4 s。随后，这些视频被编码为Visual Basic Application(VBA)格式，通过这种方式，视频在被播放的同时能记录被试的按键反应。

2.4 实验装置

提前录制的视频由Epson投影仪及投影屏幕装置呈现，被试与屏幕之间的距离由屏幕大小和视频拍摄距离决定。通过调节距离，视频中展示的车辆将与真实世界中的车辆大小和距离相同，视角也相对固定。

2.5 实验流程

首先，实验者欢迎被试参与实验。所有被试需要签署一份知情同意书和关于他们的年龄、性别、驾驶经验等信息的基本问卷。接下来，被试需要站在显示屏幕旁，想象自己是一名在十字路口要过马路的行人。与此同时，一辆迎面而来的自动车辆将向左转，自动驾驶车辆等级在L3级以上。实验者告诉被试前方车辆的路径将与他们的行驶路径相交，他们需要通过驾驶员或机械臂所做的手势来了解即将到来的自动驾驶车辆的意图。实验前，实验者检查并确认了参与者对实验任务的理解，所有被试都正确理解实验任务才可以进行正式实验。在正式实验中，将之前编辑好的与实验条件相对应的视频分别呈现给参与者。被试一旦理解了手势的意图就立即按下空格键，并报告理解的手势的含义。每个试次结束后，被试完成李克特量表以评价他们对接收到的手势的理解程度，并评估手势的礼貌程度和舒适度。在实验过程中，实验者并不给被试反馈他们对当前的手势理解是否正确。本实验共包含6个试次，对应6个场景视频，为避免顺序效应，本研究采用拉丁方平衡实验顺序[37]。实验结束后，每个参与者都得到了感谢和10美元的补偿。整个实验持续约30 min。

2.6 数据分析

本研究使用MATLAB R2021b(Math Works,Inc.MA)绘制反应时、可理解度、礼貌度和舒适度的箱型图。原始数据的箱型图如图2所示。数据统计进一步采用IBM SPSS 26.0进行分析(IBM,Inc)。首先，本研究采用单样本Kolmogorov Smirnov 检验对反应时进行正态性检验，反应时的原始数据不符合正态分布，因此，在数据分析前采用Box-Cox 转换[38]。数据分析采用考虑固定效应和随机效应的线性混合模型模型[39-40]。线性混合模型(Linear mixed model,LMM)用于分析反应时，带有二元逻辑回归选项的广义线性混合模型(generalized linear mixed model,GLMM)用于分析二分变量(反应正确与否)。在本研究中，手势类型、手臂类型以及两者的交互为固定效应，个体差异为随机效应。如果分析中的主效应和交互效应显著，则进一步用t检验进行事后检验和简单效应分析。对于数据类型为等级数据的三个主观变量，首先采用弗里德曼检验法进行主效应检验[41]，如果主效应显著，随后采用威尔克森符号秩和检验法进行事后检验[42]。由于弗里德曼检验法在交互效应上存在局限性，本研究将主观变量分别放在两个不同手势下进行分析。研究中所有分析的显著性水平均设置为0.05且采用Bonferroni法矫正。

3 结果

3.1 反应时

LMM研究结果显示，手臂类型在反应时上的主效应显著(F(2,154)=8.977,P<0.001)。如图2(a)所示，被试在人手条件下的反应时(M=4.213,SD=0.576)分别比快速挥动的机械手(M=4.591,SD=0.772)(ps<0.001)和慢速挥动的机械手(M=4.586,SD=0.873)(ps<0.05)条件下的反应时显著更低。两个机械手条件下被试的反应时无显著差异。

手势类型在反应时上的主效应(F(1,154)=0.697,P=0.406)以及手势类型和手臂类型在反应时上的交互效应(F(2,154)=1.409,P= 0.253)均不显著。手臂类型在不同手势条件下的反应时数据如表1所示。

3.2 反应正确率

GLMM结果表明，手臂类型在反应正确率上的主效应显著(F(2,174)=5.134,P<0.01)。事后检验结果表明，快速挥动的机械手条件下，被试对手势的反应正确率(M=0.97,SD=0.181)显著高于人手(M=0.90,SD=0.303)(ps

表1 不同类型的手臂和手势条件下行人的反应时和反应正确率

3.3 可理解度

当手势为让道时，弗里德曼检验结果显示手臂类型在可理解度上的主效应显著(χ2(2)= 8.000,P<0.05)。如图2(b)所示，事后检验结果表明，被试对慢速挥动的机械手的可理解度(median=4.0 ,IQR=3.0-4.0)显著低于对人手的可理解度(median=4.0,IQR=4.0-4.0)(Z=-2.714,P<0.01,r=0.496)。快速挥动的机械手(median=4.0,IQR=4.0-4.0)和人手以及和慢速挥动的机械手在可理解度上均无显著差异。

当手势为占道时，弗里德曼检验结果显示手臂类型在可理解度上的主效应显著(χ2(2)=7.309,P<0.05)。如图2(b)所示，事后检验结果表明，被试对慢速挥动的机械手的可理解度(median=3.0,IQR=2.0-4.0)显著低于人手(median=3.0,IQR=3.0-4.0)(Z=-2.639,P<0.01,r=-0.482 )和快速挥动的机械手的可理解度(median=3.0,IQR=3.0-4.0)(Z=-2.221,P<0.05,r=-0.406)。人手和快速挥动的机械手条件下的可理解度无显著差异。

图2 人手、快速挥动的机械手和慢速挥动的机械手在让道和占道条件下的因变量指标原始数据箱线图。(a)反应时；(b)可理解度：1=“一点也不理解” ，4=“非常理解” ；(c)礼貌度：1=“一点也不礼貌” ，4=“非常礼貌” ；(d)舒适度：1=“一点也不舒适” ，4=“非常舒适” (箱图中间的线段代表中位数，较低或较高的边界代表Q1(第一百分位数)和Q3(第三百分位数)，虚线不大于1.5倍的四分位距，红色的加号代表极端值)

不同的手臂类型在让道和占道手势下的可理解度如表2所示。

3.4 礼貌度

当手势为让道时，弗里德曼检验结果显示手臂在礼貌度上的主效应不显著(χ2(2)= 2.500,P=0.287)。当手势为占道时，弗里德曼检验结果显示手臂类型在可理解度上的主效应也不显著(χ2(2)= 0.692,P=0.707)。

不同的手臂类型在让道和占道手势下的礼貌度如表2所示。

3.5 舒适度

当手势为让道时，弗里德曼检验结果显示手臂类型在舒适度上的主效应不显著(χ2(2)= 3.868,P=0.145)。但两两比较结果显示快速挥动的机械手(median=3.0,IQR=3.0-4.0)比慢速挥动的机械手(median=3.0,IQR=2.0-3.25)有更高的舒适度(Z=-1.968,P<0.05,r=-0.360)。

当手势为占道时，弗里德曼检验结果显示手臂类型在舒适度上的主效应显著(χ2(2)= 14.805,P<0.001)。如图2(d)所示，事后检验结果表明，被试对慢速挥动的机械手的舒适度评价(median=2.0,IQR=2.0 -3.0)显著低于人手(median=3.0,IQR=2.0-4.0)(Z=-3.234,P<0.001,r=-0.590 )和快速挥动的机械手的舒适度评价(median=3.0,IQR=1.75-3.25)(Z=-1.985,P<0.05,r=-0.362)。人手和快速挥动的机械手条件下的舒适度评价无显著差异。

不同的手臂类型在让道和占道手势下的舒适度如表2所示。

表2 不同类型的手臂和手势条件下的主观数据的中位数，四分位距，平均秩

4 讨论

自动驾驶系统和道路使用者之间有效的交流对未来的驾驶安全至关重要。为了探究由机械手臂产生的手势是否可以用于自动驾驶车辆向人类传达意图，本研究基于实验室实验探究不同类型的手臂(人手 vs.快速挥动的机械手 vs.慢速挥动的机械手)和手势(让道 vs.占道)对行人的行为反应和主观态度的影响。

行为结果反映被试在快速挥动的机械手和人手条件下的行为绩效要好于慢速挥动的机械手。被试在人手条件下的反应速度要分别快于快速挥动的机械手和慢速挥动的机械手。这可能是因为机械手在质感和形状上不如人手，因此在和机械手交互时会产生犹豫[43]。其次，被试在快速挥动的机械手条件下的反应正确率要高于人手和慢速挥动的机械手条件下的反应正确率，这进一步表明了速度在准确传达意图上的重要作用。此外，快速挥动的机械手和人手在反应时和正确率上各有优势，即人手能带来更快速的反应而快速挥动的机械手能带来更高的反应正确率。人手条件下更快的反应可能是因为人手让人感觉更熟悉和亲切，人们对人手的理解更加自信，因而倾向于在并不完全理解人手意图的情况下较快地做出反应；相比人手，被试对机械手的理解更不确定，倾向于花更多的时间去理解以确保反应的正确性。

主观结果表明人手和快速挥动的机械手比慢速挥动的机械手有高的可理解性和舒适度。在让道条件下，人手比慢速挥动的机械手具有更高的可理解性，而人手和快速挥动的机械手在可理解性评价上无显著差异。在占道条件下，人手和快速挥动的机械分别比慢速挥动更多机械手有更高的可理解性和舒适度。以上结果进一步表明了当手臂挥动的速度较快时，机械手在主观感受上能带来和人手相比拟的效果，但该效应可能会随着手臂挥动速度的降低而消失。值得一提的是，三种手臂在礼貌度上并无显著差异，这可能是因为相比于直接采取行为，提供手势以沟通意图本身就是十分礼貌的行为，不管手势是由哪种类型的手臂传达的。

综上所述，本研究发现使用快速挥动的机械手产生手势以传达自动驾驶的意图能带来和人手类似的主观评价，并且比人手能带来更高的反应准确率，虽然在反应速度上慢于人手。因此，基于本研究结果，在非紧急不追求反应速度的交通情况下，未来可以考虑应用快速挥动的机械手来传达自动驾驶意图以使行人能有较正确的理解和主观可接受度。

本研究存在一定的局限性。首先，使用机械手来传达车辆的意图需要考虑交通环境。行人能看清机械手的前提是保证环境有一定的可见度。当由于光线、视角、天气等原因导致物理环境的视觉可见度较低时[44]，机械手的有效性也会随之降低。在这种情况下，可以进一步考虑带有其他功能(如亮度)的机械手。其次，本研究主要考虑了两大典型的手势，让道和占道。其他手势(如左转/右转)或传达更复杂意图的手势(如“感谢”或“预警”)，应该在未来的研究中进一步考虑。最后，本研究采用了基于视频的实验室实验探究行人和自动驾驶车辆的交互，实验室实验可能存在一定的局限性，使得研究的生态效度受到限制。未来可考虑更加真实的环境并考虑采用Wizard of Oz的方法[45]来控制自动驾驶系统以获得更加真实的数据 。

5 小结

本研究提出了采用机械手臂来产生手势以传达自动驾驶车辆的意图，并通过基于视频的实验室实验探究不同类型的机械手臂和手势类型对行人的行为反应和主观态度的影响。研究发现无论是传递让道手势还是占道手势，行人在慢速挥动的机械手条件下的行为绩效要差于人手和快速挥动的机械手。而人手和快速挥动的机械手在行为指标上各有优势，人手条件下行人的反应快于快速挥动的机械手，而快速挥动的机械手比人手能带来更高的行人反应正确率。此外，在主观态度上，快速挥动的机械手能带来和人手相似程度的可理解性和舒适度评价。本研究进一步表明，在非紧急的交通环境下，快速挥动的机械手(120下/min)可以替代人手以传达自动驾驶车辆的意图。本研究结果为制造商和设计者采用简单的基于机械手的装置来设计传达自动驾驶车辆的意图提供了借鉴意义。