基于行人视野注意力场的人车微观交互模型*
2022-07-02李文礼肖凯文石晓辉梁锋华
李文礼,肖凯文,石晓辉,梁锋华,黎 平
(1.重庆理工大学,汽车零部件先进制造技术教育部重点实验室,重庆 400054;2.重庆长安汽车股份有限公司,重庆 400020)
前言
行人道路安全是全球共同关注的热点问题,世界卫生组织(WHO)指出,全世界每年约有130 万人死于交通事故,其中超过50%是“弱势道路使用者”,即行人、自行车或摩托车骑行者,这意味着行人道路安全问题仍不容乐观。由于行人的内在特性(情绪、习性、性别等)存在差异,使行人在过街时与车辆交互过程中的运动状态具有多态性和突变性,在发生紧急交通冲突的前一时刻,仅依靠驾驶人的判断和决策难以避免人车冲突甚至导致交通事故的发生。因此,深入剖析行人特性,研究人车交互问题,是提高道路安全和保护行人的必要措施。
研究人车交互的目的是为车辆路径规划提供参考,常用的路径规划方法有图搜索法、基于采样和离散优化及人工势场法,这几种方法皆具优劣,其中人工势场法(artificial potential field)由于计算成本低、实时性高等优点而得到了广泛应用。近年来,许多学者对势场理论进行的改进和创新,对人-车或车-车交互研究的推进起到了重要作用。Ni认为驾驶人总是沿着道路风险分布最低点附近行驶,较早地提出了基于驾驶人主观驾驶环境的场域理论(field theory)。王建强等在场域理论的基础上进一步考虑驾驶人自身内在特性、车辆状态和交通环境,提出了解释人-车-路相互关系的“行车风险场”理论,揭示了车辆在复杂交通场景下人-车-路综合作用时的风险变化趋势,为行车安全和智能车的路径规划提供了新思路。在此基础上,许多学者对风险场理论进行了改进和创新。文献[6]中将车辆加速度和转向盘转角转化为驾驶风格因子,以描述驾驶人潜在的驾驶习惯,构建出一种考虑驾驶风格因子的综合风险场模型。文献[7]中建立了考虑车辆加速度和转向角度动态影响的驾驶风险场模型,并开发出基于驾驶风险场的车辆跟驰模型,分析了不同驾驶风格与换道安全之间的关系。朱乃宣等基于人工势场理论对交通环境中的动态和静态障碍物实现了风险场建模,以真实驾驶员驾驶数据样本得出了个性化换道的触发时刻,分析了驾驶员换道过程中的风险变化。文献[9]中提出了弯道超车工况下的弯道势场,设计动态环境的增量搜索算法,生成具有参考意义的弯道超车路径。近几年逐渐有学者利用势场理论对人车交互进行研究,黄俊达等通过在鸟瞰二维坐标下构建行车风险场来预测行人运动轨迹,将行人风险系数量化为3 层风险等级以判定行人是否具有碰撞危险。袁泉等提出了心理安全通行距离和心理安全制动距离,将心理安全距离融入行车安全场理论,构建出行人风险动态评价模型。杨彪等提出了一种多源信息融合识别网络以识别行人过街意图,通过感知周车环境中的行人过街意图,更好地规划无人车的运行轨迹,为行人防碰撞提供了决策依据。
现有的基于势场理论的人车或车车交互模型,大多对车辆特性和驾驶人特性考虑较为全面,而对行人特性研究较少。为提高人车交互中行人路径规划的准确性,把行人特性作为人车交互的重要影响因子,本文中提出一种基于行人视野注意力场的人车微观交互模型,具体工作包括:(1)提出一种基于行人视野注意力场的人车微观交互模型,利用目标捕捉算法来控制行人视野域对目标的捕捉,使人车交互仿真过程更加拟人化;(2)提取鸟瞰视角下的人车真实交互数据,将行人过街风格类型进行分类;(3)在Pygame 框架下搭建模型,将不同过街风格类型的人车交互数据作为仿真输入,验证模型和算法的有效性。
1 基于行人视野注意力场的人车微观交互模型
1.1 行人视野注意力场描述
如图1 所示,当行人过街时,根据行人的思维逻辑应当先观察视野下的交通环境再决定是否穿越,而行人在过马路时的视野范围是有限的,通常需要配合头部转动来检索、更新周围信息。一般情况下,如果行人在穿行过程中没有发现周围有车辆对其穿越行为产生威胁,则行人视野注意力应当集中于目的地方向,即目的地周围会持续产生一种虚拟势场吸引行人视野;而在行人穿越时通常需要应对来车对其产生的安全威胁,因此,行人在去往目的地的同时必须持续关注来车,判断人车当下运动状态是否安全,可以认为行人附近的车辆也会产生与目的地周围类似的虚拟势场,吸引行人的视野关注度。因此,本文把这种“虚拟势场”称为行人视野注意力场,利用这种场可描述行人如何搜索周围视野需要关注的信息来规划路径。
图1 人车交互场景概念图
1.2 驱动行人视野域旋转运动的视野注意力场建模
为模拟现实情况下行人的视野范围,设行人视野域为
式中:为的极径;为的极角;为平分的角平分线长度;为行人专注情况下的视野范围角,根据文献[13]设为120°;为与水平轴线的夹角,逆时针为正方向;视野域如图2中扇形区域所示。
图2 视野域转动与人车运动的驱动力示意图
考虑到现实交通环境中障碍物或目标点对行人视野注意力的影响分布具有“近大远小”的特征,本文将车辆与目的地对行人视野域产生的影响力分布场以改进的二维正态分布来刻画每一时刻对行人视野域的影响。如图2所示,点(,)是车辆几何中心坐标,(,)是行人目的地坐标,(,)点和(,)点产生的视野注意力场对(,)处行人的视野域引力大小分别为
式中:(,)和(,)分别为车辆点位置和目的地位置对行人视野域在(,)处的引力大小;为车辆瞬时速度;是与相关的常数;是与行人过街风格相关的常数。
行人视野域所受视野注意力场的引力方向定义如下,在图2 中,行人的左侧来车,由于(,)的方向始终与矢量=(-,-)的方向同向,因此可以用的单位向量方向(-cos,sin) 作 为(,)的方向;同理,行人视野域在(,)处受点、目的地点产生的视野注意力场引力矢量和视野注意力合力矢量为
式中:和分别是(,)和(,)与轴的夹角,逆时针为正方向(若行人右侧来车则顺时针为正向)。
视野注意力合力矢量驱动视野域的过程如图2 所示,假设初始时刻下,行人视野角平分线平行于轴,且与夹角为,受到在上的法向分力||·sin后,使头部转动角度,最终转动到。视野域转动的状态转移方程为
式中:Δ为单位采样时间;为视野域转动惯量,是与行人过街风格有关的常数。
1.3 行人视野域A对目标的捕捉
1.3.1 目标捕捉算法
图3 视野域A捕捉车辆目标的过程
式中:为车辆点与行人之间的欧氏距离;是行人位置与车辆点所连直线对水平轴线的夹角,逆时针为正(若行人右侧来车则顺时针为正);表示车辆点与行人的横坐标之差,为-,左侧来车<0,右侧来车>0。
1.3.2 目标关注度
设第个采样时刻为T∈(,,…,T),行人过街总时间为,在目标捕捉算法中描述了还未捕捉到目标、恰好捕捉到目标和结束交互的整个过程,将3 个时刻分别记为T、T、T;行人对车辆关注度和对目的地关注度为
1.4 驱动人车运动的人工势场建模
基于行人视野注意力场的人车微观交互模型中改变行人和车辆运动状态的力由人工势场确定。人工势场主要通过斥力势场和引力势场共同组成,引力势场和斥力势场为
式中:表示引力常量,与行人过街风格有关,不同过街风格的行人对目的地的关注度不同,故受到的引力大小不同;和分别是行人(,)和目的地(,)任意时刻位置;是用于限制引力“远极大”和“近极小”两种特殊情况下的距离阈值;为斥力常量,与行人过街风格有关,不同过街风格的行人受到车辆的斥力不同;表示来车对行人的最大影响距离,该参数的定义借鉴了文献[11]中提出的行人心理安全通行距离,将此距离用于控制来车产生的斥力场对行人的最大作用距离,如式(9)所示。
式中:是与行人过街风格有关的正数;v为参考车速。
势场力由势场的负梯度定义,故引力和斥力为
行人受人工势场合力’为目的地势场的引力和多个车辆势场产生的斥力之和。视野域在转动过程中会持续搜索周围车辆,若捕捉到车辆点,即∈时,所有满足行人心理安全通行距离的车辆对行人有斥力作用,否则仅有目的地引力作用,故’为
求得行人所受人工势场合力’后,设时刻行人坐标为(x,y),用’构建行人的状态转移方程:
式中为’与水平轴线的夹角,逆时针为正向。
车辆也会受到行人的反作用力,方向由行人位置指向车辆位置,根据文献[13]中力的反馈过程,设计行人对车辆的作用力为
式中:是车辆受到行人的反作用力;为舒适减速度;为驾驶员反应时间。
2 人车交互数据采集与分析
通过无人机采集人车交互视频,手动逐帧标定鸟瞰视频中的人车轨迹和行人头部偏向,得到人车交互时的轨迹数据(,,,,,,),再将人车历史轨迹和行人头部偏向角进行数据分析,得到交互数据(,,,,,,)。随后使用基于决策树的集成学习算法(随机森林、XGBoost)对交互数据进行解释变量的重要性分析,以得分较高的解释变量为基准作K均值聚类。整个数据采集和分析流程如图4所示。
图4 数据采集和分析流程
2.1 采集和标定数据
本文的行人和车辆数据均为实景采集,为使数据符合现实情况,选择了某高校附近的丁字路口,此路口人流密集,人车交互频繁,采集场景如图5所示。
图5 数据采集场景
数据采集设备为DJI-MINI2 无人机,如图6 所示。单次最长飞行时间为30 min,影像传感器为CMOS,有效像素1 200万;录像分辨率为3840×2160,帧率为24 fps;飞行高度50 m。
图6 采集设备
视频数据包含17 段交互场景,共22 480 帧,每10 帧对人车轨迹和行人头部偏角进行一次手动标定,相邻标定点之间的时间间隔为0.042 s。经实地测量,确定拍摄区域为长30 m、宽25 m 的矩形区域,共整理出231条有效的行人轨迹和51条具有交互行为的车辆轨迹,多个行人可能与单辆车交互。每个行人的标定轨迹数据格式如表1所示(这里以3号行人为例)。
表1 部分标定数据
图7为行人和车辆部分轨迹标定结果,图8为行人头部偏向角标定过程。得到人车轨迹数据后,利用标定后的轨迹点求行人最大加速度和平均速度,以车辆点历史轨迹确定来车与行人的初始横向距离和车辆平均速度,以视频帧数衡量行人等待时间,以视频画面确定该行人是否有同行人,根据目标捕捉算法和人车历史轨迹计算行人对来车的关注度。计算统计出每个行人的交互数据,如表2所示。
表2 人车交互数据
图7 部分人车轨迹(行人为彩色实线,车辆为红色虚线)
图8 标定行人头部偏向角θ
2.2 解释变量重要性分析
如表3 所示,根据视频中行人过街表现出“让出交互主导权,让来车先行”、“谨慎交互,平稳前行,不奔跑”、“积极争夺交互主导权,侵略性强,奔跑”的行为表现作为被解释变量,将包含车辆特性与行人特性的交互数据作为解释变量;利用基于决策树的集成学习算法,通过Random-Forest(随机森林)和XGBOOST(极致梯度提升)算法分析解释变量的重要性,筛选对被解释变量(过街风格)影响较大的解释变量。
表3 解释(被解释)变量定义
在训练随机森林模型过程中,确定最佳决策树棵数为85 的模型表现最佳:模型效率(0.845 s)、袋外准确率OOB=0.897、准确率AUC=0.924;在训练XGBOOST 模型时,将行人数据集按4∶1 分为训练集(185 个)、测试集(46 个)。训练结果表明,当决策树为120 时,模型有最优准确率AUC=0.947。图9 描述了两种模型的ROC 曲线、AUC 得分和两模型AUC的平均值,结果表明,两种训练模型对解释变量重要性的评估具有很高的可靠性。从图10 可以看出行人在交互过程中对来车的关注度、行人最大加速度和行人平均速度对过街风格分类影响更为显著。
图9 模型评估ROC曲线
图10 解释变量重要性排序
2.3 行人过街风格聚类
从解释变量重要性分析的实验结果可以看出:行人在交互过程中,来车的关注度、行人最大加速度和行人平均速度对过街风格影响更为显著,故将以上3 种变量作为相关因素,经数据归一化后进行K 均值聚类分析,设初始聚类质心数量与被解释变量数相同,目标函数为最优化欧氏距离误差平方和,最终形成了3个簇,如图11所示。根据各簇分布,将过街风格分为“保守型”、“谨慎型”和“冒险型”,分别有42、112、77人。
图11 过街风格聚类
3 仿真分析
将各个行人、交互对象车辆、对应目的地坐标、车辆初始速度和行人过街风格作为模型输入,格式为(,,,,,,,),运行模型得到仿真结果(行人对来车的关注度和交互轨迹)。整个仿真模型由图12 所示,主要由观测模块和决策执行模块构成,观测模块利用输入数据构建视野注意力场,由视野注意力场驱动视野域转动;决策执行模块用输入数据构建人工势场驱动人车运动;视野域转动期间会持续调用目标捕捉算法,使行人在视野域的引导下与交互对象车完成拟人化、高保真的交互。仿真平台为Pygame,仿真用的计算机配置为2.90 GHz的CPU:Intel(R)Core(TM)i7-10700CPU 和Quadro RTX 5000显卡。
图12 模型结构图
3.1 基于典型过街风格的势场仿真分析
3.1.1 视野注意力场分析
行人周围视野注意力场的分布与车辆速度大小和行人过街风格有关。图13 展示了不同车速和过街风格下的视野注意力场。
场景1:保守行人周围的视野注意力场
在图13(a)中,车辆点位于(6,8)位置,行人目的地点位于(18,20)位置,来车车速=10 km/h,沿着轴的正方向移动。假设行人此刻位置在(16,0)附近,若行人欲去往点附近,行人视野域会先受到点视野注意力场的影响,使优先捕捉车辆目标。考虑车速对车辆视野注意力场分布的影响,在图13(b)中,点产生的视野注意力场由于车速的提升而扩大了影响范围,视野域此刻受到来自车辆视野注意力场的引力更大,行人在(16,0)处会更加关注来车。
场景2:谨慎行人周围的视野注意力场
在图13(c)中,处的目的地视野注意场峰值为30,而在图13(a)中该值仅为8,这可以解释为谨慎行人与来车交互时表现得比保守行人更加强势,去往目的地的期望更强烈。
场景3:冒险行人周围的视野注意力场
在图13(d)中,假设该时刻下的行人为激进的冒险型,在(6,8)附近的车辆视野注意力场的大小为9,在(16,20)附近的目的地视野注意力场的大小为58,假设行人在(16,0)附近,此刻的行人视野域受到来自目的地视野注意力场的引力更大。
图13 不同车速和行人过街风格的视野注意力场
3.1.2 人工势场分析
人工势场与车辆速度大小和行人过街风格有关,图14 对比分析了不同车速和不同过街风格下的人工势场分布。
场景1:保守行人周围的人工势场
图14(a)展示了保守型行人过街时,目的地和车辆产生的人工势场。可以看出,在该类行人的交互环境中,目的地产生的吸引势场较小,而车辆产生的排斥势场较大;图14(b)当车速提升,来车对行人的最大影响距离’增大。
场景2:谨慎行人周围的人工势场
图14(c)是谨慎行人环境中的人工势场,与图14(a)中的保守行人相比,谨慎行人周围的目的地吸引势场更大。
场景3:冒险行人周围的人工势场
图14(d)是冒险行人周围的人工势场,与图14(a)和图14(c)中的保守和谨慎行人相比,处的吸引势场比前两者更大,车辆排斥势场比前两者更小。
图14 不同车速和行人过街风格的人工势场
为使模型输出结果符合真实场景下的数据量纲,多次使用采集的真实数据对视野注意力场和人工势场对比调参,得到的最优参数如表4所示。
表4 视野注意力场和人工势场的最优参数
3.2 基于典型过街风格的人车交互仿真结果分析
根据不同行人过街风格划分3 种仿真场景,将真实交互数据中行人坐标(,)、目的地坐标(,)、车辆坐标(,)、车辆初始速度和行人过街类型作为输入,验证基于行人视野注意力场的人车微观交互模型的有效性,比较各类型行人仿真输出的时空轨迹与真实轨迹的差异。
该实验根据不同行人过街风格划分为如下3 种仿真场景。
场景1 如图15(a)~图15(c)所示,为某个保守行人样本的仿真过程,根据该样本采集的真实轨迹,行人初始坐标为(22,6),目的地坐标为(27,23),交互对象车初始坐标为(0,17),初始车速为10 km·h,视野转动惯量为0.01。人车交互具体过程可描述为:在=2 s 时(图15(a)),行人视野域开始捕捉到车辆,逆时针旋转以持续关注来车,随后行人开始减速;=4 s 时(图15(b)),可以发现行人已放弃与来车争夺路权,待车辆驶过以后再继续前往目的地(图15(c))。
场景2 如图15(d)~图15(f)所示,为某个谨慎行人样本的仿真过程,行人初始坐标为(23,8),目的地坐标为(22,23),交互对象车初始坐标为(0,28),初始车速为8 km·h,视野转动惯量为0.1。=2 s时(图15(d)),行人开始注意到来车,随后在=4 s(图15(e))时向左偏头以持续观察来车状态,并将移动方向向右调整,尝试与来车争夺路权。最后,在=6 s(图15(f))可以看到该行人成功取得路权,途中一直关注来车。
图15 不同过街风格下,行人与车辆交互仿真过程
场景3 如图15(g)~图15(i)所示,为某个冒险行人样本的仿真过程,行人初始坐标为(21,12),目的地坐标为(27,25),车辆初始坐标为(0,21),车速为15 km·h,视野转动惯量为1。=2 s 时(图15(g)),行人开始注意到来车,但直到=4 s(图15(h)),行人还未停止,而是朝着目的地继续前进,直到=6 s(图15(i))完成交互。
行人对来车关注度仿真值和真实值的全部样本统计结果如图16 所示,可以看出,当发现来车后,保守、谨慎和冒险3 种行人对来车关注度随时间推移上升的快慢是不相同的。保守行人最快关注到来车,冒险行人关注到来车的时刻最晚;而从来车关注度增长趋势来看,保守行人关注度平均值随时间上升的斜率(曲线中导数不为0处点集的一元线性回归直线斜率)最大,来车对其注意力的影响迅速上升;反之,冒险行人的关注度随时间上升的斜率最小,来车对其注意力的影响较小。
图16 Pobs仿真值与真实值的全部样本统计
图17是3种行人仿真过程中的时空轨迹图。真实轨迹为采集的原始轨迹,从图17(a)~图17(c)中可以看出:本文提出的模型输出的时空轨迹与真实轨迹更相似,更符合真实情况。具体差异以轨迹之间的平均绝对百分比、平均绝对误差、均方根误差衡量。
图17 不同过街类型行人的时空仿真轨迹对比
表5 中的结果表明:模型加入视野注意力场后的输出轨迹与真实轨迹更接近,与常规的人工势场相比,行人轨迹仿真准确性提高了25.48%。
表5 所有样本仿真的时空轨迹与真实时空轨迹偏差均值
4 结论
本文中针对人车交互环境下行人过街风格差异和过街路径规划问题,在常规人工势场的基础上,提出了一种基于行人视野注意力场的人车微观交互模型。该模型把行人视野域引入人工势场,提出基于行人视野域的目标捕捉算法,并考虑了行人不同过街风格和交互对象车速对势场分布的差异,提升了模型的普适性、准确性和多态性。
根据实景采集的人车交互数据划分行人过街风格,得到了行人不同过街风格下的视野注意力场和人工势场分布,通过仿真轨迹与真实轨迹之间的相似度比较,验证该模型在人车微观交互过程的有效性。结果表明,提出的基于行人视野注意力场的人车微观交互模型比常规人工势场模型的准确性高出25.48%,能有效地复现复杂场景下的人车微观交互过程,对研究人车微观交互问题具有参考意义。