基于自动刹车与回避转弯的行人主动避撞系统

褚韬睿，马 钧

（同济大学，上海201804）

行人可以说是最脆弱的交通参与者，行人往往在与车辆碰撞后，又与坚硬的水泥路面或其他障碍物发生二次碰撞，因此受到的伤害极大。根据2012年世界卫生组织发布的《道路安全全球现状报告》，全球每年有127万人死于道路交通事故，其中46%是行人、自行车或者摩托车驾驶者，发展中国家死亡率普遍高于发达国家，中国为目前每年交通事故死亡人数最多的国家。

过去的几年里，人们已经逐渐的提高对行人这一脆弱的交通参与者的关注度。虽然越来越多的被动安全技术(如安全气囊、安全带、吸能车体等减少了碰撞能量冲击，从而降低了致伤水平,但引发事故产生的根本原因仍未能得到解决，而且这种安全系统并不能减少行人与路面的二次冲击。因此，需要加强对主动安全系统的发展。这套系统应该能提前检测到危险环境，使得对司机警示与车辆自动控制变成可能，在司机分心或者能见度很差的时候更能凸显价值。

1 主动避撞系统发展现状

1.1 主动避撞系统类型

目前国内外研究开发的汽车主动避撞系统主要有以下3种类型:

（1）车辆主动避撞报警CWS(collision warning)系统,该系统是为了减轻车辆碰撞危害研发的，主要工作原理为使用车载雷达对前方道路进行扫描，对探测到的行车危险工况给予警报，但不介入车辆控制。此装备在一些商用车上已经得到了应用。

（2）车辆自适应巡航控制ACC(adaptive cruise control)系统,其主要目的是实现车与车的主动避撞,安装此系统的车辆可以在路况不是很复杂的情况下实现主动避撞及巡航控制,已在高档车型上普遍配置。近年来又衍生出一种基于车车通信的协同式自适应巡航技术（CACC），该技术通过车车协同控制的方法，实现协同式队列控制。

（3）复合型车辆智能控制系统,该系统针对复杂交通情况,特别是市区交通环境,采用ACC系统辅以车辆停走(stop-go)系统,提高车辆智能控制的实用性。相对于ACC系统,停走系统由于交通环境的复杂和系统对硬件的要求苛刻,系统实现的难度更大。

1.2 行人主动避撞系统发展现状

目前的主动避撞系统普遍关注车车之间，仅有少量汽车公司实现了车辆与行人之间的主动避撞，最大的区别在于是否能实现行人的检测。

2009年宝马公司在7系轿车上首先配备了可实现行人并高亮的夜视辅助系统，它主要利用红外线技术感应人体热量。2012年沃尔沃公司为S60轿车配备了带完全主动刹车的行人主动避撞系统，该系统使用雷达以及车载摄影机进行环境识别，能辨识身高超过80cm的人体轮廓。如果物体出现在碰撞路线上，前挡风玻璃上的一个红灯就会亮起，在必要时会通过声音警告驾驶者、同时预先加压刹车。若驾驶人没有反应，且碰撞即将发生，系统就会自动全力刹车，时速在30km/h以下时，系统可让车辆完全停下。

然而，以上系统在汽车以较高速度（>30km/h）行驶时表现较差,且仅能以自动刹车介入车辆控制，无法实现回避转向操作，图像识别速度、准确度及可靠性均有待提高。

1.3 行人主动避撞系统总体方案设计

文章中的行人主动避撞系统利用现代信息技术、传感技术来扩展驾驶员的感知能力，将感知技术获取的行驶环境信息（如行人或其他障碍物距离等）传递给驾驶员，同时综合分析路况与车况，辨识是否存在安全隐患，并在紧急情况下，自动采取措施控制汽车，包括自动刹车及回避转向，使汽车能够主动规避碰撞危险，保证车辆安全行驶，从根源上提高行人安全。

行人主动避撞系统工作过程如下：

（1）当车辆正常行驶时，系统采取碰撞时间或者安全距离模型，实时对车辆行驶安全程度进行计算。如判断为安全状态，系统无任何动作，同时驾驶员可以随时选取当前环境的模式进行车辆自动控制。

（2）当系统判断为危险状态时，行人主动安全避撞系统会首先自动关闭油门，此时若驾驶员尚未采取相应操作，则系统将介入车辆控制，自动执行刹车和回避转向，并调用其他相关控制系统（如ABS、ESP等）使车辆远离危险同时保证自车安全，一旦车辆回到安全状态或驾驶员采取相应操作，则解除对车辆的自动控制，回归正常行驶状态。

（3）当系统判断为危险无法避让时，除采取远离和减少危险的控制外，还将根据危险程度的大小和障碍物类型（行人、车辆或其他障碍）调用合适的被动安全控制策略（如安全气囊等）。

因此，文章中的汽车主动避撞系统由行人检测、环境分析、策略制定及车辆控制系统构成。

2 基于立体视觉技术的行人检测系统

行人主动避撞系统的行人检测技术是基于运动的摄像机，因此很难对动态背景进行建模，无法利用帧间的变化信息，因此主要的研究方法是将行人检测看作是模式识别问题，首先从静态单幅图像中提取行人特征，然后进行模式分类。分类方法可以按照图像来源（动态/静态），颜色信息（彩色/灰度），图像背景（复杂背景/简单背景），感光光谱范围（可见光/红外线）等方法。由于真实场景中行人受到光照、遮挡、穿着、人体姿态和复杂背影的诸多因素影响，通常要将多种检测技术综合起来。

2.1 单帧行人识别系统Single-Frame Pedestrian Recogni ti on(PedRec)

利用文献描述的滑动窗口技术可以产生原始感兴趣区域（ROIs）。被立体视觉所捕获的深度图像，是由关联最多行人的窗口扫描到的，同时后者要考虑适当的位置公差（比如车辆间距等）。当特征数超过一定比例的窗口面积时其位置会被添加到后续的ROI列表中以便进行目标分类。目标分类目前广泛采用梯度方向的直方图特征与SVM分类器结合的方法。雷达与移动摄像机在接近相同位置时均会相应，对探测到的包围盒进行基于置信度的非极大值抑制，数值范围是由包围盒的正交覆盖范围决定的。两套系统的检测信号ai与aj受制于非极值抑制，它们的覆盖范围为

图像中的行人检测距离是通过立体像稠密度图像来计算的。由于无法得到准确的行人轮廓，在使用概率密度函数深度估算过程中，所有的可能的行人轮廓均要考虑到,图片1说明了深度估算过程。在给定的包围盒深度图像中，行人距离是通过概率密度函数进行加权平均的。行人的3D位置是由穿过包围盒中心与估算的包围盒距离的逆投影垂直线得到的。探测到的行人3D位置会被传到融合模块。

2.2 运动目标检测（6D视觉）

图1 立体像稠密度概率密度函数得到的加权行人距离平均值即为估算的行人距离

当使用立体摄像机时，探测到的场景3D结构可以立即由立体算法得到。通常为了识别单个物体，这些信息会由一种网状结构积累，紧接着进行连接组件分析。为了捕获被识别物体的动作，目标物体随后会被追踪，速度由滤波器决定。这种标准方法的缺点是探测性能将很大程度上由分类器的准确性决定，尤其是移动物体接近静止物体时。例如，在静止车辆后面的移动行人经常突然出现，他们很难被快速探测到。

为了解决这个问题提，文献[4]中提出探测不仅要以立体图像信息为中心，同时还要兼顾3D移动领域。3D移动领域的重建是由所谓的6D立体视觉算法进行的。其中最基本的思想便是从已知的深度立体视觉图像中寻找两个或者更多的连续帧，使用卡尔曼滤波器（Kalman Filter）融合时间与空间信息。其结果便是同时得到一个精度改进的3D运动模型以及对该模型像点的估算。这种融合体现了对观察者动作的认识，被叫做自身运动。它是基于卡尔曼滤波器的方法，由探测的静止相点估算所得。然而，其他方法，比如文献提到的方法也可以很容易被集成。

图2，6D模型算法的计算结果箭头在0.5s内指向了计算的3D模型位置，投影出图像。颜色编码的绝对速度：静态的点会被编码成绿色，以4:0m/s以上的速度移动的点则会被编码成红色。

在目前的设置中，图像点是由KLT追踪器追踪的，它提供了次级像素精度并且可以有效的追踪长序列图像点。这是一种对速度的优化，可以允许基于完整的目标探测模块来实时分析总数多达5000个的像素点（25fps）。立体视觉的计算是由基于半球匹配算法的硬件来执行的。事实上，任何类似的光流立体算法在这里都可以被使用。

图片3展示了6D立体视觉的预估距离。在这里，不到0.5s时间内，箭头便可以从当前的3D模型指向预估的3D模型。从右侧图片中的鸟瞰图像可以看出，移动行人很容易与静止的车辆里区别开。

目标对象可以被识别为一组连续的运动矢量。既然6D模型算法不仅能提供它们的状态估计，还能提供他们的不确定性。Mahalanobis距离模型[8]可以在聚类分析中进行相似性度量。

2.3 运动目标检测（6D视觉）与单帧行人识别系统（PedRec）融合

对行人运动进行准确预测，位置和速度信息是至关重要的。使用卡曼滤波器可以将6D视觉模型与PedRec模块的输入进行融合，滤波器的状态S可以表示为以下公式：S=[xyvxvy]T

其中x/y是行人位置与车辆的横/纵向相对距离，与为车辆的横/纵向绝对速度。矢量的测量则同时关联到6D视觉模型与PedRec模块，公式如下：

其中x/y与/为上文定义的不同测量值的状态变量（从状态到变量的映射是无关紧要的）。因此通过以上连续的改进可以将来自两个不同模块中的当前测量值集成到滤波器内。

我们假设一个恒定的行人移动速度（行人加速度可以通过状态噪声协方差建模得到）。过渡矩阵F如下：

其中T是摄像机的的循环时间（40ms）。

车辆的自身运动在卡曼滤波器的预测阶段会进行补偿。“自行车”模型是一种假设在两个测量点之间带有连续转向角与速度的运动模型,它可以实现对目标物体与车辆之间的转换。所需的对自身运动所补偿的速度及横摆角速度数据可以通过一个摄像机循环周期内的车载传感器数据得到。

可以采用全局域最近邻(GNN)数据算法与之前的目标物体矩阵测量航迹关联。预测状态与测量值之间的Mahalanobis距离可以作为航迹关联值。对于行人检测来说，这意味着行人位置是用来测量航迹关联的，而对6D视觉模型来说，速度则是额外使用的。

航迹的开始和结束可以利用航迹的关联分析次数来控制。当使用不能被分配到现有航迹的测量值时，便会产生新的航迹。为了抑制杂散信号检测，航迹会在隐藏阶段开始。假设在进入确认状态时分配到的航迹测量数为n，这里我们取n=2，这意味着两个模块的探测会同时直接引起一个确认的行人航迹。只有被分配的行人探测航迹可以被标记为有效。对于所有航迹来说，它们的状态会随着时间改变，并且会被保留，包括航迹关联的测量值。

两种模块会在不同的循环周期独立工作。6D视觉模块会在固定的摄像机循环时间内运转（25 fps）。PedRec模块的处理时间会根据现场复杂度来决定，极值更低，约为15fps。测量值拥有共同的时间戳，是由已经生成图像的帧标记定义的。当测量值不在序列范围内并且不能再普通的滤波器状态下集成时，航迹历史记录便可以用来检查过去航迹关联的测量值。可能的分配引起了关联信息的升级。尽管当测量值超出序列范围时，滤波器状态不会进行更新，但是更新的关联信息会反映航迹的管理状态，这便允许航迹进入确认阶段。另外，对PedRec系统进行关联分析会得到验证过的行人航迹。

卡尔曼滤波器的初始状态来自首次测量。如果航迹是由行人检测引起的，系统速度便会被设为0。如果初始化的行人检测跟踪状态速度设置为0，而6D视觉模型则使用测量的速度作为初始值。

最后，位置速度以及追踪行人的程度等数据会传输到环境分析模块。

3 环境分析、策略决策及车辆控制系统

情景分析与车辆控制系统是驾驶员辅助系统的组成部分，可以产生对行驶环境的计算机层次的理解（基于前文描述的传感器信息）并采取适当的行动。如图所示描述了轨迹生成、环境分析、决策&干预与车辆控制模块之间的关系。

图3 环境分析与车辆控制模块结构

环境分析模块预测了当前的驾驶环境将如何变化并自动计算其临界措施，比如碰撞时间、转向时间以及制动时间。临界评估是策略决策的基础模块，可以为避免碰撞与减少碰撞伤害采取合适的规避方法。这种方法是根据专门的车辆控制器来实现。由于车辆控制模块与环境分析模块均依赖于规避方法的现实模型的准确性，它们自然是紧密关联的。这提供了一个轨迹生成模块，以下部分将更加详细地讨论以上模块。

3.1 轨迹生成模块

轨迹生成具有双重目的。

首先，生成的轨迹可以提供准确的回避转向模型，它可以满足以下要求：由于规避而产生的轨迹应该尽可能的舒适，可行（即由自身车辆决定），并且还会在采取自动规避措施时引起很小的侧滑，起到安全缓冲的作用。当然，抢夺方向盘控制权极其危险，必须避免。

第二，生成的轨迹为横向控制提供了输入变量，如横向偏航角，偏航率。在研究了不同的轨迹类型后，文献提出的基于多项式方法的sigmoidal函数被用作自动回避操作的模型。

人们提出了7次多项式规避路径模型：

其中ytrj为横向偏移量期望，x为距规避初始点的纵向偏移量，这样便满足了舒适性与可行性的要求。为了满足这些指标，bi的多项式系数确定是基于几个约束方程限制的最大横向加速度aymax确定的，从而分别衍生出横向偏移和曲率。

Dev表示完成规避操作所需的距离，ytarget表示目标与规避起始点的纵向偏移距离。

为了推导公式（2）中的多项式系数bi，我们采取以下的边界条件：

为了确保规避路径ytj满足我们关于舒适性与可行性的要求，我们需要确定车辆的横向加速度在可以预先确定的范围内：

进行模型简化，假设在执行规避操作时，车辆在x轴的运动是连续的，则：

因此公式（7）可以简化为:

其中是位置的极值，所以：

公式式（3-6）与（8-9）构成了一个拥有十个方程的方程组，可以解出8个多项式的系数b0…b7,规避长度Dev以及极值位置。

规避时间可以基于连续的车速v求得：

其中K≈2.741，是一个常数系数的多项式，从上面的定义中计算可以得到。

基于多项式函数和车辆速度v的测量，重要的输入变量（横向偏移量、曲率、航向角）可以在每一个采样时间步内确定，如图4所示。

图4 规避路径中的横向控制输入

3.2 环境分析模块

对碰撞风险的评估涉及到临界参数比如Time—To—Brake（TTB）,Time—To—Steer（TTS）等。

在文章中，TTB与TTC分别用于通过制动和转向触发自动避撞系统。因此，有两套重要的Time—to—x计算标准。

首先，回避转向方法一般在车辆以最大横向加速度在弯道上行驶时使用，这里我们采用在3.1中定义的更加现实的转弯方法。

其次，如果TTS用来评估系统避免转弯时相撞能力，我们必须考虑多个相关对象。这意味着该算法不仅需要找出在行人驾驶路径内最新的避撞转向方法，同时还要保证应急方法不会导致车辆与场景中的任何侦测对象发生碰撞。（比如汽车、行人，这种自由空间的传感器将作为未来此研究方向的重点）。为了满足这些需求，我们采用了数值模拟方法，可以对Time—to—X参数高效、实时地进行计算，甚至可以应用于更复杂的自动控制动作。此外，这种数值方法可以验证回避转弯的避撞方式是否可以在没有碰撞的情况下执行。

正如图片3中描述的那样，数值模拟方法由3个部分组成：预测、碰撞检测和Time—to—X搜索。在预测阶段中，可以计算出一系列未来潜在的自身车辆和其他目标的状态：

其中tk是预测阶段k-th的时间戳，K是预测区间。Zego,k是车辆自身位置和在时间时所处位置的矢量，并且,Z1obj,k…,ZMobj,k这些数据是由文章2.3介绍的传感器提供的，主要是目标M的位置和运动信息。为了获得这些预测，我们将针对目标与车辆自身采用合适的运动模块，因此可以假设它们未来的行为。

鉴于预测的状态，我们可以分别交叉分析由Zego,k与Z1obj,k…,ZMobj,k引起的位置变化,进而识别出系统车辆与场景中的所有目标之间潜在的碰撞危险。一旦检测到了碰撞，我们将采用最新的避撞方法。

因此，我们定义了两种紧急操纵，分别代表了文章3.1部分的最大制动减速度与转向减速度，数值为-10m/s2。 公式（11）中每组数据（tk,Zegok）均构成了一个潜在的紧急自动操作的起始点。使用二进制搜索方法，我们可以找到最新的时间步长，在此步长内制动或转向动作不会触发任何与场景中的对象碰撞现象。这些时间步长是离散的TTB与TTS测量值。

3.3 决策&干预模块

“决策与干预”模块是驾驶辅助系统的核心，因为它关联了驾驶员行为与上文中提到的函数模型。由于行人在事故中受伤的风险很高，避免碰撞是此函数模型的首要目的。为了确定最好的方式来支持司机，有必要去了解驾驶员当前的驾驶意图。驾驶员监控算法利用了车辆系统信号，比如油门与刹车踏板的位置，速度、纵向与横向加速度、转向角和转向率来判断当前的司机驾驶行为。如果驾驶员对危险情况反映不恰当，系统会提供可选的声学警告，提醒他自己回避碰撞。在一个函数中，干预机制是必要的，为了避免碰撞，全力制动需要优先于回避碰撞操作。当TTB=0时，全力制动机制会被触发，驾驶员既不能进行加速也不能进行规避转弯。如果全力制动不能避免碰撞（TTB<0），回避转弯机制将会在TTS=0的时候被激活，提供行驶环境分析计算，进而执行回避转弯以避免碰撞。车辆的回避操作系统利用车辆控制系统来计算必须的转弯转矩。当完成回避转弯时，转弯力矩便会按照斜坡函数变化。车辆的自动回避操作结束后，会固定横向偏移80～100cm。为了防止碰撞，将不会允许自由地进行回避转弯，也就是说当检测到迎面而来的目标时，将会执行制动操作（碰撞缓冲）。

该功能的原型设计试图允许驾驶员在任何时间否决回避转弯介入。如果驾驶员手握方向盘，他将削弱或者抑制转向系统。明显的油门与刹车踏板操作将会立即取消车辆回避转弯介入。类似的退出条件在全自动刹车时也存在。

为了减少安全系统自动介入控制车辆时引起动态误差，该功能将会控制电动可逆式安全带拉紧，还会使侧门的空气坐垫与靠背气垫膨胀。当系统完成干预操作时，安全带将会放松，侧门的空气坐垫与靠背气垫将会回到原来的位置。

3.4 车辆控制系统

车辆控制系统由两部分构成：纵向控制自动制动以及横向控制回避转弯。当TTB=0s的时候，纵向的车辆控制器会设置最大减速度-10m/s2。而为了规避转弯的横向系统更为复杂，将在以下部分进行讨论。

横向转弯的自动规避机制需要自身车辆高度动态的横向运动（这里，横向运动指垂直于行驶车道的运动），这种方法的横向动力学加速度是非线性的。一般来说，在本文3.1部分中定义的横向偏移量可能会依据障碍的大小，变化范围从只有几厘米完整车道。它的速度、可用的自由空间将均用于规避操作。在这里，对行人的回避转弯简化为一个固定的偏移量。

通过转弯来避免碰撞需要系统对自身车辆横向运动的精确控制。正如公式（2）中研究的实际车辆那样，控制器将会永久与规避操作的参考位置进行对比，，因此需要对自身车辆位置有准确、可靠的感知。

对于如今的汽车来说，车辆的位置是根据里程表和惯性传感器重新设置并且保持稳定性的。当使用测量的横向加速度时以及速度v（或者选择当前的偏航率），车辆的航向角可以用如下公式表示。

这里，表示了采样的时间步长以及表示k阶迭代步骤的时间戳。根据上文得到的与测量速度v,积分计算可以得到相对于当前车道的纵向位置x与横向位置y。

为了解释这种规避机制的非线性横向动力学，人们使用了结合前反馈与后反馈的控制策略。横向输送的控制策略。横向控制的命令信号u分别包括前反馈系统部分的uff与后反馈系统的部分ufb。uff由多项式（2）中的曲率Ctrj计算得出，ufb则由状态控制器的四阶状态向量解出。其中，yerr=ytrj-y表示横向参考值与重新搭建的重塑后位置的横向误差。λerr=λtrj-λj表明了在横向位置和重建位置的偏航角误差。

由于车辆控制系统的非线性行为，人们采用了增益调度方法，可以同时使用前反馈增益系数Kff和后反馈增益系数Kjb，适用于当前速度和最大横向加速度ay,max。详细信息可以在文献中找到。

4 结语

文章阐述了一种全新的行人主动避撞系统，它包括行人检测、环境分析、策略制定与车辆控制系统。行人检测系统融合了两种互补的检测模式：单帧行人识别与运动目标检测；环境分析系统则建立在数据模拟的基础上，这种模拟利用了多项式模型，可以计算更复杂以及开放的车辆路径。策略制定涉及到监测连续的碰撞时间、刹车时间与转向时间的测量值，并且关于转向规避机制，进行了专门的优化。

[1]D.M.Gavrila and S.Munder,“Multi-cue pedestrian detection and tracking from a moving vehicle,”IJCV,vol.73,no.1,pp.4159,2007.

[2]N.Dalal and B.Triggs,“Histograms of oriented gradients for humandetection,”in Proc.of the IEEE CVPR,vol.1,2005,pp.886893.

[3]U.Franke and A.Joos,“Real-time stereo vision for urban traffic sceneunderstanding,”in Proc.of the IEEE IV,October 2000,pp.273～278

[4]U.Franke,C.Rabe,H.Badino,and S.Gehrig,“6d-vision:Fusion of stereo and motion for robust environment perception,”in Proc.of the DAGM,2005,pp.216;223.

[5]H.Badino,“A robust approach for ego-motion estimation using a mobile stereo platform,”in 1st Int.Workshop on Complex Motion(IWCM04),Guenzburg,Germany,October 2004.

[6]C.Tomasi and T.Kanade,“Detection and tracking of point features,”Tech.Rep.CMU-CS-91-132,1991.

[7]H.Hirschmueller,“Accurate and efficient stereo processing by semiglobal matching and mutual information,”in Proc.of the IEEE CVPR,vol.2,June 2005,pp.807;814.

[8]Mahalanobis,Prasanta Chandra(1936)."On the generalised distance in statistics".Proceedings of the National Institute of Sciences of India 2(1):49–55.Retrieved 2012-05-03.

[9]U.Kiencke and L.Nielsen,Automotive Control Systems:For Engine,Driveline and Vehicle.Springer-Verlag,2000.

[10]H.Fritz,“Vorrichtung zur Durchf¨uhrung eines Fahrspurwechsels.”German Patent DE 100 12 737 B4,2001.

[11]“Verfahren und Vorrichtung zur Kollisionsvermeidung f¨ur ein Fahrzeug durch Ausweichen vor einem Hindernis.German Patent Disclosure DE 10 2009 020 648 A1,”German Patent,2009.