电控空气悬架多智能体博弈控制系统研究*

2020-06-29李仲兴沈安诚

汽车工程 2020年6期

李仲兴，沈安诚，江洪

（1.江苏大学汽车与交通学院，镇江 212013； 2.江苏大学机械工程学院，镇江 212013）

前言

20世纪80年代，电子技术被应用于汽车空气悬架系统，至此电控空气悬架系统（electronic-controlled air suspension system）受到了广泛的关注［1］。电控空气悬架可以根据当前行驶工况再结合驾驶员意图，实现车身高度的自适应调节［2］。当车辆以不同的车速行驶在不同等级的路面上时，通过调整车身高度来改善车辆行驶平顺性、操纵稳定性和燃油经济性［3］。横向互联空气悬架作为空气悬架的一种衍生结构，是将传统空气悬架中左右相邻的空气弹簧用气动管路相连通。当车辆受到路面冲击时，互联空气弹簧间发生气体交换，可起到缓和路面冲击、保持车身姿态的作用［4-6］。

作为分布式人工智能的重要分支，多智能体系统（multi-agents system，MAS）由于其自治性与学习性为建立电控空气悬架控制系统提供了新的思路［7］。近年来，多智能体系统被应用于信息的采集与分享、交通信号管理、智能电网等多个领域［8-10］。多智能体系统中，各智能体之间如何彼此协调，并行求解成为研究的重点和难点。博弈论被用于解决理性主体间的冲突与合作问题［11］。在多智能体系统中利用博弈理论，分析不同智能体的利益追求以及可能达到的利益均衡关系，实现各智能体间的相互协调与合作。

目前国内外学者对车辆车身高度与互联状态的单独特性研究较多，没有考虑两者之间的协同关系。对此本文中构建了一种电控空气悬架多智能体博弈控制系统，该系统由信息采集智能体、车身高度控制智能体、互联状态控制智能体和博弈智能体构成。能够在不同行驶工况下进行自主学习，协调车辆行驶平顺性与操纵稳定性之间的矛盾，提升整车综合性能。

1 横向互联空气悬架整车7自由度模型

1.1 整车动力学模型

参照试验样车，建立前后轴都使用非独立悬架的整车模型，该模型具有车身侧倾运动、车身俯仰运动、质心处垂向运动和4个车轮处垂向运动共7个自由度，简化后的整车物理模型如图1所示。

图1 简化的非独立悬架整车物理模型

其动力学方程为

式中：Mb为簧上质量；Zcg为簧上质量质心处的垂向位移；θ、φ分别为车身侧倾角和俯仰角；lf、lr分别为簧上质量质心到前后轴水平方向的距离；Ir、Ip分别为侧倾运动时的转动惯量与俯仰运动时的转动惯量；F1、F2、F3、F4分别对应 4个悬架力。

1.2 横向互联空气悬架数学模型

模型中把空气弹簧视为变质量开口绝热系统，其内部气体运动方程为

式中：const为常数；pi、p0为空气弹簧瞬时气压与初始气压；Vi、V0为空气弹簧瞬时体积与初始体积；mi、m0为空气弹簧瞬时质量与初始质量；κ为等熵指数。

在互联管路模型中，将互联管路视为节流小孔，考虑其节流效应质量流量为

式中：pup、pdn为上游与下游气体的绝对压力；At为有效流通面积；R为气体常数。

考虑互联管路的时滞效应，管路中不同位置处的质量流量为

式中：L为互联管路的长度；pdn、Tdn为互联管路下游气压和温度；RT为互联管路阻力系数；c为声速。

1.3 7自由度整车模型试验验证

为满足后续研究需求，搭建适用于试验样车的整车信号采集系统，验证所建立仿真模型的准确性。由加速度采集模块采集车辆4个空气弹簧处簧上、簧下质量的三轴加速度信息，由陀螺仪模块采集前后轴中间位置处的侧倾角信息，各模块将采集到的信息发送至CAN总线上，再由CAN分析仪传送到上位机中，并进行后续处理。试验样车与信息采集系统如图2所示。

图2 试验样车与信息采集系统

通过对比车辆经过减速带时簧上、簧下质量垂向加速度来验证车身、轮胎的垂向振动特性。通过对比车身侧倾角速度自由衰减信号来验证车身侧倾运动特性。试验与仿真对比结果如图3和图4所示。

图3 前左簧上质量以及簧下质量垂向加速度对比

图4 侧倾角速度对比

从图中可以看出，仿真和试验中，车辆前左簧上质量和簧下质量的垂向加速度响应曲线的振动幅值变化趋势较为一致。相比于试验曲线，仿真曲线较为平滑，这是因为仿真模型忽略了实际悬架中存在的连接件、传感器噪声和发动机振动等因素的影响。试验与仿真中的侧倾角速度自由衰减曲线的幅值、周期基本一致，这说明模型与实车的侧倾角振动频率基本一致。建立的整车动力学模型可较为准确地反映试验样车的车身、车轮垂向运动状态和车身侧倾运动状态。因此，可以此模型作为研究基础，展开后续的研究工作。

2 电控空气悬架多智能体博弈控制系统架构

电控空气悬架多智能体博弈控制系统能够感知车辆当前的行驶工况，控制车辆车身高度与互联状态，保证车辆行驶平顺性与操纵稳定性，提升整车综合性能。系统结构如图5所示。

图5 电控空气悬架多智能体博弈控制系统结构图

多智能体博弈控制系统包括信息采集智能体、车身高度控制智能体、互联状态控制智能体和博弈智能体。其结构自上而下分为信息发布层、数据处理层、最终决策层。信息发布层中的信息采集智能体从环境中感知当前车辆运行状态和行驶工况，并结合下层智能体需求将采集到的信息经过处理后发布到数据处理层。数据处理层中的车身高度控制智能体和互联状态控制智能体读取发布的信息，计算符合当前工况的置回区间和目标车身高度，将其发送到最终决策层。最终决策层中的博弈智能体接收上层信息，计算预期回报进行博弈，得出最终决策。系统在车辆运行过程中，不断学习，完善自身知识库，逐渐将整车综合性能提升至最优。

2.1 信息采集智能体设计

信息采集智能体的主要作用是车辆运行状态与行驶工况信息的采集与处理并将信息发送至数据处理层中。其功能相对简单，因此采用反应型智能体模型，模型结构如图6所示。

图6 信息采集智能体模型

该智能体通过传感器采集车辆车速信息v，簧下质量加速度信息at、车身侧倾角信息θ、车身侧向加速度信息ays、车身前左簧上质量三轴加速度信息axw、ayw、azw以及车身高度信息H，通过读取系统内部信息，采集当前滞回区间δ。

由簧下质量加速度和车速计算出行驶路面的路面不平度 Gd（n0）［12］。参考 GB／T 4971—2009《汽车平顺性试验方法》，近似计算驾驶员位置处的总加权加速度均方根值aw。根据车身侧倾角和车身侧向加速度，计算侧倾因子 R［13］。

综合考虑系统计算量与后续智能体学习行为建模需求，将车速信息v、车身侧向加速度信息ays进行离散化，将车速划分为5个等级，以S1…Si…S5表示当前车速所处区间等级；将侧向加速度分为4个等级，以G1…Gi…G4表示当前侧向加速度所处区间等级。参考GB 7031—2005《机械振动道路路面谱测量数据报告》，将路面分为5个等级，其中以L1…Li…L5表示当前路面等级。将得到的 aw、R、Si、Gi、Li、H、δ发送至数据处理层。信息采集智能体对传感器信息作了统一化处理，减轻了其余智能体的运算负担，提升整体系统的运算效率。

2.2 车身高度控制智能体设计

车身高度控制智能体以目标车身高度为控制对象，以整车综合性能最优为控制目标，为博弈智能体提供输入。该智能体需要具有自主学习能力和对动态环境的自适应能力，因此采用智能程度较高的混合式智能体结构过程推理系统（procedural reasoning system，PRS），智能体模型结构如图7所示。

图7 车身高度控制智能体模型

（1）“信念”：信念表示智能体对环境和自身的认知。在车身高度控制智能体中，信念为接收信息、采集智能体传输的信息并存入信念矩阵。车身高度控制智能体接收信息采集智能体传输的信息aw、R、Si、Gi、Li、H。对车身高度信息 H进行分级处理，用Hi代表当前实际车身高度等级。以 Si、Gi、Li、Hi为环境状态坐标，以时间段t为动态坐标建立信念矩阵RChaw和RChr，分别用来存储t时间段内行驶平顺性评价指标aw的均值和操纵稳定性评价指标R的均值。

（2）“愿望”：愿望是智能体希望自身达到或者保持的状态。车身高度控制智能体的愿望为提升整车综合性能至最优。为达成这一愿望，建立愿望矩阵Zh，计算当前整车综合性能评价指标JHt。以Si、Gi、Li、Hi为坐标，迭代生成 JHnew，更新愿望矩阵。具体公式如下。

式中：K为到目前为止的总决策次数；k为目前决策项被选择的次数。

2.3 互联状态控制智能体设计

为解决横向互联空气悬架在急速转弯时车身侧倾加剧的问题，2017年琚龙玉提出了一种仿天棚互联状态控制策略［12］。利用簧下质量侧倾角θt和簧上质量侧倾角θ的差值表示车身所受总回复力矩方向，控制策略为

式中：max（RChaw（Si，Gi，Li，Hi））为矩阵 RChaw中 Si，Gi，Li，Hi坐标下所有样本数据的最大值；ω为操稳平顺修正系数，ω∈（0，1）；ρ为更新权重系数，ρ∈（0，1）。

（3）“意图”：意图是为达成愿望所需要执行的动作，对于车身高度控制智能体而言，其意图是将解释器和规划共同决策出的目标车身高度传输给博弈智能体。

（4）“规划”：规划是智能体为达成愿望所能采取的所有动作序列，在不同的信念下，规划也不尽相同。在车身高度控制智能体中，把车身调节至不同的既定高度是该智能体的规划。

（5）“解释器”：解释器连通智能体中其余模型，在规划中找出适合当前信念并且能够达成顶层愿望的动作发送给意图。车身高度控制智能体中，解释器利用强化学习方法对每个动作进行交替探索和利用，直至系统稳定。由于备选动作个数较少，各动作间对整车性能造成的差异较小，因此采用较为保守、尝试次数较多的信心上界算法（upper confidence bound，UCB）计算当前车身高度下的收益Qh。

式中：krollmax代表互联状态关闭；krollmin代表互联状态开启。

为避免在高频小幅激励下，互联状态切换过于频繁，设置滞回区间（δmin，δmax），利用互联管路有效流通面积At代替互联状态，控制策略变形为

在仿天棚互联状态控制策略中滞回区间的选择影响着策略控制品质。互联状态控制智能体利用混合式智能体PRS架构结合SoftMax强化学习算法计算出最适合当前工况下的滞回区间。其中5个关键模块具体工作如下。

（1）“信念”：接收信息采集智能体传输的aw、R、Si、Gi、Li、δ信息，对 δ的上下界 δmin、δmax分别进行分级处理，以Kh和Kl分别表示δmin与δmax所处区间等级。以 Si、Gi、Li、Kh、Kl、t为坐标建立信念矩阵RCinaw和 RCinr存放 aw、R值。

（2）“愿望”：以整车综合性能最优为控制目标，计算当前综合性能评价指标JInew，更新愿望矩阵Zin，计算公式如下。

式中：γ为操稳平顺修正系数；ρ为更新权重系数。

（3）“规划”：规划中存放着15个智能体动作，不同的4个置回区间上界和下界排列组合，构成所有动作目标，将置回区间调整至理想目标。建立规划库HSin，存放不同状态、不同滞回区间等级下的收益Qin。

（4）“解释器”：由于备选规划中存放的动作较多，为了与车高控制智能体的求解效率相匹配，选择探索次数相对较少，收敛速度较快的SoftMax算法，计算当前滞回区间下的收益Qin。

式中：T为温度系数，T的大小决定每个动作被选中的概率的差别；HSin（Si，Gi，Li，k）表示规划库中 Si，Gi，Li，k坐标下的收益值。

（5）“意图”：从规划库中选择收益值最大的置回区间，发送给博弈智能体。

2.4 博弈智能体设计

因为互联状态控制智能体与车身高度控制智能体均只考虑自身控制性能，输出的目标车身高度和置回区间并不能相互契合保证整车的综合性能最优，故以协调车身高度和置回区间为目标，从博弈论的观点出发，根据多人随机博弈理论，提出一种多智能体博弈方法，均衡两个智能体在联盟中的回报，从而求解出全局纳什均衡解。该智能体采用BDI架构，模型如图8所示。

图8 博弈智能体模型

（1）“信念库”：将车身高度控制智能体得出的目标车身高度向两边等区域拓展，选取拓展后的两个边界值作为博弈中玩家1的两个行为n1、n2。将互联控制智能体得出的置回区间向下界进行单边拓展，得出玩家2的两个行为m1、m2。

（2）“愿望库”：通过随机博弈，协同控制车身高度与互联状态，平衡簧上质量振动和车身侧倾。

（3）“意图库”：存放当前状态下系统的纳什均衡解。

（4）“推理器”：采用随机博弈分支下的双人双矩阵博弈构造博弈推理器，通过Lemke-Howson算法求解双人博弈的纳什均衡解，以此解作为权重系数分配玩家的两个行为，从而确定出最优目标车身高度Hrequire和最优置回区间δrequire。

构建玩家1回报矩阵A，设置玩家1的回报函数如下：

式中awij代表玩家1执行动作i、玩家2执行动作j时的加权加速度均方根值。

构建玩家2回报矩阵B，设置玩家2的回报函数如下：

式中θ为簧上质量侧倾角。

计算两个玩家的预期回报，并根据式（13）求解当前工况下的纳什均衡解。

式中：x0为玩家1的动作权重系数；y0为玩家2的动作权重系数；x为任意权重系数。

博弈智能体中，纳什均衡的求解时间极大的影响着整个系统的收敛速度，利用Lemke-Howson算法，能够较快的求解出多人随机博弈中的纳什均衡解，该方法应用于双人双矩阵博弈中，求解速度快，求解精度符合系统要求。基于随机博弈Lemke-Howson算法的数学模型为

3 仿真结果与分析

3.1 单工况下智能体学习行为验证

为验证电控空气悬架多智能体博弈控制系统中车身高度控制智能体和互联状态控制智能体学习行为的有效性，在“256×10-6m-3路面不平度系数、60 km·h-1车速”的工况下进行仿真。图9为学习过程中车身高度控制智能体所有意图的选择次数统计。图10为学习过程中互联状态控制智能体所有意图的选择次数统计。

图9 车身高度控制智能体意图选择次数统计

由图9中可以看出，车身高度智能体中7个意图的执行次数存在明显的差异性，意图1和意图2的选择次数较少，意图3的选择次数最多，意图4到意图7的选择次数呈阶梯式下降。这是由于当车身高度较低时，车身撞击限位块的概率增加，导致行驶平顺性较差，当车身高度升高时，车身质心上移，车辆操纵稳定性有所降低，为保持平顺性与操稳性的均衡，选择意图3符合智能体的愿望需求，车身高度控制智能体的学习性能达到预期。由图10可以看出，意图13的选择次数较多，其余意图的选择次数相近，这是由于在标准化的过程中，使用了Z-score的方法，该方法会放大最优意图与其余意图之间的差距，使得最优意图尤为突出。

图10 互联状态控制智能体意图选择次数统计

为进一步确定车身高度控制智能体与互联状态控制智能体学习结果的适用性，验证博弈智能体所选纳什均衡解的合理性，对车辆的行驶平顺性和操纵稳定性在此工况下与普通空气悬架进行对比。为保证仿真曲线清晰，图11展示前20 s的仿真情况。

图11 行驶平顺性与操纵稳定性对比

从图中可以看出，在多智能体博弈控制系统的控制下，车辆的加权加速度均方根值和侧倾因子在数值上都有明显的降低，说明多智能体博弈控制系统得出的最优置回区间和最优车身高度具有一定的适用性，对提升车辆整体性能有益。

3.2 混合工况下多智能体博弈控制系统的控制效果

为进一步验证电控空气悬架多智能体博弈控制系统的控制效果，在混合工况下进行仿真，比较传统空气悬架车辆和装有多智能体博弈控制系统车辆的性能指标。图12为混合工况的路面等级、车速和侧向加速度随时间的变化情况。图13表示不同工况下的平均加权加速度均方根值和平均侧倾因子。表1表示混合工况中直线行驶工况下两种车辆性能对比。表2表示混合工况中转弯工况下两种车辆性能对比。表3表示混合工况下两种车辆性能对比。

图12 混合工况

图13 不同工况下平均加权加速度均方根值和平均侧倾因子

根据图13可知，装有电控空气悬架多智能体博弈控制系统的车辆在不同车速下直线行驶时，车辆的加权加速度均方根值和侧倾因子都低于普通空气悬架，车辆的行驶平顺性与操纵稳定性都有所提高。在转弯工况下，车辆牺牲了部分行驶平顺性用来提高操纵稳定性，这是由于互联开启会加剧车辆的侧倾，车身更加频繁地撞击限位块，若是通过提高车身高度来提升舒适性又会进一步加剧车身侧倾，为保证车辆可控，需要增加互联关闭时间并将车身高度适度降低，车辆平顺性不可避免地有所下降。由表1～表3可以看出，在直线行驶工况下车辆行驶平顺行改善率为7.77%，车辆操纵稳定性改善率为17.87%。在转弯工况下，牺牲2.36%的行驶平顺性提升了6.67%的操纵稳定性。从整体上讲，该系统提升了车辆的综合性能，在提升操纵稳定性方面，效果较为突出。