基于随机动态规划的混联式混合动力汽车能量管理策略*

肖仁鑫，李 涛，2，邹 敢，秦 颖，2

(1.昆明理工大学机电工程学院，昆明 650093;2.昆明船舶设备集团有限公司，昆明 650051)

前言

混联式混合动力汽车结合了串联式和并联式混合动力汽车的优点可同时适应低速、频繁启停的城市工况和高速城郊工况。为取得较优的燃油经济性，充分发挥混联式混合动力汽车的潜力，采用合理的能量管理策略至关重要。能量管理策略是一种最优控制的措施，从实施的效果看，能量管理策略可分为全局最优策略和局部最优策略。以动态规划[1－3](dynamic programming，DP)为代表的全局最优策略要基于已知的行驶工况，不能在线实施;以基于规则的模糊控制策略[4－8]为代表的局部最优策略无须已知行驶工况，可在线实施，适用性强，但规则的提取需要丰富的先验知识，或利用全局动态规划的结果，但须反复修改规则，或用人工智能的方法在线修改规则，往往计算量大，实时性能不好。

由于行驶工况具有马尔可夫链的特性，采用马尔可夫链与动态规划相结合的随机动态规划(stochastic dynamic programming，SDP)来实施能量管理策略，不依赖于行驶工况，可以在线实施。本文中以混联式混合动力汽车为对象，在维持电池容量的同时，以取得较优的燃油经济性为目标，采用随机动态规划实施能量管理策略，发挥了混联式混合动力汽车的优点。

1 动力总成系统建模

1.1 动力总成的拓扑结构

混联式动力总成拓扑结构如图1所示。辅助动力单元APU由发动机与ISG电机组成，通过自动离合器与主驱动电机同轴并联，动力经过自动变速器传递到驱动桥，驱动汽车行驶。混联式动力总成的工作状态如下:

(1)发动机起动 自动离合器断开，ISG电机拖动发动机快速起动;

(2)APU发电 自动离合器断开，发动机起动后，带动ISG电机发电;

(3)汽车纯电动行驶 自动离合器断开，主驱动电机驱动汽车行驶，动力电池提供电能;

(4)汽车串联行驶 自动离合器断开，主驱动电机驱动，动力电池提供电能，或动力电池与APU共同提供电能，或APU提供电能且给动力电池充电;

(5)汽车并联行驶 自动离合器闭合，发动机的动力直接输出，与主驱动电机共同驱动，或发动机驱动并带动主驱动电机发电，或ISG电机与主驱动电机共同驱动，或发动机、ISG电机和主驱动电机三者共同驱动。

为提高驱动效率，简化控制策略，并联运行时，采用发动机与主驱动电机共同驱动或发动机驱动且带动主驱动电机发电的工作方式。

1.2 动力传动方程

由于工作在串联模式下时没有转矩耦合，因此建立功率方程式(1)和式(2)，其中，式(2)是从轮上反向计算到轴上(即自动变速器—轴端)的需求功率。建立动力传动方程式(3)和式(4)。

式中:Pd、PAPU、Pbat、Td、Pmech、ωd、ηd和 Twh分别为轴上需求功率、APU功率、电池功率、轴上需求转矩、机械制动功率、轴上转速、传动效率和轮上转矩;i0、ig分别为驱动桥主减速比和变速器速比;m、g、f、Cd、Af、v、δ和 Rwh分别为整车质量、重力加速度、滚动阻力系数、空气阻力系数、迎风面积、车速、车辆旋转质量换算系数和车轮半径。Pd也可从加速踏板行程和制动踏板行程拟合计算得到。

1.3 部件模型

部件模型包括主驱动电机、APU和电池。

1.3.1 主驱动电机

主驱动电机功率方程为

式中:ηm为主驱动电机效率;mode=1表示汽车工作在串联模式;mode=0表示汽车工作在并联模式;功率分配因子 a∈A=[－2，2]，当 a∈[－1，1]表示并联工作模式，a∈[－2，－1)∪(1，2]表示串联工作模式。a的具体意义如表1所示。

1.3.2 APU模型

式中:Pe、Pg、、ηe、ηg和 Qlhv分别为发动机功率、发电机功率、发动机燃油消耗率、发动机效率、发电机效率和燃油低热值。

表1 功率分配因子

1.3.3 电池模型

电池给主驱动电机和ISG电机提供电能，并可由ISG电机充电或主驱动电机回馈充电。将电池视为内阻—开路模型，其动态方程为

式中:Pb为电池功率，Ib为电池电流，Pb≥0表示放电(此时Ib≥0)，Pb＜0表示回馈充电(此时Ib＜0);Uoc、Rb分别为开路电压和电池内阻，它们都是电池荷电状态 SOC 的非线性函数;ΔSOC、Δt、ηb和 Q0分别为电池荷电状态变化值、状态更新周期、电池库仑效率和电池初始安时容量。为简化电池模型，将其库仑效率视为常数，见式(16)。

1.3.4 动力约束条件

动力总成各部件的约束条件为

2 能量管理的随机动态规划

由速度和时间表达的行驶工况，在任意时刻的速度—时间关系具有不确定性，因此可将行驶工况看作是速度随时间变化的随机过程。在行驶过程中，下一时刻的速度只与当前速度和驾驶员即将采取的操作有关，具有马尔可夫链无后向性的性质。行驶工况代表的功率需求是一个隐藏的马尔可夫模型，通过从行驶工况的统计信息中提取其马尔可夫模型，用动态规划寻求一个最佳的能量管理分配策略，这样一个将二者结合寻求最优策略序列的过程就是一个随机动态规划过程[9]。该过程也同样适合于驾驶员对加速踏板或制动踏板操作的随机序列。

随机动态规划过程可由四元组{S，A，T，L}来表示，即状态s'在决策(如行为、控制)a下，依据状态转移概率T(s，a，s')转移到下一个状态s的消耗为 L(s，a，s')，其中，s、s'∈S，a∈A，T(s，a，s')∈T，L(s，a，s')∈L。

能量管理决策中，状态 S是矢量(v，Pd，SOC)。策略 π 是状态映射到行为的序列{π1，π2，…，πNs}，指出了在每一个转移时刻，系统于当前状态应当采取的行为。

随机动态规划过程可分为有限时域问题和无限时域问题，为使决策过程不依赖于行驶时间，在能量管理策略中，按无限时域问题求解。

2.1 功率需求的随机建模

功率需求可从行驶工况中根据式(2)～式(4)对象模型方程求出或从加速踏板行程和制动踏板行程拟合算得。建立功率需求的过程同时是一个从行驶工况或驾驶员操作的随机序列中寻求隐藏的马尔可夫链的过程。由于功率分配因子a是受控对象的一部分而不是隐藏马尔可夫链的一部分，求解状态转移概率T(s，a，s')的过程可以简化为求解T(s，s')。

设从行驶工况求得的有限功率需求序列为

对应有限车速序列为

定义T(s，s')为从状态s'转移到s的转移概率:

可以根据最大似然估计来求T(s，s'):

式中:ms，s'为从状态 s'转移到状态 s的次数，且

在运用最大似然估计方法计算式(21)和式(22)时，首先须对功率需求序列Pd和速度序列v编码为Ns个状态，然后对输入的行驶工况或采集到的驾驶员操作数据进行计数并代入式(21)计算。

2.2 随机动态规划建模

作为无限时域问题求解时，能量管理的随机动态规划要确定一个策略序列π，使初始状态为s0，经过无限时域后到达每个状态消耗的期望最小，即值函数为

式中:γ∈(0，1)，为消耗无限和收敛的折扣因子，越接近于1，考虑的性能期望越长远;状态s∈(v，Pd，SOC)，状态矢量中，v和Pd是随机变量，SOC是确定性变量，其状态方程如式(15)所示。

消耗表示为

式中:α为SOC惩罚因子;SOCref=0.55，为期望维持的SOC值。

在状态转移过程中，需求功率由分配因子分配到电池和APU组，并受式(17)动力条件的约束。将电池功率引起的SOC变化和APU组功率引起的发动机燃料消耗率代入式(24)，求得当前状态转移过程中的消耗，进而由式(23)求出由初始状态开始转移的值函数，对于值函数可以根据贝尔曼原理求解。

2.3 随机动态规划求解

对式(23)，根据贝尔曼方程有:

将式(25)展开合并为

寻找每个状态的值函数最小的最优策略为

式(25)～式(27)实际蕴含了随机动态规划的值函数是由状态转移的消耗对状态转移概率的加权平均构成的。

随机动态规划求解有值迭代、策略迭代和改进的策略迭代3种方法，策略迭代快速、高效，因此使用策略迭代的方法求解。策略迭代的步骤如下:

(1)给定一个初始策略πn=π0和最大迭代次数iter_max;

(2)将πn代入式(27)计算;

(3)在给定策略下，求Ns个状态值函数，解下式:

解式(29)即是解Ns个值函数线性方程，可按式(30)进行值确定:

式中I为Ns×Ns的单位矩阵。

(4)对由步骤(3)计算的各个状态的值函数J(s)，按式(26)和式(28)求出各个状态的最佳控制策略πn+1，迭代次数iter_num加1;

(5)如果πn+1=πn或迭代次数iter_num≥iter_max则求解完成，返回πn+1，否则进行步骤(6);

(6)策略更新:πn=πn+1，转到步骤(2)，重新计算。

3 策略仿真和实施

3.1 策略仿真

车辆部分参数如表2所示。

表2 车辆部分参数

昆明作为“十城千辆”试点城市，研究昆明城市公交工况具有重要的示范意义，选择昆明具有代表性的129路公交车运行路线，通过短行程法建立循环工况。采取电池维持策略，SOC初始值为0.55。行驶工况与功率分配因子如图2所示，车速较低时随机动态规划和动态规划确定的能量管理主要在纯电动状态或串联状态(a=1或a＞1或a＜－1)下;在加速或速度较大阶段，随机动态规划和动态规划决策在并联状态下(－1＜a＜1)。不同的是，在低速串联行驶工况下，动态规划决策下的功率分配因子比随机动态规划决策下的功率分配因子大，即更多地使用驱动电机驱动;而在高速或加速并联下，动态规划决策下的功率分配因子小于随机动态规划决策下的功率分配因子，也即发动机提供更大的功率。

电池SOC变化如图3所示，动态规划策略下SOC变化较剧烈，而随机动态规划策略下SOC变化较平稳，这是因为随机动态规划是根据状态转移的消耗对状态转移概率的加权值函数来预测的。

由动态规划实现的能量管理策略的100km燃油消耗为23.87L，由随机动态规划实现的能量管理策略的100km燃油消耗为25.11L，由此可见，随机动态规划过程实现的能量管理策略是全局次优的。

3.2 控制策略的实施

混合动力汽车的能量管理策略随机动态规划实施步骤如下:

(1)通过行驶工况或驾驶员操作进行统计，确定需求功率，建立需求的马尔可夫链模型;

(2)结合功率分配因子，计算状态转移过程的消耗;

(3)根据贝尔曼原理和迭代方法求解值函数，得出状态转移过程中最佳的功率分配因子;

(4)将求解的状态转移过程中的功率分配因子以表格或曲线拟合的形式存储在实时嵌入式系统中，实现在线的能量管理决策。

由于随机动态规划过程是以行驶工况或驾驶员操作的统计信息的状态转移概率作为加权系数来预测消耗的值函数，使得决策过程可以不依赖于行驶工况，在策略实施的步骤(1)～步骤(3)通过本地计算机离线进行，降低了对实时嵌入式系统的要求。

4 结束语

随机动态规划的能量管理策略基于行驶工况或驾驶员操作的统计信息建立了功率需求的马尔可夫链模型，使用随机动态规划离线确定各个状态转移的最佳控制策略，由实时嵌入式系统在线实施，基于随机动态规划的能量管理策略是全局次优的，但电池容量变化平稳，有利于电池保护。

[1]左义和，项昌乐，闫清东，等．基于动态规划算法的混联混合动力汽车控制策略[J]．吉林大学学报(工学版)，2011，41(4):898－903．

[2]申彩英，夏超英．基于改进动态算法的串联混合动力汽车控制策略[J]．控制理论与运用，2011，28(3):427 －431．

[3]Olle Sundstrom．Optiaml Ccontrol and Design of Hybrid Electric Vehicles[D]．Sweden:ETH ZURICH，2009:97 －130．

[4]郭晋晟，王家明，杨林，等．无级变速混联式混合动力客车能量分配策略[J]．中国公路学报，2009，21(5):115 －120．

[5]熊伟威．混联式混合动力客车能量优化管理策略研究[D]．上海:上海交通大学，2009:95－107．

[6]Salmanx M，Schouten Niels J，Kheir Naim A．Control Strategies for Parallel Hybrid Vehicles[C]．Proceedings of the American Control Conference，Chicago:AACC，2000:524 －528．

[7]何海．混合动力汽车控制系统设计及仿真[D]．上海:上海交通大学，2005:55－74．

[8]Xiong Weiwei，Zhang Yong，Yin Chengliang．Optimal Energy Management for Series-parallel Hybrid Electric Bus[J]．Energy Conversion and Management，2009，50:1730 －1738．

[9]Lin Chan-Chiao，Peng Huei，Grizzle J W．A Stochastic Control Strategy for Hybrid Electric Vehicles[C]．Proceeding of the 2004 American Control Conference，Boston:AACC，2004:4710 －4715．