基于ADHDP的插电式混合动力汽车能量管理策略

朱佳龙 周晓华 宗琳

摘 要：为降低插电式混合动力汽车（plug-in hybrid electric vehicle，PHEV）燃油消耗量与尾气排放量，提出了一种基于执行依赖启发式动态规划（action dependent heuristic dynamic programming，ADHDP）的能量管理控制策略。针对整车驱动系统具有复杂非线性、不确定性的问题，采用3层BP神经网络分别设计了ADHDP能量管理控制器的执行网络和评价网络，通过ADHDP神经网络的学习和训练过程，可最终获取最优控制量。利用MATLAB/Simulink和ADVISOR平台，在CYC_UDDS、CYC_NEDC及CYC_WVUSUB 3种循环工况下对ADHDP能量管理控制策略进行联合仿真验证，并与经典电辅助能量管理控制策略进行了对比和分析。结果表明：在保证汽车良好驾驶性能的情况下，ADHDP控制策略在3种循环工况下的整车百公里油耗分别下降了19.2%、15.0%和19.5%；尾气HC、CO和NOx的排放量均大幅度降低；CYC_NEDC工况下的CO下降了47.5%。效果较为显著，所设计的能量管理控制策略可有效提升整车的燃油经济性和环保性。

关键词：插电式混合动力汽车（PHEV）；执行依赖启发式动态规划（ADHDP）；能量管理策略；燃油经济性

中图分类号：U471.23；U469.79 DOI：10.16375/j.cnki.cn45-1395/t.2023.03.014

0 引言

随着社会经济的快速发展，石油、天然气等能源消耗日益加快，积极推进能源利用、绿色环保可持续发展成为当今世界的发展方向。插电式混合动力汽车（plug-in hybrid electric vehicle，PHEV）不仅可在城市道路采用电动模式实现绿色出行，减少污染物排放，而且还具有传统燃油汽车的特点，当电量不足时可采用发动机驱动，有效避免了汽车能量不足、续航里程短暂等问题。如何协调电机驱动转矩与发动机转矩的分配，已成为PHEV能量管理策略研究的热点之一。基于模糊逻辑的能量管理策略简单有效，鲁棒性较强。文献[1]针对纯电动汽车电池耗电量过快、续航里程较短等问题，采用基于模糊控制的能量管理策略极大地提升了续航里程，有效减少了电池的耗电量。文献[2]针对电辅助控制策略出现的发动机工作效率较低、电池过放与过冲等问题，提出一种新的转矩分配策略，有效提高了发动机工作效率，延长了电池寿命。但基于规则的能量管理策略具有很大的局限性与主观性，需要丰富的工程和专家经验，很难实现能量管理全局最优。为实现能量管理的全局优化，基于动态规划算法的能量管理策略相继被提出。文献[3]提出了Plug-In并联式混合动力汽车的动态规划优化能量管理策略，显著提高了Plug-In并联式混合动力汽车的燃油经济性。文献[4]为克服模糊逻辑需要先验知识的固有缺陷，并精简算法结构以减少程序代码运行时间，提出了基于改进动态规划算法的插电式四驱混合动力汽车能量管理策略，具有良好的控制效果，车速误差明显减小，燃油经济性得到了有效提高。文献[5]以燃油消耗量最小为目标，提出了采用动态规划算法设计PHEV的能量管理策略，可将电池荷电状态保持在设定范围之内，且节油效果良好。然而，汽车在行驶过程中采用全局优化的能量管理策略过于依赖工况，且计算量较大，极易陷入“维数灾”问题，因此，很难直接对汽车进行实时控制。

自适应动态规划（adaptive dynamic programming，ADP）算法充分利用神经网络的函数泛化能力和强化学习能力，能有效避免基于动态规划算法的PHEV能量管理出现的“维数灾”问题。文献[6]针对燃料电池中氢气能源消耗过多而无法保证续航里程的问题，提出基于执行依赖启发式动态规划（action dependent heuristic dynamic programming， ADHDP）算法的能源管理策略，有效实现了限制氢能源消耗过快的目标。文献[7]针对汽车换挡次数频繁的问题，提出了一种自适应能源控制策略以实现换挡控制和功率分割，采用枚举方式设计了换挡命令，并采用ADHDP算法实现发动机与电机之间的功率分配，明显提升了整车的燃油经济性。整车燃油经济性问题实质上是合理协调发动机与电机之间的转矩分配问题。文献[8]针对混合动力汽车油耗及排放量较大的问题，采用ADP算法设计能量管理控制器，有效降低了油耗量以及尾气排放量。文献[9]提出了一种基于ADHDP算法的并联PHEV数据驱动能量管理方法，该方法在最优逼近和不确定驾驶条件下的适应性方面取得了较好的性能。PHEV驱动系统较为复杂，且干扰和不确定因素较多，是典型的非线性系统。故本文采用ADHDP算法设计其能量管理控制器，具有可不依赖于复杂被控对象数学模型、自适应能力强的优势。以油耗量、尾气排放量最低及电池荷电状态（state of change，SOC）稳定为目标，对PHEV能量管理控制器进行设计，将所设计的能量管理控制策略在MATLAB/Simulink和ADVISOR平台进行联合仿真，并与经典電辅助控制策略进行分析对比，以验证所提方法的可行性和有效性。

1 PHEV整车模型

单电机双轴驱动并联式PHEV通常采用转矩耦合的动力耦合方式。PHEV驱动系统结构如图1所示，驱动系统主要包括发动机、离合器、蓄电池、电机和传动系统等[10]。该车型具有5种工作模式，分别是纯电动驱动模式、纯发动机驱动模式、混合驱动模式、再生制动模式以及无再生制动模式。

1）当车辆刚开始起动时，车速较慢，整车需求转矩较小，蓄电池组SOC值较高，此时，车辆离合器断开，发动机不工作，如图1所示，能量由蓄电池组提供给电机，经转矩耦合器后传向变速器与减速箱直至车轮，车辆主要由电机提供全部驱动力驱动，车辆处于纯电动驱动工作模式。

2）当车辆行驶一段时间后，车速加快，整车需求转矩增大，蓄电池组SOC值偏低时，车辆离合器接合，发动机开始工作，驱动电机关闭，发动机单独工作，车辆处于纯发动机驱动工作模式。

3）当车辆处于加速或者爬坡状态时，整车需求转矩较大，此时，车辆离合器接合，发动机与电机同时工作，共同提供整车需求转矩以驱动车辆行驶，车辆处于混合驱动工作模式。

4）当车辆处于制动且蓄电池组SOC处于最低限值状态时，车辆离合器断开，发动机与电机均不工作，制动产生的能量回收至蓄电池组中，以提高SOC值，增强了车辆续航能力，车辆处于再生制动工作模式。

5）当车辆蓄电池组SOC值达到最大限值，车辆有明显制动需求时，整车不再回收能量，仅进行机械制动，即车辆处于无再生制动工作模式。

PHEV整车模型的重要部件及其仿真参数如表1所示。

2 基于ADHDP的能量管理策略

2.1 ADHDP算法

ADHDP算法结构由评价网络和执行网络构成。ADHDP算法的实质是通过求解Bellman方程得到最终的控制量u（[k]）。Bellman方程的数学表达式[11]如下：

J*[X（[k]）]=[minu（k）][{r[X（k），u（k）]+γ J*[X（k+1）]}.] （1）

式中：J *[X（[k]）]为k时刻的最优目标函数值；r[X（k），u（k）]为k时刻的惩罚函数；γ为折扣因子，是用于调节未来代价函数的权重。

ADHDP算法利用神经网络强大的自适应与自学习能力求解最优控制律。启发式动态规划HDP（heuristic dynamic programming，HDP）算法中的模型网络需要建立特定的系统数学模型，以便更新模型网络的权值，再利用模型网络预测下一时刻的状态量，但同时该模型也引入了不确定的误差量。而ADHDP则仅由执行网络与评价网络构成，整个算法的结构简单且训练快速和高效，不需要根据系统的复杂性建立特定的数学模型直接求解最优控制量，可减少不确定误差对整个控制系统的干扰。

ADHDP算法的原理结构[12]如图2所示。Z -1为延迟因子，状态量X（k）经执行网络计算后输出控制量u（k），然后将状态量X（k）与控制量u（k）作为评价网络的输入，经计算后输出性能指标函数J（k）。由γ·J（k）、J（k-1）与U（k）三者之间的差值定义评价网络误差反馈量，从而进行评价网络权值的调整与更新。类似地，将当前k时刻的性能指标函数作为执行网络误差反馈量以更新执行网络的权值，并计算执行网络的最优控制量u（k）。

2.2 ADHDP控制器设计

PHEV驱动系统是一个非线性时变系统[13]，动力源在运行过程中影响因素较多。以PHEV发动机为主要的动力源，应尽可能保证发动机工作在高效区域，并通过合理协调电机驱动，可有效降低油耗与排放量。本文采用ADHDP算法设计能量管理控制器并实现2个动力源转矩的合理分配，以便于汽车运行在整体性能最优的工作模式上。基于ADHDP算法的能量管理策略如图3所示。

ADHDP控制器为三输入单输出结构，且2个网络均采用3层BP神经网络进行设计。2个BP神经网络隐含层和输出层的神经元激活函数均分别采用求和函数和sigmoid函数，神经网络的权值更新均采用梯度下降法。ADHDP控制器的3個输入信号分别为：整车需求转矩Treq与当前转速下发动机最大效率输出转矩Teff的比值B、蓄电池组SOC值（Soc）以及整车需求速度Vr。ADHDP控制器的输出为发动机输出转矩Te。整车需求转矩Treq与发动机输出转矩Te之间的差值为电机的输出转矩Tm。

3 控制策略仿真与分析

利用MATLAB/Simulink平台编写ADHDP算法程序并建立控制器模块，然后嵌套到ADVISOR汽车仿真软件进行联合仿真。选取CYC_ NEDC、CYC_UDDS以及CYC_WVUSUB 3种循环工况对ADHDP控制策略和经典电辅助策略进行仿真对比验证。经反复调试可得到ADHDP的控制器参数如表2所示。所建立的ADVISOR整车仿真模型[15]如图6所示。

3.1 整车车速跟踪与蓄电池组SOC变化曲线分析

采用CYC_NEDC、CYC_UDDS与CYC_WV-USUB 3种循环工况对ADHDP控制策略进行仿真验证。3种循环工况下ADHDP控制策略的传动比曲线如图7所示。

车辆在运行过程中的换挡不频繁，换挡次数在合理的范围内，可满足驾驶舒适性的要求。

3种循环工况下ADHDP控制策略整车车速曲线如图8所示。

整车实际车速与整车需求车速基本吻合，实际车速基本能跟随需求车速，两者间误差较小，采用ADHDP算法设计的能量管理控制器可满足整车行驶控制的基本要求。

3种循环工况下ADHDP和电辅助控制策略的蓄电池组SOC对比曲线如图9所示。

由图9可知，在CYC_NEDC循环工况下，经3个循环周期后，2种控制策略的蓄电池组SOC分别由初始值0.700下降至0.612和0.530（图9（a））。在CYC_UDDS循环工况下，经3个循环周期后，2种控制策略的蓄电池组SOC分别由初始值0.700下降至0.614和0.553（图9（b））。在CYC_WVUSUB循环工况下，经3个循环周期后，2种控制策略的蓄电池组SOC分别由初始值0.700下降至0.601和0.525（图9（c））。在第一个循环周期内，整车主要由电机提供驱动力，电量消耗较大，SOC下降较快，ADHDP控制策略在3种循环工况下的蓄电池组SOC由初始值0.700下降至0.583、0.568、0.565，电辅助控制策略的蓄电池组SOC下降稍慢。在第二个循环周期内，发动机参与驱动，整车耗油有所增加，由于减速制动时可回收部分制动能量，SOC下降变得稍慢。ADHDP控制策略在3种循环工况下的蓄电池组SOC分别由0.583下降至0.554、由0.568下降至0.559、由0.565下降至0.545，在CYC_NEDC和CYC_UDDS循环工况下电辅助控制策略蓄电池组SOC下降速率比ADHDP稍快，而在CYC_WVUSUB循环工况下电辅助控制策略蓄电池组SOC下降速率比ADHDP慢。在第三个循环周期内，ADHDP控制策略在3种循环工况下的蓄电池组SOC分别由0.554下降为0.530、由0.559下降为0.553、由0.545下降至0.525。从整体上看，电辅助控制策略蓄电池组SOC变化与第二周期类似。由于整车在行驶过程中减速制动产生的可回收制动能量有限，2种控制策略蓄电池组SOC整体呈现下降趋势，当车辆运行3个循环周期后，ADHDP控制策略的蓄电池组SOC维持在0.525以上浮动，保证了电池高效的充放电效率，增强了电池的续航能力。

3.2 整车燃油经济性和排放性能对比分析

为进一步体现所设计ADHDP能量管理控制策略的优越性，将ADHDP控制策略和电辅助控制策略在CYC_NEDC、CYC_UDDS和CYC_WVUSUB循环工况下3个循环周期的百公里燃油消耗量与尾气排放量进行对比分析，2种控制策略的整车燃油消耗量和排放量如表3所示。

由表3可知，电辅助控制策略在3种循环工况下的整车百公里燃油消耗量分别为7.8、8.0和8.7 L，而ADHDP控制策略在3种循环工况下的整车百公里燃油消耗量分别为6.3、6.8和7.0 L。与电辅助控制策略相比，ADHDP控制策略的车辆百公里燃油消耗量分别降低了19.2%、15.0%和19.5%。从3种循环工况的排放性能看，与电辅助控制策略相比，ADHDP控制策略的尾气有害物HC、CO和NOx排放量明显减少。ADHDP控制策略在CYC_NEDC循环工况下的尾气有害物HC、CO和NOx分别下降了6.5%、47.5%和9.6%；CYC_UDDS循环工况下的尾气有害物HC、CO和NOx分别下降了12.0%、33.3%和22.0%；CYC_WVUSUB循环工况下的尾气有害物HC、CO和NOx分别下降了14.2%、31.6%和24.6%。因此，与电辅助控制策略相比，ADHDP控制策略在3种循环工况下的燃油消耗量和尾气排放量均明显减少，表明了所设计的能量管理策略的经济性和有效性。

3.3 发动机工作点对比分析

为进一步说明所设计ADHDP能量管理控制策略的有效性，将2种能量管理控制策略在CYC_NEDC循环工况下的发动机工作点分布情况进行对比与分析。2种能量管理控制策略在CYC_NEDC循环工况下的发动机工作点分布如图10所示。

由图10（a）可知，电辅助控制策略在低、中、高转矩区域均分布有发动机工作点，但大部分分布在高转矩临界区域和低转矩区域，而转矩高效区域分布较少。经计算，电辅助控制策略的发动机平均工作效率为24.86%。由图10（b）可知，ADHDP控制策略的发动机工作点大部分集中分布在中、高转矩区域内，且有一部分发动机工作点集中分布在转矩高效区域，而低转矩、中高转矩区域的发动机工作点分布较为均匀。经计算，ADHDP控制策略的发动机平均工作效率为26.45%，与电辅助控制策略相比，提高了6.4%。ADHDP控制策略可更好地保证发动机工作在高效区域。

4 结论

考虑到PHEV能量管理系统存在非线性、复杂性、强干扰性和不确定因素的影响，以整车需求转矩Treq与当前转速下发动机最大效率输出转矩Teff的比值、蓄电池组SOC以及整车需求速度Vr为控制器的输入信号，以发动机输出转矩为输出的控制量，采用3层BP神经网络设计了一种三输入单输出的ADHDP能量管理控制器。在CYC_UDDS、CYC_NEDC和CYC_WVUSUB循环工况下对ADHDP能量管理控制策略和电辅助控制策略进行了仿真对比验证。对CYC_NEDC循环工况的ADHDP传动比、ADHDP整车车速、2种策略的蓄电池组SOC和发动机工作点分布情况进行了详细分析，并详细对比和分析了2种能量管理控制策略在3种循环工况下的燃油消耗量与尾气排放量。结果表明，ADHDP能量管理控制策略利用其强大的非线性逼近能力和自学习能力，可较好地实现发动机和电机之间的转矩协调分配，提升了燃油利用率，降低了尾气排放量，在一定程度上保证了整车需求转矩的合理需求，实现了能量管理系统效率最大化的控制目标。由于本文只在仿真软件中进行仿真验证，缺乏一定工程实践性，今后可考虑在HIL实验平台进一步验证控制策略的可行性和有效性。

参考文献

[1] 王琦，刘胜永，郑致飞. 基于模糊控制的纯电动汽车能量管理策略研究[J].广西科技大学学报，2021，32（2）：83-88，106.

[2] 孫家文，刘胜永，王建超，等. 基于转矩分配的混合动力汽车控制策略的优化研究[J].广西科技大学学报，2017，28（1）：29-34.

[3] 崔纳新，步刚，吴剑，等. Plug-In并联式混合动力汽车实时优化能量管理策略[J].电工技术学报，2011，26（11）：155-160.

[4] 钱立军，邱利宏，辛付龙，等. 插电式四驱混合动力汽车能量管理控制策略及其优化[J].农业工程学报，2015，31（13）：68-76.

[5] 任崇岭，刘慧军. 基于动态规划插电式并联混合动力汽车能量管理控制策略的研究[J].合肥工业大学学报（自然科学版），2021，44（9）：1157-1164.

[6] FU Z C，CHEN Q H，ZHANG L Y，et al. Research on ADHDP energy management strategy for fuel cell hybrid power system[J].International Journal of Hydrogen Energy，2021，46（57）：29432-29442.

[7] LI G Q，GORGES D. Ecological adaptive cruise control and energy management strategy for hybrid electric vehicles based on heuristic dynamic programming[J].IEEE Transactions on Intelligent Transportion Systems，2019，20（9）：3526-3535.

[8] WANG Y Q，JIAO X H. Dual heuristic dynamic programming based energy management control for hybrid electric vehicles[J]. Energies，2022，15（9）：1-19.

[9] KONG Y， XU N， LIU Q， et al. A data-driven energy management method for parallel PHEVs based on action dependent heuristic dynamic programming（ADHDP）model[J]. Energy，2023，265：126306.

[10] 谷贵志，赵咪，樊然然. 基于模糊控制的PHEV转矩协调控制策略研究[J].农业装备与车辆工程，2021，59（3）：103-107.

[11] 袁君，章云，张桂东，等. 基于自适应动态规划的能量管理系统研究综述[J].广东工业大学学报，2022，39（5）：21-28.

[12] 冯小峰，刘明波. 基于执行依赖启发式动态规划的紧急电压控制[J].华南理工大学学报（自然科学版），2014，42（4）：19-25，58.

[13] 武小兰，白志峰，史小辉，等. PHEV模糊能量管理策略优化设计[J].系统仿真学报，2018，30（1）：242-248.

[14] 杜常清，甘雯雯，张佩. 基于动态规划不同优化目标的HEV转矩分配策略对比研究[J].计算机应用研究，2017，34（5）：1308-1310，1336.

[15] 曾小华，宫维钧. ADVISOR 2002电动汽车仿真与再开发应用[M].2版.北京：机械工业出版社，2017.

Energy management strategy of plug-in hybrid electric vehicle

based on ADHDP

ZHU Jialong1， ZHOU Xiaohua*1， 2， ZONG Lin1

（1.School of Automation， Guangxi University of Science and Technology， Liuzhou 545616， China;

2. Guangxi Key Laboratory of Automobile Component and Vehicle Technology（Guangxi University of Science and Technology）， Liuzhou 545616， China）

Abstract： Taking the plug-in hybrid electric vehicle （PHEV） as the research object， in order to reduce fuel consumption and exhaust emissions， an energy management control strategy based on action dependent heuristic dynamic programming （ADHDP） is proposed. In view of the problem that the whole vehicle drive system has complex nonlinearity and uncertainty， the three-layer BP neural network is used to design the action network and critic network of the ADHDP energy management controller， and the optimal control quantity can be finally obtained through the learning and training process of the ADHDP neural network. Using MATLAB/Simulink and ADVISOR platform， the ADHDP energy management control strategy is jointly simulated and verified under three cyclic conditions， namely CYC_UDDS， CYC_NEDC and CYC_WVUSUB， and compared with the classical electric auxiliary energy management control strategy. The results show that the ADHDP control strategy under three cycle conditions with good driving performance can reduce the fuel consumption per 100 km of the whole vehicle by 19.2%， 15.0% and 19.5% respectively. The exhaust emissions of HC， CO and NOx can be reduced significantly， and the CO in CYC_NEDC condition can be reduced by 47.5%， which is a significant effect. The designed energy management control strategy can effectively improve the fuel economy and environmental protection of the whole vehicle.

Key words： plug-in hybrid electric vehicle （PHEV）; action dependent heuristic dynamic programming （ADHDP）; energy management strategy; fuel economy

（責任编辑：罗小芬）