基于深度强化学习卡尔曼滤波锂离子电池SOC估计

高洪森，游国栋，王 雪，房诚信，张 尚

(1. 天津力神电池股份有限公司，天津 300384；2. 天津科技大学电子信息与自动化学院，天津 300222)

随着新能源交通工具的普及，锂离子电池具有了广泛的应用空间．锂离子电池的状态估计是储能系统的重要组成部分之一[1-3]．锂离子电池状态估计的准确性与电池的充放电过程以及新能源交通工具的运行状态密切相关．为了提高锂离子电池状态估计的精度，国内外相关学者进行了大量研究．

卡尔曼滤波(Kalman filter)是一种利用线性系统状态方程，通过系统输入输出观测数据，对系统进行最优估计的算法．由于观测数据中包括系统中的噪声和干扰的影响，所以最优估计也可看作是滤波过程，是一种常见的锂离子电池状态估计算法[4-5]．锂离子电池运行状态复杂，状态估计受很多因素的干扰．针对串联锂离子电池组不一致性辨识与状态估计，葛云龙等[6]提出一种STF&LM算法，该算法将各单体状态、内阻估计误差控制在合理范围内，提升了电池组不一致性辨识与状态估计．程泽等[7]在分析锂离子电池二阶RC等效电路基础上，将Sage-Husa自适应滤波思想与传统平方根无迹卡尔曼滤波(squareroot unscented Kalman filter，SRUKF)相结合，构建了一种自适应平方根无迹卡尔曼滤波算法，该算法提高了对电池欧姆电阻和容量的估计．上述算法大都设置已知系统的噪声特性，然而系统的过程噪声方差阵或观测噪声方差阵事先是未知的，并且具有很强的不确定性和时变性，因此如果出现错误的参数估计常常会造成滤波的发散．

深度强化学习将深度学习感知能力和强化学习决策能力相结合，可直接根据输入图像进行控制，是一种更接近人类思维方式的人工智能方法[8-10]．文献[11]利用深度强化学习思维，提出了一种强化学习的锂离子电池的状态估计算法，该方法对于锂离子电池的状态估计更加精确和灵活，弊端是更改参数存在困难．文献[12]和[13]分别将神经网络和卡尔曼滤波算法相结合，提出了两种不同的算法，实验均验证了能够提高锂离子电池状态估计的精度．上述算法中初始学习参数的选择主要依靠经验，若选择不当的话，很容易产生局部最优解．赵明等[14]将深度学习与卷积神经网络相结合，应用于地震波形自动分类与识别，并以汶川余震事件中 8900个检测数据作为训练值，训练和检测准确率均达到 95%以上．针对蜂窝网资源分配多目标优化问题，廖晓闽等[15]构建了一种深度强化学习的蜂窝网资源分配算法，论文通过 Q-learning机制设计了误差函数，DNN的权值利用梯度下降法训练，训练结果表明该算法能够自主设置资源分配方案的偏重程度，且收敛速度快．

基于上述分析，本文通过对锂离子电池二阶 RC等效电路拓扑，建立了离散系统数学模型，提出了一种新的深度强化学习卡尔曼滤波锂离子电池荷电状态(SOC)估计方法．首先，通过分析锂离子电池二阶RC等效电路模型，建立了电池的状态空间模型，并利用传统的卡尔曼滤波算法构建了锂离子电池的离散系统数学模型．结合人工智能思想，进一步设计了一个深度强化学习卡尔曼滤波锂离子电池SOC估计方法．最后，通过贝叶斯规则确保了最佳协方差．仿真结果表明，该算法能够较好地提高电池 SOC估计的精度．

1 电池状态空间模型

1.1 电池模型的建立

锂离子电池的运行状态较为复杂，其涉及电化学反应、电荷传递等多个相互耦合的过程，具有强烈的非线性动态特性．针对锂离子电池的 SOC估计，学者们建立了不同的模型，其主要包括等效电路模型、电化学模型和人工神经元网络模型．等效电路模型可以更准确地表达锂离子电池外特性，最能代表电池的动态特性线性模型．论文将二阶等效电路模型作为研究对象(如图1)，数学模型为

式中：r0为锂离子电池内阻；r1、r2，C1、C2为锂离子电池的极化内阻和极化电容；it为锂离子电池电流；u0为锂离子电池内阻端电压；uOCV为锂离子电池开路电压；u1、u2分别为锂离子电池的极化内阻 r1、r2的电压；ut为锂离子电池开路端电压；t为运行时间．

图1 锂离子电池等效电路Fig. 1 Equivalent circuit model for lithium-ion battery

采用安时积分法有锂离子电池的SOC

式中：λ为库仑效率系数；Qc为电池标定容量；t0为初始时间；St0和St分别为SOC的初始值和变化值．

式中：τ1=r1C1，τ2=r2C2；uk( uk= it,k)为控制变量；yk( yk= ut,k)为观测变量；T为变化周期；为系统噪声干扰，协方差为Q；vk为观测噪声干扰，协方差为R．

1.2 电池模型的参数辨识

通过放电实验可以得到SOC-OCV关系式．图2为天津力神公司生产的 18650型锂离子电池在常温(20～25℃)下的SOC-OCV特性曲线图．

图2 锂离子电池SOC-OCV特性曲线Fig. 2 SOC-OCV characteristic mapping curve of lithium-ion battery

2 深度学习卡尔曼估计电池SOC

结合公式(1)—(3)，应用卡尔曼滤波器，建立锂离子电池的离散系统数学模型

式中：噪声干扰wk、vk分别设置为 wk∈(0,Q)，vk∈(0,R)．

强化学习由动物学习、参数扰动自适应控制等理论发展而来，是一种机器学习算法．深度强化学习将深度学习的感知能力和强化学习的决策能力相结合，不断以试错的方式与环境进行交互，通过最大化累积奖赏的方式获得最优策略[10]．本文采用深度 Q网络(DQN，deep Q-network)具体求解资源分配问题，核心思想是将值网络作为评判模块，基于值网络遍历当前观测状态下的各种动作，与环境进行实时交互，将状态、动作和奖惩值存储在记忆单元中，采用 Q-learning算法反复训练值网络，最后选择能获得最大价值的动作作为输出．基于深度强化学习的卡尔曼锂电池SOC估计的基本框架如图3所示．

图3 深度强化学习的卡尔曼滤波SOC估算原理图Fig. 3 SOC estimation process under reinforcement learning of Kalman filters

图 3中sk为算法进行到第 t(t＝1，2，…，k，…，n)步时对应的观测，uk为观测sk下所执行的动作，r(sk, uk) =rk为观测sk下执行动作uk后，获得的奖赏(或惩罚)．

深度学习卡尔曼估计电池 SOC估算流程如图 4所示．

图4 深度学习卡尔曼滤波锂离子电池SOC估算流程图Fig. 4 SOC estimation flow chart under reinforcement learning of Kalman Filters

将卡尔曼滤波算法与深度强化学习相结合，对锂离子电池SOC进行估计，有动作状态值函数

定义最佳Q函数为

利用贝叶斯规则，方程(6)可以改写为

式中：f为过渡函数，即 sk+1=f(sk, uk, ak)．

由此可知，设置sk和uk为决策量，则可获得最佳协方差．

3 仿真及实验分析

在 MATLAB环境下，模拟天津力神公司生产的18650型锂离子充放电过程，仿真数据采用图 2数据，SOC真实的初始值为 1，设定初始值为 0.9．图 5为平方根高阶容积卡尔曼滤波(square-root unscented Kalman filter，SRUKF)和深度强化学习卡尔曼滤波(reinforcement learning Kalman filter，RLKF)SOC 估计曲线．由图 5可以看出：两种方法都能较准确地跟踪锂离子电池 SOC的设置值，其中本文所提方法较接近SOC的设置值．

图5 SOC估计曲线Fig. 5 SOC estmation curves

图6为两种方法对SOC估计误差的比较曲线.

图6 SOC估计误差比较曲线Fig. 6 Comparative curves of SOC estmation errors

由图6可以看出：平方根高阶容积卡尔曼滤波策略估计值与设定值的误差维持在 0.16上下，本文所提方法估计值与设定值的误差保持在 0.14左右，误差较前一种方法小，表明对锂离子电池的 SOC估计精度较高，进而证明深度强化学习卡尔曼滤波可以提升锂离子电池的SOC估计精度．

为了进一步验证所提方法的有效性，本文通过设定工况(采用美国联邦城市运行工况(federal urban driving schedule，FUDS))对锂离子电池的充放电进行实验，并对两种方法(SRUKF和 RLKF)的估计结果进行了对比．采用安时积分法获得锂离子电池SOC的实际值，和仿真一样SOC真实的初始值设置为1，初始值设定为0.9．图7和图8分别为SOC估计比较曲线和SOC估计误差比较曲线．

图7 FUDS工况下SOC估计曲线Fig. 7 SOC estmation curves of FUDS test

图8 FUDS工况下SOC估计误差比较曲线Fig. 8 Comparative curves of SOC estmation errors in FUDS test

由图7可知：两种方法均可快速准确地跟踪到锂离子电池SOC的设置值，符合工程锂离子电池SOC的变化特性．由图 8可知：RLKF算法对锂离子电池SOC估计精度更高，且自适应能力更强．在开始的200min内，估计值与真实值之间的差值基本保持在0.14以下；在200min之后，误差值持续降低，原因是RLKF具有在线修正 SOC估计误差的特性．反观SRUKF算法锂离子电池SOC估计误差曲线，在有效的工况时间内，其估计误差已超过了 0.16．进一步验证了RLKF算法对锂离子电池SOC估计的有效性．

4 结 语

针对锂离子电池的荷电状态(state of charge，SOC)估算精度问题，结合传统的卡尔曼滤波算法和深度强化学习思想，论文提出了一种新的深度强化学习卡尔曼滤波锂离子电池 SOC估计方法，并进行了仿真验证．仿真及实验结果表明，该估算方法在利用两种算法优点的基础上，通过贝叶斯规则可以确保系统的最佳协方差，有效降低了估算过程的计算量，进而提升SOC估算的精度，具有较好的实用性．