基于STM32 的便携式智能配电一体化移动终端控制系统研究

刘栋，张建鹏

（新疆工程学院，新疆乌鲁木齐 830023）

我国偏远地区配电及检修工作受供电比重较小、供电设备多而分散、维护环境较差、智能化水平较低等多维因素的制约[1]，存在人力依赖性强、便携性较差、缺乏智能化测控设备、无法形成智能化的电力数据流一体化融合机制等问题，严重制约“坚强智能电网”的全链条发展。受国家宏观调控、市场行情、成本控制等多维因素的影响[2]，我国偏远地区配电及检修工作为应对复杂多变的工况呈现随机波动性，调度反应又对灵敏度提出了较高要求，加上各类工况互相耦合且不断引发运行进程的结构重建，使得配电、检修工作系统具有非线性，加大了控制管理难度。

文中针对上述工程实际中所存在的问题，设计开发了基于STM32 的便携式智能配电一体化移动终端控制系统。该系统主要由控制系统和软件系统构成。控制系统采用原子科技STM32F103 实现一体化控制，结合外围电路实现远程管理，并承载软件层的智能化运行[3-5]；在软件系统方面，利用改进的深度强化学习算法对较长周期内的配电及检修数据进行深度挖掘[6]，分析其潜在规律，为后续政策制定提供数据支撑。选取国家电网某电力公司数据，对设计的系统进行实际验证。结果表明，文中所设计系统运行稳定，可实现数据的实时采集、传输，能有效对长期配电及检修数据进行深度挖掘和分析，并给出潜在规律，有效解决了配电及检修工作中存在的相关问题。

1 控制系统整体框架设计

控制系统整体框架如图1 所示。系统按照功能划分为底层硬件驱动层、人机交互端应用软件层、服务器端软件支持层。为了实现各子进程的可循环利用与扩展，结合了松耦合层次的设计思想，提高了框架的模块化程度。在底层硬件驱动层，基于数据的信号转换与控制，可实现数据的采集、存储、交换并具有互通、低延时、人机交互特性，为人机交互端应用软件层提供了硬件载体[7]；人机交互端应用软件层具有可视化功能，集成了数据的存储、转移功能，并支持多个用户的登记与使用管理，提高了配电、检修工作的智能化程度；底层硬件驱动层周期性将工况数据传输至服务器端软件支持层[8]，服务器端软件支持层对数据进行算法处理。为了对较长周期内的配电及检修涉及的电网运行态势、设备工况、用电质量等进行数据深度分析，采用改进的深度强化学习算法，挖掘潜在规律，为后续相关政策的制定提供数据支撑，从而构建智能化的电力数据流一体化融合机制。

图1 控制系统整体框架示意图

2 软件系统设计

上述人机交互端应用软件层与服务器端软件支持层同属于软件系统，由于人机交互端应用软件层由硬件系统提供载体，侧重实现人机交互，属于工程化问题，文中重点关注基于改进的深度学习算法的服务器端软件支持层，因此给出机制与算法的融合思路，并利用实际应用场景进行实验，以验证其合理性。除此之外，文中考虑到配电检修工作进程存在的连续性，引入策略梯度（Policy Gradient,PG）算法，以一定概率对进程动作值进行采样，解决动作值数据庞大与非线性特征导致的调度困难，改善了传统值函数学习算法处理数据维度少、无法适应连续进程的不足。

2.1 深度强化学习的改进

为了挖掘长时间尺度下配电检修的数据规律，考虑到非线性特征，引入Actor-Critic 算法以适应数据训练的多形式化，并支持离线、非同步的控制设定，可深入分析配电检修数据的内在特征。具体思路是采用差分算子实时更新数个运行进程，解决非同步运行问题，进而加快了数据处理速度，并引入策略梯度算法，以一定概率对进程动作值进行采样，改善传统值函数学习算法处理数据维度少、无法适应连续进程的不足。逼近算法为深度神经网络，缩短了预测数据的反馈时延，适应多维度的样本训练进程。不失一般性，设确定性策略为πθ(s)，确定性策略参数为θ，根据实时工况S与实时动作A进行状态转移即[9-11]S→A，则奖励值的数学期望为：

为了改善连续积分引发的收敛速度慢的问题，文中基于策略梯度（PG）采取确定性策略解耦连续进程，连续空间内的动作值由工程行为决定，即采取动作表征函数μ，确定最优行为策略为at=μ(st|θμ)，则确定性策略梯度（Deterministic Policy Gradient，DPG）的效能任务为：

可计算确定行为的梯度为：

传统深度强化学习算法对数据的训练速度慢、迭代次数多，求解的任务期望误差逐步扩大、无法实时消除，使最终的效能可信度降低。这是由于深度Q 网络（Deep Q-Network）算法本身的机制将价值期望定义为一定行为策略下的即时奖励与下一状态的预测奖励之和，这将导致工况刷新占用的存储空间变大[12]。为了满足传统学习算法动作网格的寻优路径，相应的参数数量激增。为了解决上述问题，文中考虑到进程的多维非同步特性，对任务期望进行估计，以改进传统的学习算法，形成优化的学习机制，做法为：结合传统深度强化学习算法中的行动者-评论家（Actor-Critic，AC）算法、策略梯度（PG）算法，深度确定性策略梯度（Deep Deterministic Policy Gradient，DDPG）中由于动作值at=μ(st|θμ)是根据确定性策略μ进行设定的，其中，θμ是动作值的形成网络中的参数，因此利用确定最优行为策略μ等价actor，Q(s,a)函数的拟合过程引入了价值网络，等价于策略角色，则DDPG 的目标函数为：

设Q函数表示使用确定性策略μ结合actor 的奖励，本质为数学期望，将DQN 引入DDPG，因此基本构架不变，拟合结果如下：

综合上述原理，价值期望的网络参数为θQ，用Qμ(s,μ(s))表示状态s下结合确定性策略与actor 的回报[13]，其本质仍为数学期望。由于训练进程非离散，因此回报值需由数学积分求解，则策略μ下的效能函数如式（6）所示：

在此基础上，文中引入多源实时学习进化原理，通过任务回报预期定义损失，其表征函数为：

传统深度强化学习算法处理数据维度少，无法适应连续进程，进化学习速度慢，迭代次数较多，本质是采用了epsilon 贪婪策略。为了提高样本利用率、加快搜索进程、提升对不确定性外部因素的适应能力并解决连续进程的处理问题，文中引入面向模型探索能力扩展的噪杂网络适度生成机制，对强化学习算法进行改进。具体地，在传统算法的全连接层中引入该机制，利用自适应噪声自动调整进化能力，以适应多变的外界条件，提高了算法的学习与自适应能力。

2.2 较长周期内的配电及检修数据深度分析模型构建

长时间尺度下的配电检修数据呈现随机波动性，调度反应又对灵敏度提出了较高要求，加上各类工况互相耦合且不断引发运行进程的结构重建，使得配电、检修工作系统具有非线性，加大了控制管理难度。考虑到供电、配电工程需求的面向范围较广，整体耦合程度高，外界条件突变性强且维度不固定，同时响应泛在电力物联网的背景指引，文中引入改进的深度强化学习算法处理配电检修这一复杂系统。改进后的电力智慧供应链高维度决策模型算法框架示意图如图2 所示。强化学习模型按照网络类型可分为Critic 神经网络与Actor 神经网络，前者用于对关键数据与参数进行迭代，后者自主进化相关数据，协同优化进程的搜索方向，从而实现智慧配电、智能监测、全景可视、专业协同与电力数据流一体化融合机制之间的高维度决策映射，最终实现多维差异性系统数据的横向共享集成。

图2 电力智慧供应链高维度决策模型算法框架示意图

2.3 模型的仿真验证与实证分析

文中选择Python 语言，算法进化载体选为Tensorflow-Gpu 1.8.0，人机交互界面选用Keras 2.2.2和Gym 0.10.8，并使用Pendulum 插件实现数值预测。设replay memory D 初值为N，网格的尺寸初值为128×128×16，折算因子γ为0.96，学习率α为0.002，策略回报区间为[0,1]，Critic 神经网络的训练模式为Train_on_batch()，Actor 神经网络的进化模式为K.function()。若奖励为负且数值较低，则不予考虑，因此其基准值应为0，根据算法论述引入了自适应噪声并生成了新的损失函数。使用面向具体应用案例的模型仿真验证内部状态转移逻辑示意图如图3 所示。文中以国家电网内蒙古东部电力有限公司某配电站的实测数据为初始训练集，人机交互界面采用Gym 0.10.8。为了实时反馈运行维护数据的更新结果，利用Keras 2.2.2 仿真得出训练效果仿真效能图，如图4 所示。

图3 内部状态转移逻辑示意图

图4 面向具体应用案例的算法训练效果仿真效能图

仿真结果表明，Episode-Reward 曲线随着模型训练迭代次数增多升高，而Critic-Loss 曲线则随着模型训练迭代次数增多降低，其中Episode-Reward偏移基准零值程度越高，代表效果越差，这是由于策略动作下的回报在有效值之间震荡。Critic-Loss 的整体损失值在大约在第30 次迭代达到最大值，随后降低，由此变化趋势可看出，Critic-Loss 的参数实现了自主进化，且同步性较强，Episode-Reward 的反馈跟随损失函数更新，且随着进程不断推进，搜索能力不断提升，从而适应于非线性耦合数据的规律寻找并加快了收敛速度。

3 硬件系统设计

3.1 硬件系统功能逻辑设计

文中硬件层的模块构架如图5 所示，以功能导向为构建原则，可划分为如下几个子模块：核心控制、数据存储、人机交互、无线数据同步、高精度供电、SD 卡读写、TFT 真彩显示、兼容性外部接口、配电检修传感器集群等[14]。其中，中心面板的调控模式借鉴了基于原子科技的STM32F103，实现全局控制，并支持同时存储多维样本、外部接口支持RS-422、USB 等主流接口，添加了数据总线与电平转换芯片，支持常用的SD 卡数据传输协议；人机界面为TFT 真彩，可视化程度高，并采用串口WIFI 无线数据收发模块处理异步样本，且具备离线功能，支持多种电压等级的供电，显示子模块屏幕规格高达8 寸，配备有触控功能且支持USB 与串口调试，语言库依据GB 制定，协议允许直接连入互联网，提升了人机交互的信息传导效率。

图5 硬件系统功能逻辑示意图

3.2 硬件系统工作流程设计

文中涉及该硬件层的工作流程如图6 所示。由于采用了STM32F103 控制面板，因此数据通信路径应与STM32F103 控制面板通信路径保持一致，以使设定的流程可在系统中准确运行[15]。启动设备后首先进行初始化，包括协调通信协议、确定接口状态、样本采集与存储功能的维护，排查并处理异常后载入迎宾语言。硬件系统中采用了TFT 显示屏，经过一定的时延后进入用户登录界面，至此可实现多种操作功能，包括获取配电与供电实时状态、在线监测装置工况，并将数据信息放置于相应的保留模块作为备用。当到达指定进程，备用样本将转换格式并基于前述算法进行训练，从而挖掘其数值规律。

图6 硬件系统工作流程图

3.3 硬件系统综合调试

在调试部分，由于硬件系统由多个子模块构成，因此需要独立设计电路印刷板。每个印刷板由PCB内层埋线互连，采用工业级别的分立元件，利用表面贴装工艺进行原件贴装，由此保证了连通可靠性与运行可靠性。为了使系统具有可视化功能，需要更改原有程序，因此改造μCOS-III 多线程软件，使其可应用于人机交互[16]；为了满足多目标需求，操作PendSV 接触单目标约束；为了提高交互的鲁棒性并提升使用体验满足感，采用静态内核对象，从而降低操作延时并减少多余的调控步骤；为了提高操作的灵活度，将数据信息传输至服务器端进行规律挖掘，对于长时间尺度下的运行进程，该步骤自动由内置的程序实现，提高了便捷性；为了进一步改善系统品质，满足不同控制系统的需要，提高系统的适应性，针对不同无线数据同步电路设计了兼容性的接口电路。

4 系统整机测试

文中对基于STM32 的便携式智能配电一体化移动终端控制系统进行了整机操作实验，以验证其在全局调控、运行鲁棒性、信息流完整性、时序同步性等方面的效果。文中在VS2016 环境下开发了基于STM32 的便携式智能配电一体化移动终端可视软件系统，由硬件系统承载软件系统并引入GUI，可实现联网图像的实时采集。文中开发的控制系统可以采集配电检修数据并进行一系列处理，处理方式可智能化选择，包括训练的任务与运行时长等的设定，且可以同时载入多个用户信息并进行独立管理。Sklearn 内核库可以将信息的处理进程可视化，可形成相关视图辅助分析，具备了通用便携式智能配电一体化移动终端控制系统服务器的全流程软件支持能力。实验对象选取为某配电站中的变压器，对其顶层油温进行实时感知，利用开发的控制系统实现上述功能，具体工作进程示意图如图7 所示[17-19]。

图7 变压器顶层油温实时感知工作进程示意图

将控制系统硬件载体、应用软件、服务器支持软件进行整合，测试一体化移动终端控制系统的实际效果，并将其与龙泉供电公司配备的综合配电及检修系统进行实验对比，以验证所开发控制系统的先进性。首先对该偏远地区的供配电数据进行随机采样，分别利用该地区原有控制系统与文中开发的控制系统进行数据处理与分析，通过对公司采购成本控制、数据聚类准确率、数据分析程度、设备携带便捷性、设备人力依赖性多个因素进行对比，以判断文中开发系统的性能。实验的效能结果如表1 所示。由表1 中的指标数据可以看出，文中开发的终端控制系统在各方面都体现了性能优势，降低了采购经济成本，提高了数据分析的准确率与饱和度以及设备的便携性，并降低了人力依赖性，这表明引入改进深度强化学习算法带来了显著的优势，可为电力数据流一体融合机制的发展提供理论指导。

表1 控制系统性能对比分析表

5 结论

为了克服我国偏远地区配电及检修存在的人力依赖性强、便携性较差、缺乏智能化测控设备等若干不足，文中开发了基于STM32 的便携式智能配电一体化移动终端控制系统。该系统主要由控制系统和软件系统构成。控制系统方面，采用STM32F103 实现一体化控制。软件系统方面，利用改进的深度强化学习算法，对较长周期内的配电及检修数据进行深度挖掘，分析其潜在规律，为后续政策的制定提供数据支撑。选取国家电网某电力公司数据，对文中设计系统进行实际验证。结果表明，文中开发的终端控制系统与供电公司现有的控制系统相比，降低了采购经济成本，提高了数据分析的准确率与饱和度以及设备的便携性，并降低了人力依赖性，在各方面都体现了性能优势，具备在我国偏远地区实际推广的应用价值。