基于三维卷积神经网络的配电物联网异常辨识方法

殷浩然，苗世洪，韩 佶，王子欣，毛万登，牛荣泽

（1. 强电磁工程与新技术国家重点实验室（华中科技大学），湖北省武汉市 430074；2. 电力安全与高效湖北省重点实验室（华中科技大学电气与电子工程学院），湖北省武汉市 430074；3. 国网河南省电力公司电力科学研究院，河南省郑州市 450052）

0 引言

当前，能源革命和数字革命正在深度融合，为适应能源互联和“30·60 目标”要求，配电网不断融入先进的传感测量、保护控制和数据通信等技术，正逐步由传统的电力网转变为电力网和通信网高度耦合的配电物联网［1］。当电力网出现异常状态时，可能会引起通信网络拥塞，降低通信网络性能，进一步导致电力网故障扩大；当通信网出现通信中断、数据异常等异常状态时，可能会引起电力网智能终端误动或拒动，造成电力网故障。因此，为全面、准确地辨识配电物联网异动源的类型和位置，需充分考虑电力网和通信网的交互影响，综合分析电力网和通信网的异动信息，以实现电力网和通信网异常类型和位置的统一辨识。

针对配电物联网，当前研究主要从通信网流量特征分析及建模、配电网信息物理系统仿真平台构建和通信网异常流量检测等方面开展，针对电力网和通信网异常辨识的研究较少。文献［2］分析了配电网的信息架构，为电力网与通信网的交互分析奠定了基础；文献［3-5］分析了配电通信业务特点和数据流量的自相似特征，文献［6-8］分析了电力网和通信网出现异常时通信流量的特征，并建立了相应的信源模型；在上述研究的基础上，文献［9-13］提出了基于通信流量差分序列方差、小波分解能量值、时频混合特征的通信网异常辨识方法。然而，上述研究主要针对通信网异常开展，未考虑通信网异常对电力网造成的影响。文献［14］指出需要对电力网故障和通信节点故障进行统一辨识，并提出了基于多维尺度分析和局部异常因子的配电网故障辨识方法，但该方法仅考虑了电力网或通信网故障后最终反映到电气量的特征，难以准确辨识通信网的异常状态。综上，现有研究多单独针对电力网或通信网开展，较少考虑电力网和通信网的交互影响，难以实现配电物联网异常的统一辨识。

深度学习由数据驱动构建深层神经网络，可自动提取输入数据特征并进行归纳分类［15］。近年来有学者将卷积神经网络（CNN）算法应用于输电线路故障选相［16］、区内外故障判别［17］、故障定位［18］和输电网故障线路判定［19］等问题。然而，上述研究均基于二维卷积神经网络（2D-CNN）开展，当原始样本数据较为复杂时，直接由时序数据排列形成的二维样本往往难以满足要求，需要利用复杂的预处理方法将电气量时序数据构建成二维图形［19-21］，最终效果也依赖于数据预处理过程，限制了CNN 在时序数据特征提取方面的应用。文献［22］在2D-CNN的基础上引入时间维度，提出了三维卷积神经网络（3D-CNN），并被应用于视频检测［23］和三维图像辨识［24］等问题，取得了良好效果，但还未被应用于电力领域。

因此，本文提出一种配电物联网异常辨识方法，利用3D-CNN 提取电气量、通信量与配电物联网异常状态之间的映射关系，实现了配电物联网异常类型和异动源位置的统一辨识，并通过仿真数据验证了本文方法的有效性。

1 配电物联网异常分析与交互仿真

1.1 配电物联网异常状态分析

配电物联网的分层结构如图1 所示，由于电力网与通信网的深度耦合，二者之间的交互作用易使故障范围扩大，给电力网与通信网的统一异常辨识增加了难度。

图1 配电物联网电力网和通信网耦合关系Fig.1 Coupling relation between power grid and communication network in distribution Internet of Things

1）电力网异常

电力网通过配电终端与通信网进行信息交互，当电力网正常运行时，通信网数据流包含配电终端周期性上传的采样值报文、量测值和状态信息组成的周期性数据流，以及由开关操作命令、跳闸命令等外部事件驱动的随机性数据流；当电力网出现短路故障等异常状态时，配电终端需彼此发送跳闸信号，间隔层设备需上传保护动作信息和开关变位信息，产生突发性数据流。因此，当电力网出现异常状态时，通信网数据流量突发性上升，可能引起通信延迟甚至网络拥塞，造成停电范围扩大。

2）通信网异常

相较于输电通信网，配电通信网建设相对落后，部分通信业务需要由公网承担，这增加了配电通信网的可靠性风险［4］。当某条通信链路发生故障时，会导致主站丧失对相应终端的感知和控制能力，无法及时对配电网故障进行处理；当通信网遭受数据侵入攻击等信息安全事件时，可能导致传输错误、虚假信息，进一步造成智能终端的拒动或误动。

1.2 通信网流量建模

1）周期性数据流

周期性数据流由配电终端周期性上传的采样值报文、量测值和状态信息构成，属于时间驱动型数据流，可用周期性间隔、恒定长度的周期性报文来模拟，其数学模型如式（1）所示。

式中:Fp为周期性数据流量；L为报文长度；P为数据流间隔周期；T为端对端时延；D为允许的最大时延，且满足T≤D。

2）随机性数据流

随机性数据流主要包含开关操作、跳闸命令、保护功能连锁和保护定值修改、事件记录查看、录波数据传输等，属于外部事件驱动型数据流，由故障等外部事件触发，可以用Poisson 过程来近似［3］。

设N（t）表示t时刻的报文总数，λ表示报文平均到达速率，则在［s，s+t］时间段内到达k个报文的概率满足式（2）。

报文到达时间间隔服从参数为1/λ的负指数分布，其分布密度函数式（3）所示。

3）突发性数据流

突发性数据流主要包含故障情况下间隔层设备上传的保护动作信息、开关变位信息，以及事件顺序记录信号，具有自相似性，可以用服从广义Pareto 分布的On/Off 数据源模拟其数据流［4］，Pareto 分布函数如式（4）所示。

式中:μ为位置参数；δ为尺度参数。

1.3 交互仿真模型

基于数据驱动的深度学习模型需要利用大量样本数据进行训练，以获取样本特征信息与配电物联网异常状态之间的映射关系，而实际配电网异常数据难以满足训练要求。因此，需构建配电物联网仿真模型。

配电物联网属于典型的信息物理系统，单一的电气仿真无法准确描述通信系统特征，目前学者多采用混合仿真方案构建其仿真模型，即基于通信仿真平台和电气仿真平台分别建立通信模型和电气模型，再实现二者的信息交互［25-27］。基于上述思想，本文分别在Simulink 和OPNET 仿真平台中构建了IEEE 33 节点网络的电力网和通信网仿真模型，其拓扑结构如附录A 图A1 所示。基于文献［28］提出的Simulink 和OPNET 联合仿真架构，通过二者提供的外部接口实现二者的信息交互和时间同步，从而模拟配电物联网出现异常时电力网与通信网之间的交互影响，原理框图见附录A 图A2，其中Fp、Fr和Fb分别表示周期性数据流、随机性数据流和突发性数据流。

2 基于3D-CNN 的异常辨识模型

配电物联网各节点电气量和通信流量的时序动态变化可以反映系统的运行状态，当电力网或通信网出现异常状态时，整个系统的电气量与通信流量存在由正常状态到异常状态的动态过程，本文通过提取该动态过程的特征信息，以实现对配电物联网的异常类型辨识和定位。

2.1 立方样本矩阵构建

3D-CNN 的输入样本为x×y×t的三维矩阵，可以看作由t帧x×y的画面组成。受文献［21］提出的二维画面构建方法启发，可以将每个时刻的配电物联网运行状态视为一帧x×y的画面，因此通过t帧画面堆叠即可反映配电物联网在时间段（t0，t0+t）内运行状态的动态过程。如图2 所示，首先，采集配电物联网各节点的电气量和终端通信流量时序数据，在分别归一化后对齐电气量和通信流量的时间标度；其次，针对每个时刻的采样值，将每个节点的电气量和通信流量组合为一个特征子像素，将所有节点对应的特征子像素按照拓扑节点编号顺序排列形成x×y的特征帧画面；最后，将（t0，t0+t）内的特征帧画面进行堆叠，即可构成面向3D-CNN 的立方样本矩阵Cxyt。

图2 面向3D-CNN 的立方样本矩阵构建过程Fig.2 Construction process of cubic sample matrix for 3D-CNN

2.2 三维特征提取网络

为了提取配电物联网运行状态的动态变化过程，需要同时捕获立方样本矩阵3 个维度的信息，因此本文基于3D-CNN 构建了三维特征提取网络，如图3 所示。

图3 三维特征提取网络与层级softmax 分类器Fig.3 Three-dimensional feature extraction network and hierarchical softmax classifier

首先，当判定系统出现异常状态时，截取阶数为x×y×t的立方样本矩阵作为网络输入，利用多个三维卷积核（阶数为kx1×ky1×kt1）对输入的立方样本矩阵从3 个维度进行滑步卷积计算，如式（5）所示，获得多个三维特征体（阶数为mx×my×mt），三维特征体的阶数满足式（6），每个三维特征体均记录着输入样本不同区域的高维特征。

式中:l为网络层序号；为第l层网络输出的三维特征体矩阵；为第l层网络的输入矩阵，也是第l-1 层网络的输出；⊗表示滑步卷积运算过程；和b(l)分别为第l层的三维卷积核和偏置量；f(x)为ReLU 激活函数；和分别为第l层和第l-1层三维特征体的阶数；kxyt为三维卷积核的阶数；p和s均为网络训练时设置的结构参数，分别表示对输入矩阵的填补值和卷积运算的跨步值。

随后，在每个三维特征体后连接池化核（阶数为kx2×ky2×kt2），对特征体进行降分辨率采样，进一步得到二次特征矩阵（阶数为sx×sy×sz）。本文采用最大值池化方法，如式（7）所示，即输出池化核连接的域中的最大值。通过池化操作可以对高维特征进行二次提取，并使网络具有空间不变性［29］，增强网络的泛化能力。

式中:Ksub为池化核矩阵；fmax(·)为取最大值函数。

特征提取网络由若干组“卷积-池化”结构组成，深度越深，特征空间的维度越高，网络的学习能力也越强，但同时会增大网络的计算复杂度和过拟合可能性，因此网络深度应结合实际问题确定。

最后，在特征提取网络末端加入全连接网络，与前一层的所有神经元相连接，整合由“卷积-池化”结构提取的高维特征，用于后续的异常类型辨识及定位。同时，在全连接层加入Dropout［30］环节，以降低模型发生过拟合的可能性，提高泛化能力。

2.3 层级softmax 分类器

为实现对特征的辨识，通常利用softmax 分类器对网络的输出结果进行分类。传统的softmax 属于单层分类器，通过选择全连接层输出向量中最大元素，得到深度学习模型的分类结果，因此仅能针对单一问题进行分类。为利用一个神经网络统一辨识配电物联网异常类型和异动源位置，本文提出层级softmax 分类器，针对全连接层输出向量，利用第一层级计算样本属于不同异常类型的概率，进一步利用第二层级计算样本异动源位于不同位置的概率，最后输出两层的综合判断结果。

2.4 模型训练策略

三维特征提取网络的监督学习训练过程通过小批量梯度下降算法（SGDM）进行，包含网络初始化、前向传播、反向传播3 个步骤。

1）网络初始化:训练前，按式（8）对三维卷积核和池化核参数进行随机初始化，从而使网络获得学习能力。

式中:kijl为三维卷积核或池化核中的元素；rand {·}表示取随机数运算。

2）前向传播:每次以一组立方样本矩阵Cxyt作为输入，按照式（9），逐层经过三维卷积运算、池化运算、全连接网络运算3 个环节，得到输出向量O，表示网络判定该组输入样本对应的异常类型和异动源位置。

式中:fC(·)表示三维卷积运算过程；fS(·)表示池化过程；fF(·)表示全连接网络运算。

3）反向传播:通过比较网络输出与训练数据标签之间的误差，并按式（10）反向传播至池化层和卷积层，向降低误差的方向调整核参数。

式中:kxyt0和kxyt1分别为调整前后的核参数；Bp(·)表示小批量梯度反向传播的运算过程；E12为网络输出与数据标签之间的误差，通常表示为二者的方差；α为网络的学习率，用于设定反向传播过程的调整幅度。

训练过程基于SGDM 算法，将训练样本分批输入三维特征提取网络，进行多次前向传播与反向传播过程。由于每批输入样本的梯度具有一定的随机性，从而使模型在训练过程中更易跳出局部最优点。随着核参数随训练过程的逐步调整，即可使网络具备将输入样本映射到配电物联网异常类型和异动源位置的能力。同时，为避免网络优化过程中的参数过拟合问题，本文在训练集生成过程中尽可能覆盖配电物联网的运行场景，以使模型学习的规则和理想规则趋于一致［31］，从而避免网络参数过拟合问题。

2.5 特征帧异常度

深度学习算法运算过程较为复杂，运算时长难以满足对配电网异常状态的实时辨识。因此，本文用式（11）所示的异常度衡量每个特征帧相较于配电物联网额定运行状态下特征帧的差异程度，当异常度大于特定阈值时调用深度学习异常辨识算法，从而降低工程应用时对服务器的算力要求。

式中:ΔD为当前时刻特征帧的异常度；aij为当前时刻特征帧第i行第j列的元素值；bij为电压和负荷在正常范围波动时特征帧第i行第j列元素的平均值；nij为额定运行状态下特征帧第i行第j列的元素值；X、Y分别为特征帧的行数和列数。

理论上，ΔD可以利用数学计算方法得到精确结果。但是，考虑到配电物联网中异常场景的复杂性、通信流量变化的差异性，实际中难以通过理论计算得到该阈值。因此，本文利用仿真的方式覆盖了异常场景中各个数据的取值范围，通过试验的方式确定ΔD的取值。根据大量仿真结果，当ΔD≥1.1时认为配电物联网出现异常状态。

3 算例分析

3.1 典型样本生成

实际工程中的故障数据由于数量少、质量低、标签不全，很难满足深度学习的训练要求，本文考虑配电物联网实际运行特点，利用1.3 节所述的IEEE 33节点配电物联网仿真模型生成数量充足的典型样本，用于异常辨识模型的训练。

配电物联网运行过程中，其电压、负荷、异常位置、异常类型等均可能分布在一定范围内，理论上有无穷种运行场景。本文首先对上述可变参数取有限个典型值，见附录A 表A1，对参数典型值进行遍历构成22 400 个故障场景；随后采集故障前后共0.1 s各节点对应的配电终端通信流量、节点电压、支路电流时序数据，并记录故障标签，生成典型参数数据集；最后，基于2.1 节所述方法，将每个节点对应的支路电流、通信流量和每条干线的末端电压时序数据构建为17×17×50 的立方样本矩阵，共生成22 400 组典型样本数据集。基于典型样本数据集对深度学习模型进行训练，可以使模型通过学习得到异常辨识的规则，从而具备应对相似“新样本”的泛化能力，当配电物联网运行场景与上述典型场景相近时，模型依然有效。

3.2 模型结构参数和超参数调整

目前，神经网络层数的确定并没有普适性方法，需要根据所解决的问题特点进行试验。由于本文中的样本立方矩阵由采集的电气量和通信量构成，其样本特征与像素取值复杂度不高，利用深度较浅的网络即可得到高精度的故障辨识结果。因此，本文基于复杂度适中的LeNet-5 网络结构设计了深度学习网络，故障辨识模型中的特征提取网络主体结构采用“卷积层Ⅰ-池化层Ⅰ-卷积层Ⅱ-池化层Ⅱ”，在此基础上需根据模型的训练效果调整结构参数和超参数，以生成效果较好、训练速度较快的异常辨识模型。网络的结构参数和超参数如表1 所示。

表1 特征提取网络的结构参数和超参数Table 1 Structure parameters and hyperparameters of feature extraction network

本文采取由结构参数到超参数的分步调整步骤，具体如下。

1）将超参数设置为典型值，如附录A 表A2 所示。根据输入立方样本矩阵的阶数确定结构参数的可选值，构建结构参数不同的多个特征提取网络，并利用典型样本集对所有模型进行训练和验证，记录各组结构参数下模型的准确率和训练时间，如附录A 图A3 所示。根据不同结构参数下模型的准确率和训练时间，确定特征提取网络的结构参数。附录A 图A3 中net1～net20 表示不同结构参数下的特征提取网络，具体结构参数见附录A 表A3，其中下标Ⅰ、Ⅱ分别对应层Ⅰ、层Ⅱ。由该结果可知，net10、net12 和net17 准确率较高且训练时间较短，其网络结构较适合配电物联网异常辨识问题。

2）针对net10、net12 和net17，进一步利用控制变量法分别调整各超参数取值，记录不同超参数下模型的准确率和训练时间，附录A 图A4 和表A4 展示了net10、net12 和net17 在改变单一超参数时准确率的分布情况。结果表明:Ba与准确率呈非线性关系，其值增大有助于减小训练时间；α对准确率和训练时间影响不大；β增大有助于提高准确率，但增大到一定程度后对准确率提升的效果较小，而与训练时间基本成正比；Dp增大对准确率有小幅提升作用，且对训练时间影响不大。

根据上述测试结果，综合考虑准确率和训练时间，确定异常辨识模型的结构参数和超参数如表2所示。将训练好的模型保存后，后续测试可直接调用模型进行异常辨识和定位，无需重复训练。

表2 异常辨识模型结构参数及超参数Table 2 Structure parameters and hyperparameters of anomaly identification model

3.3 异常辨识模型效果测试

调整配电物联网交互仿真模型的参数形成不同于训练样本的35 种参数组合，同时考虑32 种异常位置和4 种异常类型，共生成35×32×4=4 480 组故障数据，构成测试样本集。以其中一组故障数据为例，当电力网节点13 和14 之间的线路L14发生AB相接地短路故障时，附录A 图A5 展示了故障前后节点13 处的电气量和智能终端通信流量变化情况，在-50～0 ms 时，电力网正常运行，只触发周期性数据流，在0～50 ms 时，电力网出现短路故障，会触发相应通信线路的随机数据流和突发数据流。在交互仿真模型中，不同的异常类型会触发OPNET 中异常节点相应类型的数据流，从而产生不同特征的通信流量。

图4 全连接层输出结果Fig.4 Output results of full connection layer

图4 表明，训练好的异常辨识模型能以较高的可靠性对输入样本对应的异常类型和异动源位置进行准确辨识。对于图4 所示结果，层级softmax 分类器输出的综合判断结果为“A-14”，即输入样本表明配电物联网异常类型为短路故障，且故障位置位于线路L14，辨识结果与实际异常类型和异动源位置一致。

将4 种异常类型共计4 480 组测试样本均按上述过程依次输入训练好的异常辨识模型进行测试，共耗时40.86 ms，辨识结果如附录A 图A6 所示。由附录A 图A6 可见，测试样本的异常类型均识别正确，其中A、B、D 这3 类异常的异动源位置均识别准确，C 类异常中有59 组样本的异动源位置识别错误，具体见附录A 表A5，异动源位置准确率为98.68%。结合附录A 图A1 所示拓扑结构进行了分析，对于59 组异动源位置错误样本，模型识别结果均与真实异动源位置相邻，其主要原因在于相邻位置发生异常状态时在立方样本矩阵中的特征极为相似。

3.4 单数据源与统一数据源模型效果对比测试

为测试电气量和通信流量数据分别对模型训练效果的影响，针对同样的3D-CNN 网络结构，分别利用电气量数据、通信流量数据、电气量和通信流量统一数据对模型进行训练和测试，3 组数据集对应的特征子像素如附录A 图A7 所示。

图5 展示了3 组数据集训练过程的损失值和准确率，3 组数据集训练过程的损失值均接近0，表明模型已经对训练数据进行了充分的拟合；当仅利用电气量数据训练模型时，训练集和验证集的准确率趋势相同，但增大到约90%时无法继续提高；当仅利用通信流量数据训练模型时，训练集准确率约为50%，但验证集准确率达到100%，说明模型出现了过拟合，说明单独利用通信流量判断异常类型和位置的可学习性较差。

将4 480 组测试集数据输入上述3 个训练后的网络，全连接层的输出可视化后如附录A 图A8 所示。结果表明，仅利用电气量数据训练的网络无法区分部分区域发生的异常类型A 和异常类型B，其综合准确率为89.67%；仅利用通信流量数据训练的网络会将异常类型C 和异常类型D 完全混淆，部分异常类型B 也会定位错误，其综合准确率为50.00%；利用电气量和通信流量综合数据训练的网络可以准确判别4 种异常类型，且定位准确率很高，其综合准确率为98.68%。

上述结果表明，由于配电物联网出现异常状态时电力网与通信网存在交互影响，仅电气量数据或通信流量数据隐含的特征信息难以全面反映异常类型和位置，需要综合提取异常后的电气量和通信流量数据以准确辨识异常类型和位置。

3.5 3D-CNN 与2D-CNN 模型效果对比测试

为测试针对时序数据时3D-CNN 相较于2D-CNN 的优势，基于文献［16］中的二维矩阵直接排列构建方法，首先对节点的电气量和对应通信链路的通信流量时序数据进行与2.1 节相同的归一化和间隔采样过程，形成离散时间序列；然后，按照线路编号依次对上述时间序列进行排列，从而形成二维样本矩阵，构建过程如附录A 图A9 所示。

附录A 图A10 展示了基于2D-CNN 的异常辨识模型训练过程的损失值和准确率，相较于图5（c）中的3D-CNN 训练过程，训练集和验证集的损失值随着训练过程无明显下降，且正确率较低。上述结果表明，基于直接排列形成的二维矩阵训练的2D-CNN 模型难以适用于配电物联网异常类型辨识及定位问题。

图5 基于单数据源和统一数据源的模型训练过程Fig.5 Model training process based on single data source and unified data source

从2D-CNN 和3D-CNN 的训练效果对比可以看出，若不采取经过设计的样本矩阵，2D-CNN 难以应对较为复杂的时序数据特征提取和分类问题。当均采用直接排列或堆叠方法构建样本矩阵时，3D-CNN 在提取时序数据特征方面具有较大优势。

4 结语

由于配电物联网中电力网与通信网高度耦合，二者在出现异常时会产生交互影响，单独采用电力网或通信网的异动信息难以全面、准确地进行异常类型和位置的判断。针对上述问题，本文引入了3D-CNN 综合提取电力网和通信网的时序异动信息，实现了配电物联网异常类型和位置的统一判定。通过理论和算例分析结果可以得出如下结论:

1）配电物联网出现异常时，由于电力网和通信网都存在异动信息，单独采用电力网或通信网异动信息时难以区分不同的异常类型，准确率较低；

2）3D-CNN 在数据预处理阶段无需复杂的数学计算方法，通过对时序数据的依次堆叠即可形成效果较好的立方样本矩阵，其异常类型辨识及定位效果优于使用直接排列二维矩阵的2D-CNN；

3）本文构建的立方样本矩阵可以反映配电物联网异常前后的动态过程，利用3D-CNN 提取立方样本矩阵中隐含的异动信息，可以实现对电力网短路故障、通信中断故障、通信数据异常引起的保护误动和拒动等几种异常的准确分类和定位。

多种传感监测装置的引入为配电网的态势感知提供了数据基础，在本文构建的立方样本矩阵的基础上，融入更多类型的传感监测数据，实现配电网的精确运行态势感知，是后续研究的方向之一。

附录见本刊网络版（http：//www.aeps-info.com/aeps/ch/index.aspx），扫英文摘要后二维码可以阅读网络全文。