基于LSTM神经网络的海量边缘计算数据处理方法

摘要：传统海量边缘计算数据处理方法直接对海量边缘计算数据实施压缩，未对海量边缘计算数据进行动态合并处理，处理效果差。因此，该文提出基于LSTM神经网络的海量边缘计算数据处理方法，该方法对海量边缘计算数据进行动态合并处理，为决策和应用提供更全面和准确的信息支持；对合并的数据进行压缩，提高处理效率；最后基于LSTM神经网络，实现海量边缘计算数据的处理，实验结果表明该研究方法处理效果更好。

关键词：LSTM神经网络；海量边缘计算数据；海量数据；处理方法

doi：10.3969/J.ISSN.1672-7274.2024.07.024

中图分类号：G 642；TP 3 文献标志码：A 文章编码：1672-7274（2024）07-00-03

Processing Method of Massive Edge Computing Data Based on LSTM Neural Network

YAO Wenguang， CHEN Sining

（Aotuo Technology Co.， Ltd.， Nanjing 210012， China）

Abstract： The traditional massive edge computing data processing method directly compresses the massive edge computing data， but does not dynamically merge the massive edge computing data， so the processing effect is poor. Therefore， this paper proposes a massive edge computing data processing method based on LSTM neural network. This method dynamically merges massive edge computing data to provide more comprehensive and accurate information support for decision-making and application; Compress the merged data to improve processing efficiency; Finally， based on LSTM neural network， massive edge computing data are processed， and the experimental results show that the processing effect of this research method is better.

Keywords： LSTM neural network; massive edge computing data; massive data; processing method

随着物联网（IoT）、移动设备、智能家居、自动驾驶等技术的快速发展，边缘计算正日益成为处理海量数据的必要手段[1]。尽管深度学习已经在数据中心级别的数据处理上取得了巨大成功，但其通常需要大量的计算资源和数据中心级别的硬件支持。这使得其在边缘计算环境中应用起来困难重重[2]。

近年来，长短期记忆网络（LSTM）已经在序列数据处理上取得了巨大成功[3]。已经展现出了强大的能力。本文提出了基于LSTM神经网络的海量边缘计算数据处理方法。结合了边缘计算的特性和LSTM的优点，旨在高效地处理和分析海量数据[4]。

1 基于LSTM神经网络的海量边缘计算

数据处理方法设计

1.1 海量边缘计算数据动态合并处理

边缘海量数据在网络互联互通中具有特殊性，使得网络中的数据大多存在一定的相关性[5]。为了提高数据存储的效率，现运用并行算法对海量网络数据进行综合处理。公式如下：

（1）

式中，为边缘海量数据的存储效率；、、为系数；、、分别为网络中节点的连通性、节点的度以及聚类系数。

（2）

式中，为低质量数据的访问速度；、为系数；、分别为数据的集成程度和并行处理程度。

通过以上公式，得出提高边缘海量数据存储效率和低质量数据访问速度的方法。海量边缘计算数据动态合并处理步骤如下：

①首先，需要从各种来源和传感器收集海量的边缘计算数据。这些数据可能来自不同的设备、系统和应用程序，并且可能包括各种类型的数据。

②将式（1）、式（2）得到的计算结果进行清洗、整理和标准化等预处理，以便后续的数据分析和处理。

③将预处理后的数据进行集成，通过数据聚合、数据融合、数据转换等技术实现，以便进行更全面的数据分析和处理。

④利用子组组件的挖掘算法和其他数据分析工具，对集成后的数据进行深入的挖掘和分析，提取出有价值的信息和知识。基于数据挖掘和分析的结果，将相关的数据进行动态合并。

1.2 压缩海量边缘计算数据

由于连续采集的数据在时间维度上存在数据冗余的特点，因而可以在时域上对质量边缘计算数据进行压缩。如果传感器设备的位置相对固定，可以利用本地计算能力来处理时域数据压缩。如图1所示，对每个设备的传输对象的生产过程进行了以下假设。

图1 海量边缘计算数据压缩模型

传感器节点k负责收集电信号，并将这些电信号转换为电信号数据。所获取的原始海量边缘计算数据的时间长度为T，T代表一个计算卸载选择时隙。因此，计算该传感器原始数据体积为TXN。每个传感器节点会对储罐的长度进行T时间序列的压缩处理。采用压缩传感技术有助于减少数据传输的大小，降低计算着陆策略所需的等待时间，并在转运和云端转运过程中选择较小的节点。

考虑到在原始场景保持不变的情况下，建议添加一个雾节点F-AP-Tmin，专门用于处理与压缩重建模型训练相关的所有计算。在确定系统的海量边缘数据处理模式时，引入了一个二进制变量，其中0表示压缩模型处于训练状态，终端无法处理海量边缘数据的压缩；1表示压缩模型已经经过训练，终端发送的所有数据都是经过重压缩的数据。

如果系统的质量计算数据处理模式为0，新添加的F-AP将从最近的几个F-AP和云端中获取用户着陆任务作为训练网络。在训练期间，F-AP将向频率为Z的F-AP发送最新的取消任务，并使用重建数据作为客观标准来评估最大信号与噪声的比率（PSNR）。如果满足要求，则将系统数据处理模式设置为1。如果系统的数据处理模式为0-1，则F-AP将压缩模式矩阵与所有传感器、F-AP和云端同步。

在1模式中，模型如下：

本地加载（m=local）：如果选择本地卸载，数据不需要无线传输，传感器可以直接计算收集的数据来获得结果。公式如下所示：

（3）

边缘计算雾节点卸载（m=edge）：在雾节点卸载选择下，将收集到的数据上传到F-AP进行计算。在这种模式下，考虑到海量边缘计算数据的时间相关性，该时间段内的大部分信息是通过在时间长度为T的时间段内进行适当的频率采样获得的。根据压缩感知原理对数据进行压缩后，为压缩率。处理后的数据显著减少，压缩大小如下：

（4）

式中，为通过压缩以单位收集数据的实际大小。鉴于边缘层导致的等待时间的变化，压缩数据不能在边缘服务器上直接计算，使用压缩重建来恢复数据。在上述基础上，得到基于压缩感知的边缘层时延为：

（5）

式中，为卸载到边缘服务器后，边缘服务器重建数据所需的时间。该时间可能为重新发送等待时间。鉴于小雾节点的落地，为了减少数据压缩后传输的延迟，代入式（5）计算并获得最终的对应结果：

（6）

结果表明，如果数据大小、传输速度、时域压缩比和边缘计算能力相同，则和只与结果数据恢复算法有关。

在选择将数据卸载到云端服务器时，首先会将数据首次加载到广告节点进行计算，再将数据加载到云端服务器。数据采集和卸载选项都使用了压缩传感算法。云端中的临时变化表述如下：

（7）

式中，为数据下载到云端服务器后，在云端服务器上重建数据所花费的时间。因其重新转运而延迟，并且云端服务器具有高计算能力，可以将数据重建所需的时间降至零。

随着数据量的增加，训练组越来越趋于庞大，模型收敛性也逐渐增加，因此重传的可能性显著降低并且可以忽略。根据式（8），数据压缩处理系统中的总压缩数据表示如下：

（8）

1.3 基于LSTM神经网络实现海量边缘计算

数据处理

本文将利用上述压缩海量边缘计算数据，将LSTM神经网络与海量边缘计算相结合，基于LSTM神经网络的数据处理算法如图2所示构建。

图2 LSTM神经网络算法结构示意图

首先，使用上述方法在平台上进行电力交易管理，具体过程如图3所示。用户需要分析各种数据，将杂乱无章的数据通过训练和模型进行处理。通过这种方法，得出具有准确性和完整性的结果。

图3 海量数据处理流程

构建一个信息存储库，并以CSV格式进行存储。这种存储格式使用逗号分隔数据，使得每个数据都成为此存储文件的属性。在实现算法时，需要严格按照图3的流程图进行编写，以确保数据的准确性和完整性。

2 实验论证

2.1 实验准备

准备一台高性能边缘计算服务器，配置最新的处理器和充足的内存，用于处理海量数据。准备相应的数据集，确保数据量达到海量级别。将数据集分成两个部分，一部分用于训练模型，另一部分用于实验测试。在训练过程中，使用边缘计算服务器进行训练，记录所需开销。在实验过程中，使用相同的服务器，利用传统方法1和传统方法2以及本文方法，分别对随机选定的四组海量数据进行处理，记录所需开销，如表1所示。

2.2 对比实验

由表1可知，本文方法能够更好地缩短边缘计算数据处理开销，相比于传统方法1和传统方法2处理开销分别减少2.23 s和3.13 s。实验结果表明，本文设计方法相比传统方法处理效果更好。

3 结束语

在本文中，深入探讨了基于LSTM神经网络的海量边缘计算数据处理方法。通过结合边缘计算的特性和LSTM的优点，提出了一种新颖、高效的数据处理和分析方法。实验结果表明，该方法相比传统的方法具有显著的优势。

参考文献

[1] 钱志远，张凤凯，李尧．基于ESPRIT算法的阵列天线定向钻孔雷达数据处理方法[J]．科学技术与工程，2023，23（16）：6810-6816．

[2] 魏枫展，柯泽锋，贾德民，等．全可变液压气门系统气门运动规律动态测量与数据处理方法[J]．内燃机与动力装置，2023，40（3）：1-7，32．

[3] 周扬，郭庆坤，魏辉．基于VB编程语言的土地征收成片开发方案编制数据处理方法——以界址点成果表自动化生成为例[J]．测绘与空间地理信息，2023，46（1）：115-117，121．

[4] 彭程，王健，王肖磊，等．基于微小质量自动测量系统的数据处理方法研究[J]．计量科学与技术，2022，66（5）：29-36．

[5] 刘宁，朱波，阴艳超，等．一种混合CGAN与SMOTEENN的不平衡数据处理方法[J]．控制与决策，2023，38（9）：2614-2621．