大数据分析的无限深度神经网络方法研究

摘要：本文将从当前无限深度神经网络的概况出发，阐述大数据分析的价值和作用，对无限深度神经网络的学习算法进行分析与探究，希望为相关人员提供一些帮助和建议，更好地运用大數据分析，从而提高神经网络学习算法的有效性。

关键词：神经网络;深度神经;大数据

近些年，互联网技术、信息技术深入发展，人们进入到深度网络时代。大数据是深度网络时代的一大产物，由于其适用于经济、科学等多个领域，因此大数据的价值和作用逐渐凸显出来。将其应用于无限深度神经网络后，神经网络学习算法得到了进一步开发。从这个角度来看，应积极研究无限深度神经网络的学习算法。

一、当前无限深度神经网络的概况

现阶段，深度神经网络的概念活跃于工业领域与学术领域，主要指的是一种前馈深度网络。从特点上看，前馈网络的同层神经元不具备时间参数与反馈连接，这使得深度神经网络适合对静态数据进行处理。无限深度神经网络则是指回复型、互连型的神经网络，不同神经元具有反馈连接。从时间维度将其反馈结构合理展开，伴随时间的演进，神经网络能够做到无限延伸。这样一来，回复型、互连型的神经网络便可称作无限深度网络。

二、无限深度神经网络的学习算法

（一）基本学习算法

从计算能力来看，神经网络主要体现于连接权值。由此可以得出，基本学习算法便是对网络权值展开调节的基本方法。对权值进行调节的目的在于让网络进行特定知识的学习或将特定计算任务实现，并且网络计算任务一般会会被量化成特定性能函数所作的优化[1]。

（二）BPTT学习算法

BP学习算法属于一种对前馈网络展开训练的重要算法，人们使用BPTT学习算法时得到了较大的飞跃。按照BP学习算法基本理念，美国学者曾在上个世纪九十年代提出对无限深度网络进行训练的传递算法，借助反向传递，形成了BPTT学习算法。整体来看，BPTT学习算法对以往的BP学习算法进行了一定扩展，先根据无限深度神经网络向前馈网络进行转换，随后让前馈网络各层的权值保持一致，并和回复型、互连型的神经网格拥有相同的权值。按照连续训练、阶段性训练等训练方式，可形成相应的扩展算法。一种是EpochBPTT扩展算法。EBPTT扩展算法可通过阶段性训练方法对网络权值展开一系列调整。借助该扩展算法展开网络训练的过程中，应把数据集划分为不同的独立段，各段分别在无限深度神经网络里代表相应的时序。另一种是RealBPTT扩展算法。RealBPTT扩展算法能够通过连续法或实时法对网络权值展开相应调整。若t1是运行网络的起始时间，t2是运行网络的当前时间，按照BPTT基本算法，RBPTT扩展算法和EBPTT算法有所差异，BPTT不具备阶段概念，只有处于t1这一起始时间时，网络状态才会得到初始化，同时，网络权值无需在指定的t2时间更新，而是在任意时间t都可以得到更新，处于t时间的性能函数便是网络性能函数。

（三）RTRL学习算法

从扩展方式来看，BPTT学习算法以传播的反向算法为基础，由后到前对误差进行传播。不同于BPTT学习算法，RTRL学习算法能够将活动性的网络信息进行前向传播。早在上个世纪八十年代，RTRL学习算法便被正式提出，人们还将该学习算法进行了多次变形。

（四）LSTM学习算法

在无限深度神经网络中一直存在网络梯度的问题，详细来讲，传播误差时会产生梯度消失、梯度爆炸等问题。要想将以上问题有效解决，瑞士的著名学者在上个世纪末提出LSTM网络，即长短时记忆，随后人们又对LSTM学习算法展开了多种变形。若网络激活函数属于非线性函数，则伴随时间的变化神经网络容易产生梯度爆炸、梯度消失等问题，解决该问题时可借助线性函数来实现，这是一个行之有效的方法。进行网络训练的过程中，应融合RERL学习算法与BPTT学习算法，训练输出层与权值时运用BPTT学习算法，权值输入则由RTRL学习算法加以更新[2]。除此之外，为了降低神经网络的学习难度，应采用截断法，从而让网络隐层输出降低敏感性。

（五）学习方法的应用

伴随大数据的普及和推广，以GPU为代表的计算设备得到了空前发展，相关学者也提出了深层网络的训练思路。由于大数据得到了丰富，因此深度学习算法在应用过程中取得了质的飞跃。借助无限深度学习算法，人们能够对不同类型的数据展开充分利用，如弱标注数据、普通数据、标注数据等，通过海量大数据自动化学习知识的抽象表达方法，换句话说，就是将原始数据向特定知识数据进行转化。应用无限深度学习算法后，算法精准度得到了极大的提升，仅用了不到十年，无限深度学习算法便将文本理解、图像理解以及语义理解等不同领域算法思想完全颠覆，经过一段时间的演变，产生了基于数据训练的端到端模型，随后通过直接输出获取计算结果，这是一种崭新的学习算法模式。

无限深度神经网络最大的特点在于能够对时序特征、时序数据进行提取，即便增加了优化难度，相关学者也予以高度重视，积极开发解决方案，如LSTM学习算法、BPTT学习算法等。与此同时，无限深度神经网络与常规深度神经网络相比，其在处理时序数据时具备的优势更大，计算能力也更强。除此之外，无限深度神经网络在文本理解方面可以根据顺序来进行句子中的单词处理，对于后续内容的处理，无限深度神经网络还能够对前文信息作出抽象性的整合，记忆功能极强。

结语：

总而言之，研究无限深度神经网络的学习算法具有重要的意义。相关人员应对当前无限深度神经网络的概况有一个全面了解，充分把握大数据分析的价值和作用，能够将大数据分析应用到神经网络的基本学习算法、BPTT学习算法、RTRL学习算法、LSTM学习算法中，从而促进我国大数据分析的平稳、快速发展。

参考文献：

[1]邓亚平，段建东，贾颢，等.基于布谷鸟算法优化独立循环神经网络深度学习的超短期风电功率预测[J].电网与清洁能源，2021，37（09）：18-26.

[2]于薏，周奕文，陈弟，等.基于深层卷积神经网络的眼科B型超声图像玻璃体视网膜疾病辅助诊断系统应用评估[J].中华实验眼科杂志，2021，39（09）：792-797.

作者简介：

刘喆（2000.07.12——），女，汉族，籍贯：山东省平度市，学历：本科在读，研究方向：大数据。