基于人工智能技术的大数据分析方法研究进展

2023-01-14费一鸣

电子测试 2022年6期

费一鸣

（香港恒生大学，香港，999077）

1 大数据分析方法问题的提出

1.1 大数据分析的重要性

大数据是人类发展过程中的重要资源，使我们必不可少的重要内容。关注大数据技术的研究工作，可以充分挖掘大数据的内在价值和科学知识，认识工业经济的快速发展。当下数据无所不在：在我国经济发展中，可以科学控制工业生产过程[1]，从而实现产业经济结构的调整，为我国经济发展注入新的活力。此外，大数据技术的应用有效结合人工智能技术，将智能制造应用于社会制造，为制造业转型做出巨大贡献。

1.2 技术路线

基于人工智能技术的大数据分析，智能是前提，离不开高端的技术支持。利用大数据、人工智能等技术和硬件，实现信息的实时动态采集，整合分析社会的需求，为社会决策作出最优解。从收集数据到分析需求，再到数据整合、数据清洗、数据分析、深度培训、设计合适的方案，整个过程涉及大数据、人工智能等相关技术。

1.2.1 大数据与Hadoop

根据麦肯锡全球研究院的定义，大数据一般是指大到足以捕获、存储、分析和处理超出传统数据管理工具能力的非结构化数据的集合。大数据只是为了实现某些公司或其他利益相关者的某些目标或运营策略而收集的大量数据。大数据技术在于将这些海里数据专业化处理成有价值的信息。

必须处理大量数据才能提取信息。首先要解决的问题是数据存储问题。Hadoop工具具有分布式HDFS文件系统。初衷是在数百台计算机上存储大量数据。HDFS是提供的管理解决数据存储问题。

1.2.2 人工智能与Python

人工智能，英文缩写是AI，研究的重点是人类的思维和意识，这种人类的行为是通过机器模拟，通过数学计算和分析来实现的。人工智能包括两个非常重要的模块：常用的机器学习和深度学习。

创建模型需要使用Python爬虫技术从互联网上获取企业数据以外的数据，这就需要用到Python中的Requests、Scrapy、Selenium、BeautifulSoup等库。机器学习和深度学习只有在数据被抓取后才能进行。机器学习和深度学习以及整个人工智能领域中的大多数模型和算法都使用Python作为基础语言。

2 基于人工智能的大数据发现网络技术设计

2.1 大数据的网络扫描处理

网络扫描是使用电子系统识别、读取和记录数据的过程，以便未经授权的数据可以通过检查。其作用是加快数据验证，保证数据安全，但对于人工智能技术平台人员来说[2]，查找数据存在难度，所以要解决这个问题，首先要对数据进行网络扫描。

数据采用大数据扫描处理，它是对浏览量数据进行分类和定性分类的过程。这个过程中用到的参数叫做分辨率，是扫描的关键。

2.2 大数据信息的提取

大数据信息的提取旨在从人工智能技术平台的页面浏览数据中获取有价值的信息。现在数字处理应用于构建基于人工智能的大数据识别网络。其基本思路如下：首先对提取的客户浏览量数据进行预处理，然后确定大数据识别属性，以便过滤他们出来。

2.3 数据分析方法

2.3.1 聚类分析法

聚类分析方法的主要特点是对通过相似性收集到的信息进行分组和分类，使信息以分段的形式呈现。这种方法论对看似杂乱无章的数据进行深入研究，根据分析的目标将数据划分为不同的组。然后利用数据之间的联系提取有价值的信息，发现信息的潜在价值。聚类分析方法有一定的缺点，因为数据信息本身的个性化，使得在计算统计时难以进行数据分析，也难以识别数据。

2.3.2 人工神经网络分析方法

人工神经网络法是指试图通过模拟大脑神经网络处理和存储信息的方式，分析和抽象复杂而广泛的数据，接收和使用计算结果的方式来处理信息的方法。例如：人工神经网络法主要是在数学模型上建立算法，输入神经网络的研究值都是数值型的。在收集相关数据时需要根据自身实际需要对相关数据进行分析。最好是进行数据分析，确保人工智能技术的应用。

2.3.3 相关性分析方法

相关性分析法是一种利用大数据揭示数据库中不同信息之间关系的分析技术。相关性分析方法可以对采集到的数据和不能直接应用的信息进行相关性分析，实现隐藏信息的挖掘和相应的处理，识别数据的唯一性。这类分析方法具有更好的准确性和目的性，因此这类分析方法更常用于数据的精确分析，例如：在管理文件信息方面。

2.3.4 特征数据分析方法

数据特征分析是一种基于数据质量分析结果的数据分析方法.利用计算数据的特定相关特征集等方法，得到的人工智能结果可能更接近先前预期的数据分析结果或一致。所以使用这种方法进行数据分析可以更好地实现大规模数据分析。大数据时代，海量数据和信息呈现快速增长趋势，给数据整理和分析带来信息的使用困难。

2.4 确定大数据发现的属性

为了使大数据更容易识别，需要在识别描述中尽可能完整地描述大数据信息，但同时对大数据识别网络本身的描述也很重要。另外，由于大数据的输出结果是一个数据集，需要定义很多操作来满足用户的不同需求。因此，有必要明确大数据识别应涵盖的数据来源。

2.5 实现大数据检测网络的建设

在基于人工智能的大数据发现中，网络发现处理可以加快数据验证速度，保证数据安全，然后根据大数据信息的提取确定大数据发现的属性。

基于大数据发现完成大数据信息提取；依靠大数据检测属性的确定，使大数据检测成为现实。完成关于构建基于人工智能的大数据发现网络的拟议研究。

3 基于人工智能技术的大数据分析方法研究方向

3.1 机器学习的大数据分析

机器学习是人工智能技术的组成部分之一，在当前大数据分析技术的研究阶段[3]，应用机器学习已经成为大数据分析技术中最重要的部分。技术人员利用机器学习技术有效讨论当前大数据分析技术，提高当前工作质量，将大数据技术应用到日常生活中。研究人员对大数据的分析从四个主要方面开始：大数据聚类、大数据关联分析、大数据分类和大数据预测。研究人员在使用机器学习分析大数据技术时，需要结合现阶段机器学习技术的实际情况[4]，才能有效地将机器学习技术应用到日常生活中。

例如，当研究人员使用机器学习分析大数据时，他们使用传统的聚类算法对现阶段的大量数据进行阻塞和简化，然后将这些计算结果重新组合以实现大数据分析。其中，MapReduce是目前分布式计算的主流框架之一，研究人员可以使用该框架通过机器学习来实现数据分析。在研究传统聚类算法时，由于现阶段数据量较大，所有的研究工作都比较繁琐。它是一种并行聚类算法，可以有效提高计算机处理速度来分析经典大数据。

3.2 深度学习的大数据分析

当前的大数据研究强调使用深度学习技术，并为提高计算机操作质量做出相应贡献。深度学习代表了这一阶段人工智能技术的关键技术，它要求公司员工在模型训练过程中注意对各种阈值和参数的迭代计算[5]，以实现这一阶段的计算机智能并构建为这些隐藏阶段构建深度网络，逐渐适应当前的工作质量，并为大数据分析指明方向。

目前，深度学习技术研究取得了一定的进展，有力地支撑了我国经济和产业的发展。基于Spark的分布式平台可以利用内存计算训练模型参数，逐步构建深度网络，提高大数据分析效率，为当前阶段大数据探索指明方向。在深度神经网络分析中，研究人员重视算法工作，并借助信息论逐渐适应当前工作的发展，明确整体数据中隐藏神经元的数量。然后将大数据划分为块，并根据深度学习-训练步骤实现对各种数据的迭代计算，从而改变当前的工作质量[6]，提高深度学习模型的学习速度，提高相应大数据分析技术的准确性，从而实现大数据的构建。

3.3 大数据分析的计算智能

在当前人工智能的发展中，计算智能是计算机研究的一个重要分支，借助现有的计算智能研究方法，可以高效处理大数据。研究人员重视传统优化算法的使用，有效利用计算智能技术实现大数据的高效处理。

基于群体智能的大数据分析技术是这一阶段实现具有动态特性的大数据分析的重要手段。群体智能的大数据分析方法是这一阶段分布式计算的一个重要分支，常用于大数据分析。目前的技术人员能够基于粒子群优化技术有效地处理大数据。该阶段的研究人员基于数据拆分合并策略，实现了不同样本的拆分，保持了原始数据之间的信息传递，有效地整合了不同的子集，从而提高了大数据分析的效率。目前，利用计算智能技术，可以逐步建立起由数据存储和并行计算组成的高效管理机制，为大数据技术的应用做出重大贡献。