APP下载

大数据时代数学知识的全面应用探索

2020-09-10王珂

佳木斯职业学院学报 2020年1期
关键词:数据处理数据挖掘大数据时代

王珂

摘 要:数学知识在大数据中,在数据的处理以及挖掘上是十分重要的。本文将分析大数据与数学知识的关联性与在大数据时代实现数学知识全面应用的重要性,来探讨在大数据时代中数学知识的应用,以此充分发挥数学知识在大数据时代的作用。

关键词:大数据时代;数据处理;数据挖掘;数学知识

中图分类号:G634.6 文献标识码:A 文章编号:2095-9052(2020)01-0199-02

科技的发展与进步,离不开对数学知识的应用,作为学习和研究现代科学技术必不可少的基本工具,数学在人类历史的发展当中一直发挥着重要作用。在进入大数据时代后,数学依旧影响着大数据中数据处理以及数据挖掘等方面,同时数学也是大数据时代进一步发展的重要助力。

一、大数据与数学知识的关联

在研究大数据与数学知识的关联前,首先要分析两者的概念。大数据的概念为“是需要新处理模式才能具有更强的决策力、洞察发现力和流程优化能力来适应海量、高增长率和多样化的信息资产。”而数学的概念为“研究数量、结构、变化、空间以及信息等概念的一门学科。”由此可以看出,大数据是需要有特定处理模式才能具有其独特元素的一种信息资产,这种特定的处理模式,则是由数学作基本学科与工具所搭建而成的。也就是说,一旦缺乏对数学知识的应用,那么大数据便不再具备其自身的相应特性,对信息资产的利用也不再存在。这就表明,对数学知识的应用,是大数据得以实现的基础。

二、大数据时代实现数学知识全面应用重要性

在大数据时代,数学知识的应用影响着大数据的数据处理以及数据挖掘两个重要方面。大数據拥有着被称为“5V”的五种特性,其分别为: Volume(大量);Velocity(高速);Variety(多样);Value(低价值密度);Veracity(真实性)。这表明了大数据能容纳大量的数据,有着高速的数据获取与处理能力,数据涵盖了各个方面不再具有单一性,并且数据的价值含量低,但却有着高质量与高真实性。根据相关统计表明,全球每年的数据增长率已经高达50%以上,并仍在逐渐的增长当中。而这些不断增加的数据便需要通过数学知识来对其进行处理与挖掘,才能够使其顺利地得到应用。

数据挖掘在大数据时代中有着独特的地位,而其诞生也与大数据的出现息息相关。在进行数据挖掘的过程中,其侧重点的不同,使其对应的方法与定义也存在着差异。在其诞生之初,对数据挖掘的定义为“全面提取数据当中暗示或未知的可能有用的信息。”但随着大数据的广泛应用,数据挖掘已经脱离了其作为统计模型技术的范畴,而是成为一种专业活动被广泛地应用于各个行业当中,除了常见的教育、科研、营销、通信、制造、网络等产业外,其在商业人工智能的研究领域也发挥着作用。而在进行数据挖掘的过程中,一旦脱离了数学知识的应用,便无法提取数据中的潜在信息与知识,其为各方面产业提供客观数据依据的功能也无法实现。

三、数学知识在大数据时代中的应用

1.运用于数据处理当中

在大数据中,对一个数据进行分析,首先要收集并对这个数据进行初步的处理。并且因为大数据在使用的过程中为了确保时效性,必需要要在数据的收集与处理过程中,严格地对时间进行控制,这就导致其对数据处理的效率以及结构有着极高的要求。并且原始数据自身的特性,也会对数据的收集与处理带来影响。例如,当一个大数据在进行信息处理的过程中,其原始数据存在噪声,并且完整性与统一也存在有问题,这时为了确保数据的准确性,大数据自身会对该项数据进行预处理。也因此,为了提升处理效率,在大数据的应用过程中,需要利用到数学知识当中大量的分析法。在一般情况下,大数据应用的较为普遍的分析法为统计学方法,比如其中的描述性分析法、回归分析法、相关性分析法等。例如,当一个数据需要对一个参数或模型进行检验与判断时,便会应用回归分析法来对数据进行估计,并建立起相应的数学模型。此外,数据处理的过程中,还涉及多项数学理论。比如,当一个大数据内需要对一个数据进行降维处理时,便会为了保障数据的完整性,获得更多数据信息而使用通过运算对多个单调测度进行结合的测度论。

2.运用于数据挖掘当中

数据挖掘,是大数据应用的核心内容,如果脱离了数据挖掘,那么在大数据的应用过程中,便无法从复杂且没有规律的数据中提取所需的有效信息。在实际应用当中,数据挖掘具有应用性、工程性、集合性和交叉性等特点,并且在进行数据挖掘时,通常会采用神经网络、关联分析法、聚类分析法及决策树法等数学方法。而作为被广泛应用于心理学、医学、市场营销等方面的聚类分析法,是数据挖掘中最为常用的一种数学方法,在实施的过程中通常应用灰色关联分析、目标函数模糊及区间值算法等数学知识,并且其具体表现为:

第一,灰色关联分析。灰色关联分析的主要作用,是其可以通过当前数据中几何曲线中的几何形状来对当前大数据中各项数据的关联性大小进行判断,如果数据的几何形状越相近其关联性越大,反之,如果几何形状差异越大,其关联性也就越小。在进行数据挖掘的过程中,灰色关联分析通常被应用于样本数据量较小、样本存在残缺或是样本数据缺乏统一性等情况中。例如,当一个企业想要对自身的某类财务信息利用大数据进行数据分析时,发现自身在对财务信息进行录入的时候,因为工作人员问题产生了数据样本缺失的情况,这时大数据通过灰色关联分析,依旧能够挖掘出相应的数据信息。

第二,目标函数模糊。这种方法是对数据进行标准化与标定后,通过建立与其相应的模糊矩阵,利用直接聚类、模糊等价矩阵等方式来实现对数据集以及关键指标的聚类。并且还可以使用最大数法以及编网法等形式进行聚类。这种方法的效率性、伸缩性、维度的处理范围都要相对优越,在大部分的数据挖掘进程中,都得到了广泛应用,并且,在人们的日常生活中,采用目标函数模糊来进行聚类的方法也十分常见。例如,在对某一图形进行处理时,便会通过这种方式来对数据集以及关键指标进行聚类。而且因为较为成熟的应用,在对各种聚类问题进行解决时,都是可靠的有效途径。

第三,区间值算法。在大数据的处理以及挖掘过程中,区间值算能够对一些“比较型”的数据进行转化,或是分析具有固定取值范围的数据。这种方法相对来说比较常用,可以对不同的系统习性进行挖掘与分析。在实际应用的过程中,通常使用的区间值算法有三种,分别为数与区间聚类法、区间与区间聚类法以及矩阵与区间聚类法。能够高效、准确且真实地分析与统计系统中的各项信息。而在对区间值算中最为关键的区间值进行确立时,即可以由相应的专家进行确定,也可以采取相应的统计学方法进行确定。

四、结语

综上所述,在大数据时代中,数学知识与大数据有着密不可分的联系,并在大数据的应用过程中有着极大的重要性,特别是在数据处理以及数据挖掘两方面的应用上有着极大的作用,以此可以看出,在大数据中,数学知识的应用是确保大数据有效性与实用性的重要保障。

参考文献:

[1]林潘能.浅谈大数据挖掘中数学的运用[J].现代交际,2018(9).

[2]秦善天.大数据时代数学思维的创新应用探究[J].数学学习与研究,2018(8).

(责任编辑:林丽华)

猜你喜欢

数据处理数据挖掘大数据时代
电容式传感系统数据处理电路的设计
基于ARCGIS 的三种数据处理方法的效率对比研究
高层建筑沉降监测数据处理中多元回归分析方法的应用研究
高层建筑沉降监测数据处理中多元回归分析方法的应用研究
数据挖掘综述
软件工程领域中的异常数据挖掘算法
视频大数据处理的设计与应用
大数据时代下图书馆的服务创新与发展
大数据时代高校学生知识管理
从“数据新闻”看当前互联网新闻信息传播生态