大数据背景下数据库新技术的探索

常晓宇

摘  要：数据库已是计算机科学技术中发展最快、应用最广泛的重要分支之一。而大数据技术实际上就是将所掌握的海量的数据进行分析和使用，使这些数据发挥更大的价值。该文首先阐述了大数据的基本概念及大数据的特性，从3个方面指出了传统数据和大数据的区别，从大数据采集、数据分析、数据挖掘、大数据的价值与应用几个方面总结了大数据的关键技术，最后展望了大数据的未来方向。

关键词：大数据;数据库技术;数据挖掘

中图分类号：G642        文献标志码：A

1 大数据的基本概念

1.1 定义

数据库是依据一定的数据结构组织起来并存储和管理在一起的各种数据的集合，是多种数据的大仓库。其规模较大，与传统的数据库软件工具相比其海量数据的存储、管理和使用都超出其能力范围，有着规模更大、数据流转更快、数据类型更多、价值密度更低等特征。

1.2 大数据的特性

在大数据技术平台下，与当前流行的数据库处理技术、可扩展的存储系统技术、数据挖掘电网技术、云计算平台、分布式文件系统、分布式数据库互联网技术等技术有着密切的关系，其主要特点表现如下。

1.2.1 数据量巨大

当前人们使用的印刷产品数据量不足200PB，个人计算机硬盘容量则达到了TB，大型企业的数据量则超过了EB。

1.2.2 数据类型多样

由于数据量级存在丰富多样的类型，因此数据还可以分为结构化与非结构化数据。结构化数据主要以存储形式为主，当前非结构化数据格式非常多样，其种类不仅包括文本，而且还呈现为图片、视频、声音、位置等多个不同的种类，存在着大量的个性化数据。

1.2.3 价值密度低

为了更好地对数据进行分析和研究，并以最快的速度提取有价值的信息，当前主要的问题是使用机器算法对数据进行分析。

1.2.4 处理速度快

在处理数据时通常以“1秒定律”作为考察指标，来衡量海量信息的价值提取速度。大数据的这种信息数据分析技术和传统的数据分析技术有着很大区别，其体现如下。

2 传统数据和大数据的区别

第一，大数据技术出现之前，在数据处理方面主要应用模型和各种算法。为了获取所需的准确结果要建立一定的模型来实现，还要应用准确的因果关系和合理算法才可以实现。因此要想进行准确地数据分析就离不开高标准模型的构建，使用合理的算法，才会得到所需的信息，随着大数据技术的出现，这一问题迎刃而解。

第二，在数据量较大时，无须借助因果关系就能够实现数据分析。象Google帮助用户进行翻译时会依据客户自身的使用习惯来翻译，而不局限于固定的语法和标准。

第三，在大数据技术支持下，通过互联网技术可以记录人们日常的行为数据，通过对这些数据信息进行分析可以获得个性化的信息需求，而不需要像传统数据技术一样构建相应的数据库，需要再对各种数据进行前期的处理并建立多种数据库。在大数据技术下不再需要数据结构，通过网络技术就可以随时便捷地处理网络中所产生的各种社交信息，对用户行为所产生的地理位置信息等进行获取，更加精准地获知用户的日常行为习惯等个性化的数据内容。

3 大数据的关键技术

3.1 大数据采集

电商可以在借助传统数据库MySQL和Oracle的基础上，把客户往来的大量信息数据存储和管理起来。大数据技术在采集数据信息的过程中有着很高的并发数，这是因为同时还有其他较多的用户也在对数据进行访问和操作，象购票网站和淘宝，在集中的时间段内就会有上百万次的点击量和使用量，因此需要采集端事先要设置海量的数据库，以满足短时间内所聚集的海量的用户点击需求。在大数据背景下，数据不仅来自互联网、各种物联网以及云计算系统，同时还包括了手机、物联网、IPAD、电脑等移动数据端产生的数据，这些数据由于人们频繁地使用数据量急速膨胀。

3.2 数据分析

主要是指应用恰当的统计方法来分析所收集的数据，并筛选和提取所需的信息。通过这些数据的分析和研究，能够为人们的日常活动提供相应的参考，帮助人们树立正确的认知，获得所需的信息，调整自己的行为，得到正确的结论，从而获取更深刻、更有价值的信息。随着大数据技术的不断发展，其应用范围更加广阔，不仅体现在数据数量方面，在数据速度、数据多样性等大数据的应用趋势方面都有着增长的趋势，因此不管何种行业都应该选择更为先进的大数据技术以获得更好的发展。

3.3 数据挖掘

数据挖掘技术不仅是一门综合利用了人工智能的新兴技术，同时这一技术还使用了常见的数据库技术以及计算机系统中的机器语言技术，还有其他学科的统计技术等，是一种集多种学科技术和知识于一身的综合性的技术系统。这一技术的前提是存在海量的数据需要处理，同时需要具有相应的能力，象较强的数据存储和计算能力等，因此，数据挖掘技术要基于现有数据通过多种算法，才能起到良好的数据分析效果。

3.4 大數据的价值与应用

大数据技术最大的作用就是可以分析庞大的数据，同时将分析结果呈现在需求者面前。在不同行业、不同企业的各种业务中，甚至相同行业的不同企业的相同业务当中，也会有着不同的发展方向、对数据集合有着不同的要求、不同的挖掘目标，因此所选择的大数据技术与大数据信息系统也不会相同。只有做到“应用对象、应用技术、实际应用”协调运行，大数据才能表现出本身最大的价值。当人类技术发展到顶端时，表明数据技术也达到了顶端，研究数据、应用数据，可以创造新的发展机会，人们并不关心大数据的概念，而是关注大数据的应用。

4 大数据的未来方向

4.1 数据的资源化

数据的资源化指的是大数据技术对于企业和社会发展有着不可忽视的重要作用，应引起人们的广泛关注和重视，并获得社会不同领域的积极认可，获得更具普及性的应用和发展，所以对于企业来说，要重视新兴技术的应用，不断调整营销战略，从而获得更好的发展。

4.2 与云计算的深度结合

在云数据分析平台的基础上，大数据技术的发展将会更加完善，越来越多的企业把各类日常事务运行及管理都搬到了这一平台上，使这一技术获得了空前的发展，促进了大数据技术与云计算的融合发展。

总之，随着数据分析技术的快速发展，企业内部的数据分析也要与各部门进行融合，不限于某个部门，而是将其应用到企业的各个方面，从而更好地获得有利于企业自身发展的各种数据和信息，为企业的发展决策提供相应的支持。

参考文献

[1]龙厚彦.大数据时代背景下的数据库技术应用[J].信息与电脑（理论版），2018（23）：15.

[2]何邦财.探究大数据背景下的数据库技术研究[J].计算机产品与流通，2017（8）：3-4.

[3]竹林.用数据库编一本个人专用词典[J].中国索引，2004（2）：21.

[4]李天轮.数据库技术的发展现状与趋势研究[J].科技风， 2019（2）：32.

[5]时进.数据库技术的发展现状与趋势[J].电子技术与软件工程，2019（2）：22-23.