大数据测试技术的特点及前景研究

黄瑞国

摘要：随着我国社会经济与技术的发展与进步，我国以全面进入网络信息化时代，计算机技术也在不断地创新与改革，为人们的日常生活便利带来了很大的作用。在这个信息化的新时代中，人们每天所接触的信息量数以万计。能够取得有效的信息，不仅可以节约时间，还能满足各种不同的需求。大数据技术及大数据测试技术正是现在社会发展的需求，在此基础上，该文就着重分析了大数据测试技术的特点及难点，并且研究了其发展前景。

关键词：大数据；测试技术；发展前景

中图分类号：TP311 文献标识码：A 文章编号：1009-3044（2016）27-0001-02

在互联网、云计算等一些网络技术的推动下，其数据也越发膨胀，规模也呈现几倍上升趋势，目前我们已正式跨入大数据时代，开发其中所蕴含的信息及“宝藏”是我国乃至国外研究人员的目标。如今社会的发展需要大数据技术，因为其数据量大、结构复杂、种类繁多，人们可以从其中获取更多具有价值性的信息。

1 浅析大数据

1.1 大数据的概念

由于云时代的到来，大数据技术也吸引了国内外研究人员的注意力。顾名思义，大数据就是由大量结构化的数据构成的大型数据仓库，是一种观察世界的全新手段和方法，利用其思维与处理技术构成一个数据库，从而创建一个透明化的世界关系结构。从互联网发展至今，大数据是这个过程的一个象征性技术，在云技术不断地创新及改革上，这些难以收集也不好运用的数据被研究人员科学合理地进行利用，随着我国各行各业的不断发展，大数据也会在此过程中为其提供一系列有利的价值。[1]

1.2 大数据的特征

大数据运用现在的软件技术是很难收集及存储、分析共享的，国内外研究人员用了四个V概括了大数据的基本特征。

1.2.1 （Volume）数据体量大。

在此技术的发展过程中，已经由原先的TB级别跃升为目前的PB级别，其数据量最高可达200PB。目前我国普通的计算机容量是TB量级，一些大型企业是EB量级。

1.2.2 （Variety）数据类型多

大数据技术具有多样式的特征，所以主要有结构化数据和非结构数据两种形式。非结构数据与结构化数据相对比，后者是以文本为主，前者的种类则众多，主要有网络中的日志、视频、音频、图片等，这对数据的处理能力也有较高要求。

1.2.3 （Velocity）处理速度快

处理速度快是大数据技术与传统数据技术最明显的特征，具国内外研究学者分析，在2020年，全球数据的使用量可能会达到35.2ZB之多。在这么多数据的面前，大数据就充分地发挥了其自身特性，为企业的可持续发展起到重要作用。

1.2.4 （Value）价值密度低

在大数据中，其价值密度是与数据量成反比的。对于使用现金的计算机算法准确地对数据中的价值进行有效提纯，是目前国内外研究大数据技术的一个难点也要点。

在如今这个发展迅速的时代，大数据技术已经成为了网络技术可持续发展的趋势和要点，在我国各行各业包括研究界都有广泛应用。大数据技术具有高性能、高效率及方便管理等优点，其本身的结构和系统设计的也较为复杂，所以对大数据测试技术的研究还是比较薄弱的。[2]

2 浅析大数据技术的特点

2.1 大数据基础上发明的软件被广泛应用

近几年随着大数据技术在我国各行各业都被广泛应用，使其走向信息化和科技化。其中在大数据技术基础上发明的Hadoop分布式处理软件、Hbase数据库及一些可视化软件都对我国行业的发展有着重要的意义。

2.2 大数据的智能处理技术

大数据技术是从海量的数据中获取有效的数据并且进行智能处理分析，人们可以从中发现对自己有用的信息、知识及创造无穷的智慧，对今后我国社会的发展有重要的作用。在此前提下，就必须在大数据中引进智能处理技术，将大数据的分析、管理等技术与人工智能相融合，目前我国机器的数据自动分析、语言理解及自动识别等一些智能技术已经和大数据技术工作的流程完美融合。[3]

2.3 非结构化数据处理正在迅速发展

上文说到非结构化数据处理与传统的处理技术不同，其是以图片、视频及音频等数据展现的，随着云技术时代的到来，此类信息也越来越多。所以我国目前对非结构化数据处理技术越来越有需求，非结构化数据技术中的采集技术等也正在不断地创新及发展。

2.4 分布式处理架构

上文说到大数据技术有多种处理技术，其处理方法也是随着社会的进步而不断创新的，传统的处理方式已经无法满足现如今社会人们的需求。在人们对此不断创新及摸索的过程中，在大数据技术中发现了分布式处理架构，此时它也成了其的主要处理数据方式，这是时代在发展与进步的表现。在分布式处理架构中，分布式文件系统、处理数据库及编程环境等一系列的技术在今天都被人们广泛应用与各行各业中。[4]

3 大数据测试技术

3.1 大数据测试流程

大数据测试的主要流程如图1。

大数据的分析处理流程主要可分为5个阶段：

1）采集。大数据在分析处理中的采集是运用其中的数据库来进行接收来自客户端的数据，比如Web客户端、App客户端等等，并且客户端用户可以通过大数据中的这些数据库对信息进行收集、查询、处理等工作。[5]比如传统的MySQL数据库及Oracle数据库是用来保存一些日常数据的，除了这些数据库，Redis等一些NoSQL数据库也可采集数据。大数据分析处理中采集的特点就是在并发数高。

2）导入、预处理。大数据处理过程中采集时拥有很多数据库，对于这么庞大的数据进行科学分析远远是不够的，还是要将这些数据导入到一个大型的集中数据库，在此之前将其进行简单的预处理。其中Sqoop和Flunm等一些工具就可以将这些数据进行互相操作。其中导入和预处理的特点就是导入量大，每秒可导入百兆或者千兆。

3）统计分析数据。将大量的数据导入到一个大型的集中数据库中，通过使用分布式技术来对其中的数据进行分析、汇总等。统计分析数据的特点就是导入量大，其查询数据量也大，请求较多。Hadoop此产品是使用最多的。

4）数据挖掘。与前面三个阶段不同的是，数据挖掘并没有预先设定其主题，而是在现有的数据中进行各种计算，以达到预算的效果，从而达到复杂数据分析的要求。比较有名的算法主要有K-means（聚类）、SVM（统计学习）及naive Bayes（分类），工具主要有Mahout。[6]数据挖掘的过程中的特点是看数据中文件的格式是否都达到要求。

5）数据分析。当大数据测试分析过程结束之后，产生的数据会被自动的移至其仓库中或者系统中。然后对其中的数据进行分析，这就是大数据处理技术所要解决的问题。数据分析过程的特点是要在具体的数据下才能使业务更加流畅，并且能够有效的分析其数据，从而得出科学有效的策略。

4 大数据测试技术未来发展前景的分析

对于我国社会技术的发展现状来看，大数据技术在未来的发展前景也是非常可观的，大数据技术在我国各行各业中都得到了广泛的应用。目前我国大数据技术公司有三种：技术类、创新类、数据类，但是不断是那种数据公司，对于我国社会发展都是不可缺少的。其中技术类大数据公司被我们所熟知的主要是一些IT公司，他们注重的是数据的处理；创新类大数据公司注重的是富有想象力的员工，能够面对相同数据拥有自己独特的简介，并且能够有所创新；数据类大数据公司是与我们人类日常生活相关的，比如一些客户端（新浪、百度、淘宝等），或者一些大型的连锁企业、金融企业等，这些企业都有大量的数据，不过其中有价值的信息也比较容易被忽略。[7]不管是哪类数据公司，大数据技术会在今后社会发展中越来越好。

1）在云计算基础上的数据分析测试平台将会更加完善

在社会飞速发展的这几年，其中云计算技术发展也甚是迅速，在此基础上其的应用范围也越来越大，这也包括大数据技术在云计算技术中的应用。云技术的发展也为大数据技术的发展提供了一个较好地处理平台和技术，还为其提供了全新的计算方式、更大的存储空间及资源等等。另外，创新后的云计算技术也具备相对丰富的IT资源，这也为大数据技术的发展提供了良好的资源，在两者都不断创新的基础上，大数据技术平台也会日益成熟，其处理水平也会得到明显的提升。

2）大数据技术中的数据分析将会进一步发展

在大数据技术分析处理中，数据分析有着重要的地位，随着社会的发展，其也将会逐渐成为大数据技术中的核心技术。大数据技术主要是对大量数据进行智能处理，从其中获取有效的信息，要想在今后的发展中实现此功能，就要对数据进行分析处理。此过程则是数据分析的基础，所以数据分析在今后的创新发展中会得到进一步的发展，其大数据测试技术也会得到创新及发展。[8]

5 结束语

总而言之，随着我国社会经济及技术的不断发展与创新，信息化时代也将到来，大数据技术也称为了我国人民在日常生活中不可缺少的一部分，在我国各行各业的发展中都有着重要的作用。在互联网技术和云计算技术发展的促进中，大数据技术在未来的发展也将更加智能、先进，也将会涉及我国更多的行业领域，为我国人民生活中创造出更大的便利，为我国科技的创新及发展提供新的技术。

参考文献：

[1] 李鹏飞， 卢瑾， 辛一. 基于专利的大数据技术发展情报分析及战略研究[J]. 情报杂志， 2014（9）： 45-50.

[2] 王骁. 基于Hadoop大数据平台资源及用户行为检测技术的研究[D]. 北京： 北京交通大学， 2015.

[3] 李纪舟， 叶小新， 丁云峰， 等. 大数据关键技术、主要特点及发展趋势[J]. 电信技术研究， 2013（3）： 58-64.

[4] 代亮， 陈婷， 许宏科， 等. 大数据测试技术研究[J]. 计算机应用研究， 2014， 31（6）： 1606-1611.

[5] 吴韶鸿. 大数据开源技术发展研究[J]. 现代电信科技， 2014（8）： 17-22.

[6] 郭丽娟. 大数据的特点及未来发展趋势[J]. 信息通信， 2014（10）： 195-195.

[7] 赵涛. 基于云计算的软件测试技术探索与研究[D]. 西安： 西安电子科技大学， 2014.

[8] 梁志国. 大数据时代计量校准理论与技术的发展展望[J]. 计测技术， 2015， 35（6）： 6-9.