大数据技术应用探究

查洋

摘要：通信技术从2G网络时代发展到当今的5G网络，各个行业信息传递不断提速的同时信息量也呈现爆炸式增长。传统的数据处理方法已经不能应对当下海量信息的分析要求。为解决海量信息的管理问题，大数据技术应运而生。大数据技术通过对数据采集、分析、处理及规律探究四个层面进行优化，助力各行业的发展。大数据技术的发展及其应用研究将成为行业的有力助手，变革行业运作模式和人类的生活习惯。

关键词：大数据技术;海量信息;行业变革;数据处理

中图分类号：TP393      文献标识码：A

文章编号：1009-3044（2020）35-0211-03

开放科学（资源服务）标识码（OSID）：

从个人的移动通信到国家的电信业务，从企业的商业管理到整个经济社会的运作，数据的存储量已经上升到新的量级。与此同时，数据的复杂度、管理难度也随着数据量的激增变得棘手。作为智能化时代的产物，大数据技术是解决当下各行业处理海量数据瓶颈问题有效方法。大数据技术的应用，大大促进了对事物行为规律地探索进度，同时也为物联网、“互联网+”以及云计算技术注入了新的活力。

大数据技术不仅仅是一种对庞大数据的处理方式，更是为了探究数据背后的行为规律及事物的发展动向，通过数据链的基础对未知时间的事物状态进行预测，从而更好地对风险进行掌控，促进经济社会平稳有序发展。本文通过对大数据技术的阐述及大数据技术的特征分析，对大数据技术的应用进行探究。

1 大数据特性

大数据的基础定义是在有限时间内无法利用工具捕获的数据合集，需要利用专业数据处理技术才能洞悉其信息价值的新一代数据资产。大数据的重点不仅仅在于数据量大，更重要的是数据分析=背后隐含的商业价值之大。总的来说，大数据具有以下“4V”特性[1]。

1.1 规模性

大数据是对传统数据的扩容，二者的数据量级不在一个层次。大数据的规模在获取、存储、处理、分析方面已经超出了目前传统数据工具能够处理的范畴。

1.2 多样性

大数据的数据涵盖了各个方面的数据，其数据量不仅庞大而且元素众多。多样的数据结构令大数据异于传统数据，用传统分析工具无法处理。

1.3 高速性

由于数量量高于传统数据，大数据技术要求对数据的存储、分析、处理的速度要快，因此需要采用高速节点，高速网络，高速存储等技术来将大数据应用于现实生活中。

1.4 低价值密度

价值密度的定义为数据价值与数据总量的比值。由于大数据技术的数据量庞大，但是其中有用的信息就显得十分渺小，导致了其低价值密度的特性。因此，如何对在庞大的数据量下对有用信息进行挖掘、探索也是大数据技术的核心问题。

2 大数据技术

2.1.大数据技术体系

大数据技术即挖掘大量数据中所潜在的行为规律及商业价值的信息技术手段。大数据的处理流程总体涵盖了数据捕获、数据的安全风险管控、数据存储、数据处理、数据分析应用等阶段，如图1所示。

大数据技术一开始先对数据进行采集，分析信息的安全性除去不良信息。接着对数据进行存储、处理。最终在处理后的数据内挑选出有价值意义的信息，对其进行分析，挖掘其潜在价值。

2.1.1 数据捕获

数据捕获技术作为大数据技术的基础，其重要性不言而喻。在数据捕获的过程中，还需要确保数据的可靠性与可信性。

一般来说，数据捕获技术可以分为4种类型[2]：基于ETL（Extraction-Transformation-Loading）的技术、基于中间件的技术、基于數据流的技术，以及基于搜索引擎的技术。大数据技术常用的数据捕获工具有：Flume、Time Tunnel、Kafka等。

2.1.2 数据安全风险管控

对数据进行安全风险管控旨在保护有用数据不受到不良数据威胁。信息世界，数据良莠不齐。数据漏洞、数据病毒、数据篡改等安全威胁时有发生。因此在收集完数据之后，需要对其进行安全风险管控。常用的安全风险管控技术有：防火墙技术、数据清洗技术、数据筛选技术等。

2.1.3数据存储

数据存储技术是数据捕获和分析的中建桥梁，旨在满足大量数据的快速存储需求，并提供高鲁棒性、高性能的数据访问及管理方案。大数据技术常用的数据存储方法有：分布式存储、多级缓存、负载均衡等。

2.1.4 数据处理

数据处理技术作为大数据技术的关键一步，是将信息从多到少，从海量到专业，从数字信息到智慧信息的有效手段。大数据处理的手段包含流处理及批处理。流处理即对数据进行直接处理，而批处理是对数据进行批量存储后再处理的方式。常见的大数据处理技术有：云计算、分布式计算、结构化数据、非结构化数据等。

2.1.5 数据分析应用

如何将大数据技术应用到目标场景中，是大数据技术的终极目标。数据分析作为大数据技术的核心，正是将数据信息转化成有价值的商业资源的关键举措。大数据技术的分析应用一般包括：采样——建模—测试——检验等步骤。针对大数据的庞大数据量，其建模方式也需要相应地改进，将前沿知识不断输送到模型中，让其学习，通过知识交互的方式推进大数据技术的应用。

2.2 大数据技术结构框架

通过对大数据技术处理流程的分析，可以发现无论大数据的体系多么复杂，所涉及的技术多么烦琐，其总体的结构框架可以分为数据存储、处理分析、应用研究三大部分。通过对三大部分的专业技术处理，则可以将大数据技术应用于各行各业中。

3 大数据技术的应用研究

大数据的应用研究作为大数据技术最直观的表现形式，是从数据到信息、信息到知识、知识到智慧的最终体现。由于大数据技术尚未完全成熟，因此对大数据技术的应用研究也是在摸索地道路上。

3.1 大数据应用模型

总的来说，大数据的应用模型包含4个模块。

1）目标数据存储收集;通过对目标应用领域所涉及的数据进行收集，作为大数据应用研究的数据基础。

2）数据清洗、过滤、选取价值信息;通过对收集的信息进行预处理，保留有用信息，减少需处理的信息量。

3} 数据挖掘;对信息进行挖掘，发现其潜藏知识。

4）智慧信息转化，交互式学习;通过挖掘到的知识，与机器之间进行交互学习，让数据应用变得更为智能化。

3.2 大数据技术应用框架

大数据的应用模型包含逐级递增的分层关系。根据该特性，大数据的技术应用框架通用需要具备分层的概念，如图2所示。

其中，数据整合净化层对数据进行补货、清洗、剥离。数字服务层将处理后数据存储到所拥有的空间内，为分析应用做准备。分析应用层对所存储的数据进行进一步的探索和挖掘。应用形式层将数据分析所得结果应用到各个层面中，实现大数据的潜在价值和实质内涵。

3.3 大数据应用分析

（1）大数据技术在通信网络的应用

5G技术是当下移动通信网络的先进技术，其高传输速率、优传输质量、稳传输功率的特点使其成为当代新型通信技术的代表。5G技术双传输、高效率的特点带来的是更为庞大的数据量[3]。海量数据严重限制了5G通信技术的發展。因此将大数据技术应用到5G通信网络中，是形势所趋，是发展必然。

要将大数据技术应用到5G网络中，首先要借助5G网络自身优势，收集用户数据，利用其高速传输的特点，为大数据技术做好数据基础。其次，在通过对数据的筛选、净化、整合之后，通过大数据的应用分析，考虑将5G网络获取到的数据进行数据挖掘，统计决策分析。最后将知识信息转化到现实生活中的应用层面，例如移动支付、自动驾驶等。

（2）大数据在智能交通方面的应用

所有与交通相关的数据链路构成交通大数据集合。交通行业是大数据技术应用行业的典型代表。随着交通管制的发展，图像、声音、数字监控渠道的增多，交通行业数据扩大到无法管理的局面。与传统数据相比（如表1所示），交通数据的规模、种类、复杂度等方面更加难以处理。因此，合理处理交通大数据是交通行业的首要任务。

为了加强对交通数据的管理，实现智慧交通的目标，可以考虑将大数据技术应用到交通管制中去。以借助大数据技术实现交通违法行为的自动识别为例。首先，将诸如超速、闯红灯、遇斑马线不减速等图像数据收集，建立对应的交通违法数据库。通过对数据的筛选，选取各种违法行为的典型数据进行分析。利用大数据技术的分析决策、数据挖掘等技术，找到这些数据匹配特征点，在对其进行相应的模型转化，变成机器学习的相关模型。接着，在利用已有的基础数据进行适应训练，加强机器学习的认知程度。当机器学习模型的判断准确率能达到相关要求之后，将其投入到实际应用中，就能够实现违法行为的准确判别。

（3）大数据技术在土木工程中的应用

土木工程为国家建设的根基。做好土木工程建设是实现经济前进的助力法宝。但由于土木工程的工程量大，涉及项目众多，因此，工程数据管理成为制约土木工程发展的瓶颈问题。因此，结合大数据技术，助力土木工程建设的推进是促进工程项目发展，实现智慧工程目标的重要举措。

作为土木工程建设中的重要一环，工程造价数据随土木工程建设的项目的推进不断累积。庞大的造价数据加大了工程造价的计算难度，使得以往利用传统的方式进行数据管理的方法不再适用。因此，若要解决工程造价的数据庞大问题，就需要将大数据技术融入土木工程造价的每一个环节当中去。

首先。利用大数据技术建立工程造价数据库，增强数据查找的便利性以及数据管理的有效性。然后以这些数据为基础，利用规则归纳、聚类分析等方法得到工程造价的具体表格。与此同时，考虑到土木建设材料价格受地区影响很大，波动幅度较大，因此在前序数据的基础上，通过当前数据和历史数据的对比，分析价格的趋势走向，预测在不同阶段的工程造价情况，做到心中有数。考虑到地区对工程造价的影响问题，在建立工程造价数据库需要考虑将造价以地区为分界线进行划分，方便工作人员及时了解材料价格，避免不必要的资金浪费。

4 结语

作为工业4.0的代表技术，大数据技术能够有效地对庞大数据进行处理、分析、应用。大数据所挖掘的潜藏信息是当下急需的数字资产。本文通过对大数据的技术流程、框架分析，对大数据的应用进行探究。以大数据技术在通信网络、智慧交通、土木工程三个方面的应用进行分析，进一步证明了大数据技术的时代性及适用性。大数据技术在未来各行各业的发展中，有着更为广阔的前景，是推进行业变革，经济前进的实力推手。

参考文献：

[1] 杨永斌，李笑扬.基于大数据技术的智能交通管理与应用研究[J].重庆工商大学学报（自然科学版），2019，36（2）：73-79.

[2] 孔德智，刘群兴，王颍凯，等.大数据技术及其应用研究[J].电子产品可靠性与环境试验，2013，31（z1）：90-95.

[3] 吴守成.5G通信网络中大数据技术的应用研究[J].通讯世界，2020，27（5）：96-98.

【通联编辑：光文玲】