大数据技术及应用研究

史宏

摘要：针对广大群众对大数据只停留在字面意义上，不能对大数据有深刻的认识和理解的现象，该文主要向读者介绍了大数据的概念、产生途径、大数据处理方法以及大数据技术的应用领域等几个方面，让读者真正领悟到大数据的内涵，从而改变之前的思维观念，跟上时代的步伐，一起走进大数据时代。

关键词：大数据时代;处理方法;思维观念

中图分类号：TP311 文献标识码：A

文章编号：1009-3044（2020）10-0262-02

随着智能手机的普及，每位网民使用各种应用软件参与互联网的程度加深，用户坐标位置、行为举止、包括身体某个部位的一点点变化，都将成为可被挖掘和分析的数据，据此推理，日常社会每时每刻都会增加数据量。统计数据源于IDC研究机构，在2006年，全球所拥有的数据量约为180EB;该数字在2011年达到1.8ZB。通过该机构估测，到2020年，全球数据总量将会增长44倍，达到35.2ZB。其中容量单位由低到高为GB、TR、PB、EB、ZB，每一个单位相差21¹⁰Byte。如：1TB=2¹⁰GB，依次类推。可见全球数据大得惊人。

1体验大数据时代

大家都有一种体会，你曾在天猫手机客户端浏览过某件商品，当你再次打开天猫客户端时，你会发现曾经浏览过的商品会出现在你的面前，而且优惠力度比之前大得多，这样就会激发你的购买欲望。这种现象就是商家平台根据客户浏览商品停留的时长、关注的品牌等数据的分析来锁定潜在客户，并向该客户将商品进行精准推送，而且不同客户的界面推送的商品各有不同，从而达到营销效果，这就是大数据的简单应用。

那么，什么是大数据呢？目前大数据没有一个固定的定义。一般认为大数据（big data）或称海量资料，指的是难以利用普通方法来挖掘、分析、处理和利用的数据，需要另辟蹊径，通过非常规的处理方法，拥有数据挖掘和分析的能力进行处理。大数据是一种具有量大、多样化和增长速度快的可用资产。

正是由于大数据是一种可用资产，我们需要采用合理的方法来处理这些数据，通过数据挖掘、分析，得到有效的数据，转化为市场价值，如图1所示。因此，数据挖掘技术是商业决策的好帮手。

2大数据的产生途径

大数据产生途径非常多，种类繁杂。智能手机、PC机、平板电脑、移动互联网、云计算、物联网、车联网以及分布在全球各个角落的摄像头和传感器，都是数据来源或者承载的方式。所以通俗地讲，大数据就是通过各种渠道收集到的大量数据，聚集起来可供需求者从中进行挖掘、分析的数据集合，例如智能手机所看到的视频文件、听到的音频文件以及浏览过的界面信息;购物时留下的信息等。

大数据已经被称为“未来社会的新石油”，可见它的重要性无以言表，而且还是清洁资源，可以被多次加工、挖掘出更大的社会价值。

3大数据处理方法

3.1数据挖掘法

收集大数据的方法主要采用数据挖掘，它是目前数据库领域和人工智能研究的热点问题。数据挖掘通俗上讲是海量数据有用价值的发现，它是指将隐藏的、先前未知的有潜在价值信息从众多数据中挖掘出来的一种曲折的过程。数据挖掘利用多种技术融合而成，主要基于机器学习、人工智能、模式识别、统计学、数据库技术等，在众多数据中去除干扰的数据项后进行分类分析、推理和归纳总结，从中获取潜在的可用价值的数据，进而帮助领导决策层调整市场运作风险，精准制定策略，获取更大的利益。其任务是将数据进行分类，然后通过数据分析对未来进行预判。分类法在图像模式识别、医疗诊断等领域有着广泛的应用。分类的方法有：机器学习法;统计法;神经网络法;还有粗糙集法等。数据挖掘及分类基本识别流程如2图所示。

3.2用户画像体系法

用户画像体系也是一个有效处理大数据的方法。该方法是企业利用大数据技术的基本方式，每个企业根据需求要对用户进行画像，用户画像的提出，根本上是源于企业对用户认知的需求：产品设计经理，需要了解用户的特征，来完善产品的功能;营销精英们，需要筛选目标用户，对产品进行精准投放。

什么是用户画像呢？简单地说，将不同的用户信息分别进行标签化，生产者通过数据挖掘、处理分析消费者的消费观念、日常生活起居习惯和社会交往关系等特征数据之后，完美地勾勒出一个用户的立体全貌。企業通过用户画像获取足够的信息基础，能够快速找到精准用户群体以及用户需求等更为广泛的反馈信息。“标签化”是用户画像的工作焦点，而一个标签的选取通常是通过人为制定的标准提取出来的特征标识，比如性别、年龄、地域、生活习惯、消费行为等，然后将用户的所有标签综合来看，最后经过数据分析，便可以勾勒出该用户的立体“画像”。如图3所示。

此外，大数据处理的技术还有以下几种：大数据存储与管理技术、数据采集技术、数据预处理技术、大数据展现和应用技术。其中，大数据展现和应用技术包括大数据可视化技术、大数据应用技术、大数据检索技术和大数据安全管理等。

4大数据技术应用领域

应用大数据技术的基础是对大数据的收集、分析和处理，获取大数据中多种有价值的数据信息，帮助领导决策层调整市场运作风险。应用大数据技术的领域非常广泛，主要在以下几个方面。

4.1大数据技术应用在商品零售领域

某商店售卖蒸包，通过数据分析，了解到在本店买完蒸包的顾客会常常再去另一家粥铺里买热粥或者牛奶，去的人还不在少数，那么这家店可以考虑与粥铺合作，或者直接在本店里售卖热粥或牛奶。该相关的例子很多，网络上比较经典案例是“啤酒与尿布”的故事，大家可以上网查看。通过这些普通的案例，商家可以发挥大数据的商业价值，来帮助企业经营决策。

4.2大数据技术应用在政治领域

2012年美国大选，奥巴马成功连任美国总统，其秘密是在筹备过程中，他的竞选团队运用大数据技术，一直在收集和分析选民数据，通过数据分析结果来制定下一步的竞选策略。该事例成功运用大数据技术，开启了大数据进人政界新时代。

4.3大数据技术应用在交通物流领域

交通物流大数据的来源是安装在物流交通工具上的远程通信传感器，这些传感器能够传回动态的物流信息，包括：行车速度、行驶方向、刹车状况以及动力性能等方面的数据。如果将各种感应器、扫描器、传感器等装置与射频识别（RFID）技术、全球定位系统联合起来，实时采集各种数据信息，同时结合互联网技术形成一个庞大的网络，我们称之为物联网。它实现了物与人、物与物，物与互联网的连接，方便识别、管理和处置。同时物联网又是一个非常强大的数据来源，它所搭建的“万物互联”网络会令数据量呈爆炸性的增长。这些数据的价值，就需要用到大数据技术对其进行挖掘和分析，从而整理出有价值的信息，帮助公司重新设计物流交通路线，将其再应用导航地图等领域，不断更新、优化交通物流线路的收货和配送，给物流交通带来极大的方便性。此外，大数据还在医疗和教育领域、能源领域、制造业领域、金融领域、文化传媒领域有着极其广泛的应用。

总之，大数据时代已经来临，大数据的发展将进一步促进人工智能技术的更新换代，随着大数据、物联网、云计算与人工智能的深度融合，将会改变当今社会的方方面面，特别是改变人民生活、工作、出行的方式。当然，在这个信息爆炸的时代里，不仅充满着机遇，同时也面临着许多挑战。我们要改变自己的思维观念，跟上时代的步伐，大数据还有很多方面等待着我们去发现和探索。