大数据技术的研究应用

綦文彬，侯宗润

（山东省青岛市第二中学 山东 青岛 6856158）

1 引言

所谓大数据，从狭义上讲就是难以用现有的一般技术管理的大量的数据的集合，具有大规模，多样性，高效性、准确性和价值性。随着计算机技术的发展，云计算的兴起，使得大数据的获取、存储、处理成为可能。大数据技术是基于网络信息技术存在的，能够利用计算机工具进行搜索、提取和共享的海量数据集合，企业利用好大数据能够帮助提升企业发展规模和发展质量，政府利用大数据信息能够提升决策的针对性和准确性，更好地服务民众。

2 大数据技术重要性

社会科学技术的不断发展，带动了计算机信息技术和互联网技术的应用，在计算机和互联网有机结合应用之后，产生了大量的数据信息，大数据概念也随之出现。大数据处于一种抽象的名词，跟传统的数据不同，大数据依存于互联网信息技术，同时规模大、类型多、价值较高。作为一门新兴的技术，大数据技术的出现为社会不同领域的发展提供了新的发展方向[1]。例如说可以利用社会中产生的大数据来分析民生，进行舆情监控等工作，能够提升政府部门工作质量，加强政府部门跟人民群众的沟通和交流。

3 大数据应用现状和面对的挑战

3.1 大数据技术应用现状

目前大数据技术主要应用于我国的社会企业和政府部门管理工作中，针对电子商务行业、交通管理工作以及医疗保障行业进行有效应用[2]。在电商领域当中，随着大数据信息技术的应用，电商领域的运营模式也发生了很大的变化，目前的网络电商平台主要是研究各种数据，通过数据的支持来分析出顾客的购买能力和购买需求，通过详细的数据分析预测出未来电商的销售情况，并根据预测的解决调整自己的经营决策，提升企业的销售利润。例如说目前淘宝购物就退出了一个个性化推荐模块、广告投放系统，能够根据淘宝用户在平时的搜索和购买产品类型，搜索顾客的相关消费数据，分析用户的行为和喜好，并作出相对应的广告推荐，能够让推荐更加符合顾客消费口味。目前我国大部分城市都在使用“智慧城市”的城市管理系统，能够利用大数据分析技术，来帮助政府部门更好的协助管理城市建设，促进城市管理工作的智能化发展[3]。例如说可以在系统当中建立出每个人的健康监测系统，然后在个人移动设备中上传健康信息，能够让系统针对个人进行有效的分析，及时发现身体健康问题，提升社会群众的健康发展。

3.2 大数据技术面对的挑战

大数据技术的主要应用流程分成为三个部分，数据获取、数据存储和数据分析，在这三个阶段也有三种不同的挑战。在数据获取过程中，大数据的数据主要是从互联网和物联网进行采集，不同的来源自然也在成了数据形式的不一致，面对不同样式的数据，怎么才能够提升利用效率呢。首先需要针对不同的数据类型建立不同的数据格式，并能够实现不同格式的相互转化。例如说如果该数据是网络文本数据，可以转化成为json结构数据，然后再转化为结构化数据，能够让数据的存储和分析变得更加方便。目前在大数据存储技术上Google和Facebook等互联网企业都走在了世界前沿，建立起了新兴的数据库来满足大规模的数据存储[4]，我们要根据我国大数据的类型和特点，建立符合我国大数据技术应用要求的数据库，满足大数据技术应用要求。基于大数据的复杂性、多样性，大数据的分析方法在大数据领域显得尤为重要，可以说是决定最终信息是否有价值的决定性因素。数据分析包括数据连接与集成、数据挖掘、数据可视化、数据报告等。建立一个集成性智能平台，能够将相关所有的数据，加载到诸如hadoop,spark平台，进行数据的自助交互分析，并形成可视化数据分析结果，让人人都能够快速从数据获得决策智慧。可见简化大数据分析的过程，是大数据技术的发展趋势和挑战。

4 大数据技术的应用举例

4.1 新闻业的应用

大数据技术的应用能够帮助模拟显示真实环境，发掘出新的市场需求，同时也能够帮助促进单位部门之间的练习，提升工作效率。在新闻生产行业应用大数据技术，能够进一步帮助提升社会受众的反馈价值。新闻行业应用大数据技术，可以详细的根据受众需求调整发展方向，例如说趋势预测性新闻还有数据驱动型深度报道等，能够提升新闻的数据呈现和分析能力，帮助促进新闻事业的发展。

4.2 公共交通行业中的应用

在交通运输行业应用大数据技术，能够促进交通行业的智能化和发展。首先是在系统当中输入收集到的交通数据，针对交通数据进行有效的提取，然后数据中心会在数据交换中心针对已经提取的数据进行处理和交换。利用计算机进行云储存、云计算，把大数据集成起来进行存储。最终利用控制中心把集成起来的大数据利用不同的色彩呈现出数据地图，能够更加明确的看出数据变化。

4.3 商务管理的应用

现代社会科学技术发展对于企业的生产管理和商务决策提出了更高的要求。现代化企业市场竞争在很大程度上都已经是智能化、网络化水平竞争，逐渐依赖于社会网民群体、社会媒体以及社会中逐渐形成的网络生态系统。在市场运行过程中会产生大量的数据，企业很难及时的收集其中的有利信息调整营销决策，因此在商务管理中应用大数据技术，能够有效促进企业营销的发展。

5 结语

应用大数据技术能够有效促进我国各行各业的创新发展，提升社会发展的时效性。在未来的发展过程中，大数据的应用会更加多样化，满足更多高层次应用要求，跟其他领域技术的交融也会越来越频繁，因此加强大数据技术的研究应用很有现实意义。然而大数据也有局限性，大数据只是对过去和现实的归纳和总结，其本身并不具有趋势和方向性的特征；大数据本身及其采集、使用过程都极有可能会涉及个人隐私、商业机密、公众权益和国家信息安全，因此，要注意做好作重要信息的安全保密。