新时期下大数据分析与应用探析

张瑾 对外经济贸易大学统计学院

一、引言

大数据的概念由麦肯锡提出，大数据是一种规模大到在获取、储存、管理、分析方面大大超出传统数据库软件功能范围的数据集合，其具有大量、高速、多样、低价值密度与真实性的特征。大数据时代的到来，为国内各行业管理决策模式的改革指明了方向，也为企业管理模式的转型提供了支持。当前已经进入大数据时代，互联网技术、云计算、数据库等技术更新速度非常快，大数据为新型技术的发展提供了助力，提高了信息化平台数据分析和加工处理的能力。大数据分析和应用受到众多学者的研究与分析，发掘出许多应用广泛的理论和方法，如深度学习、模式识别等技术。大数据在国家层面也有很广泛的应用。国家出台了一些法律政策、经济政策和人力政策来支持大数据技术的发展与壮大。

大数据技术已经深入到生产生活的各个方面。从企业来讲，大数据技术可以和数据挖掘、人工智能等各种技术融合。以此来为新的生产方式政策提供指导，促进生产力的进一步发展。以“互联网+制造业”的智能生产方式，大大优化生产流程，缩短了生产时间，降低了产品生产所需要花费的费用。在居民生产领域，以信息技术为支撑的智慧城市的构想，从城市构建的各个方面，例如将城市公共产品的服务系统整合，形成资源的充分共享，不仅提高了居民生活的幸福感，也使环境资源的利用率得到了最大化。因此，深度挖掘大数据分析技术的发展与应用有非常重要的现实意义。

二、大数据概述

有许多机构对大数据的定义做过描述，除麦肯锡给出的大数据的定义以外，国外的国家标准和技术研究院对大数据也作出了定义：“大数据是指其数据量、采集速度，或数据表示限制了使用传统关系型方法进行有效分析的能力，需使用重要水平缩放技术来实现高效处理数据。”大数据价值链可分为：数据生成、数据采集、数据储存以及数据分析。数据分析是核心步骤，将数据中的价值挖掘出来是数据分析的灵魂所在，根据数据分析得出的有价值的信息，将其整合成有效的方案，从而制定有效的建议决策。根据收集到的信息可进行深度挖掘，发现数据间的联系与潜在关系。

从大数据的定义看，大数据具有数据量多的特点。大数据的计量单位以PB、ZB 等更大的存储单位来计量。社会上各种技术的更新，技术不仅在民众中普及的非常快，专业人员的继续开发与研究速度也非常快。而且居民生活中的种种痕迹都会被计算机记录，由此产生的大量的数据就会非常庞大。同时大数据也非常的快。不仅是增长速度快，还有大数据处理的速度快。由于社会上各种活动轨迹都要被记录下来，数据增长呈现指数式增长态势，时间短，数据量大；数据量的急剧增加也就增加了对数据处理速度的要求，将实时产生的数据快速转换为可以被处理的数据以及可以被使用的数据是对大数据技术提出的要求。

三、大数据分析技术

大数据分析就是要从海量的数据提取出有价值的信息。社会信息化程度不断加深，各个领域和行业对大数据分析愈发青睐。若是在数据量极大的数据中发掘出有用的数据，需要选取正确有效的数据分析方法。

可视化分析是最基本的大数据分析方法，由于可视化分析方法是以图形的方式来展示数据中提取的信息，简洁而直观，可以同时展示大量、高精度、多角度的复杂图形信息，方便使用者进行观察与分析，因而受到很多企业管理者的喜爱。同时，可视化分析技术操作简单，能够被较多的人所掌握。

数据挖掘是大数据分析的核心方法。数据挖掘就是从非常繁多的数据中提取出有用信息的技术方法，该项技术需要从贴合数据的特性与数据所代表的内涵的角度来挖掘出数据信息的内部价值。数据挖掘可以大大提高数据的价值性，使企业决策者能够根据数据做出更加有效的决策。但由于数据挖掘技术可以有很多算法，掌握起来有一定的难度。

预测性分析在大数据分析技术中有着举足轻重的地位。由于数据最终价值是要为未来的决策做出指引，这就需要数据有预测的能力。在商业领域，预测模型根据已经产生的数据，来识别其中的数据规律，从而指导决策。

人工智能可以将人从繁重的大量的数据解放出来，可以综合数据分析和数据挖掘的技术特点，充分发挥大数据的优点。人工智能技术涉及的领域较多，可以实现文本数据、图像数据、视频数据处理，充分发挥数据潜在价值的挖掘，通过相关数据的展示，实现可视化的操作服务。人工智能也是当前计算机重要技术之一，目前利用人工智能可以构建大数据模型，同时动态的实现算法的更新和处理，保证算法能够准确的实现知识加工，提人工智能的应用精准程度。

大数据分析的方法技术还有很多，例如布隆过滤器、HASH 法、索引、TRIE 树等。与传统的数据分析方法相比，大数据分析方法不再是从有限的样本空间中获取信息，而是从整个数据量分析，可以通过高效的算法、模式，准确的从大量的数据中获取信息。

四、大数据分析需注意的方面

大数据分析要明确分析的目标。大数据收集与分析工作事很烦琐且过程不易逆，在进行大数据分析前，如果对数据分析工作的目标不清晰不明确，那么数据收集工作和分析工作就会有很大的概率做无用功。因此明确数据分析的目标，从根本上把控工作的步骤及进程，可以高效的完成数据分析的工作。

大数据分析要科学规划分析流程。由于大数据分析工作是一套完整的流程，包括收集、整理、分析以及整理等步骤。大数据分析工作要保障整个流程在规定时间内保质保量的完成，就需要对每个步骤的完成时间进行规定，根据流程中该项工作的重要性和工作量来对每个步骤就那些划定时间，并严格要求每个步骤在桂东时间内完成。这样可以做到对整个流程的把控与统筹安排。

大数据分析工作的关键之处是数据分析后的结果。由于大数据分析过程中每个步骤都是很重要的，数据收集要保障得到的数据是完整有效的，数据整理要保障整理后的数据是可以用于数据分析的，是有价值的数据，数据分析则要求能够保障分析结果是真实准确的，结果整理是很重要的一步，这部分要最终形成分析报告，来对结果进行说明解释，从数据中发现的规律及决策方向。因此不能过分关注某一个步骤，由于流程的前后顺序，要合理安排数据的收集和整理工作，把更多的精力放在数据分析和结果整理上，最终使得到的结果是对未来的决策有帮助的。

五、大数据分析技术的应用领域

大数据能够实现多种数据源的融合、加工和处理，帮助用户实现信息过滤、推荐，为决策提供支撑。大数据时代，若是能及时洞悉数据中包含的价值，将对商业模式产生深远的变革意义。

大数据分析技术可用于商业银行。银行业经过几十年的发展，在繁荣发展的同时，也需要进行变革。例如依然存在银行对客户的行为分析能力不够，服务水平和质量不够，产品创新不足，缺乏竞争力等问题。商业银行可以利用大数据分析技术，研究客户的金融行为，以提升服务质量和服务水平以手段，以提高客户的满意度为目标，提升银行的科学管理水平。

大数据分析技术可用于农业生产工作。农业生产工作以往都是农民根据经验来进行农业耕种。通过数据数据技术对气象数据进行预测，发现特定地域的气候规律，进而采取科学适宜的举措，提高农产品的产量收益。通过数据分析技术分析当地土壤成分、肥料的使用等方面，科学施种，选用最有利生长的农户品品种，选用适宜肥料。通过数据分析农业病虫害的防治时间，完善病虫害治疗框架。通过遥感技术、监控技术采集生长信息，整体提高对于农作物生长状况的监管力度，提高农作物整体经济效益，促进农业生产行业的快速发展。

大数据分析技术可用于企业管理工作中。企业需要将经验决策转换为数据决策，利用数据分析找到自身的核心竞争力。确定产品定位，挖掘潜在商业价值，规避风险，对企业发展有更清晰定位。通过数据分析可以了解客户消费习惯、企业经营状况，收入情况以及与员工工作详情。有利于企业大幅提升管理水平，提高营业效益。

大数据分析可以应用的领域还有很多，例如保险公司、金融投资、精准扶贫等等。面对大数据市场的急速发展，产生了大量的大数据人才渴求，亟须合理组织和安排大数据学习课程。整体规划大数据教学体系，把握大数据课程的整体要求，形成从初级到高级的进阶。设计大数据算法、程序和架构，强调实践应用的重要地位。构建大数据人才培养教学体系架构，培养能力与素质齐备的大数据人才后备军。