云计算技术在计算机大数据分析中的应用

夏德宏

(江西水利职业学院,江西 南昌 330013)

0 引言

伴随信息技术与互联网技术的发展,技术升级和更新的速度不断加快,计算机中的数据存储量也在日益增多。作为人们工作、生产、生活必不可少的设备,计算机对于社会经济起到了巨大推动作用。由于大数据分析是计算机的一个重要领域,并且云计算技术能够为大数据分析提供巨大帮助,因此,研究计算机大数据分析中的云计算技术运用具有一定现实意义。

1 当前计算机大数据分析的概况

大数据通常指的是种类多、结构复杂、数量庞大的数据共同组成的集合,能够基于相应模式应用和处理各种数据,借助数据的复用、交叉、共享、集成产生一系列智慧服务、知识资源等。大数据脱离了原有的数据结构化范畴,原有的结构化数据能够在数据库系统中浏览和查阅,而大数据中的日志文件、传感器信息、图像信息、视频信息、数字信息为半结构化,部分大数据的字段甚至无法进行检索。作为一种全新的数据形式,大数据具有多个不同的数据源,有必要采用全新的计算方法与计算技术开展针对性的分析工作。与此同时,在原有的结构化数据中,数据源产生的所有数据都以规定格式出现,而在半结构化大数据中,数据源的格式较为特殊,但其逻辑具有可理解性,这使得大数据不同部分能够构建一定的联系。

2 计算机大数据和云计算技术的内在关系

2.1 云计算技术

依托互联网采用服务形式的计算方案即为云计算。云计算能够提供各种计算资源,使用者能够按照自身需求对计算后的资源进行查询、浏览和获取,不管是虚拟资源还是物理资源,无论是共享资源还是专用资源都包含其中。在云中,所有计算机的工作同时进行,相同计算能够集合不同应用程序。由于云计算技术无可比拟的优点,如伸缩性强、资源使用效果好、成本低廉等,因此近些年出现了常规计算向云计算不断发展的趋势。

从类别来看,云包括混合云、私有云和公共云3种[1]。其中,公共云主要提供给大型组织、大型企业、公众组织等,其供应由销售组织来实现。私有云通常在企业内部防火墙的部位,由企业自行管理和使用,属于企业控制、监督、管理和建立的内部云服务。混合云融合了私有云、公共云,二者的服务能够同时使用,并且管理责任由使用方、提供方分摊。目前,公共云在研发型工作方面的应用较多,混合云、私有云的应用范围比公共云更广。在科学技术高速发展的当今社会,云计算技术能够将稳定、高质的大数据分析、计算、存储服务提供给使用者。

2.2 计算机大数据和云计算技术的关系

以技术角度来看,计算机大数据和云计算技术之间存在紧密的联系。其中,云计算将计算过程作为重点,大数据则将计算对象作为重点。若将数据比作财富,则通过计算机大数据分析后得到的便是宝藏,而利用云计算技术可以获取宝藏。通常来讲,大数据使用一个计算机难以展开处理和分析的工作,需要结合虚拟化化技术、云存储技术、数据库、大数据处理技术并通过分布式架构来进行相应计算。客观来讲,云计算技术将绝佳的机遇提供给计算机大数据分析,无论是新兴的多媒体资源、传感器数据、互联网数据还是以往的数据库信息,都能根据需求来开展数据分析工作。

云计算应用在处理和分析大数据的过程中,会通过API、数据计算机构来制定解决方案,这些解决方案可结合高级分析、高级搜索、高级算法来使用。与此同时,信息技术领域对于模型使用较多,人们能够通过科学统计法和海量数据实现高效率的计算机大数据分析。

3 计算机大数据分析中的云计算技术运用

计算机大数据分析中的云计算技术可应用于建立网络分析平台、构建数据处理系统、建立图片处理平台、大数据精准放置等方面。

3.1 建立网络分析平台

近年来,各种互联网技术、信息技术层出不穷,并随着时间的推移不断更新换代,人们依赖这些技术的程度也越来越深,云计算技术便是其中之一[2]。每当网络用户进行网页点击、网页浏览等操作时,计算机系统都能将该网络用户的关键数据、关键信息记录下来,网络分析平台借助网络用户URL的收集实现站点树的建立,同时按照网络用户所产生的行为和做出的操作针对性地与各个行业建立联系,将计算机大数据分析得出的使用者可能感兴趣的数据提供给网络用户。

一些网站每时每刻都会有庞大的点击量,不管是大数据反馈、大数据分析、大数据传输还是大数据采集,各个流程都具有独立的工作分支,基于云计算技术的网络分析平台即为将云端数据分析结果提供给网站的一个平台。与以往的数据分析平台相比,网络分析平台具有多种优势。首先,网络分析平台对计算机配置的要求更低,由于需要处理的数据量十分庞大,原有的CPU、磁盘无法达到大数据分析要求,并且在市场上已有的计算机中能够达到大数据分析要求的也相对较少,网络分析平台可以有效解决这一问题。其次,网络分析平台能够对大数据进行标准化分析与实时查询。基于云计算技术的网络分析平台借助缓存管理、数据查询等功能开展全面的大数据管理、大数据分析、大数据处理工作,从而让大数据科学管理得以实现。对于相同网络平台处理和分析的数据,无须进行二次加工和转化处理,因此大数据分析的效率大大提高。

3.2 构建数据处理系统

借助云计算技术,应用、数据能够向云端进行转移,使处理数据的系统、设备、机器等减少工作量,从而减少资金投入,让相关组织、企业的维护成本、运行成本、设备成本有效降低。运用云计算技术能够帮助计算机构建数据处理模型,把数据流的搭建向云端迁移后,便能在云端建立数据处理公式,建立数据处理模型,构建相应的数据映射网络。在我国,云计算技术在构建数据处理模型方面已经得到广泛普及,如校园智慧网系统、政务数据系统等[3]。阿里巴巴集团运用云计算技术建立了飞天云平台,该平台是一个政务系统,能够将良好的物理环境基于大数据处理工作,数据、信息能够存储于云端处理器并可随时进行处理,还可通过大数据平台展示、分析各种大数据,上述工作都以“云”为基础来开展,高等院校、政府部门等仅需对校园智慧网系统、政务数据系统直接使用即可。出于对安全处理数据的考虑,数据处理系统具备云盾功能,使用者必须拥有云盾使用权限才可登录系统,这样一来,计算机大数据分析与开发即可高效率实现。

3.3 建立图片处理平台

计算机大数据分析运用云计算技术后,能够建立一个图片存储平台,用于收集、存放、处理和分析海量图片。一些行业企业有大量图片需求,如图文影像查询、管理,且图片数量庞大,此时便需要运用云计算技术。以往数据保存的工作需要使用存储设备划分大数据的类别,再将不同大数据归入不同的信息系统,根据特定方法和模式在归档设备中留存,若使用者有查阅需求,就要搜索系统与归档设备,提取所需数据的过程会十分麻烦,若存储数据量过大,则归档设备出现故障后容易出现数据遗失、数据遗漏等风险。

4 结语

总而言之,研究计算机大数据分析中的云计算技术运用具有重要的意义。相关人员应对当前计算机大数据分析的概况有一个全面了解,充分把握计算机大数据和云计算技术的内在关系,能够通过云计算技术建立网络分析平台、构建数据处理系统、建立图片处理平台、实现大数据精准放置,从而发挥云计算技术的分析优势,更好地进行计算机大数据分析,提高数据处理、分析的效率。