大数据处理技术下的电商云平台建设与应用研究

龙虎 李娜

摘要：大数据处理技术下的电商云平台建设是以大数据技术为基础，突破一系列关键技术，构建基于大数据技术的电子商务云平台，形成大数据技术在电子商务领域的应用。通过对大数据处理技术、电子商务以及云计算的概念进行梳理，提出了大数据处理技术下的电商云平台架构，给出了具体的平台应用，进一步提炼了大数据的价值，推动大数据技术下的电子商务发展。

关键词：大数据处理技术；电商；云平台

中图分类号：TP393 文献标识码：A 文章编号：1009-3044（2018）28-0296-03

Research on Construction and Application of Electronic Commerce Cloud Platform under Big Data Processing Technology

LONG Hu， LI Na

（Kaili University， Kaili 556011， China）

Abstract： The construction of electronic commerce cloud platform based on big data processing technology is to break through a series of key technologies， build electronic commerce cloud platform based on big data technology， and form the application of big data technology in the field of electronic commerce. Through combing the concepts of big data processing technology， electronic commerce and cloud computing， this paper puts forward the framework of electronic commerce cloud platform based on big data processing technology， gives the specific platform application， further refines the value of big data， and promotes the development of electronic commerce based on big data technology.

Key words： Big data processing technology； Electronic commerce； Cloud platform

随着互联网浪潮的崛起，大数据技术受到高度关注，大数据技术在各个行业的应用越来越多。国外方面，如美国的亚马逊公司、Verizon和苹果等大型企业公司都对云计算及应用方面开展了深入研究，国内方面，如阿里巴巴、当当网、京东、苏宁易购等电商企业也都先后在大数据处理技术和云计算的研发和应用上投入了大量的精力，并将最新研究成果应用到电商交易中。当前，已有很多企业对大数据技术和云计算很感兴趣，并借助大数据技术来对海量电商数据进行数据存储和信息共享。借助大数据处理技术，结合云计算搭建电商大数据云平台可及时处理海量的非结构化电商数据，并可节约在电商设备方面的资金投入，在平台上可实时了解客户行为数据，快速挖掘有用信息，实现有用信息的智能推送，从而实现电商企业绩效提升。大数据处理技术下的电商云平台建设是以大数据技术为基础，突破一系列关键技术，构建基于大数据技术的电子商务云平台，形成大数据技术在电子商务领域的应用。通过对大数据处理技术、电子商务以及云计算的概念进行梳理，提出了大数据处理技术下的电商云平台架构，给出了具体的平台应用，进一步提炼了大数据的价值，推动大数据技术下的电子商务发展。

1大数据处理技术

大数据，其英文全称为BIG DATA，是指海量数据，既包括结构化、半结构化数据，还包括非结构化的数据，具有种类繁多的信息价值，无法用目前的主流软件工具，在一定的时间内，去采取、分析处理及管理，高速海量的信息资产[1]。大数据已被视为硬件和软件以及网络之外的第四种计算资源，大数据技术的战略意义是对海量的有意义的信息进行专业化处理。大数据技术一般可分为整体技术和关键技术两个方面，整体技术主要是是指数据采集、数据存储、基础架构、数据处理、统计分析、数据挖掘、模型预测和结果呈现等方面，大数据预处理技术主要是对已接收数据的辨析、抽取和清洗等操作；大数据存储及管理技术主要是用存储器将采集到的数据存储起来，建立相应的数据库，并进行管理和调用。

2大数据处理技术下的电商云平台建设

2.1 大数据技术与云计算

大数据技术是涵盖了从数据的海量存储和处理以及应用等多方面的技术，主要解决大规模的数据承载和计算等问题，大数据技术对存储和分析以及安全的需求，促进了云计算架构、云存储、云安全技术快速发展和演进，推动了云服务与云应用的落地。云计算这个名词是由Google首席执行官埃里克·施密特在搜索引擎大会上提出的，云计算的特点主要体现在应用层面、服务层面和技术层面三个方面，通过云计算，普通的用户，如企业公司、政府等社会组织不需要部署自己的机房和各种服务器，只需要向云计算服务商购买云计算资源中心提供的相应服务即可。云计算是大数据处理的基础，是大数据的IT基础和平台。通过云计算，云计算服务提供商可以实现集中统一掌控大量的计算资源，向用户提供弹性化的计算资源服务。

云计算代表着一种数据存储、计算能力，大数据代表着一种數据知识挑战，计算需要数据来体现其效率，数据需要计算来体现价值[3]。云计算类型以服务类型来划分一般可分为基础设施类、平台类和应用类三种类型；以所有权来划分云计算系统类型主要有公共云、私有云和混合云三种类型。云计算结合大数据，是时代发展的必然趋势。云计算的资源共享、高可扩展性、服务特性可以用来搭建大数据平台，分享解决方案，是大数据挖掘及知识生产的基础，大数据云计算是由分布式计算和并行计算发展而来的，大数据处理可根据需求访问计算机和存储系统，计算可能在本地计算机或远程服务器中，也可能在大量的分布式计算机上运行，分布式计算和并行计算是实现运算的技术支撑。

2.2大数据处理技术下的电商云平台建设

大数据处理技术下的电商云平台建设是以大数据技术为基础，突破一系列关键技术，构建基于电子商务大数据的服务平台，形成大数据技术在电子商务领域的应用。大数据技术体系的支撑，包括基于Hadoop的基础架构体系及大规模数据存储与计算方案、海量数据实时处理技术，基于分布式的联机分析处理技术，海量日志数据分析处理技术，敏感数据管理与数据安全技术。大数据处理技术下的电商云平台架构如图1所示。

大数据处理技术下的电商云平台架构主要由数据来源、平台建设、服务总线、示范应用和服务对象等部分组成，数据来源部分主要是订单数据、供应链数据、仓储数据、智能物流数据、互联网金融数据、开放公共数据和其他数据等部分；平台建设方面主要是离线计算平台、实时计算平台和智能计算平台三个部分，其中离线计算平台又包括数据存储、数据处理和数据访问三个部分，实时计算平台主要包括实时抽取、实时计算和多维分析查询等部分，智能计算平台主要包括深度学习、运筹学、回归、分类和聚类等部分；服务总线部分主要是由开放API、沙箱和测试环境、平台工具、开发者社区、区块链技术、供应商开放平台、综合物流开放平台、售后服务开放平台等部分组成；示范应用方面主要包括C2B、智能电商、智慧供应链、智能物流、智能客服、智慧农业、智慧金融、电商物流指数、零售指数和大数据征信等部分组成；服务对象部分主要由生产商、供应商、经销商、平台商家、个人和企业用户、农产品生产商等。大数据处理技术下的电商云平台可为传统制造企业提供大数据分析能力，搭建企业和消费者之间的桥梁，提升生产效率，打造智慧化销售产业链，通过开放产业链各个环节的大数据和算法应用能力，促进电子商务及销售行业创新。

3大数据处理技术下的电商云平台应用研究

大数据正在从诞生之初的概念化转向具体的实际应用，大数据技术无论是国内还是国外正在经历前所未有的快速演变以适应大数据处理与应用需求，很多大型互联网公司都加强了在大数据领域的投资。大数据处理技术的研究，取得了较大的进展，政府部门对大数据技术及应用越来越重视，很多高校和研究机构都在积极探索大数据技术及应用，并于很多企业联合成立实验室探索大数据技术，挖掘大数据到价值。国外对于大数据技术也很重视，如美国政府提出的大数据国家战略，硅谷地区互联网企业Facebook和 Google等对大数据的创新应用进行的深入探索，这些互联网企业还拥有庞大的数据资源及技术设备，而且，很多高端技术人才还为探索大数据技术提供了基础保障。

通过高质量的电商大数据，可以支持政府宏观经济把控、决策并获取精准的反馈。通过消费趋势大数据，支持供给侧改革和产业结构调整，通过海量消费数据，可以帮助企业和政府了解市场。通过互联网为企业提供大数据分析能力，搭建企业和消费者之间的桥梁，提升生产效率。通过大数据处理技术提供互联网金融服务，在风控、征信、理财、股权、保险和管理等领域产生创新，为企业提供大数据解决方案，为个人提供智能财富管理服务。通过云平台开放大数据资源，利用区块链技术，建立可信，安全的数据资产环境，推进大数据融合、共享和交易。依据客户消费和档案数据，税务发票，舆论数据等，建立企业和个人信用数据库，辅助政府进行社会和经济治理。

4结束语

大数据时代背景下，电商借助大数据技术已进入飞速发展，利用Hadoop技术来对大数据进行分析，利用先进的云计算、虚拟化技术、NOSQL数据库技术和Eucalyptus技术来搭建电子商务云平台，采用数据挖掘算法并结合云计算对数据的获取、表示、建模和融合进行研究，建立数据的表示和关联模型，得出以云服务为中心的计算模型和系统架构，以解决大数据处理技术下的电商云平台建设，进一步提炼大数据处理技术的应用价值，推动大数据环境下的电子商务发展，同时，也解决了电商设备重复投资建设的弊端，从而节约成本降低费用。

参考文献：

[1] 龙虎，杨晖.大数据背景下的数据分析与可视化研究[J].凯里学院学报，2016，34（3）：98-102.

[2] 杨伟强.电子商务数据分析[M].北京：人民邮电出版社，2017.

[3] 李天目.大数据云服务技术架构与实践[M].北京：清华大学出版社，2016.

[4] 李联宁.大数据技术及应用教程[M].北京：清华大学出版社，2016.

[5] UNITED NATIONS GLOBAL PULSE. 2012，Big Data for Development： Challenges & Opportunities[R].2012.

[6] LAPKIN A. Hype Cycle for Big Data[R].Gartner，Inc.G00235042，2012.

[7] INTERNATIONAL DATA CORPORATION. Electronic Medicines Compendium. 2011 IDC Digital Universe Study： BigData is Here，Now What？[R].2011.

【通聯编辑：王力】