基于Hadoop的东盟电子商务平台的研究与设计

摘要：随着信息技术的不断发展，目前各个行业操作流程都越来越自动化，与此同时，各个行业对于信息的记录、收集与分析、处理意识也越来越强，传统的存储模式已经不能满足信息化时代电商发展的新需求。尤其是全球经济一体化推动之下，各个地区数据的样式越来越多样化，数据的复杂性也同步提升。单机存储容量有限，而且查询效果比较低，人们在数据访问的过程中运行速度也很慢，已经不能满足当前快速发展的电商设计需求。大数据信息处理平台，目前已经得到互联网行业的青睐，在电子商务平台设计与研究方面得到了广泛应用。现以东盟电子商务协议为例，浅谈Hadoop大数据平台的核心组件、技术优势和应用意义，并就更好地基于Hadoop完善电商数据的收集方案，整合电商网站用户数据进行统计分析和应用，提升用户粘性，发现更多创新性商业价值展开论述，以此来推进东盟电子商务平台系统的研究与设计。

关键词：Hadoop;数据分析;协同过滤;业务;用户;盈利

中图分类号：F724 文献识别码：A 文章编号：2096-3157（2020）24-0015-03

2018年11月12日，东南亚国家联盟各国在新加坡签署东盟电子商务协议，旨在促进区域内跨境电商贸易便利化。东盟电子商务协议的签订，为东南亚国家步入电商新时代带来了有利的契机。与此同时，在电商平台系统的研究与设计方面也需要加快步伐，这样才能够更好地满足电商企业入驻的需求。同时，用户访问过程中信息浏览、商品推送的效率也能大大提升。东南亚国家本身区域跨度比较大，人们的一些消费理念，购物需求也各不相同，在这一模式之下，要想更好地推动东南亚电子商务的发展，就必须要因地制宜，做好数据的提取、处理和分析，为企业提供更多精准信息，这样企业才能够更好地调整战略方向，提高资源配置的灵活性，进而为企业发展创造更多价值。至于Hadoop的系统研发已经成为电商发展的核心生态圈，大量的业务数据和日志文件的产生，不仅需要有效的存储，同时更要能够快速分析，科学挖掘，这样才能够是电商平台的运营更加稳定，也能更好地结合用户的需求，发现更多商业增长点。

一、Hadoop架构與优势分析

Hadoop是一个由Apache基金会所开发的分布式系统基础架构，在此基础上用户可以开展多角度的分布式程序开发，具体显著的集群威力、高速运算和海量存储能力。Hadoop框架设计的核心是HDFS和MapReduce。HDFS设计部署在低廉的硬件上，具有较高容错性，用以提供高吞吐量应用程序访问数据，可以以信息流形式并行访问系统中多组数据，实现了数据的海量存储;而MapReduce是一种编程模型，是一种高性能并行计算平台，方便了编程人员把自己的程序运行在分布式系统上，结合映射概念，通过系统高效进行数据分布存储、数据通信、容错处理等并行计算，使得海量数据的计算过程大大简化。

1.Hadoop生态圈组件解读

Hadoop框架结构的实现不是单纯依赖基础组件，而是将一些核心组件整合在了一起，共同构成了Hadoop生态圈（见图1），这些组件的类型非常多元化，同时各个组件精确分工，密切合作。根据不同的业务需要，人们既可以整体运用全部组件，又能进行有选择的增删搭配，还能将服务器嵌入分布式构架之中，整个系统仍然保持稳定流畅安全可靠。Hadoop的基础组件涵盖了多个类型，其中比较主要的由HDFS——分布式存储;Hive——分布式结构化数据存储;HBase——分布式非结构化数据存储;Storm、Kafka——分布式消息传递;Yarn——资源调度;Ambari——监控;MapReduce框架——分布式计算;Saprk——内存式分布型运算;Flink——实时流处理计算组件等组成，很多基础组件共同支撑着Hadoop生态圈的流畅运转。

2.Hadoop生态圈优势分析

Hadoop生态圈架构的完整和灵活使得它在互联网电商中被广泛运用，其优势体现在以下几个方面：

第一，高可靠性。Hadoop对数据处理采用的是能够同时存储大量数据并进行分布式处理的框架，因此可以有效存储并行运算，使得数据的提取和处理更加可靠，获得了人们的高度信赖。

第二，高扩展性。Hadoop系统架构的形式非常灵活，它可以在计算机集簇间高效完成数据任务的分配，并进行海量数据的计算与分析。这种集簇处理不是只着眼于一组数据，而是可以非常方便的扩展到数以千计的节点之中，因而它的高扩展性决定了其应用面非常广泛。

第三，高时效性。Hadoop在实施大容量数据存储的同时，还能够在节点之间进行动态的数据移动，而且分布式运算可以保证各节点之间动态平衡，使得整个系统反应速度非常快，用户的浏览体验可以有效增强，数据反馈和呈现的时效性，显著提升。

第四，高容错性。Hadoop本身是一个分布式计算平台，因此它能够自动对数据进行多副本存储，一旦任务失败也能够重新进行任务分配，方便任务继续往下推进。它的伸缩式处理方式，可以使数据处理的速度大大加快，任务失败的频率也能大大降低。

第五，低成本性。Hadoop本身是开放式的平台模式。与数据集市相比Hadoop在多个平台上的运行都非常理想，而且对于延展性功能也可以用其他语言来编写，最后合并入应用程序之中。它的框架兼容性非常强，这就使软件本身使用的成本大大降低。一些碎片化任务可以直接发送到节点上，开发人员只需要实现相应的接口，不需要考虑数据流、容错程序、变形等细节，这就使得分布式程序开发的难度大大降低，兼容性大大提升，软件使用成本显著降低。

二、借助Hadoop开展大数据处理的意义

进入新世纪以来，互联网思维已经改极大的改变了人们的生活模式，网络的便利性也正引导着人们的购物习惯产生较大的改变。在这一契机之下，越来越多的互联网企业崛起，其中数量最多、规模影响力比较大的当属电商平台。国内的淘宝、京东、拼多多等都已经成为一流平台，商品的种类非常多，而且吸引了大量优质用户。在人们使用这些电商平台的过程中，大量的数据信息也被提取出来，呈现出强大的应用优势。因此，我们在进行新的电商平台设计时，也要从中吸取经验。依托数据分析，尝试向客户推送优质商品，提升用户复购率，通过一些品牌产品的打折、促销等，提升用户粘性，使企业和用户之间的互动交流越来越频繁，而平台本身的商业价值及社会影响力也能显著提升。东盟电子商务平台的建立也要以此为契机，搭建起一个有力的平台，为商户、企业与客户缔造良性沟通桥梁。

1.基于Hadoop生态圈优化数据的挖掘和利用

东盟国家是近年来世界发展最快的互联网市场，在此之前，东盟国家的互联网电商发展并不完善，中小企业发展的空间非常非常少。东盟电子商务协议的签订为东盟企业的腾飞奠定了有效基础。要想进一步提升电商平台对东盟企业的影响力，就必须要使电商平台能够以较低的门槛走入千家万户，这样才可以更好地带动消费市场的发展。在这个过程中，东盟企业不仅要生产出优质的产品，更重要的是要能够有效挖掘客户潜在的消费价值。依托数据的存储和运用，使电商企业能够更好地找准未来发展方向，实现产业升级。

以往传统销售模式下，东盟国家的很多企业都是先生产后销售，这就会使生产成本的占用大大增加，而且会有产品滞销的可能，企业的经营风险显著提升。电商平台的建立及大数据的挖掘，可以更好地结合市场需求来优化生产作业，以进一步降低企业经营的风险，提升企业总体效益。

2.基于数据分析凸显用户至上进行个性化推送

目前中国的电商市场发展已经非常完善，比较著名的如淘宝，本身系统比较流畅，商品的种类也很全，用户粘合度自然就非常好。这是因为它除了将用户的一些消费信息、消费数据进行有效记录之外，还会针对用户过往的购买喜好进行一些个性化推荐或新品速递，这样就极大的方便了用户在海量商品中快速寻找自己的心仪产品，进而更好地带动用户的消费需求。

东盟电子商务平台设计的过程中也要引入这一理念，除了要建立起一个流畅度较高的电商平台之外，还要能够更好地贴合用户的喜好来进行产品的推送。Hadoop平台本身有强大的数据存储和分析功能，尤其是它的高效扩展性和容错性，非常方便进行并行处理和任务分配。东南亚地区不同国家的用户消费需求带有很大的差异性，在统一电商平台构建的过程中，我们要正视用户的这一差异，并以此来完成数据的挖掘和优化工作，这样就可以在较短的时间内把优质产品推送向推送给用户，而且也能为企业的生产加工与内部升级提供有效参考。

3.激活电商市场良性竞争氛围促进企业优化升级

随着互联网思维的逐步发展，传统企业要想在竞争中脱颖而出，除了要生产出优质的产品之外，还要能够贴近用户需求，提升用户使用的体验，以优质的服务迎合客户的需求，以更好地留住客户，吸引客户，进行复购或其他类产品的选择。因此，电商平台除了要完成数据的推送，帮助客户挑选之外，还要完善一体化服务评价系统。

借助大数据分析，让用户将使用过程中的一些体验，包括产品品质、服务的安全性、交易效率周期等都进行有效的收集和反馈，从而更好地帮助企业进一步做好优化升级。淘汰一些不良企业，引导企业树立较强的风险意识，实现从短期效益，向企业的长远性发展有机迈进，这样才可以更好地提升平台的运转效率，对于企业自身而言，也是实现转型升级的一个重要契机。

三、基于Hadoop的东盟电子商务平台的研究与设计框架分析

1.东盟电子商务平台的框架分析

东盟电子商务平台的设计要体现出简洁性和层次性，对页面要进行有效的划分，在不同的位置着重进行不同栏目的推荐，以更好地提升用户粘性，优化用户的使用体验。基于Hadoop的东盟电子商务平台框架要包含四个基础部分：数据展示层、数据分析层、数据层和基础设施层，以Hadoop集群为基础设施，对数据层的日志文件和业务数据进行处理分析，最后在Web界面进行分析展示。以下为东盟电子商务平台的总体架构图（见图2）。

2.东盟电子商务平台的特色功能分析

东盟电子商务的主页要凸显出广告位、优推荐、购精品三个模块。

广告位主要是为商家预留的重点商品合作展示栏目，可以采用图片轮换的样式，滚动显示一些优质商家的推广链接，从而更好地为平台创造经济效益。而从用户的角度，还要推荐出优推荐这一重点模块，结合大数据运算得出的结果，每天定时推送一些秒杀产品、热销货品或其他应季主打单品，同样以滚动展示的方式，以此供用户浏览和秒杀。购精品则是从用户反馈的角度，推荐一些评价比较好、回购率比较高的商品，凸显出平台本身的产品优势。

同样在主页的最上方，要预留出商品搜索栏，方便用户直接搜索想要购买的商品。搜索出来商品之后，还可以结合平台大数据对商品进行有效的排行，比如根据商品的价格进行排行，或根据用户的购买数量即综合销量排行榜。结合数据运算和学习能力，还可以推荐一些类似衍生商品。如用户购买了钢笔之后，可以推荐之前其他同类别的钢笔、字帖及其他类别的文具等，为客户会去购买，提供更多选择空间。另外，对于用户的浏览足迹也要有效记录，根据他们的浏览方向，可以推送可能具有购买欲望的商品，这类算法的应用可以更好地体现出电子商务平台的学习技能。

总之，东盟电子商务平台的研究与设计旨在更好地借助大数据理念来优化电子商务平台的运营和管理。同时依托Hadoop的数据分析来提升企业本身的风险意识，优化企业质量管理，提升电商行业在市场的整体管控能力，完善电商平台日常数据的分析与运用，推动电商行业科学决策，稳定健康、良性发展。

参考文献：

[1]赵正阳.基于Hadoop及深度学习的电商个性化推荐平台的设计与实现[D].北京交通大学，2018.

[2]严亚宁.基于Hadoop的数据处理平台的设计与开发研究[J].现代信息科技，2019，003（003）：5～7.

[3]李文强.基于Hadoop的电子商务大数据分析综合实训平台建设[J].现代工业经济和信息化，2018，008（011）：46～47.

[4]刘溪怡.基于Hadoop用户数据分析系统的研究与设计[J].数码设计（下），2019，（011）：234～234.

[5]郭旭.基于Hadoop的AIS数据分析平台设计与实现[J].通讯世界，2019，26（04）：34～35.

[6]彭航.基于Hadoop的高校大数据平台的设计与实现[J].知识文库，2019，（019）：45～46.

[注]基金项目：2018年度广西高校中青年教师基础能力提升项目“基于Hadoop的东盟电子商务平台的研究与设计”（项目编号：2018KY1139，主持人：任璇炫）

作者簡介：

任璇炫，广西工商职业技术学院讲师，硕士;研究方向：计算机应用技术。