APP下载

探究双十一应用的技术

2018-03-20吴笑宇

数字通信世界 2018年7期
关键词:海量分布式计算机

吴笑宇

(江苏省沭阳高级中学,沭阳 223600)

1 电商介绍

目前,由于计算机互联网技术的快速发展,带动了许多行业的发展,其中电子商务行业借此时机快速崛起。电商包含两种含义,一是狭义电商,就是我们理解的电商,它指的是将交易过程中的各种交易活动电子化,是一种电子化的交易方式。而广义电商指的是,通过互联网,将所有的商业活动都进行电子化。二者相比,广义电商的概念更加的大,影响范围也更加的广。电商分为很多种模式,比如企业对企业(B2B),企业对消费者(B2C),消费者对消费者(C2C),线上对线下(O2O)等。目前全国比较著名的电商平台有阿里巴巴,京东,苏宁,Amazon,eBay等。

2 双十一介绍

双十一购物节,是指每年的11月11日全网的网购促销日。它第一次出现是在2009年11月11日,当时天猫商城举办了一次促销活动,这便是双十一的起源。参加第一次双十一狂欢节的商家并不是很多,促销的力度也远不如现在,但是其效果却非常不错。后来每年的11月11日就都成为了淘宝的“春节”。随后又有更多的电商企业选择在这一天进行大力的促销活动,双十一也就此成为中国电商行业的年度盛事。

3 双十一应用的技术

双十一的成功除了商业层面的成功,更重要的是有强大的技术力量作为支撑。本文将探究双十一背后那些先进的计算机互联网技术。下面看一下2017年淘宝双十一的几项数据:2017年双十一开场,仅3分01秒成交额就超过百亿元大关,这一数字是2014年淘宝双十一全天的成交额。根据阿里巴巴官方公布的数据,2017年双十一的总成交额是1682亿元,再次刷新了历史记录。在这些华丽的数据背后,是各种技术的舞台。下面我们就简单的介绍几项双十一用到的技术。

3.1 云计算

云计算是当前互联网环境下的新型计算模式,为用户提供透明的服务。用户只需要将待计算的数据发送至由各地数百万台计算机组成的“云”上,就可以非常快捷方便的得到计算结果。而云计算的内部处理是非常复杂的,简单来说就是云内部将计算任务进行细分,分配给不同的计算机共同计算,最终将结果集进行整合,返回结果。云计算采用的是分布式的技术结构,拥有超强的计算能力,每秒可计算约10万亿次。因此,人们可以利用云计算技术预测气候的变化以及市场的发展趋势。目前,国内以阿里云为代表的云平台深得企业和个人用户的信赖。

3.2 大数据技术

双十一除了应用了云计算技术,还应用了大数据技术。大数据是海量数据集的简称,但并不是所有的海量数据都可以称为大数据。大数据很难仅仅靠单台计算机进行计算处理,它需要采用分布式方案进行处理,所以大数据与云计算技术密不可分。大数据的数据结构包括结构化数据,非结构化数据以及半结构化数据。目前非结构化数据已经逐渐成为了数据的主要部分。

并不是所有的海量数据都是大数据,那么具有哪些特点的数据才能够称为大数据呢?大数据具有以下特点:

(1)大容量

在如今信息时代,我们每时每刻都在制造数据。短信,微信,照片,微博,甚至我们每一次点击,每一个滑动,每一次通话,每一次刷卡都会制造出大量的行为数据。这些数据被收集到各个运营商和企业中,最终汇聚成海量的数据。人类从第一次破译基因密码到完成30亿对碱基的排序用了10年,而现在世界范围内的基因机器可以在短短几分钟内完成此项工作。

(2)多样性

数据不再仅仅是我们以往认知中的文字,数字等符号。随着传感器,智能设备以及社交协作技术的飞速发展,数据的来源和数据的形式也愈来愈多。数据可以来自于网页,搜索引擎,社交软件,论坛贴吧等。在大数据的时代,数据的格式也不局限于文本这样单一的格式,图像,视频,音频,位置信息这样的非结构化数据逐渐成为数据的主体。

(3)价值密度低

在海量的数据中,并非所有数据都是有价值的,数据的价值密度和数据总量并不成正比。真实情况是,在海量数据中,有价值的数据所占比例很小。比如在一段连续数小时的监控录像中,有价值的时间可能只有一两秒。大数据的价值大多是需要从海量的数据中挖掘出的。而如何挖掘出有价值,有意义的数据是目前大数据技术中的一道难题。

(4)处理速度快

处理速度是大数据技术与传统数据挖掘相比最明显的差别。大数据是通过互联网和云计算技术进行数据交换和数据传播。比传统的通过报纸,档案等方式传播更加快速和准确。如果我们细心的话,我们可以发现我们在网购平台中看到的购物页面是不相同的,这就是通过对我们的喜好和搜索习惯,计算出更加适合我们购买的产品。这些实时的分析计算,都需要强大的运算处理能力作为支撑。

3.3 数字图像处理技术

数字图像处理技术,是将图像信号转换为计算机可以识别计算的数字信号,通过计算机的处理,再由数字信号转换为图像信号的技术。这项技术可以达到图像数据变换,美化图像,图像特征提取等目的。在电子商务行业中,用户可以通过上传自己想要购买的商品图片,通过数字图像处理技术进行识别和匹配,反馈给用户想要的结果。

除以上技术之外,双十一还应用了很多其他的计算机技术,比如人工智能技术,在此不做详细的介绍。

4 技术深层次探究

4.1 云计算探究

云计算结合了分布式技术,并行计算,负载均衡技术,虚拟化技术等计算机和网络技术,是很多资源结合在一起的计算系统。它是基于互联网的新型计算模式,它能够把大量的信息和数据集中在一起协同工作。它的核心是高效安全的分布式架构,下文将分析分布式技术。

4.1.1 分布式技术探究

分布式计算的主要流程是把一个较大的计算任务划分为多个子任务,然后将这些子任务分配给许多计算机去进行计算处理。在分布式架构中,每个子系统被称为一个“服务”。由于系统间的耦合度比较低,所以每个服务都具有很强的独立性。

分布式架构和传统计算模式相比具有非常明显的优势:

(1)充分利用大范围的计算机,可以选择较为合适的计算机处理子任务,这样使得资源能够被更大化的利用。

(2)通过分布式架构,可以使任务被较为均衡的负载在多台计算机上,能够减轻每一台计算机的压力。

(3)它的计算能力很强,性价比较高。

4.1.2 分布式架构和集群计算、并行计算的区别

集群计算还是在单机上进行计算,当遇到瓶颈时,通过增加服务器来解决问题。但是每个服务器提供的服务是相同的。并行计算是将大任务转化为小任务,但是与分布式不同的是,并行计算是利用多核处理器在单台计算机上进行计算,所以计算机一旦崩溃,所有服务全部停止。

4.2 大数据探究

在大数据的场景下,数据的来源非常多,所以采集数据的方式也越来越多。本文主要分析大数据的采集过程。

4.2.1 系统日志采集

对于很多大型的公司,每天都会产生大量的日志数据,在这些日志中,会存在很多有价值的数据,这些企业于是就要使用基于分布式的采集方式从日志文件中采集数据。

4.2.2 网络数据采集

网络数据采集和日志采集的数据源不同,它是利用爬虫技术对网站的信息进行爬取。网络数据采集可以采集多种数据格式,如今很多中小型企业对爬虫技术非常热衷,因为它的成本较低。

5 双十一技术的意义

双十一背后的深层技术为双十一巨大的流量和交易订单的安全性提供了有力的保障,同时这些技术在电商行业的应用也反向推动了高端互联网技术的发展,客观上促进了生产。消费方式逐渐向虚拟化,高效化,全球化发展。

往大方向看,这些技术在经济生活中其他很多方面也有广泛的应用。比如“金融云”就是利用了云计算技术将金融产品的服务推到多个分支机构组成的云网络中;“制造云”融合与发展了现有的信息化制造技术和云计算,物联网等新兴信息技术。在航空航天领域,数字图像处理技术也扮演着重要的角色。

相信未来,这些技术还会有更加广阔的发展和应用前景。

猜你喜欢

海量分布式计算机
一种傅里叶域海量数据高速谱聚类方法
计算机操作系统
基于计算机自然语言处理的机器翻译技术应用与简介
计算机多媒体技术应用初探
海量快递垃圾正在“围城”——“绿色快递”势在必行
信息系统审计中计算机审计的应用
分布式光伏热钱汹涌
分布式光伏:爆发还是徘徊
一个图形所蕴含的“海量”巧题
基于DDS的分布式三维协同仿真研究