互联网业务的内容调度与分发原理浅析
2019-08-05陶文静
陶文静 肖 东
1.2.内蒙古广播电视网络集团有限公司 内蒙古 呼和浩特市 010051
随着互联网产业的高速发展,特别是移动互联网时代的到来,催生出大量的互联网内容公司。互联网内容公司推出各类功能丰富的应用服务、海量的应用内容,加上移动终端的便捷操作,方便了人们的生产生活,使得互联网的使用频率越来越高,对互联网的依赖性越来越强。
1 互联网应用概况
互联网用户的浏览时间增加导致互联网流量的爆发式增长,工信部数据显示,2018年1~2月份,移动互联网累计流量达68.9 亿GB,同比增长186%;2019年1~2月,移动互联网累计流量达163 亿GB,同比增长136.1%。互联网的发展,催生出大量的MAU(月活跃用户数)超亿次的应用,其中微信月活跃用户数接近10 亿。如图1、图2所示。
用户的大量使用,需要网络的支撑,除了需要光纤宽带在用户接入端的提速外,还需要互联网对访问内容的精准调度与核心网CDN(内容分发网络)对内容的快速分发。
图1 综合应用类MAU排名
图2 综合视频类MAU排名
2 互联网内容的访问调度
互联网用户实现内容的高速、成功访问,要求提供服务的机房节点具备服务能力,同时离用户最近,这涉及到互联网内容的精准访问调度问题。
2.1 互联网内容访问调度的原则
(1)为用户提供内容服务的机房节点具备相应的流量服务能力,用户大量访问时不能出现拥塞的情况。此问题需要在用户调度时,合理分配调入的用户数量。
(2)为用户提供内容服务的机房节点需离用户最近,网络延时最小。此问题需要在用户调度时,精准分配用户具体的服务机房节点。
2.2 互联网内容访问调度的分类
(1)互联网内容调度有分配到自建、租用机房节点的内容调度,还有不自建机房通过第三方公有云CDN 分发的内容调度。
(2)互联网内容调度有IP 和DNS(域名解析服务器)调度两种方法,视频、下载等大文件内容一般使用IP 调度,网页与图片等小文件内容使用域名调度。
3 互联网内容的调度方法
为保障业务安全与用户体验,大型互联网公司腾讯、阿里巴巴、百度等投资建设了大量分布在全国各地的节点机房,为用户访问自己的内容进行流量服务。下面以腾讯、阿里巴巴为例,说明内容调度的方法。
3.1 腾讯视频的IP调度
(1)用户启动应用,访问腾讯视频,用户请求送达互联网。
(2)互联网设备通过路由转发,将用户请求送达腾讯调度服务器。
(3)腾讯调度服务器通过用户携带的公网IP识别用户所使用的网络,如判断用户使用的是广州电信、北京联通、河北移动等。
(4)腾讯调度服务器判别用户网络后,为用户返回具备服务能力的最近的资源节点信息,如北京联通用户访问北京联通的腾讯资源节点。
(5)用户与调度到的最近的服务器建立连接,完成资源的快速访问。如图3所示。
3.2 淘宝网页的DNS调度
(1)用户访问淘宝网页,请求DNS 进行域名解析。
(2)DNS 通过解析信息,将网页请求转发到淘宝所属的阿里巴巴权威DNS。
图3 IP 调度流程
(3)阿里权威DNS 服务器接收请求,判断请求DNS 所属的网络,如判断DNS 为广州电信、北京联通、河北移动等,返回就近节点的解析结果。
(4)本地DNS 将结果为就近节点的解析结果返回给用户。
(5)用户与就近节点服务器建立连接,完成资源访问。
图4 DNS 调度流程
互联网产业的发展成就了BAT 这类的大型互联网公司,同时有更多的小型、新型互联网公司在快速出现与发展。这些小型新型互联网公司在初期专注于内容制作与运营,无力进行昂贵又复杂的机房建设,所以会将内容存储与访问流量委托公有云公司进行服务。这样可大大的降低人力成本、维护成本、机房建设成本,同时还可将用户访问由多家公有云公司进行服务,还增加了网络的安全性。下面以快手为例说明内容调度的方法。
3.3 快手公有云的分发调度
(1)快手直播中有大量的视频,不同视频所属的域名不同,如图5每个视频都有不同的所属域名,快手将这些域名转发到各公有云对应的接口,这些域名就会解析到对应的公有云CMANE。快手用户访问时就会根据不同的CNAME 访问到不同的公有云节点,从而实现一个网站在多个公有云的内容分发。
图5 快手公有云调度分发示意
(2)快手域名yximgs.com 由不同公有云厂商分发后的域名,见表1。
表1 快手不同公有云厂商分发后的域名
4 公有云厂商CDN分发的主要内容
随着互联网产业的发展,互联网公司逐步分化出现了三种公司形态:轻资产、重内容、纯运营的内容公司,如美团、快手;重资产、无内容、纯分发的公有云公司,如网宿、金山云;以及既有内容又有分发节点的BAT这类大型互联网公司。
其中,公有云公司越来越专注于CDN 分发方面的技术创新,以保障为内容公司提供更可靠的存储和更快速的流量服务,目前各大型公有云服务的内容,见表2。
表2 大型公有云的服务内容
总 结
通过介绍用户访问互联网行为中的内容分发方式,可以了解互联网内容的调度原理,特别是互联网技术公司在保障用户访问中所付出的努力。信息产业的发展,特别是互联网4K/8K、人工智能的发展,要求网络的带宽越来越大、网络延时越来越小,这都要求互联网公司在内容分发方面不断的进行人财物的投入和技术创新。我们已经看到在内容分发方面,互联网公司已经推出了边缘技术等新技术,随着需求的推动,相信互联网公司在内容分发方面一定会做到更精准、更快捷。