APP下载

电力CDN业务需求分析及网络体系架构研究

2015-02-28王一蓉王思宁于波涛

电信科学 2015年5期
关键词:部署架构节点

王一蓉,王思宁,邹 颖,于波涛

(北京国电通网络技术有限公司 北京100070)

1 引言

“十二五”期间,国家电网公司信息系统应用不断深化,一级部署的大型管理信息系统数目不断增加,覆盖范围广,用户数量庞大,软硬件资源池、云计算等新技术对电力数据网提出了新的挑战。国家电网公司的电力数据网覆盖27家省(市)公司和21家直属单位,网络地域跨度大,网络时延差距巨大,造成位于不同的网络地域的用户在面对集中式部署业务访问时,服务质量和效果差异巨大[1]。

电力CDN(content delivery network,内容分发网络)是指在电力数据通信网中,通过使用智能DNS(domain name system,域名系统)、负载均衡、内容分发/管理等技术构建电力CDN,有效控制数据网络流量终结于CDN边缘节点,节省数据网络骨干网带宽,实现业务加速及热点内容智能更新分发。全面解决由网络带宽资源紧张、用户访问量大、访问突发性强、热点内容重复访问等造成的网络拥塞、响应慢等问题[2~4],提高电力信息网络的稳定性和服务质量。

2 电力CDN业务需求

2.1 电力信息业务加速需求

对于集中部署的业务系统,当用户的并发请求涌现时,不仅对服务器的响应服务性能提出了挑战,而且数据中心和网络核心带宽也将成为应用的瓶颈。统一门户分发、动态内容、视频、大流量的流媒体数据、大文件传输等大容量数据访问因此受到很大的影响[5]。表1对公司的主要一级部署业务类型进行了归类和分析。根据不同的业务加速服务类型,可形成不同的加速策略,见表2。

表1 电力信息业务服务类型

表2 业务系统加速策略

2.2 电力信息网络稳定性需求

CDN技术能有效控制数据网络流量终结于CDN边缘节点,节省数据网络骨干网带宽,极大地缓解了数据网络骨干网投资建设的压力。

国家电网公司信息系统一级集中部署,网络用户遍布大江南北,网络地域跨度大,网络时延差距巨大,地、市、县等基层单位访问速度偏慢,造成位于不同网络地域的用户在面对集中式数据中心业务访问时,服务质量和效果差异巨大。应用CDN技术,可以解决地市县等基层单位及偏远地区用户访问集中式数据中心业务的服务质量和效果问题,减小网络时延对业务应用的影响。

2.3 电力信息系统安全性需求

基于分布式的CDN部署结构,使得业务主站不会因受到黑客入侵和各种DDoS攻击,影响对内对外服务的连续性。同时,由于CDN中有健康检测和众多的服务站点,一个节点出现故障时,用户的请求会被自动解析到其他相对较近的健康节点上,以始终保证内容可以被访问到。

2.4 降低源内容网站、IDC服务器设备投入

CDN在提供业务加速、解决流量突发问题的同时,可以减少网络基础架构投资。原内容网站无需投资昂贵的各类服务器、占用大量的网络带宽、设立大量的镜像站点,从而大大降低网站的建设和运维成本。

图1 全局流量调度系统示意

图2 电力CDN系统动态内容加速部署模型

3 CDN关键技术

3.1 基于节点负载和链路状态调度的全局流量调度系统

在电力CDN系统中,调度控制层的网络感知模块对网络链路状况进行侦测,并将数据交由智能调度模块进行处理,通过运营管理层的网络管理模块与智能调度模块进行交互,完成节点负载状态的侦测。如图1所示,虽然缓存节点A在物理位置上距离客户端较近,但是智能DNS根据缓存节点负载和链路状态发现缓存节点B的节点能力较节点A强,而且逻辑距离(如路由跳数、链路带宽等)离客户端更近,智能DNS将用户请求重定向至缓存节点B。

3.2 基于HTTP的全业务CDN加速技术

大部分电力信息应用都是基于HTTP的,研究基于HTTP业务的电力CDN系统能在不改动客户端配置和电力网现有网络拓扑的前提下,提供网络加速服务。基于HTTP的全业务CDN加速技术包括基于HTTP的Web动态/静态内容分发及加速技术、流媒体点播/直播内容分发及加速技术、文件下载加速技术。

(1)Web页面动/静态内容分发及加速

对于网站的静态内容,可以通过CDN的主动推送(push)或被动下拉(pull)的方式发布到最接近用户的网络“边缘”,利用调度策略将用户重定向到离用户最近的节点,使用户就近取得这些静态资源,缓解骨干网压力,提高用户访问服务器的响应速度。

动态内容的提供需要有后台数据库、应用逻辑程序的支持,采用边缘计算和数据库复制的思想,研究动态内容的加速技术[6]。缓存节点将应用程序和响应的业务组件直接在CDN的边缘服务器中计算,直接在靠近用户的地方生成动态Web内容,缓解源站后台服务器的负载压力,提高系统的整体性能。动态内容加速部署模型如图2所示。

(2)流媒体点播/直播内容分发及加速

通过HTTP progressive download流媒体传输协议和切片技术,利用HTTP承载流媒体点播和直播功能,让流媒体文件和Web内容能进行一致部署[7],这些媒体切片文件能在电力CDN上进行分发,以达到流媒体直播/点播加速的效果。

(3)文件下载加速

从不同的信息网业务网站下载文件是电力信息网用户最常见的行为之一,包括视频文件、软件及补丁等。文件下载加速分为push和pull两种方式。push方式由源站将文件推送至各缓存节点(如补丁发布系统);pull方式由缓存节点将一些常被下载的内容缓存至本地。用户在下载资源时,可就近从缓存节点上下载,加快用户下载文件速度的同时,避免文件在网络上的重复传输,节省宝贵的骨干网带宽资源。

3.3 网络传输优化技术

为充分利用CDN中的节点和带宽资源,采用内容分片技术,将大数据量文件进行内容分片,通过创建多条服务端和接收端之间的连接路径,对文件进行多路径并行下载,提高带宽利用率。文件分片和多径传输过程如图3所示。

4 电力CDN体系架构

4.1 总体架构

根据上述电力CDN业务需求及关键技术研究,本文将内容分发、网络感知、数据挖掘、传输优化、智能DNS[8]、流媒体处理等技术融入电力CDN系统,形成灵活可扩展、可管理、高性能的电力CDN体系架构。电力CDN功能逻辑架构分为内容分发层、运营管理层、传输服务层和调度控制层4个功能层,如图4所示。

图3 多路径传输示意

图4 电力CDN系统逻辑架构

·内容分发层[9]负责内容的存储、管理以及全网分发,由内容管理、内容存储、内容分发3个功能模块组成。

·运营管理层负责CDN管理。运营管理层中的统计分析模块负责采集CDN的带宽流量数据、流量缓存数据、节点流量比例、页面访问的统计数据,进行用户行为分析并提供给外部数据分析系统;网络安全模块负责用户认证、内容安全等。

·传输服务层负责处理终端用户的各种业务请求,实现广域网传输优化。

·调度控制层是基于内容热度、用户时空位置、用户行为、网络测量的上报数据决定以何种策略调度内容、调度哪些内容、节点如何选取。调度控制层由网络感知和智能调度模块组成。

结合电力信息系统架构及电力数据网络,本文提出二级电力CDN架构。以公司总部北京作为中心节点,采用双机热备份的方式部署智能DNS和运营管理平台;在各省公司和(或)地市公司部署边缘缓存节点,为相关片区的用户提供加速服务,如图5所示。以反向代理的方式在电力网上部署电力CDN,实现按需加速多个不同的电力信息网中的内容网站。

(1)中心节点

中心节点是整个CDN运行、管理和维护的核心。利用电力通信专网丰富的SDH、OTN大带宽网络资源,满足CDN中心层对骨干网络链路的速度要求,实现和每个边缘节点跳数最短的网络环境。作为CDN的核心,中心节点并不直接参与对末端用户的服务,而是作为CDN运作的中枢,起到两个关键作用。

·负责对电力CDN系统的网元进行管理,为整体的电力CDN运营网络提供网络节点监控,远程配置和故障上报及恢复等能力。

·负责CDN的内容分发管理,把需要服务的内容通过合适的格式和方式,分发到所有的边缘节点。

(2)边缘节点

边缘节点是为用户直接提供服务的节点。理想状况下,边缘节点应部署在尽可能靠近用户的网络节点。边缘节点主要完成的功能包括:

·面对大量用户直接提供服务;

·通过分布式服务机制,实现服务能力的提高,实现对大并发服务的需求;

·国家电网公司的CDN边缘节点应部署在各省公司、直属单位的网络骨干节点处。

边缘节点采用三级存储架构,根据内容的访问热度、重要性、TTL(time to live,生存期)等因素对数据的生命周期进行管理,实现分级存储和多级存储设备间的数据自动迁移,如图6所示。将内存、固态盘、硬盘这3种存储介质搭建为一个混合存储阵列,既利用了内存、固态盘的高性能优点,又兼顾硬盘驱动器的高容量、低成本好处。

第3层(L3)采用成本小、读取速率相对较低(240 Mbit/s左右)的硬盘,存放了系统提供的所有缓存数据。

第2层(L2)采用成本相对硬盘高、读取速率较高(4 Gbit/s左右)的固态硬盘。本方案对用户请求进行记录和统计,采用一定的算法计算数据的热度,将热度达到一定阈值的文件存放于此层,并定期进行热度的统计和资源的更新。

图5 电力CDN架构

图6 节点内部存储架构

第1层(L1)采用读取速率最高(160 Gbit/s左右)的内存进行数据存储。该层存储的数据是最及时/最敏感(“最热”)的数据,如80%的用户最常访问的20%的资源。对于用户刚请求的数据,若该数据是从L3或L2读入,内存也会在一定时间内将这部分数据进行保存,以供其他有可能请求此数据的用户快速获取。若一定时间过后,该数据未能达到存放于L1的热度值,系统会将其从内存中删除。

4.2 电力CDN管控平台

电力CDN管控平台功能模块如图7所示。管控平台由网元管理、性能管理、拓扑管理、告警管理、网元配置、报表管理、安全管理7部分组成,为整体的CDN运营网络提供了网络节点监控、远程配置和故障上报及恢复的能力。用户可以通过该平台来查看当前CDN系统的内部运行情况,包括CDN系统部署架构的展示,当前系统配置信息、各网元节点性能信息、告警信息的查看等,并支持对CDN的配置信息进行修改。

5 电力CDN安全防护研究

5.1 承载网安全

CDN承载网网络安全主要考虑以下3点。

·抑制网络异常流量,保证所需的网络带宽。

·双流抑制功能,在网络上突发双路直播流时,自动抑制,处理为一路直播流。

·防DoS攻击,限制单位时间内来自同一个IP地址的TCP建立链接请求数,限制来自同一个IP地址的并发连接总数等,支持自动解除锁定功能。

5.2 管理系统安全设计

管理系统安全设计主要考虑如下3点。

·认证安全:实现用户权限管理,根据需要选用挑战/响应认证、基于IC key的认证和智能卡认证等认证方式,并考虑使用专网或者虚拟专网进行隔离保护。

图7 CDN管控平台功能

·信息传输安全:可以采用对称加密算法进行信息的加密传输,防止信息被非法窃听。

·文件传输支持安全:文件传输需支持使用SFTP(secure file transfer protocol,安全文件传送协议)。内容发布中需支持包含MD5(message digest algorithm 5,消息摘要算法第5版)信息,内容注入后,CDN做文件校验。

5.3 CDN设备安全

CDN节点设备需保证安全[10],主要有以下4点。

·及时更新操作系统漏洞;关闭不使用的服务和端口;禁止或替换有潜在安全漏洞的程序。

·提供防DoS、DDoS、端口扫描攻击能力。

·建立身份识别机制,设置数据访问权限;系统具备完善的日志功能,登记所有对系统的访问记录。

·通过安全的数据备份策略,有效地保障系统数据的安全性。

5.4 防盗链设计

为防止服务器上的内容被非法盗取、保护服务器硬件设备,在向用户提供服务前,网络传输平台需要进行防下载机制的检测,防止非法用户的盗链,具体防盗链流程如图8所示。

图8 防盗链机制示意

门户网站和CDN共享密钥,同时使用对称算法AES进行加解密。门户网站在返回给用户的URL中增加anti-leech key防盗链字符串,用户采用包含防盗链信息的URL到CDN中请求内容播放,CDN进行URL检查,保证用户访问的合法性。

6 电力CDN实验床设计

根据电力CDN关键技术、网络体系架构、管控平台等分析,在北京、天津、上海三地构建了电力CDN实验床。电力CDN实验床采用核心层和接入层两层结构,设置1个中心节点、6个边缘节点、1个网元管理节点、1个流媒体生成节点、1个CDN服务器检测节点。其中在北京部署主/备中心节点、4个缓存节点、网元管理节点、流媒体生成节点、CDN服务器测试节点;分别在天津、上海部署1个缓存节点。电力CDN实验床技术指标见表3。

表3 电力CDN实验床技术指标

7 结束语

伴随着互联网、移动互联网[11]、云计算的高速发展,CDN系统建设在电信运营商、互联网服务提供商中加速成熟完善。随着智能电网信息通信业务的蓬勃发展,CDN实现电力信息化业务加速的需求也日益迫切。在进一步推进CDN技术在电力信息通信网络应用的过程中,仍需要重点研究面向电力信息业务的CDN业务接口规范、CDN体系在电力安全防护体系中的技术实现、CDN技术与电力安全接入平台的协同工作、面向三地灾备中心的CDN系统要求、CDN技术与电力云架构的协同等课题。电力CDN的部署,使电力信息通信资源得到了最大限度的利用,将大大推动电力信息通信业务的发展。

1 张健,文爱军.国家电网公司信息化建设一级部署方案.电力信息化,2011(4)Z hang J,Wen A J,First-order deployment scheme of information construction in state grid corporation.Electric Power IT,2011(4)

2 马季春,杨巧霞.内容分发网络技术浅析.邮电设计技术,2004(3)Ma J C,Yang Q X,Simple analysis of CDN technology.Designing Techniques of Posts and Telecommunications,2004(3)

3 雷凯,袁杰.命名数据网络内容分发机制研究与探讨.电信科学,2014,30(9):27~36 Lei K,Yuan J.Content distribution mechanisms of named data networking.Telecommunications Science,2014,30(9):27~36

4 李乔,何慧,张宏莉.内容分发网络研究.电子学报,2013,41(8)Li Q,He H,Zhang H L.Research on content delivery networks.Acta Electronica Sinica,2013,41(8)

5 韩晓云,黄灿,张莫等.一级部署系统性能优化研究.电力信息与通信技术,2013(7)Han X Y,Huang C,Zhang M,et al.Research on optimization of performance centralized deployment-based information system.Electric Power ICT,2013(7)

6 Kangasharju J,Roberts J,Ross K W.Object replication strategies in content distribution networks.Computer Communications,2002,25(4):376~383

7 Ryoo J,Panwar S S.File distribution in networks with multimedia storage server.Networks,2001,38(3):140~149

8 Left A,Wolf J L,Yu P S.Replication algorithms in a remote caching architecture.IEEE Trans on Parallel Distributed Systems,1993,11(4):1185~1204

9 唐红喜,宋茂强,赵方.CDN中的内容分发策略研究及仿真分析.http://www.paper.edu.cn/html/releasepaper/2008106/5141,2008 Tang H X,Song M Q,Zhao F.Content delivery tactics research and simulation analysis of CDN.http://www.paper.edu.cn/html/releasepaper/2008106/5141,2008

10 魏薇,魏凯.CDN安全防护的新标准.中国计算机报,2011(48)Wei W,Wei K.CDN’s new security protection standard.China Information World,2011(48)

11 张蒳,周旭,唐晖等.面向移动互联网的融合内容分发网络总体架构设计.电信科学,2011,27(1):16~23 Zhang Y,Zhou X,Tang H,et al.Architecture design of the converged content distributio n network for mobile internet.Telecommunications Science,2011,27(1):16~23

猜你喜欢

部署架构节点
基于FPGA的RNN硬件加速架构
CM节点控制在船舶上的应用
一种基于Kubernetes的Web应用部署与配置系统
Analysis of the characteristics of electronic equipment usage distance for common users
晋城:安排部署 统防统治
功能架构在电子电气架构开发中的应用和实践
基于AutoCAD的门窗节点图快速构建
部署
WebGIS架构下的地理信息系统构建研究
部署“萨德”意欲何为?