基于软件定义的工业互联网络优化技术方案研究及应用
2020-03-15彭新玉
彭新玉
(南京未来网络产业创新有限公司 江苏省南京市 211111)
1 方案概述
1.1 背景分析
大力发展工业互联网已经成为工业转型升级的必然选择,也是我国数字经济发展的重要组成部分。而工业互联网业务应用对于网络传输的质量和效率提出了更高的要求[1]。
随着工业数字内容的快速增加,如何减少网络的冗余流量,提升用户的访问体验日益成为网络不可或缺的基础能力。将内容分发网络(CDN,Content Delivery Network)技术引入工业互联网领域,CDN 综合运用分布式高速缓存、自动负载均衡、智能网络路由和综合内容管理等技术,可以有效解决现有网络拥塞和服务器负荷过载等诸多问题,提高工业用户访问内容的响应速度。
当前CDN 网络与工业应用紧密耦合,技术体系相对封闭,普遍面临着系统可扩展性不灵活、对承载网信息无智能感知、内容分发效率偏低、QoS 保障不够、运营支撑能力弱等诸多问题,难以支撑海量工业数字内容的需求,不利于推动工业互联网产业发展。
1.2 研究目标
为了解决当前工业互联网领域CDN 面临的诸多问题,本项目研究引入软件定义网络技术,结合工业网络实际运营需要,对现有CDN 相关技术进行优化,建设新型工业内容分发网络平台。该平台具有软件定义调度、智能网络感知、广域网传输优化、多网络承载、多终端支持、内容高效分发、海量数据存储和边缘节点弹性自组织等特点,并具备向业务层的开放接口,为工业应用发展提供满足用户体验的平台。
2 方案介绍
2.1 系统总体方案
本项目立足工业互联网的内容分发网络产业化的需求,针对当前CDN 网络面临的诸多问题,研究创新型的工业内容分发网络关键技术:软件定义的内容网络分发技术、工业网络信息智能感知技术、移动通信网络内容分发技术和广域网传输优化加速技术等;构建面向未来的网络高效的、智能的、人性化的工业内容分发网络,完成适合移动场景下和云环境下智能内容分发网络系统的部署建设。
本项目平台结合虚拟化技术、分布式资源管控技术、智能感知技术等实现内容的高效分发,分为物理基础设施、资源控制与管理、内容与服务三个层面(如图1 所示),具体描述如下:
(1)物理基础设施层:负责资源汇聚与虚拟化,完成资源的发现并集成为资源池;能够发现网络上的计算与存储资源,并能够将数字内容资源集成到资源池;
图1:总体方案架构图
图2:软件定义的工业内容分发网络架构示意图
(2)资源控制与管理层:负责资源的统一调配和分发,云计算平台能够根据系统所承担的具体任务,对资源池中的计算与存储资源进行统一的调度和分发,以期最大程度的来提高资源的利用率;
(3)内容与服务层:负责用户请求服务的任务分解及任务执行结果的收集与显示,将所承担的任务分解成若干模块,并根据每个模块的具体情况进行资源的分配和使用,并在任务完成之后,为用户进行最终的呈现。
2.2 软件定义的工业内容网络技术方案
现有的内容分发网络体系架构需要改善服务力度,使得服务要素可任意处理。通过找到最佳的分发点并精心部署到网络内部从而摆脱一些管理负担,促使控制平面与转发平面相分离。
软件定义的工业内容网络技术方案使用软件定义网络(Software Defined Network,SDN)原则构建内容为中心的网络架构。在控制平面和转发平面相分离的基础上抽象出内容管理平面,具有内容管理、缓存管理、元数据管理等功能。通过在网络层提取内容元数据实现高效的元数据驱动服务,这种透明访问内容元数据的能力让网络中许多新的服务变得可用[2]。
软件定义的工业内容分发网络架构示意图如图2 所示。
软件定义的工业内容分发网络技术方案主要包括:
2.2.1 基于软件定义的资源调度系统
利用软件定义网络的全局视图实现资源的优化配置,通过对网络资源的多维度感知能力,获知存储资源的负载状况和网络链路状态。控制器应能根据用户请求和网络状态的变化,动态改变内容分发的路径,实现路由与网络状态的高效适配,最终实现全局负载均衡。
在全网范围内建设数据中心,构建扁平化的网络基础设施。实施软件定义的基于内容感知的流量工程,通过深度包检测技术快速识别通信协议和传输内容,结合网络信息感知完成网络系统的流量优化。促使流量本地化,使得绝大多数流量在城域网范围内得到消化处理。
2.2.2 面向软件定义的内容管理系统
在现有网络数据平面和控制平面分离的情形下,在资源抽象与业务适配子层提出增设内容管理功能,实现对内容的命名、缓存和元数据管理,构建基于请求重定向和网络实时感知的内容网络架构。面向软件定义的内容管理系统基于内容和业务的识别构建内容视图,拥有灵活可配置的缓存策略,具有跨域调度能力。
主要功能特点包括:
控制器的内容服务模块具有内容列表维护功能,监控域内所有的内容发布/撤销动作,通过设计内容列表读写协议,实时更新内容列表,并利用该协议维护域内副本镜像服务器中的域外内容副本,生成并维护副本列表,作为内容列表的次级别查询对象。
设计基于请求命名的内容流行度统计方法和面向内容服务需求的流行度预测算法,以支持内容列表中的相应管理操作。利用控制器全面实时感知网络资源状态的特点,结合业务流类型、内容流行度统计与预测、网络状态等参数实时制定和部署域内各路由节点高速缓存策略。
实现整合内容副本多镜像性和网络状态的路由决策,内容请求上报控制器后自适应映射到内容服务模块,内容服务模块根据其所维护的内容信息列表将内容名映射至内容源,根据各路由节点高速缓存内容类型摘要信息、资源抽象业务适配平面提供的抽象网络信息进行内容路由决策。
2.3 网络信息智能感知技术方案
采用分布式协作频谱拓扑感知算法,通过定义网管设备之间的交互接口,从路由器和承载网管设备交互过程中获得网络拓扑信息;采用链路利用率统计算法,通过向终端主动发送携带探测信息的探针,实现链路利用率、带宽、负载等参数信息的采集。设计网络时延智能预测系统,构建网络时延几何模型,纳入各个网元节点位置,并提出相邻网络节点之间时延实测和预算计算模型。设计网络信息感知的智能调度系统,采集感知用户接入网络的信息、用户访问内容的需求信息和内容传输承载网络的信息等数据,进行实时用户行为分析,基于数据分析结果确定用户智能调度策略[3]。
本技术方案主要包括:
2.3.1 网络信息感知设备
网络信息感知设备需要具备以下功能:通过路由协议与承载网的路由器进行路由信息交互,通过路由信息计算网络拓扑;或通过网管协议,与承载网网管系统交互,直接获得网络的路由信息。通过自适应探测算法感知网络的拥塞状况,距离跳数并不能保证选择的路径传输速度快,因此获得网络拥塞状况至关重要。通过从路由器的ECN 消息或者通过网络探测两种方法最终可以得到网络实时的拥塞状况。
2.3.2 低开销分布式测量平台建设
部署网络测量节点,覆盖各电信运营商网络,构建范围广、测试能力全面、易于管理的测量平台。将通过主动和被动收集多源异构海量数据,完成链路、负载等参数信息的抽象和表达,并将数据进行分布式存储以供分析和信息挖据。构建网络运行情况的智能感知和动态测试系统,对物理基础设施层的网络资源进行及时上报。通过对网络测量数据的信息挖掘,有利于更加深入全面地认识互联网的特性,革新互联网业务的调度控制方式。
2.3.3 基于网络信息感知的智能调度系统研发
通过网络测量平台可以感知用户接入网络的信息、用户访问内容的需求信息、内容传输承载网络的信息。针对大量终端用户呈现的典型时空分布特征,综合应用空间聚类、时空关联规则等挖掘技术为内容的智能分发提供依据,优化对边缘节点内容调度的决策。设计基于内容热度的智能调度机制,通过统计分析针对内容的历史访问行为可以对各个边缘节点的内容热度进行预测建模,交由统一决策中心进行集成学习,最终决策为不同的边缘节点上分发调度相应的内容。实现基于用户行为分析的智能调度,对用户内容请求服务的历史记录来统计分析出用户行为的典型特征以及内容服务的模式。
2.4 移动通信网络内容分发技术方案
国内移动业务应用快速发展,在移动通信网络上工业数字内容分发比重越来越大。为了满足工业用户移动业务需求,需要及时对移动通信网络的工业内容分发技术进行优化。移动通信网络内容分发技术方案更为强化与城域网的融合,本项目方案采取了一系列措施优化城域网无线接入技术和面向多网络和多终端的内容适配系统。
本技术方案主要包括:
2.4.1 无线接入网的优化缓存系统
在城域网中,如果在无线接入网(Radio Access Network,RAN)内部使用缓存设备,将允许更有效的接入内容,减少互联网流量和传输时间,使得RAN 中的网络元素使用更少的容量且更加本地化,加快城域网无线接入速度。因此设计城域网背景下的启发式RAN 缓存方案,其中缓存功能在内容缓存代理处实现。方案基于内容的稀有性和普及性来为内容分类,估计管辖范围内的任何内容的查询率。系统使用SREP 消息,要求正在检索内容的用户代理把这些内容加入到缓存中,使用反馈数据包查询内容缓存代理的方向,并且丢弃已有的内容来为新的内容腾出空间。这样可以减少城域网移动回传链路的数据流量负载同时减少实时流量拥塞,从而改善用户体验[4]。
2.4.2 面向多网络和多终端的内容适配系统
移动用户可能通过多种网络访问数字内容,采用的接入终端包含各种类型和屏幕尺寸;这就要求内容网络分发平台对不同网络和多种终端具备智能适配功能。根据用户接入网络的类型和使用终端的物理参数不同,系统平台分发不同格式、不同大小和不同分辨率的内容,从而给移动用户带来最佳的用户体验。
2.5 广域网传输优化技术方案
针对当前工业互联网中广域网传输面临的诸多问题,结合内容分发传输的特点,提出工业互联广域网传输优化技术方案。首先,平台采用数据拆分技术,将数据包拆分成很多“碎片”;其次,系统平台构建网络重复数据智能检测系统,自动清除在广域网上传输的重复码流,从而避免重复数据对广域网带来的不必要的系统拥堵;最后,系统平台包含应用协议封装器,将内容与服务层中应用的各种协议(包含:系统负载均衡、数据多路复用和网络系统安全等)进行统一封装、融合调用,从而有效地降低广域网传输数据,极大地增加了系统设备的运行速度和容纳数量。为了实现真正的广域网加速,采用基于UDP 的改进高级传输协议(Advance Transport Protocol,ATP)进行可靠性维护、带宽估计、拥塞控制、流量控制[5]。
3 方案应用情况
本方案由南京未来网络产业创新有限公司进行技术研究和系统开发,并形成软件定义工业内容分发平台,逐步在工业互联网领域应用。本项目研究的新型工业内容分发网络技术在南京市工业互联网试验及应用公共服务平台开始试用,在提升工业数字内容网络分发效率、工业网络信息智能感知和广域网传输优化加速等方面起来良好的效果。通过本项目成功实施,将推动新型内容分发网络系列产品在工业互联网的产业化。
4 总结
本项目在工业互联网领域研究基于软件定义的工业数字内容网络分发技术、网络信息智能感知技术、移动通信网络内容分发技术和工业广域网传输优化加速技术等;完成适合移动场景下和云环境下工业内容分发网络系统的部署和建设,构建全网统一的高效的工业内容分发集约化运营平台。结合客户需求和行业发展,我们将持续进行相关技术优化,推动基于软件定义的新型内容分发网络在工业互联网领域规模商用。