一种基于多维聚合模型的异构网络拓扑融合方法
2021-10-15成玉荣陈志坤韩卫占
成玉荣,陈志坤,韩卫占
(1.中国电子科技集团公司第五十四研究所,河北 石家庄 050081;2.中国人民解放军91977部队,北京 100036)
0 引言
综合网管系统实现对多种专业网络的综合管理功能,其中综合拓扑管理是核心管理功能之一,能够对网络中所有节点、节点间连接、物理结构和业务逻辑结构等状态进行实时监视,并根据用户需要分别提供全局拓扑、重点区域拓扑、单网系拓扑和业务逻辑拓扑等多种维度呈现方式。本文所述的综合网管系统管理的专业网系包括传输层[1]、承载层、涵盖有线和无线等多类专业网络,拓扑呈现需要基于地理信息系统(GIS)呈现各网系节点、连接和业务逻辑关系等拓扑对象及状态信息。
随着管理范围增大,被管网络向多样化[2]、集成化发展[3],网络拓扑呈现广域分布、规模大、异构化和复杂化等特点,单纯基于空间位置进行拓扑呈现,弊端凸显,主要问题包括节点多、位置密集,导致节点堆叠,节点状态识别难;节点间物理连接交织杂乱,连接状态识别难;不同专业网络节点间业务承载关系在堆叠情况下呈现难;呈现节点多、连接多、业务关系多,导致界面呈现渲染慢,刷新效率低,用户体验差。因此,急需一种科学、高效的拓扑管理模式,有效地处理上述大规模异构网络拓扑的融合与呈现问题。
针对基于GIS的大规模拓扑呈现,已有的解决方案主要是节点空间的聚合方法[4],关于节点、连接的聚合,在光网络中应用较多的阶梯聚合算法[5],不能对跨网业务关系进行聚合;传感器无线网络[6]、无人机[7]或物联网[8]等拓扑的聚合算法,提供了逻辑关系聚合方法,但对于跨网关联缺乏描述;因此,面向跨网系、复杂异构网络的连接、业务关系等方面的聚合计算,尚没有科学高效的解决方案。本文创造性地提出了基于多维聚合模型的四层综合拓扑管理技术框架,根据被管网络特点,构建独特的空间维、关系维和状态维拓扑数据模型和关联规则,基于多维模型进行拓扑数据融合处理,实现根据用户需求快速、清晰地展示各类综合拓扑视图,从而有效地解决了上述大规模异构网络拓扑呈现的问题。
1 综合拓扑管理技术框架
综合网管系统基于采集的各专业网络的设备、设备连接、节点、网络连接以及业务承载关系等管理信息,进行数据建模、多维聚合处理、拓扑视图生成和展示。本文按照拓扑处理呈现流程,自下而上构建数据采集预处理层、模型规则生成层、多维融合处理层和综合拓扑呈现层的四层综合拓扑管理技术框架,实现满足用户需求的多种拓扑视图数据融合和综合呈现功能,技术框架如图1所示。
图1 综合拓扑管理技术框架Fig.1 Technical framework of integrated topology management
各层功能描述如下:
(1) 数据采集预处理层:通过SOAP/SNMP/FTP/专用协议等各类管理协议[9],采集各专业网设备、设备连接、端口状态、节点、网络连接以及业务传输路径等信息,按照管理协议、对象模型等规范要求,对采集的各类数据进行过滤清理、格式转换、建模归并等预处理,记录到数据库中,形成网络拓扑的基础数据。
(2) 模型规则生成层:基于网络拓扑的基础数据,从空间维、关系维、状态维等多维度进行建模[10];并根据专业网络间连接关系、业务承载关系等,配置生成拓扑关联规则[11]。拓扑模型的精准性和关联规则的全面性、合理性,是影响拓扑数据融合及综合呈现效果的关键因素。
(3) 多维融合处理层:在模型层基础上,采取多维聚合技术,依据前述已生成的拓扑关联规则,按照空间、连接和业务承载关系进行数据融合[12],基于用户需求,生成全局拓扑、区域拓扑和业务逻辑拓扑等多种拓扑视图,以快照形式存储到拓扑视图库中,为拓扑呈现层提供快速检索呈现手段。
(4) 综合拓扑呈现层:基于多维拓扑融合处理结果,根据用户选择,从上述拓扑视图库快速检索相应的拓扑视图,根据地图缩放自适应按照多维聚合解聚方法,提供拓扑聚合后和解聚后不同粒度呈现方式,确保能够快速、清晰地监视拓扑节点、连接和业务承载关系。
通过构建从数据采集处理到拓扑呈现的四层拓扑管理技术框架,为实现大规模异构网络拓扑数据的聚合处理提供了有效的整体解决方案。下面分别针对技术框架中模型规则生成层的模型设计和多维融合处理层的融合处理流程这2个核心技术内容进行详细描述。
2 对象归一化建模和多维模型设计
基于采集的海量拓扑数据,构建科学、高效的拓扑对象模型,是进行拓扑分类聚合、数据融合处理的基础,也是影响聚合准确性的关键因素。
模型规则生成层首先对不同网系的拓扑对象进行归一化处理,采用统一的对象信息模型和编码格式定义拓扑对象,然后根据对象属性和网络结构进行基本的分类分层建模,为提取拓扑对象在空间、关系和状态等不同层面的相关性,构建拓扑对象多维模型奠定数据基础。本文所述被管网络包括机房设施类、线缆线路类、传输层对象类、承载层对象类和业务层对象类,涵盖有线核心网和无线接入网等多类专业网络,对拓扑对象分类分层建模结构示意如图2所示。
图2 拓扑对象分层建模结构示意Fig.2 Schematic diagram of hierarchical modeling structure of topology object
记录拓扑对象的空间属性、关系属性和状态属性。拓扑对象模型的3个维度描述如下。
(1) 空间维:通信网网络对象分布在广阔的地理空间,把网络拓扑放到空间维中去描述就使得每个资源对象都具有空间属性。空间属性主要包括网络对象的经纬度、所属区域和方向。网络拓扑在空间维的呈现采用基于GIS的方式,充分利用GIS空间管理的优势完成拓扑对象分析、位置管理等各项功能。
(2) 关系维:拓扑对象之间存在多种关系,包括按网络结构的承载关系、按包含关系的隶属关系以及对象间点—线连接关系等。最常见的关系是连接关系,包括物理连接和业务逻辑连接。其中物理连接涉及有线、无线等不同的连接手段,业务逻辑连接主要是面向业务传输层面的逻辑连接关系。按网络结构和业务关系划分,将网络对象划分为基础设施层、传输层、承载层和业务层,各层为完成某种业务功能又具有一定的相关性[13],构建拓扑对象承载维模型,有利于根据用户关注,对网络拓扑进行分层展示,提供面向业务的跨网系拓扑分层展示。按网络组成及包含关系,将网络拓扑划分为不同专业网拓扑对象、不同业务系统拓扑对象和不同隶属单位拓扑对象等,拓扑对象的隶属关系模型[14]有利于按不同隶属关系分层呈现网络拓扑。拓扑对象间的这些关系把各种对象紧密地结合在一起,构成了一个相互关联、相互支持的异构网络。
(3) 状态维:在网络运行过程中,网络拓扑的连接关系、对象状态和业务传输路径等会实时变化更新,包括拓扑对象的运行状态,如故障、正常;使用状态如空闲、占用;运行性能或质量状态,如误码率、丢包率、传输时延和延迟抖动等。网络拓扑对象的状态维模型,有利于展示拓扑的实时运行和使用状态。
网络拓扑对象多维模型结构如图3所示。
图3 网络拓扑对象多维模型Fig.3 Multi-dimensional model of network topology object
3 基于多维模型的拓扑融合处理流程
3.1 拓扑对象聚合的基本原理
技术框架中多维融合处理层基于模型规则生成层提供的拓扑对象多维模型和关联规则,根据数据Mashup的聚合解聚思想,提供拓扑对象的多维计算模型,包括空间维、关系维和状态维计算模型,每个维度的计算公式分别采用成熟的计算方法实现,本文拓扑对象聚合的创新性在于3个维度根据模型和关联规则同时聚合的拓扑融合处理流程。下面分别说明3个维度聚合计算方法以及拓扑融合的处理流程。
3.2 网络拓扑空间维的聚合
拓扑对象空间维聚合与解聚是拓扑聚合解聚的基线,采用基于网格的几何平均法进行拓扑节点空间维聚合,即计算每个网格内的拓扑节点平均坐标作为网格内节点聚合后复合节点的坐标;随地图缩放,页面划分的网格数不变,根据地图比例尺,自动根据网格中的拓扑节点数进行聚合计算,实现自适应的聚合与解聚。在空间维的聚会解聚过程中,拓扑对象位置的计算是关键。
将页面划分为n×m的网格,通常页面刷新在5 000点以下,刷新较快,如果页面为4:3比例,可以采用80×60的网格划分法。以页面左下角为原点建立x,y坐标轴,页面中拓扑节点分布在每个网格中,设某个网格中拓扑节点为E1,E2,…,Ez,坐标位置分别为(x1,y1),(x2,y2),…,(xz,yz),采用几何平均法,计算网格中每个拓扑节点的位置平均值,作为聚合后复合节点的位置,记为F(x,y),其位置计算如下:
页面中每个网格内拓扑节点均采用以上方法进行计算聚合,聚合后的复合节点标识所聚合的原始节点数量。
3.3 拓扑关系维的聚合
拓扑节点关系维属性主要包括节点之间的连接、业务承载关系、组成关系和隶属关系等,这些关系把各种拓扑对象联系在一起,构成了一个相互关联、相互支持的网络[15]。在拓扑多维聚合处理中,拓扑节点对象聚合的同时,要进行节点间连接的聚合,将单个网格内节点连接,随节点聚合为一个复合节点,网格间的节点间连接,随节点聚合变为复合节点间连接,节点间业务承载关系、组成关系和隶属关系与连接关系的聚合类似,聚合操作如下:
(1) 连接关系的聚合操作
设E1,E2,…,En为n(n≥2)个网络拓扑对象,其连接关系集合分别为LE1,LE2,…,LEn,E为E1,E2,…,En聚合而成的聚合实体,则LE=LE1ULE2,…,LEn。
(2) 承载关系的聚合操作
设E1,E2,…,En为n(n≥2)个底层次拓扑对象,其承载关系集合分别为SE1,SE2,…,SEn,E为E1,E2,…,En聚合而成的聚合实体,则SE=SE1USE2,…,SEn。
(3) 组成关系的聚合操作
设E1,E2,…,En为n(n≥2)个底层次拓扑对象,其组成关系集合分别为CE1,CE2,…,CEn,E为E1,E2,…,En聚合而成的聚合实体,则CE=CE1UCE2,…,CEn。
(4) 隶属关系的聚合操作
设E1,E2,…,En为n(n≥2)个底层次拓扑对象,其组成关系集合分别为IE1,IE2,…,IEn,E为E1,E2,…,En聚合而成的聚合实体,则IE=IE1UIE2,…,IEn。
3.4 网络拓扑状态维的聚合
网络拓扑状态维属性是拓扑融合的主要属性,状态的聚合和解聚主要表示拓扑对象在不同抽象层次上状态的映射过程。
网络拓扑状态可以分为节点或链路运行状态、节点使用状态和链路性能质量,节点或链路运行状态包括故障和正常等;节点使用状态包括占用和空闲;链路性能质量包括误码率、丢包率、传输时延和延迟抖动等。以上状态聚合过程如下。
(1) 节点同状态的聚合
拓扑节点同状态的聚合,是指参与聚合的网络拓扑节点对象属于同一类型对象的同类型状态。直接将参与聚合的网络拓扑对象状态作为聚合后抽象对象的状态,即设n个拓扑对象E1,E2,…,En的状态分别为S1,S2,…,Sn,E为聚合后的抽象拓扑对象,其状态为S,则同状态的聚合方法为S=S1=S2=…=Sn。
(2) 节点异状态的聚合
拓扑节点异状态的聚合是指参与聚合的网络拓扑节点状态不相同。以运行状态为例,当聚合原始节点有关键节点(如传输层节点对象)故障时,聚合后的节点状态为故障;如果不包含关键节点,都是同一类型网络节点,则统计故障节点数,在聚合后的抽象节点标记故障数,方法为:设原始节点中M1,M2,…,Mn状态为故障节点,则聚合状态标记为故障数为N,N=φ(M1,M2,...,Mn),其中φ为统计函数。
(3) 链路性能质量的聚合
链路性能质量采用关键链路状态决定法就是根据参与聚合的拓扑链路关键等级,针对关键对象的状态进行聚合,作为聚合后对象的状态。设L1,L2,…,Ln为关键链路,状态分别为S1,S2,…,Sn,则聚合后抽象链路状态S为关键性能质量的平均值,即:
3.5 拓扑融合处理流程
拓扑呈现视图按用户需求,在界面提供多类拓扑呈现查询菜单,包括全局拓扑、区域拓扑或某专业网拓扑等,用户选择某种拓扑视图后,界面能够将拓扑视图条件发送到多维拓扑融合处理层,多维拓扑融合处理层按查询条件获取各类拓扑对象信息模型,然后进行多维聚合处理。
拓扑对象聚合以空间维聚合为牵引,按照空间维进行拓扑对象节点聚合,同时对拓扑节点的关系维进行聚合,在节点、连接关系聚合时,根据状态信息进行状态维聚合。聚合后生成的复合节点加载了原始节点对象的属性模型,聚合后的连接关系加载了原始节点的物理连接、组合关系和业务承载关系等属性信息[20],聚合后复合节点和连接的状态,加载了原始节点的状态属性,因此聚合后的拓扑视图能够准确展示拓扑的实际关系和状态,当地图放大时,能够逐层解聚直到展示原始节点信息。拓扑融合处理流程如图4所示。
图4 拓扑融合处理流程Fig.4 Flow chart of topology fusion processing
4 试验验证
聚合后节点数降低到划分的网格数以内,界面内节点数在5 000点以内,渲染呈现刷新时间在3 s以内,可以达到用户提出的小于5 s的要求。
按照综合拓扑管理技术框架搭建软件原型系统[16],模拟光纤传输网、IP网、卫星网等3种被管网络拓扑数据,进行多维聚合后呈现综合拓扑[17]。以全局拓扑为例,按照被管网络典型规模、网络结构和节点多维属性,模拟3种网络拓扑信息数据,页面刷新时间与加载渲染节点数关系密切,试验中,模拟光纤传输拓扑节点600~800个,IP网路由交换节点300~350个,卫星网终端节点30~50个,节点总数为930~1 200个。
进行10次拓扑聚合实验,每次选取不同节点数,分别记录聚合前和聚合后每次综合拓扑呈现页面刷新时间,进行对比,验证通过拓扑融合处理,页面刷新效率的提升[18]。以聚合前原始拓扑界面和拓扑融合处理后界面对比,验证本文所述基于多维模型的拓扑融合方法科学有效、可行,并通过聚合后拓扑在用户进行地图放大后,能够逐层解聚,展示细粒度的拓扑视图,另外能够查看连接包含的业务承载关系,体现本文与行业现有基于地图的聚合方法创新之处。
拓扑聚合前后刷新效率对比表如表1所示。
表1 拓扑聚合前后刷新效率对比Tab.1 Comparison of refresh efficiency before and after topology aggregation
根据实验数据可知,聚合后能够将节点数控制在300点以内,加载数据大大减少,渲染呈现刷新时间在ms级,满足用户小于3 s的时间要求,比原始拓扑平均刷新时间8.5 s明显降低,显著提高了页面刷新效率,提升用户的体验效果。
图5 采用多维聚合技术前后刷新时间对比Fig.5 Comparison of refresh time before and after using multi-dimensional aggregation technology
(2) 聚合结果对比
聚合前原始拓扑如图6所示,图中包含光纤传输网节点(蓝色圆形图标所示)、IP网路由交换节点(绿色“×”图标所示)、卫星站点(棕色三角图标所示)、传输节点间连接和路由交换节点间连接等,从原始拓扑图可以看出,节点密集,无法清晰地查看节点间连接及状态信息。
图6 原始拓扑数据呈现界面Fig.6 Original topology data presentation interface
进行多维聚合处理后,拓扑界面如图7所示。
图7 聚合后拓扑数据呈现界面Fig.7 Topology data presentation interface after aggregation
界面只显示聚合后的复合节点,标识复合节点包含的原始节点数量,根据原始节点间关系,聚合显示一条复合节点间连接关系,当复合节点中包含故障的原始节点时,以角标方式标注故障节点数量。呈现节点数量减少,能够清晰准确地展示全局拓扑结构和状态。从聚合后与聚合前拓扑结构对比,聚合处理后拓扑整体结构布局、连接关系和状态与原始拓扑一致,能够正确呈现整体拓扑结构及状态等信息。
地图放大,查看故障节点,界面如图8所示。根据地图比例进行解聚展示细粒度拓扑节点、连接及状态,并能够查看业务承载关系信息,验证从空间维、关系维和状态维聚合后结果符合原始拓扑结构,多维聚合结果准确。
图8 地图放大后拓扑数据呈现界面Fig.8 Topology data presentation interface after map enlargement
综合上述情况,试验结果证明基于多维聚合技术的拓扑融合处理方法能够解决大规模异构网络拓扑节点识别难、连接状态监视难、业务承载关系不清晰、业务状态监视难和页面刷新效率低等问题。
5 结束语
根据用户对大规模异构网络拓扑综合呈现应用的需求,研究基于多维聚合技术的拓扑融合呈现方法,构建了拓扑对象多维数据模型及拓扑关联规则,实现了基于多维聚合模型的综合拓扑呈现界面。通过原型系统及仿真多种专业网络拓扑数据进行验证,本文所述方法能够对多种专业网的拓扑进行准确建模,合理化聚合处理,动态精准地显示全局拓扑视图、区域拓扑视图和业务逻辑拓扑视图等多种拓扑综合视图,为综合网络管理系统解决大规模、多网系和异构拓扑的综合呈现问题提供了重要的解决思路和实现方案。