移动通信数据网络资源智能采集处理工具的设计与实现

林文锋

（中国移动通信集团广东有限公司网络管理中心 广州 510623）

1 引言

随着网络综合资源管理系统建设的不断推进，中国移动通信集团广东有限公司（以下简称广东移动）已完成了对全专业网络资源数据的统一管理，并通过构建较为完整的全生命周期资源维护流程，确保资源数据的动态准确性。综合资源现有的核心资源数据库，已作为OSS域权威的网络资源数据来源，为广东移动的业务开通、服务保障、经营分析、网络优化等众多前后端应用系统提供网络资源数据支撑。同时，前后端各级应用系统也对各专业资源的精细化管理能力以及资源数据的准确性、完整性提出了更高的要求。

在实际的资源数据管理维护过程中，资源数据质量的好坏直接决定了上层各类应用的可用性和有效性；如何在资源数据动态维护过程中，保持高的数据质量是综合资源管理永恒的话题。在广东移动目前的资源管理中，主要依靠如下两种手段提高网络资源的数据质量。

（1）定义较为完备的资源全生命周期管理流程

通过流程环节的管控，对从资源的设计、工程、入网、运维、调整直至退网的整个生命周期进行合理管理，保证增量数据动态维护的及时性与准确性。

（2）对持续的现网资源采集进行比对处理

针对机房内的智能设备，特别是数据网络设备，通过定义广泛的数据核查指标，结合综合资源采集比对能力，定期对系统中的存量数据进行质量监控，及时发现数据存在的问题，并通过自动化或半自动化手段及时进行数据纠错。

本文主要针对第2种手段进行分析，在现有采集核查机制的基础上针对数据网专业资源，研究如何进一步加强资源数据的采集与处理能力，以提升核查差异数据的人工纠错工作效率，并且在原有只针对物理资源采集比对的基础上，提出了数据网逻辑链路采集与发现的处理方法，从而支撑数据网拓扑信息的自动采集比对核查处理。

2 研究现状

目前广东移动综合资源管理系统的采集比对模块所提供的功能，主要是通过采集比对发现资源存量数据与现网资源的差异，并生成各类核查差异指标报表。但由于现网设备名称的规范性、核查比对规则的完备性、采集数据处理的粒度等问题，还不能基于该核查结果直接对存量数据进行调整更新。

核查所发现的资源差异数据整改流程，主要以人工处理模式为主，具体过程如图1所示。

图1 核查数据人工整改模式

采集核查过程中发现数据问题时，系统会生成各类核查差异指标报表，并发布给各地市的一线维护人员，由一线人员以人工方式从比对结果信息中提取与现网有差异的网络资源范围；然后从网络设备、厂商网管或者前期维护资料中分析并提取最新的资源信息；最后按照综合资源导入数据模板的要求填写各种导入表格，通过综合资源管理系统的导入功能完成整改数据的入库。

上述方式存在的问题显而易见：日常整改维护以人工整理方式为主，工作量较大，往往会造成数据整改维护不及时；由于自动化程度较低，人工环节多，导致问题数据核查整改效率低下，出错风险高。

同时在数据处理粒度方面，采集比对模块主要基于之前粗粒度的数据建模能力，对于从各种渠道采集的数据，重点比对物理资源层面数据以及端口所关联的部分码号资源的完整性与准确性。但其所处理的资源数据粒度并不能满足一线网络资源数据配置管理的精细化需求，存在诸如VLAN/VLAN IF/trunk等逻辑口采集关联定义混乱、VPN/QINQ VLAN/IP地址池等逻辑对象采集内容过于粗略等问题。同样，对于业务承载关联的非常重要的数据链路资源信息，目前也没有手段进行智能采集处理。

针对上述问题，本文以数据网专业为切入点，尝试构建更为智能的资源数据采集处理工具，它能扩展并丰富数据网资源的信息采集能力，将所采集的资源信息通过智能化处理，自动生成满足综合资源数据入库需求的信息模板，从而为提高数据入库质量、地市人员日常运维工作效率以及减轻一线人员工作负担提供有力支撑。

3 设计原则

智能处理工具需要从现网复杂的网络架构以及厂商产品的组成中提取所需的资源信息，同时作为综合资源系统核心应用的必要补充，必须能够适应网络和技术的发展，因此需遵循以下原则。

· 开放性：网络厂商设备的多样性与复杂性以及快速的技术发展，都要求采集数据处理模块具有很高的开放性，需要以适配器模式构建信息提取与处理功能，支持多厂商多设备类型的应用需求。

· 稳定性：智能处理工具所解析加工的数据将直接作为综合资源数据核查整改的调整数据源，故其处理的稳定性与数据解析的准确性非常重要。

· 独立性：依据数据网资源智能处理工具的定位，作为综合资源现有采集比对能力的有效补充，其网络资源数据的提取以及智能数据的处理操作等功能应独立于现有综合资源管理系统，不对其日常生产应用造成影响。

4 设计方案

数据网资源智能采集处理工具作为综合资源系统核心应用的重要补充，主要包括智能资源数据处理服务和细粒度资源采集服务两个部分，其整体集成框架以及交互过程如图2所示。

智能资源数据处理服务是本应用工具的核心，提供问题数据范围提取、采集数据模型转换、链路信息发现、非采集属性信息丰富以及资源数据模板生成等功能，同时保证数据处理的准确性。

细粒度资源采集服务是获取现网资源信息的基础服务层，建立与现网设备交互的采集通道，提供采集指令的配置、采集代理的配置与调度、采集原始数据清洗入库、采集过程监控管理等功能，并充分考虑其可扩展性，以满足网络技术和厂商设备的扩展需求。

该智能处理工具的集成处理过程描述如下。

（1）自动提取综合资源系统中核查发现有差异的网元设备范围。

（2）基于上述范围，利用资源采集服务层的能力，按照配置的细粒度扩展采集指令，获取现网资源数据并进行一次清洗入库。

（3）内部模型转换处理将采集资源模型转换为资源对象模型数据，并叠加链路发现算法生成拓扑数据。对于资源模型中无法采集的业务或管理属性，通过规则映射自动从综合资源管理系统提取信息并进行属性丰富。

（4）按照综合资源数据导入模板的要求，格式化生成可导入数据，完成需整改数据的最终入库。

数据网资源智能采集处理工具二级功能框架如图3所示。

图3 数据网络智能采集工具二级功能框架

其中，应用层负责智能资源数据处理全过程的管理，对细粒度资源采集提供运行调度、配置与监控管理功能；采集层负责与不同厂商设备、不同网络技术下采集接口方式的适配工作；数据层负责存储本智能工具运行所需的各类型基础数据。

该设计方案中所涉及的关键技术点，具体为以下3个方面。

·细粒度可采集资源模型：智能采集处理的核心，通过分析各厂商数据网络设备的输出指令以及MIB库信息，定义一套更细粒度的可采集资源数据模型。

·资源采集处理：说明数据采集处理通道的构建以及

图2 数据网络智能采集工具一级功能整体框架及交互过程

资源采集过程的任务管理与执行过程。· 链路拓扑智能发现处理：是该智能工具设计与实现

的重要创新点，尝试构建一种较为通用的链路拓扑处理方法，以解决当前资源数据采集在链路信息处理方面所存在的技术难题。

4.1 细粒度可采集资源模型

现实网络中有对网络资源最为精准的刻画，从资源信息维护角度而言，如何最大粒度地从现有设备中自动提取有价值的网络资源信息，以丰富现有资源对象模型，在满足网络资源数据配置精细化管理需求的同时，减轻一线人员数据维护的工作量，是本工具设计与实现过程中所考虑的重点问题之一。

通过分析各厂商数据网络设备的输出指令以及MIB库信息，定义了一套更细粒度的可采集资源数据模型，其中包括对于数据网络物理资源、逻辑资源的刻画。部分主要可采集资源对象类型及其细粒度资源属性信息见表1。

表1 可采集资源数据模型

上述模型设计时考虑了与网元输出指令或MIB库信息定义相对应，以一种扁平化的方式刻画现网中的可采集资源，简化了采集数据一次清洗过程中的复杂度。但在综合资源管理系统中的资源数据模型是一种对象化的关联模型，在智能处理过程中需要在两种异构模型中进行映射转换，将扁平化可采集资源模型转换为综合资源的对象关联模型。以可采集资源对象类型IPVPN为例，可采集资源模型中的IP VPN对象将转换映射为综合资源模型中的VPN服务对象、服务对象与端口之间的关联、VRF/RT/RD/VPN ID等码号对象类型以及码号对象与端口对象的关联。其模型间映射转换如图4所示。

图4 可采集资源模型与综合资源对象模型转换示例

4.2 资源采集处理

资源采集处理服务负责从现实网络中提取智能数据处理所需的原始资源配置数据，其部署组成包括采集处理服务器端和网络侧部署的采集代理两部分，如图5所示，各模块具体介绍如下。

·服务器端提供与采集相关的指令模板配置、采集环境元数据配置以及采集任务调度管理等能力，并将相关的配置信息和具体的采集处理请求，通过Web Services接口下发给各采集代理。

·采集代理具体执行现网数据的采集任务以及原始数据的一次清洗处理工作，在此过程中会使用服务器端所下发的各类配置信息（包括所辖网络环境配置信息、网元类型配置信息、指令模板信息等）。采集代理会在多个相互独立的网络拓扑中分别部署（如不同地市的城域网会部署各自独立的采集代理）。

服务器端的采集任务主要由以下两种方式生成。

（1）差异数据采集定时触发方式

定时提取综合资源差异比对数据，生成需采集的网元设备范围，并通过匹配采集环境元数据配置信息，将需采集的网元设备范围列表以采集代理为单位进行分解，最终形成每个采集代理所对应的采集任务。

（2）人工即席采集方式

一线维护人员自行设定需采集的网元设备范围，并即时触发采集处理请求，该方式最终也会按照采集代理所辖范围进行采集任务的分解处理。

图5 资源采集服务两级部署

服务器端的采集任务管理服务会统一管理采集任务的生成以及按采集代理分解后的子任务调度处理过程。

采集代理接收到采集任务请求后的具体处理过程如图6所示。

图6 采集代理任务的处理过程

其具体处理流程如下所述。

· 采集代理接收到采集处理请求后，由采集任务初始化服务创建采集任务实例（唯一ID标识），并初始化采集任务处理目录结构等辅助环境。

·设备侦测服务识别采集处理请求中纳入处理的设备管理IP地址信息，对于新出现的设备管理IP地址，将通过SNMP/Telnet两种方式发送探测指令，以识别设备的具体类型。

· 依据采集范围中识别的设备类型，适配具体的采集方式以及配套的采集指令模板或MIB库键值模板信息。

·网元信息采集服务将连接具体的网元设备，按照采集模板定义获取特定设备类型所有可采集的原始配置信息。

· 对于Telnet指令方式所获取的原始采集数据，需要调用指令输出文本解析服务，将非结构化的原始采集数据进行结构化解析处理。

·一阶段数据清洗转换服务将结构化的采集数据，初步转换处理为可采集的资源数据模型。

·对于本批次采集任务的所有资源对象生成唯一键值，并建立资源对象间的关联性。

·对进行键值化处理的所有本批次采集的资源数据，应用资源数据完整性检查，以发现资源关联性层面可能存在的异常或数据缺失。

· 资源关联性校验无误后，采集任务终止服务将处理结果打包上传至服务器端（由后续服务器程序完成采集数据统一入库），完成本次采集处理过程。

4.3 链路拓扑智能发现处理

在综合资源或各类网管系统数据采集处理过程中，如何通过分析网元层面所采集的数据，发现并生成数据网络设备间的网络拓扑连接信息，一直是一个比较棘手的问题。由于支撑手段的缺失，以人工方式在综合资源管理系统录入的链路拓扑信息无法与现网数据进行核查比对，这部分的数据质量一直难以提升。

本工具提供对数据设备中的多个常用协议配置信息进行解析处理的功能，并通过对不同的网络拓扑环境叠加应用这些协议的处理结果，从而发现数据设备间的链路拓扑信息。

作为链路拓扑数据处理的基础，首先需要从网元中提取各种可能的协议配置数据信息，数据采集所涉及的常用网络协议包括以下几种。

·ARP：通过ARP映射表中所记录的MAC地址与IP地址的绑定关系解析发现可能的物理端口二层连接。

·CDP：对于某一网络拓扑中Cisco设备间的链路拓扑，可以通过提取CDP信息进行邻居设备的自动发现与二/三层链路的采集处理。

·STP：可应用于在网络中建立树型拓扑，二层交换网络拓扑中可以通过采集获取该协议处理信息来分析并构建网络设备之间的链路连接关系，适合所有厂商的网络设备。

·NDP：对于某一网络拓扑中支持NDP的设备之间的链路拓扑 （如所有华为数通设备），可以通过提取NDP信息进行邻居设备的自动发现与二/三层链路的采集处理。

· 点到点协议：通过处理POS、PPP、PPTP等点到点协议端口及其配置IP地址，处理二层链路点到点连接信息。

同时，在特定场景下，设备的静态路由表信息、IP地址子网规则匹配等方法也会被综合应用。

在实际的网络组成中，必然是多厂商设备、多技术承载并存的复杂网络结构，故在进行链路拓扑智能处理时，需遵循如下处理步骤：

·按照现实网络结构，先划分合理的网络拓扑范围（如按专业、地市区域、接入/汇聚网络层次等），从而降低全网遍历的复杂度；

·设定不同协议方法的处理优先级；

·按优先级顺序选择某一协议处理方法，遍历处理某一网络拓扑范围中各设备的物理端口或逻辑终结点，得到这一阶段的拓扑链接信息，在同一种协议方法中，物理端口可能被“重复使用”；

·每种协议方法都只处理那些在前一种协议方法中未被“使用”的物理端口或逻辑终结点，这样后一种协议方法的结果，不会影响前一种相对准确方法的链路发现结果。

通过综合应用多种协议配置数据，最终得到最为合理的网络链路拓扑结构。

不同网络场景所采用的协议处理方法与顺序如下。

（1）以太网链路处理方法

以太网链路发现是一系列协议方法按照一定顺序处理的集合，能够发现交换端口之间的链路连接关系。协议方法处理集合主要包括：

· 基于STP的数据，将处理以太网交换机端口间的互

联端口；

· 基于透明桥转发数据（TpFdb），将处理以太网交换

机与非交换网元之间的链路连接；

· 基于ARP的数据，将处理网元设备间不存在交换中

介的链路连接。

（2）路由器间二层连接处理方法

路由器间二层连接主要通过CDP/NDP方法进行处理，以Cisco设备为例，可以从Cisco MIB库中的CiscoCdpMIB(1.3.6.1.4.1.9.9.23)解析匹配的设备ID和端口构建连接。

CDP/NDP数据处理本身算法比较简单，此处不做赘述，但其应用场景存在局限性，如CDP只能应用于Cisco设备构建的网络，而NDP一般只应用于华为数通设备所构建的网络。上述协议处理所发现的链路连接会横跨或忽略不支持它们的其他设备，所以需要配合其他补充协议的处理方法进行结果改进。

对于其他路由器间的以太网连接，主要通过ARP数据（IP地址MIB中）进行分析处理，不会作用于前项协议处理方法（如STP、TpFdb、CDP/NDP）已处理过的物理端口之上。

该方法主要进行如下两项检测：

·两个相邻设备端口在各自的MAC表中是否有互相引用；

·两个端口是否存在于相同的IP地址子网段中。其中，动态学习和静态的ARP数据都会被使用到。（3）点到点连接处理方法

对于非以太网技术以及CDP/NDP等技术不适用的情况下，一般通过IP地址子网匹配或者特定的路由信息来分析处理点到点串行链路连接。

点到点串行链路一般会绑定一个小的30位子网；链路发现算法识别到PPP/POS/PPTP等类型的设备端口时，就会处理它们所绑定的IP地址，通过IP地址子网的匹配性解析链路连接信息。

对于端口未绑定IP地址的情况 （为了节省IP地址空间，未绑定IP地址的端口将从另一端口上借用一个IP地址），如果路由器上某个串行端口未绑定IP地址，协议处理算法将解析路由器上每个端口的路由表信息，间接识别串行链路连接。

图7 链路拓扑智能处理综合场景示例

（4）基于IP地址邻居关系的处理方法

基于分析相邻设备之间动态或者静态路由信息来发现IP地址链路对象，该方法需要从MIB库的路由表或者配置文件中提取<目标IP地址，子网掩码，输出接口>三元组信息，然后解析IP地址子接口间是否存在相互的路由，从而提取潜在的链路连接信息，每一轮处理所发现的接口关联在下一次处理中将被淘汰。

上述协议处理方法需按顺序执行，避免协议方法处理数据之间的干扰性。上述各协议处理方法的综合场景应用示例如图7所示。

被发现的物理链路包括以下几种：

· A∶E，通过ARP数据处理得到；

· B∶F，通过FDB桥接数据处理得到；

· C∶F，通过FDB桥接数据处理得到；

· D∶E，通过ARP数据处理得到；

· D∶G，通过CDP数据处理得到；

· E∶F，通过FDB桥接数据处理得到；

· F∶H，通过STP数据处理得到；

· G∶H，通过FDB桥接数据处理得到；

· G∶K，通过IP地址子网匹配处理得到。

5 应用效果

该智能处理工具已在广东移动的深圳、佛山等地市分公司推广应用，通过资料整理、数据处理流程优化，在数据维护效率和数据维护准确性方面有了明显的提升。

5.1 数据维护效率

未使用该采集工具前，主要依靠人工进行数据采集、分析和录入模板整理，以某地市数据网专业的设备（路由器85台，交换机75台，板卡1 002个，板卡1 663个，端口17 447个）为例，做一次全量数据清理，平均一个周期大概约需15个人·日。

使用智能采集工具后，数据网络设备信息的采集、分析和录入模板都由智能工具智能处理，只需要通过人工操作补充无法采集的数据。以该地市为例，一次全量设备信息清理约需2个人·日（采集分析导出需0.5个人·日，数据补充约需1.5人·日），如图8所示，效率明显提升。

图8 数据维护效率比对

5.2 数据维护准确性

未使用该采集工具前，以人工方式收集、整理数据网的物理资源、逻辑资源和链路资源，容易导致部分资源信息录入缺失，链路与设备端口的关联存在误差。以某地市2011年度数据网络为例，各月的链路与端口的关联率平均值约为82%，对整体网络拓扑呈现有一定的影响。

使用智能采集工具后，数据网络设备信息自动采集率达到97%，采集日志信息的智能处理率达到100%，设备录入信息的智能生成率达到100%。同时通过智能工具采集数据网络的链路信息，能保证链路信息的完整，且链路与设备端口的关联关系准确。仍以该地市2012年度数据网络为例，采用智能采集工具辅助后，各月的链路与端口的关联率平均值约为98%，基本上可准确呈现数据网专业的拓扑，以辅助故障定位。

结合数据网专业的数据核查指标，使用工具前后的效果对比见表2，资源数据的准确性有了较大的提升。

表2 数据准确性对比

通过对比，可见该智能处理工具作为一线人员对数据网络进行日常维护的必要工具，较好地解决了原有资源差异数据维护过程中存在的种种问题，极大地提高了一线人员的生产效率；同时，其加工后的数据（包括逻辑资源和链路资源），又可以作为综合资源对比模块的必要补充，提升综合资源数据链路的对比处理能力。

6 结束语

综合资源管理系统作为通信企业网络资源的核心数据来源，所维护管理的网络资源数据在企业的生产运营中起到越来越重要的作用，其数据已经普遍用于支撑业务开通、服务保障、经营分析、网络优化等众多前后端应用系统。其所管理数据质量的高低，直接影响企业网络运营水平的高低。本文所提出的数据网资源采集信息的深入挖潜以及逻辑链路信息的智能发现等思路，应用于构建综合资源外围的数据处理工具，可以成为综合资源核心应用的必要补充，为其数据质量的进一步提升以及一线数据维护负担的减轻提供了有力的支撑。

1 中国移动综合网络资源管理系统技术规范通用功能分册(V1.0.0),2003

2 中国移动综合网络资源管理系统技术规范技术架构分册(V1.0.0),2006

3 IEEE Std 802.1D.生成树协议标准,2004

4 Cisco.Cisco Discovery Protocol(CDP)Specification,2004

5 华为NE系列路由器产品文档，2008