智能管道体系数据应用子层的设计与研究

张亚飞，阎 东

（1.中国通信建设集团设计院有限公司第四分公司 郑州 450052；2.中国电子科技集团公司第二十七研究所 郑州 450052）

1 引言

随着移动互联网的蓬勃兴起，运营商在不断满足网络扩容和新业务需求的同时，其传统盈利模式则不断受到冲击，在通信产业链上面临“被管道化”和“被边缘化”的严峻威胁，智能管道的概念也因此提出。目前智能管道的相关技术、功能需求及体系架构的研究发展迅速，其中ITU-T在2011年给出智能型增强网络 （network intelligence capabilities enhancement,NICE）的定义和总体架构，并推动了相关标准的制定。NICE架构主要分为两个层面：承载网络层和承载控制层，承载网络层主要实现多维感知和流量控制功能，承载控制层主要实现策略制定和下发，实现资源的动态分配。

但在智能管道的建设过程中，对于架构的开放性及价值数据的合理利用上凸显不足，主要体现在承载网络层多维感知系统需要重复提供信令流量和特定业务的媒体流量，同时需要为不同的应用系统提供大量异构、交叉重复的基础统计分析和日志数据，数据复用性较低且数据流向混乱。按照产生与分析分离、数据与应用分离原则，本文提出在智能管道体系内新增数据应用子层的设计方案，经实例分析，该方案可增强承载网络层多维感知系统对上层系统提供数据服务的能力、提升数据共享水平、优化智能管道体系结构。

2 智能管道应用现状

2.1 智能管道体系架构

按照NICE的定义并依据承载和控制功能的分离原则，智能管道的系统架构由承载控制层和承载网络层组成。管道智能的承载网络层具备多维感知功能、按需保障和自助指配能力，同时可以承接策略控制系统的策略下发执行，并与IT支撑系统、终端等配合最终完成服务的高效提供和资源的智能管控；智能管道的承载控制层在包含原有认证系统、网络管理系统功能基础上，主要实现统一认证和融合策略控制功能。

智能管道建设的主要目的是提升网络智能化服务能力、适应商业模式转变并拓展创新型应用。在实际建设中，通常依据NICE体系结构，将承载网络层和承载控制层作为开放性的智能支撑平台，为上层应用系统传递网络状态、多维信息、策略数据等价值数据。随着智能管道上层应用系统的不断丰富，智能管道提供智能服务支撑数据接口的开放性、共享性和完备性需要统筹考虑，因此应在NICE架构基础上新增定义业务应用层以涵盖所有的应用系统，新增业务应用层和承载控制层、承载网络层一起组成智能管道总体体系架构，如图1所示。

2.2 智能管道发展现状

智能管道在固网的承载网络层主要以部署多维感知点DPI（deep packet inspection）设备/模块为主，DPI系统可对固网媒体流量和信令流量进行统计分析及策略管控，并为共享上网管控、绿色上网、网页推送、非法 VoIP（voice over internet protocol）业务管控、用户行为分析等系统提供支撑；智能管道在固网承载控制层主要实现基于用户、业务的资源动态指配的功能部署，为业务应用层的差异化服务和相关增值服务应用系统提供支撑，并对各种网络应用进行保障、管理和控制。

移动互联网的快速发展促使运营商网络的业务及信令流量爆发式增长，同时对运营商的短信、彩信等传统业务造成巨大冲击，因此运营商迫切需要尽快建设移动网智能管道体系以增强网络智能服务能力和提高业务收入。目前移动网智能管道在承载网络层的建设是通过外置DPI设 备 和 PDSN （packet data serving node）/GGSN （gateway GPRSsupport node）内置DPI功能模块的部署实现多维感知功能和流量控制能力，具体体现为利用DPI系统对移动网业务进行实时检测，对P2P（peer-to-peer）等低价值业务流进行分时分区的限制以解决少量用户占用了大量网络资源的问题等；移动网智能管道承载控制层的建设首先是推进基于用户分级的差异化网络资源分配功能的部署，实现对分组域业务的简单策略管控，其次是推进移动分组域网络逐步向PCC架构演进，引入PCRF（policy and charging rules function，策略和计费规则功能）网元并升级PDSN/GGSN网元增加 PCEF（policy and charging enforcement fucntion，策略和计费执行功能）功能，逐步开展基于网络忙闲状态、时间、位置、用户用量等多维度的QoS（quality of service，服务质量）策略应用。

2.3 多维感知功能

承载网络层多维感知能力的部署是智能管道体系建设的基本要求，这也是承载网识别用户和业务并进行按需保障的基础。多维感知是指承载网具备多维度的信息感知、采集分析能力，同时具有对于特定业务流量的抽取和管控功能。

多维感知主要通过DPI技术实现，DPI设备/模块可以通过分光方式或镜像方式获取IP链路上的用户互联网访问数据及AAA （authentication,authorization,accounting）侧用户认证、计费数据，对数据报文进行DPI解析。固网通常在城域网、骨干网和IDC（internetdata center）出口处旁路部署DPI系统，部署后固网具备数据业务及用户行为的统计分析能力，具有对P2P类流量、非法接入业务等的识别能力，同时可对IDC、政企重要客户提供应用分析、安全防护等增值服务；移动网通常在分组域部署外置DPI网元，实现对数据流量、用户和业务的多维度统计分析功能，在PDSN/GGSN部署内置DPI模块，实现对业务流量的控制功能。

图1 智能管道总体体系架构

3 智能管道的数据应用子层设计

3.1 多维感知系统的数据提供能力

目前运营商网络基本都部署了具备多维感知功能的DPI系统，DPI系统基于特征库对报文进行3～7层解析和识别，可以为承载控制层和业务应用层提供以下3种类型的数据。

（1）网络层统计分析数据

指面向网络和设备层面的统计分析数据，它包括按照时间、用户群、业务等多维度的统计信息，同时可依据流量流向、连接数和信令等分类查询。此类型数据可为网络优化系统、分组域网管和信令分析系统等提供基础统计分析数据，并可构建本地化多维度网络模型。

（2）用户日志型统计分析数据

面向用户网络行为的日志型记录数据，包含认证登录记录和访问互联网记录，该部分数据关联用户的MDN（mobile directory number）、IMSI （international mobile equipment identity）、IP地址等相关字段。日志型数据可以为针对性营销系统、网络安全系统、用户行为分析系统、策略控制系统等提供分析数据，并可构建本地化多维度用户行为模型。

（3）特定业务镜像数据

DPI系统具备在对业务流量的识别能力基础上，对特定业务数据流量进行提取并镜像转发的功能。如可将HTTP （hypertext transfer protocol）、FTP （file transfer protocol）、RADIUS （remote authentication dial in user service）等业务媒体和信令数据提取并镜像转发给网页推送系统、URL（uniform resource locator）过滤系统、信令分析系统等。该类型数据为简单处理过的实时镜像数据流，流量较大且对传输资源要求较高。

3.2 数据应用子层定义

随着智能管道体系的逐步完善和周边应用系统的丰富，多维感知点DPI系统的数据提供能力逐渐成为瓶颈，同时智能管道体系内的数据需求也存在重复、异构和交叉混乱现象，因此必须在现有智能管道体系基础上构建统一的数据应用视图。

数据应用子层整合多维感知点的基础数据，并将整合后的数据标准化统一数据共享，最后通过标准化数据接口统一提供给周边系统，构建智能管道统一的数据视图。数据应用子层作为一个逻辑上统一的整体，可存储短期面向运营的准实时数据，支持统计分析报表的批量计算、统计分析查询和标准接口的数据共享。

数据应用子层可以提升智能管道信息数据共享与应用的能力，形成“数据集中、应用分布”的数据管理模式，在提升数据质量的同时提高智能管道各层面的数据应用水平。

数据应用子层在智能管道体系中的位置及数据流向如图2所示。

3.3 数据应用子层结构

数据应用子层结构设计如图3所示，它由实时的镜像型特定数据流和经ETL（extraction-transformation-loading）平台整合过的准实时日志型、统计分析型数据仓库组成。

（1）镜像型特定数据流

该功能模块由分光设备或流量复制器组成，可对由DPI系统镜像转发的实时特定数据流量进行统一复制转发。如通过分光器复制大流量的HTTP报文，提供给网页推送系统、URL过滤系统等，通过流量复制器可复制小流量的RADIUS和其他信令流以提供给信令分析系统、网管系统等。该功能模块降低了DPI设备的负荷，减少了DPI设备的端口占用和传输资源占用，结构清晰，节约投资。

（2）ETL 平台

ETL平台是数据应用子层数据处理的核心，该平台负责对固网、移动网DPI系统产生的数据按照统一的规则进行抽取、转换、清洗、装载处理。经过处理后的数据纳入日志型和统计分析型数据仓库，以满足智能管道各层的使用需要。

（3）日志型、统计分型数据仓库

日志型、统计分型数据仓库对ETL平台产生的数据进行整合，为周边系统提供准实时日志型、统计分析型数据和可定制化报表，并能为各个应用系统提供跨系统的共享数据服务，它是提供上层应用系统的高质量数据的重要来源。

3.4 数据应用子层功能

随着智能管道体系的逐步完善和周边业务系统的不断丰富，对数据共享及数据质量提升需求迫切，因此数据应用子层的主要功能体现如下。

图2 数据应用子层及数据流向

图3 数据应用子层结构

（1）数据整合

该功能对多维感知点产生的数据进行统一数据模型、统一数据标准、统一数据视图，促进智能管道体系数据逻辑模型的统一，促进数据标准化与统一存储。

（2）数据共享

数据应用子层除了可将整合好的数据以数据共享、数据镜像/复制的形式提供给其他应用系统以外，也可作为企业大数据的一部分整体共享数据资源，协助企业进行业务决策提升总体竞争力。

（3）数据接口应用

数据应用子层存储的细粒度数据，支持通用标准的统一数据接口，为更多的移动互联网、云计算和物联网等新技术应用提供价值数据支撑。

3.5 数据应用子层应用效果分析

图4为典型的cdma2000核心网分组域网络结构，多维感知外置DPI设备通过PDSN和CE（customer edge）路由器之间的分光设备接收并解析移动网数据业务流量，同时通过CE路由器的端口镜像功能接收并提取信令数据流量以进行解析监控。

在数据应用子层相关系统未部署前，DPI系统需要通过系统本身为网页推送系统、URL过滤系统、网管系统和信令分析系统提供2×10GE和2×GE的HTTP媒体流和多路的A11、A12和RADIUS信令流量，随着周边系统的增多，将会严重占用DPI设备的处理性能和端口资源；同时DPI系统需要通过不同接口分别为策略控制系统和针对性营销系统提供各类异构的统计分析型、日志记录型数据，随着周边应用系统的增加，异构数据需求量增长迅速，而DPI系统设备只是多维感知的硬件平台，其数据处理能力和统计分析挖掘能力相对不足，数据质量也无法得到可靠保障，整体数据流向混乱。

如图4所示，在分组域部署数据应用子层相关设备及系统后，通过成本低廉的分光设备和流量复制器，可统一对通用特定数据流量进行多次流量复制，分别提供给不同的应用系统，降低DPI设备处理性能，减少端口和传输资源占用；同时在数据应用子层新增智能管道运营数据仓库系统，按照模块化、松耦合、可配置的思路，建立数据整合、封装机制，提供开放的数据信息服务，推进智能管道数据体系向组件化、标准化和开放化的方向发展。数据应用子层的新增使得整体智能管道体系结构清晰、应用合理，而ETL、数据库和数据挖掘技术的广泛成熟应用也充分保障了数据应用子层相关系统部署的合理性、有效性和可行性。

图4 数据应用子层部署示例

4 结束语

本文在智能管道体系结构的基础上，依据数据产生与分析分离，数据与应用分离的原则，在承载网络层之上提出并构建了数据应用子层。数据应用子层通过相关系统的数据整合、数据共享和数据接口应用的功能，统一为智能管道及周边系统提供镜像型特定数据流、日志型和统计分析性数据，并为建立规范的、多角度有效的数据质量体系提供基础，保障了智能管道体系数据的一致性、及时性和准确性。

通过数据应用子层在移动核心网分组域典型场景的简单部署实例分析，证明了数据应用子层可满足智能管道及周边系统对多维度应用数据的需求，其有效性、可实施性和可部署性得到验证。同时数据应用子层的部署不仅能间接提高网络效率、优化成本提升流量价值，也可为进一步挖掘创造新的产品、服务和商业模式提供平台，为企业和用户创造更大价值。

1 Wang Q,Zhang Y,Zhao H L.Network intelligence capability requirements and standards system.China Standardization,2012,33(4)

2 3GPP TS23.203 V10.3.0. Policy and Charging Control Architecture,2011

3 YD/T 1899-2009.深度包检测设备技术要求,2009

4 赵慧玲，徐向辉，陈运清等.智能管道构建思路探讨.电信科学，2011，27（3）：7～11

5 王锐，陈丽.适用于实时查询的电信行业海量数据仓库构建方法.电信科学，2011，27（10）：120～126

6 沈苏彬.智能管道的特征与技术分析.中兴通讯技术，2012，18（1）：13～15