城域网DPI数据汇聚分析平台建设方案研究

蔡俊杰， 张元金

(广东肇庆广播电视大学， 肇庆 526060)

城域网DPI数据汇聚分析平台建设方案研究

蔡俊杰， 张元金

(广东肇庆广播电视大学， 肇庆 526060)

从移动数据流量剧增引发的的问题出发，从而需要设计一个可以识别业务类型，分析业务质量、用户数据、终端信息，实现对网络业务的实时监测的DPI数据汇聚分析平台。介绍了DPI数据汇聚分析平台方案的设计，对DPI数据汇聚分析平台进行综合评价，预算该方案能实现的预期效果。

DPI； 数据汇聚； 数据流量； 宽带

0 引言

近年来，无线宽带技术的崛起，使得移动智能终端的使用激增，全球移动数据流量大幅度增长，同时也伴随着各种网络安全事故的频发以及大量的暴力、反动、色情等不良信息充斥着网络。况且，无线宽带中也还存在着其他问题，如：高峰时刻用户感知差，安全威胁多，系统离散，网络的可用性和可维护性受到挑战等。在互联网时代，业务、用户、流量将会是运营集团的核心追求[1]。所以营造一个绿色、安全、可视化的网络环境已经迫在眉睫[2]。

2013年中国移动通信启动了全国LTE网络的建设，目前我国很多省份的LTE EPC网络建设已基本完成，具备4G网络服务能力。然而，目前的EPC网络缺乏有效的数据分析手段，LTE网络的维护支撑工作和前端用户行为分析存在很大的不便，因此为了及时了解网络状态、减少网络改造时对用户产生的影响，在大量用户使用4G网络之前亟需建设一套有效的LTE核心网DPI系统。因此，为完善移动上网日志留存系统的建设(含同步扩容)，并为集团内部及其他上层需求提供统一的数据信息系统，通信集团考虑启动LTE核心网DPI系统工程建设。

DPI(Deep Packet Inspection)深度包检测技术，是一种基于应用层的流量检测和控制技术[3]。通过DPI技术可以识别业务类型，分析业务质量、用户数据、终端信息，实现对网络业务的实时监测[4]。流量识别作为一种能够自动、实施保障网络检控的技术，成为对防火墙一类的静态安全设备的必要补充，越来越受到人们的重视。

1 DPI系统现状

DPI可对网络管道内各类应用、用户行为、流量流向进行识别分析，并实现网络深度视图，及时发现网络异常流量、动态资源调控、流量精细化运营等。

现阶段DPI系统的瓶颈在前端DPI设备。为了提高性能，前端DPI设备硬件实时I/O转发、控制单元采用ASIC硬件，实时分析单元多采用FPGA和NP。目前DPI系统并没有统一规范标准。业界的DPI系统大多具备设备采集、策略管理同步、全应用识别管理、用户行为采集识别数据采集与管理、认证计费信息采集识别、流量注射、CP/SP资源采集识别、多链路/设备协同应用等功能。主要提供宽带拨号上网、互联网专线接入、IDC带宽出租、VPDN及MPLS VPN等基本网络业务，以及承载各类互联网增值业务、全球眼/新视通/VOD点播、IPTV等视频业务、软交换SIP终端语音业务等[5]。

2009年3月，为给CDMA上网用户提供高质量服务体验建设了DPI系统。该系统需要在满足对CDMA上网用户进行页面导航的同时，还可针对用户上网行为进行深度挖掘，细分用户类型、消费群体；并且支持接口功能，与集团集中式管理系统或第三方相关系统对接。集团市场部提出数据汇聚需求，信息化和云公司提出对接的数据格式要求，基于各地现状，网发部、网运部协同制定数据汇聚方案，保证带有cookie的固网DPI、固网AAA数据上传至集团大数据汇聚平台和大数据能力产品与应用平台。2014 年底前许多省份实现数据汇聚，2015年6月底前基本实现全国数据汇聚，并要求各省DPI原则上监控26%的城域网带宽出口；对于以全业务流量占比分析需求为主的省份，可按照12%的链路带宽覆盖[6]。

2 DPI数据汇聚分析平台方案设计

某城域网DPI数据汇聚分析平台建设方案设计，如图1所示。

图1 DPI数据汇聚分析平台建设方案拓扑结构图

该平台采用混合方案，并且在硬件设备和软件进行了重组和设计，具体设计方案如下：

2.1 硬件方案

根据历史数据及模型预测出C网DPI系统2015年峰值的PPP连接保持数，需求的计算资源将比目前9月份提高45%，如表1所示。

表1 C网用户忙时PPP连接保持数预测表

经测算，2014年C网DPI系统共需扩容4台分析服务器和4台分拣服务器。

本期C网DPI系统扩容的分析服务器和分拣服务器由信风提供系统集成服务，包括设备联调、网络联调、软件安装等工作。

2.2 软件方案

本期工程需对C网DPI系统进行软件升级改造，其中内容包含以下几个方面：

(1) 用户上网感知数据采集功能

为满足对3G用户上网感知数据采集需求，在公有信息部分增加5个字段，这些字段增加在原有公有信息后面，字段依次往后，如表2所示。

表2 DPI系统升级改造报内容

HTTP、WAP协议特有信息增加2个字段，这2个字段增加在原有HTTP、WAP协议字段的后面，字段依次往后，如表3所示。

表3 HTTP、WAP协议信息

(2) 增加协议解析种类

为留存移动上网全部用户协议的日志信息，需增加对DNS、SNMP等协议的采集解析功能。

(3) 用户即时消息感知数据采集功能

LTE核心网DPI系统应根据移动运营商需求，增加即时消息类感知字段。应在即时消息协议字段后面增加解析以下字段，如表4所示。

2.3 网络建设方案

本方案设计中，需要采集的链路，如表5所示。

本次项目在2处LTE核心网链路处进行采集：在PGW和CE之间，新增 8条10GE数据链路双向监控，获取SGI(用户信息和互联网访问信息)；在PGW和PCRF之间，系统需要获得Gx(用户认证数据)，Gx数据从PGW/PCRF的链路中采集。

表4 LTE核心网DPI系统字段信息

表5 采集链路和位置情况表

建设初期链路吞吐量按约3万用户1Gbps流量考虑；一期建设时将按设计能力60万用户20Gbps流量考虑。

采集分光为7∶1∶1∶1。采集点分设于A路8楼和B楼10楼机房，中心站设置于B楼5楼或8楼机房。

3 DPI数据汇聚分析平台设计目标

根据DPI系统建设方案，可以实现升级/新建DPI系统，如图2所示。

图2 DPI数据汇聚分析平台建设目标图

在城域网CR至省干D设备之间进行并行单向链路监控，满足集团对HTTP和AAA数据的统一收集。按照集团规范新建DPI汇聚分析平台，对接省内DPI系统、AAA、IDC DPI系统以及集团数据汇聚平台，交换机、服务器、存储等采取新建物理机方式[7]。

可以实现HTTP GET、AAA等实时上报数据存储时间要求为1小时，流量流向数据5分钟颗粒度数据存储7天，小时、天、周、月、年颗粒度数据存储180天。由于存储数据较大，建议采用IPSAN存储方式，并通过服务器配置大容量硬盘方式解决存储空间。城域网DPI汇聚分析平台可以通过CN2与集团网络数据平台交互，通过公网与省内城域网DPI设备、IDC DPI设备，通过分光获取AAA Radius报文[8]。

在WEB推送方面也增加了新功能：

增加对发送目标用户是否发送成功、用户是否点击查看的查询统计功能；增加对发送目标客户黑白名单、投诉用户名单过滤功能；增加欠费提醒、到期续约提醒的自动提取用户、自动发送功；所有WEB推送均需要通过审核才能发送，并且要记录发送工号操作日志，以强化需求审核管控。

4 总结

DPI系统平台改建，实现了对包括省级DPI数据汇聚分析平台自身以及城域网DPI设备、IDC DPI设备在内的统一的配置、监控、安全、操作等管理功能，支持策略管理和系统管理相关功能。同时，互联网所承载的业务类和应用数量迅速增长[9]：

(1) 导航功能：系统为无线宽带上网用户提供服务，包括套餐信息、续费信息、账单/详单信息、充值缴费、使用帮助等。

(2) 业务推介：可以同时传递给无线宽带用户网络割接、业务变更、节日问候等信息，并进行相关的电信CDMA新业务推介、电信业务调查、无线宽带品牌宣传等。

(3) 信息发布：主要包括：全国级电信动态信息发布、全国级营销活动发布、全国级业务引导、全国级新业务体验、省级电信动态发布、省级营销活动发布、省级业务引导、省级新业务体验。

(4) 点击数据统计：系统记录对欢迎页面总部相关各组成页面具体栏目点击的基数，汇总信息的点击数，并由系统进行整体点击数据的统计及展示。

(5) 用户名单和信息获取：系统通过与运营商相关系统做接口，按一定的周期获取需要提醒的无线宽带用户名单与用户基本信息(使用套餐类型、本地时长、漫游时长、欠费等)。

(6) 信息统计：准确统计：什么信息、在什么时间、推送给哪些无线宽带用户。

(7) 绿色上网功能。

当然DPI系统受限于当前技术，也还存在不足之处，如在特征提取、伪网监控、预处理和流量控制算法等方面都可以做进一步研究[10]。

[1] 吕锦扬. DPI技术在移动数据网络分析的应用[J] .电信技术,2013(6):72-75.

[2] 武光达. 基于DPI的流量识别系统设计[D].贵阳：贵州大学,2015.

[3] 沈俊.DPI技术在宽带大提速中的应用[J] .信息系统工程,2014(6):88.

[4] 王建，张治中，骆云龙.基于DPI的LTE网络用户行为感知系统的设计与实现[J] .电信科学, 2014(7):77-83.

[5] 程烨,周雁,徐伟杰. 大数据背景下运营商IP城域网DPI部署方案研究[J] . 邮电设计技术, 2015(10):62-67.

[6] 王勇.DPI带宽管理技术与应用研究[J] .通讯世界,2016(8):135-136.

[7] 陈先灏， 雒江涛.面向电商数据的可视化查询系统 [J] .计算机系统应用,2016(4):123-127.

[8] 卫涛，韦薇，张扬，李心恬，陈晓帅. 4G网络DPI系统多厂家组网问题研究 [J] .电信快报,2016(3):38-42.

[9] 伍岳.电信运营商DPI系统优化建设研究[J] .电信工程技术与标准化,2016(2):65-68.

[10] 丁瑶. 基于DPI和DFI的应用层网络流量监控系统的研究与实现[D] .南昌：江西理工大学, 2014.

Research on Construction Scheme of DPI Data Aggregation Analysis Platform in Metropolitan Area Network

Cai Junjie， Zhang Yuanjin

(Guangdong Zhaoqing TV University, Zhaoqing 526060, China)

For the problems caused by mobile data traffic surge, it needs to design a DPI data aggregation analysis platform which can identify the type of business, analyze service quality, user data and terminal information, to achieve the real-time monitoring of network traffic DPI data aggregation analysis. Firstly, the paper introduces the design of DPI data aggregation analysis platform, and then makes a comprehensive evaluation of the platform, and finally, the expected effect of the budget of the project can be achieved.

DPI；Data gathering; Data flow; Broadband

蔡俊杰(1968-)，男，本科，讲师。研究方向：网络与通信、计算机网络安全、信息安全等。 张元金(1969-)，女，本科，讲师。研究方向：信息安全、网络与通信等。

1007-757X(2017)06-0057-04

TP393

A

2016.12.28)