运营商统一DPI建设方案优化研究

梅再霞，音春，王锋

（中国移动通信集团设计院有限公司安徽分公司, 合肥 230041）

运营商统一DPI建设方案优化研究

梅再霞，音春，王锋

（中国移动通信集团设计院有限公司安徽分公司, 合肥 230041）

对运营商统一DPI系统应用场景做阐述，并对建设中出现的问题深入分析，提出了基于统一DPI设备的系统优化建设思路。通过同资源池、大数据平台相结合的优化方案，实现资源整合与共享。

统一DPI；大数据；资源池

1 引言

随着统一DPI设备在现网的大规模建设，统一DPI已经成为全网最重要的网络数据采集系统，是运营商数据金矿的原石，是大数据分析的基础。各省根据集团规范要求建设了统一DPI系统，但各采集位置数据的合成和存储仍为烟囱式建设，独立部署合成和存储服务器，未纳入资源池进行资源整合与共享，各采集位置数据相互独立，缺少必要的关联与整合，不利于提高设备利用率。

2 DPI技术

DPI(Deep Packet Inspection) 是一种基于数据分组的深度检测技术，针对不同的网络应用层载荷（例如HTTP、DNS等）进行深度检测，通过对报文的有效载荷检测决定其合法性。运营商通过DPI设备通过对网络的关键点处的流量和报文内容进行检测分析，可以根据事先定义的策略对检测流量进行过滤控制，能完成所在链路的业务精细化识别、业务流量流向分析、业务流量占比统计、业务占比整形、以及应用层拒绝服务攻击、对病毒、木马进行过滤和滥用P2P的控制等功能。

2.1 DPI功能

业务识别：业务识别有两种方法，一种是对运营商开通的合法业务，另一种是运营商需要进行监管的业务。运营商需要进行监管的业务需求DPI技术，通过前述的业务识别方法，通过对IP数据分组的内容进行分析，通过特征字的查找或者业务的行为统计，得到业务流的类型。

业务控制：通过DPI识别出各类业务流之后，根据网络配置的组合条件，用户、时间、带宽、历史流量等，对业务流进行控制。控制方法包括：正常转发、阻塞、限制带宽、整形、重标记优先级等。

业务统计：DPI 的业务统计功能是为了直观的统计网络的业务流量分布和用户的各种业务使用情况，从而更好的发现促进业务发展和影响网络正常运营的因素，为网络和业务优化提供依据。

2.2 统一DPI系统应用场景

根据不同位置的不同流量特性，设置5个DPI采集点，同一个点上采用一套统一DPI设备为多套应用系统提供数据，实现DPI复用，如图1所示。

2.2.1 场景1：PS侧

2G/3G网络的Gn接口链路，以及4G网络的S1-U接口链路。

2.2.2 场景2：IDC出口

指IDC连接省网/骨干网的出口，即IDC出口路由器与外部承载网络之间的链路。

2.2.3 场景3：省网出口

指省网到骨干网的出口，即省网汇接路由器与骨干网路由器之间的链路。

2.2.4 场景4：省网网间出口

指省网连接第三方网络的出口，即省网网间出口路由器与第三方网络之间的链路。

2.2.5 场景5：骨干网网间出口

指骨干网连接其他运营商网络的出口，即骨干网网间出口路由器与其他运营商网络之间的链路。

图1 统一DPI应用场景

3 运营商统一DPI建设存在的问题

各省建设统一DPI系统，系统采用统一设备功能、标准的话单格式，对字段类型、长度和取值进行了规范，有效支撑各类应用系统，主要有如下几点。

3.1 数据提供方式

原始码流和XDR话单分别满足应用系统不同需求。

原始码流：Cache系统、不良信息监测系统、网优平台等；

XDR话单：集中化经分系统、日志留存系统、IDC信息安全系统等。

3.2 支撑多个应用系统

网络管理：性能管理系统、网优平台、信令监测系统等；

业务支撑：集中化经分、流量经营分析系统等；信息安全：上网日志留存、不良信息监测、手机恶意软件等。

3.3 目前面临一些问题

（1）各采集位置数据的合成和存储仍为烟囱式建设，独立部署合成和存储服务器，未纳入资源池进行资源整合与共享，不利于提高设备利用率，各采集位置数据相互独立，缺少必要的关联与整合。

(2）对于互联网非对称路由情况，用户发起的一次业务可能会分布在两个DPI上。若两个DPI为异厂商，各厂家只能采集到单方向链路的流量，对于需要上下行配合解析的协议或者只有单方向链路中携带协议特征的场景，仅采集单向链路无法识别全部消息的协议类型，造成双向或者某个单向数据无法解析、生成完整的单方向XDR。

(3）统一DPI的5个采集位置已经可以完整获取用户的整个上网行为，但5个采集点数据各自为政，无法形成端到端的用户行为视图。

4 统一DPI系统优化建设思路

从用户上网行为出发，以端到端的视角贯穿无线网、核心网、CMNet、IDC、业务平台等环节，实现全流程日志关联，描绘用户上网行为的全景视图，进一步挖掘数据金矿价值。

4.1 统一DPI对TLV的规范

通过统一DPI的建设，不同采集点XDR对同一内容的字段定义是完全一致的，通过“时间+关键字段”等的方式，通过IP地址、端口号、URL和时间等参数，即可实现对PS域XDR与互联网 XDR的关联，同时通过进行多接口之间的逐步关联，即可实现对用户行为的全景描述。逐步关联步骤如图2所示。

图2 逐步关联步骤

4.2 非对称路由XDR合成服务器方案

对于互联网非对称路由情况，用户发起的一次业务可能会分布在两个DPI上。若两个DPI为异厂商，各厂家只能采集到单方向链路的流量，对于需要上下行配合解析的协议或者只有单方向链路中携带协议特征的场景，仅采集单向链路无法识别全部消息的协议类型，造成双向或者某个单向数据无法解析、生成完整的单方向XDR。对于同厂商设备，若上下行链路处于不同机房，仍存在非对称路由问题。选择一个机房部署非对称路由XDR合成服务器，集中负责合成非对称路由的完整XDR。

4.3 全流程日志关联方案

部署全流程XDR合成服务器，将PS域完整的XDR与互联网侧完整的XDR关联，合成用户一次上网全流程完整的XDR话单。以省为单位集中部署1套全流程XDR合成服务器，与非对称路由XDR合成服务器合设，同时负责互联网非对称路由XDR的合成及用户上网全流程话单的关联，非对称路由XDR 合成模块负责将各采集点的上下行单向XDR合成完整的XDR，日志关联模块负责将各采集点XDR关联，合并生成全流程XDR话单并提供上报接口。图3为全流程日志关联示意图。

4.4 构建大数据基础能力平台

图3 全流程日志关联示意图

图4 优化后平台示意图

利用大数据平台集中存储DPI数据，对数据进行清洗和融合关联，建立融合后的数据库，并针对应用层大数据分析的不同需求，定制字段，输出数据，为进一步的大数据分析提供统一呈现，作为对外提供XDR日志的唯一出口；对于有DPI数据实时采集需求、或对采集时延敏感的业务系统，可以直接由DPI提供原始数据。图4为优化后平台示意图。

5 结束语

在电信运营商加大流量经营和大数据布局的背景，随着移动互联网业务的高速发展以及社会各阶层对信息安全认识的逐步提高，统一DPI系统优化后，利用大数据平台的存储和分析能力，实现了资源整合，为运营商分析流量经营，网络质量提升、信息安全、用户服务支撑等运营工作提供了数据深度挖掘和分析的基础。

News

中天科技参加第四届全国海底光缆通信技术研讨会暨第二届全国海缆技术论坛

6月27－28日，第四届全国海底光缆通信技术研讨会暨第二届全国海缆技术论坛在武汉召开，中天科技应邀参会。中天科技集团总工程师谢书鸿率领中天海缆研发团队从新型大有效面积深海光缆研制、有中继深海光缆关键技术研究、接驳盒可靠性研究、工程路由设计及规范化施工等方面与业内同行、专家共同分享了中天科技深海光缆的关键技术及应用经验。

谢书鸿表示，在我国通信系统技术逐步发展应用的情况下，中天科技突破了众多技术瓶颈，成功开发出了我国第一条有中继深海光缆，率先通过UJ、UQJ国际认证，并通过了国防项目及观测网系统的应用验证，具备完全自主知识产权的有中继深海光缆生产制造技术。中天科技将借助我国“智慧海洋”发展契机，打造海底光缆产业集群，紧随国家“一带一路”战略，实践国内制造产业“走出去”的发展思考，与系统集成商、国防单位等一道共谋海缆事业发展。

（王海军)

Research on optimization of unified DPI construction scheme for operators

MEI Zai-xia, YIN Chun, WANG Feng
(China Mobile Group Design Institute Co., Ltd. Anhui Branch, Hefei 230041, China)

This paper describes the application scenarios of the unified DPI system of the operators, and analyzes the problems in the construction, and puts forward the idea of system optimization based on the DPI system. Through the combination of resource pool and large data platform, we can realize the integration and sharing of resources.

unified DPI; Big Data; resource pool

TN929.5

A

1008-5599（2017）07-0069-04

2017-01-20