一种基于统一DPI的流量欺诈识别系统
2018-02-28谭晖廖振松林文恺李路艳
谭晖, 廖振松, 林文恺, 李路艳
(1 中国移动通信集团湖北有限公司,武汉 430023;2 深圳市博瑞得科技有限公司,深圳 518000)
1 引言
随着4G用户的快速增长和热点应用的不断演变,通过利用网络漏洞和设备处理机制缺陷的流量欺诈现象时有发生。核心网侧设备,尽管也有计费策略,然而,并不能完全有效识别和拦截流量欺诈,特别是一些新型的欺诈行为,不仅难以发现和抑制,同时存在从发现到抑制措施的实施周期较长的问题。网络中运行的这些异常流量对运营商带来了损失,给企业的业务发展带来影响,降低了客户感知,也让企业形象和声誉受损。
基于统一DPI(深度分组数据检测)的流量欺诈识别系统,是基于中国移动通信集团湖北有限公司省一干项目统一DPI框架进行改造,即通过探测S1-U/S11接口,根据规则模型识别涉嫌利用计费漏洞产生的欺诈流量,开展进一步分析处理,相关的工作主要包含用户面DPI处理设备(SE-X15G、SE-X10G)的改造、数据合成服务器的改造、新增话单处理及分析服务器、以及应用服务器,以及计费话单接口服务器。
系统建设中涉及到一干选型DPI设备,对现网中的用户面DPI处理设备,进行软件改造升级,实现欺诈流量识别所需的深度报文解析功能。新增应用分析服务器,主要实现应用分析展示功能。同时,新增接口服务器,主要实现与计费系统的对接,以SFTP方式传输。
基于DPI深度探测的流量欺诈识别分析系统,建设的依据和原则:
(1)易扩展性原则:支持随着欺诈流量的业务模型演进时,系统具备有良好的可扩展性。
(2)先进性原则:符合当代信息技术发展形势,满足未来各种应用系统要求,提供统一平台应用;对平台软件选择必须具备先进性,以及提供针对各种已有数据源的接口支持。
(3)兼容性原则:系统要求是可兼容系统,能与其它信令监测系统兼容,便于多接口数据源融合。
(4)开放性原则:按照三层构架开放原则,在集团统一DPI的框架构上进行扩展分析,同时系统产生的话单和计费系统对接。
(5)同步性原则:系统需要接入NTP服务器,实现离线计费话单的时间一致性同步要求。
2 流量欺诈识别系统的技术方案
2.1 基于统一DPI系统的改造
基于统一DPI的流量欺诈识别系统,需要对现有DPI设备进行改造,具体的改造内容及目的如表1所示。
表1 对现网DPI系统的改造
2.2 流量欺诈识别流程
基于DPI的流量欺诈识别分析系统的数据流向图和处理流程图分别如图1、2所示。
图1 数据基于DPI的流量欺诈识别分析系统的数据流向图
统一DPI系统采集S1-U/S11接口,对每台用户面处理DPI设备进行软件扩容改造。经改造升级后统一DPI,输入数据不变,即通过汇聚分流设备接入用户面原始码流。输出数据调整为通过组网交换机,保持向原DPI系统的数据合成层输出扩展字段后的xDR话单记录,以及原始码流。
图2 基于DPI的流量欺诈识别分析系统的数据处理流程图
数据合成服务器通过软件改造,接收来自DPI设备的xDR话单记录和原始码流,提供数据缓存。同时向流量欺诈识别分析系统中的话单分析与处理服务器转发多HOST、多X-ONLINE-HOST的用户面XDR,以及转发改造后的DNS XDR文件。
通过新增的话单分析与处理服务器,组建负载均衡集群,接收来自数据合成服务器上报的话单文件,并根据DNS话单记录收集免费域名对应的IP地址池,对DNS与HOST建立关联;根据用户面话单激励对Hostname不规范、语法不规则、非标准的识别判断,对满足条件的XDR进行欺诈判断;最终按照计费侧要求,生成离线计费话单;同时提供规则库的存储与管理,包括规则的添加、更改、删除;提供欺诈流量话单、计费生成话单的长期存储,满足应用层的查询与统计分析。
通过新增接口服务器,接收欺诈流量话单,向计费中心输出满足格式的欺诈计费话单。
通过新增应用服务器,实现相关应用分析展现。
2.3 欺诈识别的计费漏洞规则
根据GW设备计费策略,提供若干种场景各厂家设备是否存在计费漏洞情况,相关情形描述如表2所示。
2.4 数据接口
2.4.1 计费中心接口
基于统一DPI的流量欺诈识别系统涉及与计费中心的对接,满足离线计费流程,给计费中心提供计费参考。系统与计费中心的接口协议,采用基于TCP/IP的SFTP协议。免欺诈流量话单的生成周期,按准实时粒度,建议按5 min、15 min粒度。系统的接口规范,即话单的流量清单表结构,应满足离线计费基本要求,与计费中心协商对接。数据话单接口格式,以及具体推送方案,按照和计费中心协商进行详细对接。
2.4.2 数据合成服务器接口
基于统一DPI的流量欺诈识别系统涉及与统一DPI系统的数据合成服务器接口。话单分析与处理服务器与数据合成服务器在同一个机房,通过局域网互联互通。系统与数据合成服务器接口,可采用内部Socket或SDTP方式,进行实时接口转发。
2.4.3 时间同步
基于统一DPI的流量欺诈识别系统,具有严格的时间同步要求,具体的时间同步性要求如下。
(1)系统通过IP连接,以NTP方式取得时间信号。NTP时钟源统一从局方NTP服务器取,以保持时间的一致性。
(2)系统修改时间的过程不对系统产生启动或小启动的影响,不影响业务和话单的正常进行。
(3)系统时间同步周期可按运营者要求设置为每60 s取一次时间,或可设置为按NTP协议的要求自动同步。
3 结束语
基于统一DPI的流量欺诈识别系统,建立了集互联网、核心网、业支中心多部门多系统的全局联动通道,互联网欺诈系统的欺诈规则与核心网GGSN/PGW、WAPGW计费策略关联互补,与业支中心的计费话单自动对接、关联对比,输送补计费话单;通过4G话单一致性核查反馈、免流话单一致性核查反馈,迭代更丰富的欺诈规则,更精准的识别欺诈流量。在解码库方面,系统拥有专有的解码方式,优于普通的DPI解码库,创新性地采用全量HTTP参数组合解码机制,可以实现多个HOST,多个X-ONLINE-HOST,多个Connect等参数组合解码。系统的实施与应用,有效地维护了公司名誉和社会形象,净化了网络环境,提升客户服务水平,避免客户的不公平待遇,更加牢固的抓紧用户,促进市场竞争,有利于改善通信服务质量和推动国民经济的发展。
表2 欺诈识别的计费漏洞规则
[1] 程园杰. 基于DPI技术的流量控制系统的设计与实施[D]. 北京:北京邮电大学, 2012.
[2] 杜娟, 苏拥军, 侯晓燕. 基于DPI和DFI技术的网络流量检测方案研究[J]. 科技信息, 2013(03).
[3] 万月亮, 朱贺军, 刘宏志. 流特征的Skype流量识别[J]. 智能系统学报, 2010(02).
[4] 张树壮, 罗浩, 方滨兴, 等. 一种面向网络安全检测的高性能正则表达式匹配算法[J]. 计算机学报, 2010(10).
[5] 罗平. 网络层流量识别与关键内容提取系统设计与实现[D].成都:电子科技大学,2014.
[6] 王程. 网络流量识别分析系统的设计与实现[D]. 吉林:吉林大学, 2014.
[7] 王石, 林生.“电商欺诈”行为形成的原因分析与治理[J]. 西部经济管理论坛, 2016(10).
[8] 唐丹, 曾剑秋, 董豪. 基于双边市场理论的电信运营企业流量经营策略比较[J]. 统计与决策, 2016(20).
[9] 陈景航, 余雪樱, 杨庭勋.“非4G客户”不转4G网络的原因分析[J]. 电信工程技术与标准化, 2016(07).