创新采购方式改进运营商统一DPI系统

中国移动通信集团采购共享服务中心 │高峰 刘栋

中国移动通信集团设计院有限公司 │吕红卫 潘洁 侯慧芳

创新采购方式改进运营商统一DPI系统

中国移动通信集团采购共享服务中心 │高峰 刘栋

中国移动通信集团设计院有限公司 │吕红卫 潘洁 侯慧芳

现网统一DPI系统存在系统建设与上层应用系统建设进度不匹配、同一采集点异厂商DPI设备上下行数据合成不准确和维护复杂度高等问题，本文提出了基于创新采购方式对上述问题进行改进的方案。

运营商统一DPI（De ep Packet Inspection）系统通过最少的采集点获取全网最全量的数据，实现部署位置合理化、设备功能规范化、数据格式标准化。运营商通过建设统一DPI系统解决了链路重复采、重复存、重复分析以及数据格式不标准等问题，符合未来大数据平台建设的需要。但在以往的系统建设过程中，采用传统采购模式，导致在同一部署位置出现异厂商设备，而现阶段技术方案又不能很好解决异厂家同源同宿的问题，且较长的采购周期造成采购结果和省内实际需求不匹配。为解决以上现网统一DPI系统存在的问题，本文提出了一种创新的采购模式，能够很好地解决现网系统同源同宿以及采购周期长的问题，推进统一DPI系统在全网的建设更加合理化。

统一DPI系统概述

样化、营销精细化以及为部分增值业务提供技术支持，同时也是面向数据挖掘方向的信息采集系统。

移动网内流量，从用户出发，按照接入网、城域网、省网、骨干网的顺序在网内传输，由此在全网5个点进行流量分析，部署DPI设备可捕捉到网内流量全貌。通过减少采集点和DPI设备数量，实现多系统间同一采集点的DPI设备共享，力争通过最少的采集点获取最全的数据。

统一DPI系统由光设备、DPI设备、XDR合成服务器和DPI管理服务器组成，如图1所示。在并接部署模式下，光设备为分光器和光放大器；在串接部署模式下，光设备为BYPASS设备。

管理服务器和XDR合成服务器采用通用服务器，而流量识别技术可由多种软硬件方式实现，因此不同厂商DPI设备的实现方式也不同。

DPI是一种基于数据包的应用层流量检测和控制技术，针对数据包的不同层信息（如IP地址、应用层端口、应用层协议、净荷内容等）进行深度检测和分析，从而得到整个数据流或数据包的应用层信息，然后按照系统定义的策略对流量进行统计分析和控制。DPI系统的基本功能包括业务识别、报文过滤、生成日志、业务统计和流量控制等，DPI系统作为网络运营商进行IP业务流量监控的一种技术手段，其主要目的是为实现服务差异化、计费多

DPI主流架构平台实现方案分析

图1 统一DPI系统架构

DPI设备的核心功能理论上可通过ASIC架构、FPGA架构、NPU架构、MIPS架构、路由器架构以及x86架构等加以实现，但鉴于每种架构技术的局限性和对实际应用场景的适用性等原因，现网主流厂商一般采用FPGA架构、x86架构以及路由器架构来搭建DPI设备。以下对3种主流架构平台的实现原理进行阐述。

FPGA架构

FPGA是现场可编程逻辑门阵列，使用预建的逻辑块和可重新编程布线资源，支持用户自定义硬件功能。FPGA芯片没有固定的功能，内嵌有排列规整的门级电路和用于连接这些门级电路的连线，这些连线所连接的路径是可以改变的，通过通用的EPROM、PROM编程器，同一片FPGA，不同的编程数据，可以产生不同的电路功能。基于FPGA架构的DPI系统实现原理如图2所示。

基于FPGA硬件架构的DPI设备，其数据采集、业务识别、流量统计、策略控制等复杂功能均由FPGA设计实现，板内处理器则执行设备配置、网管通信、策略下发、流量上报等功能。

FPGA比CPU单次可处理更多的数据指令，并且系统可靠性更高、设备功耗较低，但由于基于FPGA架构的DPI设备使用硬件设计语言，开发周期较长，同时受硬件资源限制，存在产品升级较困难的瓶颈。

路由器架构

路由器架构的DPI系统基于成熟高端路由器硬件平台开发，继承了高端路由器的架构设计特性，提供电信路由器级别的高性能和高可靠性，能够按动态的灵活策略实现高密度大容量端口的带宽管理，利用多项专利业务感知技术，通过高性能的硬件平台实现网络数据报文的分析和处理。基于路由器架构的DPI系统由前台和后台系统组成，如图3所示。

图2 基于FPGA架构的DPI系统原理图

基于路由器架构的DPI系统既能满足数据处理的实时性、高性能，也可满足电信业务的低网络时延、高传输质量的要求，可提供智能、灵活的业务控制手段，业务扩展性好，同时系统集成度较高。但基于路由器架构的DPI系统存在设备功耗较高的问题，在运营商建设绿色节能网络系统的大趋势下，高性能、低功耗是路由器架构DPI设备未来的发展方向。

x86架构

x86架构也称为CPU架构，以通用的Intel x86 CPU作为整个系统的转发核心，采用C语言编程，可编程能力优于其它种类的芯片，通过软件过滤方式（基于特征码）实现包处理，依托x86平台的软件生态系统，可根据用户的实际需求而做相应调整，增加或减少功能模块。基于x86架构的DPI系统原理如图4所示。

x86架构使各种网络功能的开发难度显著下降，产品比较灵活，其功能也具有更好的可扩展性，是网络设备领域高灵活性和低门槛的开发平台；但由于它是作为通用服务器设计的，在网络包处理方面需要做有针对性的性能优化，在这方面Intel公司推出了DPDK平台，而各公司也需要研发自己的网络高性能处理平台以达到更好的处理性能。

目前，运营商的统一DPI系统主要由以上3种主流架构实现，多厂商设备共存遏制了技术垄断现象的发生，促进DPI技术的快速发展，同时也能更好地满足各省的实际应用场景和个性化需求；但异架构的实现方式在实际的现网运行中会产生数据无法同源同宿以及增加联调难度等问题，因此需要按照建设方案实际需求设定采购标的，更好地满足各需求单位的差异化建设需求。

创新采购方式对统一DPI系统的改进

传统的运营商产品集中采购均按照模型方式进行招标采购，在实际执行过程中，需按照中标比例进行产品分配，同一采集位置可能会分配多个厂商，因此无法有效解决多厂商异构产生的同源同宿等技术制约。同时，当上层应用系统对于统一DPI系统的数据需求发生变化时，产生了异厂商DPI设备协同改造、系统联调引起工作量增加的问题。此外，传统的运营商集中采购方式采用模型方式进行报价，由于DPI系统网络配置属性较强，集采结果无法精准地匹配实际需求，且无法针对建设方案进行灵活调整，省公司在落地执行时存在一定难度。同时，传统的运营商集中采购还存在采购周期较长、采购需求不准确等问题。

为了有效解决上述传统运营商产品集中采购的问题，本文提出了一种批次项目采购结合突发量控制的采购方式。即按照项目方式，将一段时间内的采购需求进行汇总作为一个批次采购，其中采购需求将依据建设方案进行分类并采用相应的采购方式。同时，为了满足批次采购周期内的突发需求，引入了突发配额解决方案。新的采购方式从时效性及需求准确性两方面确保满足实际业务需求，并能够有效解决统一DPI系统建设过程中存在的问题。

改进异厂商DPI设备同源同宿问题

在数据分析应用领域，应用系统需要对会话的上下行完整数据流进行分析，而实际工程中受网络建设的影响，较多会话的上行流、下行流分布在不同的设备或同一设备的不同端口上，如图5所示，对于一个用户来说，其上行流量可能经过一个省干核心路由器，而下行流量可能经过另外一个省干核心路由器（参考-绿线），此时省网出口就存在非对称路由；同样对于IDC中的业务系统，其上行流量可能经过IDC出口的一台路由器，而下行流量可能经过另外一台路由器（参考-蓝线），这样IDC出口也存在非对称路由。

如分布的设备为同厂商设备可采用同一种HASH算法，使不同链路或端口中同一HASH值的流数据在同一端口输出；若分布的设备为不同厂商设备时，如果不同厂商不能在以下HASH策略的参数上达成一致，就无法实现同一会话的流量归并，这些HASH策略包括源地址/目的地址HASH方式、HASH目标链路的数量和负载分担选择算法，由于涉及到各厂商产品的核心技术和商业考虑，推进过程缓慢；除此之外，还可以采用在异厂商DPI设备之后再部署一级服务器作为流同步服务器进行异厂商流信息互通，但此方案会大幅度增加建设投资。

图3 基于路由器架构的DPI系统原理图

图4 基于x86架构的DPI系统原理图

图5 非对称路由示意图

统一DPI新的采购方案遵从同一采集位置采用同一厂商部署DPI设备的原则，从根源上避免了同一采集位置不同厂商设备并存的现象。在从技术方面解决问题推进缓慢的情况下，从采购制度上有效缓解了各省现阶段面临的异厂商上下行数据合成不准确的问题。

推进各应用系统接入建设

统一DPI系统对链路上的流量进行采集、转发和分析控制操作，将满足上层应用系统所需的流量或分析统计数据分发给各应用系统服务器，如图6所示，上层应用系统一般包括WebCache系统、IDC/ISP信息安全管理系统、“僵木蠕”检测系统、日志留存系统、信令分析系统、流量分析系统、封堵系统等。现网同一采集位置存在部署异厂商DPI设备的情况，当应用系统接入统一DPI系统时，需协调多厂商进行数据联调，由于各厂家DPI系统工作原理、软件部署方案差异较大，存在联调周期长、整体系统工作效能低下、可靠性不高等问题，影响应用系统的上线进度。

统一DPI新的采购方案限定在同一采集位置采用同一厂商部署DPI设备，有效避免了多厂家设备联调带来的冗余工作量，更好地推进工程建设进度；此外，当上层应用系统对于统一DPI系统的数据需求产生变化时，也避免了异厂商设备协同改造、升级造成的系统复杂性提高的问题；对于网络维护工作，维护人员也能更方便和清晰地进行系统问题的排查和纠错。

图6 统一DPI系统与上层应用系统对接图

保障各系统考核工作的完成

统一DPI系统作为省内各应用系统所需数据的来源方，其建设进度直接影响了各考核系统的整体完成进度。统一DPI新的采购方案以3个月为1批次进行采购，采购周期短，能更好满足各省的差异化建设需求，各省在1年内各阶段的系统建设任务几乎不会受到影响。工信部每年会对运营商IDC/ISP信息安全管理系统、“僵木蠕”检测系统和移动上网日志留存系统，进行信息安全技术手段测试检查和考核工作，集采模式的创新保证了采购份额的及时下发，进而推进了系统的建设完工，保证各省安全系统考核工作的顺利进行。

应对互联网链路大规模增长态势

随着各类互联网业务的发展以及用户数量的激增，运营商骨干网间互联链路、各省省网出口、城域网和IDC出口链路规模均在大规模扩容建设中，统一DPI系统的规划建设与运行必须与CMNet基础建设保持同步，而各省的CMNet建设又可能会根据政策及市场需求进行调整。传统采购模式以一个长周期的链路规划规模作为采购规模，往期建设中会出现与实际建设内容不符、实施周期延长等情况。在对集团和各省网络规划发展充分调研的基础上，统一DPI新的采购方案顺应互联网大规模、突发式的增长趋势，按照项目方式、以各省公司上报本批次内采购需求为依据，每3个月为1批次进行采购。新的采购模式保证采购结果能够及时下发到省内，方便各省完成各季度的系统建设任务；同时采购结果更加符合各省的实际建设需求，避免造成不必要的投资浪费；在每批次的采购份额中，还配置了突发份额，保证各省能够应对可能发生的突发建设任务。

通过对运营商现网主流DPI架构进行分析对比，本文提出创新的采购模式对全网系统进行改进，有效解决统一DPI系统由于传统采购模式带来的一系列现网问题，在从技术方面推进问题的改进遇到瓶颈时，及时转换思路，从创新的采购制度方面完善全网系统建设，促进系统部署合理化。

编辑｜张鹏 zhangpeng@bjxintong.com.cn