无线链路流量监测分析系统设计与实现

皮文超 于炳虎 蹇诗婕 李勇 公安部第一研究所

引言

伴随着线上会议、线上支付、金融支付等网络应用范围的不断扩大和加深，用户对网络服务质量提出了更加严苛的要求。无论是互联网还是各类门户网，恶意代码、病毒等在网络中的快速传播，都会导致用户数据受到破坏，人民财产受到威胁。国家互联网应急中心（CNCERT/CC）在2020年协调处置网络安全事件约10.3万起，DDoS攻击日均3000余起，全年捕获勒索病毒软件78.1万余个，恶意代码样本数4200万个，受感染主机约533.82万台，网络安全事件导致用户和企业遭受重大经济损失。除了加强登录密码为强口令并定期修改、避免使用重复口令、关闭135～139、445等高危端口、定期自检修补漏洞、定期检测设备、安装安全软件等用户主动行为以防范网络风险外，系统侧监测网络状况，及时发现网络异常现象并中断非法访问，更加能够大大降低网络安全事件的发生概率，保障网络良性运行。如何及时有效地掌握网络状况、分析网络行为、定位网络问题，已成为迫切需求。

由此，本文在对网络流量数据采集、分析、处理和存储等技术研究基础上，设计并实现了无线链路流量监测分析系统，从链路、协议、端口等不同角度进行统计分析，实现了对无线网络流量数据的实时监测，能够协助管理员快速定位并解决网络问题，及时改善网络运行状况，确保网络中流量数据安全。

一、系统需求分析

传统的网络流量监测系统使得网络管理员对网络运维成本高、网络维护困难，具体表现为：一是可视化的配置功能能够大大降低网络管理员的运维难度、提高网络运维效率，是一个良好流量监测分析系统具备的必要功能。然而目前网络管理员根据不同需求对网络流量数据进行分析时，需要通过命令行或者脚本对系统进行重新配置，操作繁琐，易出现问题。二是网络管理员对网络流量数据的分析是发现网络问题来源、排查定位网络问题的关键，大到对整个网络分析，小到对单个主机终端分析，都是发现问题的关键因素，然而目前大量的流量监测系统存在对网络流量数据分析缺失、或者分析不到位的问题。三是掌握网络整体运行状况，统计网络流量数据能够协助网络管理员实时掌握网络整体情况，及时发现网络异常，但目前大多数的流量监测系统缺少对网络的整体监控，导致网络管理员缺乏对网络运行情况的把控。

因此，一个良好的流量监测分析系统必须解决上述存在的问题，具备如下功能：一是具备可视化的配置功能，能够让网络管理员对不同应用、不同网段、不同告警规则快速进行可视化配置，大大降低网络管理员的运维难度。二是具备对监测网络从不同角度进行流量分析的功能，能够让网络管理员对不同应用、不同协议、不同主机等进行流量分析。三是具备对监测网络全局统计功能，能够让网络管理员实时把握网络运行状况。

二、系统架构

无线链路流量监测分析系统实现了对无线网络流量数据的采集分析、存储展示效果，因此能够让网络管理员快速发现网络异常、精准定位网络问题，为网络安全提供切实保障。

系统软件架构如图1所示。

数据来源层：本层采用端口镜像技术和DPDK高速数据包处理工具，对无线网络镜像流量进行采集和预处理。

数据处理层：本层使用Spark Streaming技术，在数据处理接口中对数据来源层的数据进行实时处理，并将处理完成后的数据进行上报。

数据持久化层：本层将处理完成后的数据进行高效缓存和持久化，为可视化展示提供数据保障。

功能模块层：本层包含了配置模块、分析模块、统计模块。网络管理员可以通过配置模块设置定制化的过滤规则；分析模块根据配置的规则过滤网络流量数据；统计模块用于实时统计网络流量数据。

可视化展示层：本层为网络管理员提供了可视化的Web界面，使得网络管理员能够实时观察网络流量数据走势，及时发现网络中存在的异常流量。

三、关键技术

（一）端口镜像技术

端口镜像是指将路由器或交换机等网络设备上若干个指定的源端口数据，复制转发到监控设备上的监测端口进行特定分析的技术。端口镜像可以在不影响业务正常使用的情况下，获取流量数据的副本，对网络中的流量数据进行分析监测，能够对网络包分析、网络入侵、故障监测、流量数据统计等提供数据保障。

本文设计并实现的无线链路流量监测分析系统采用本地镜像技术，即源端口和目的端口都在同一个LNS路由器设备上，本地端口镜像如图2所示。

为了让目的端口能够成功接收到源端口的镜像流量，需要通过配置VLAN、添加端口到VLAN、端口分配IP、目的端口配置镜像命令、源端口和目的端口镜像关联等步骤完成本地镜像配置。如图2所示，移动警务终端流量数据通过运营商专线到LNS路由器源端口，目的端口将镜像流量报文发送到流量采集器，进行下一步的流量特征分析。

（二）数据缓存技术

为了保证能够及时有效地接收处理海量的网络数据包，本系统选用Kafka中间件处理消息。Kafka作为一种发布订阅的分布式系统，具备如下优势：一是面对TB级别的数据能够保证常数时间复杂度完成消息持久化；二是既能实时处理数据，也可离线处理数据；三是高吞吐率，即使在普通机器上也能保持100K余条每秒的消息传输；四是保证消息有序传输。Kafka生产消费模型如图3所示。

（1）生产者（Producer）和消费者（Consumer）：生产者生成消息，消费者订阅消费消息。

（2）主题（Topic）和分区（Partition）：在Kafka中，消息以类别区分，成为主题，每个主题对应一个消息队列。主题中的数据分为多个分区，用于主题扩展。

（3）Broker和集群（Cluster）：每个Kafka服务器节点成为Broker，完成生产者的消息存储并为消费者提供消息。多个Broker组成集群。

（三）数据持久化技术

确保网络流量监控系统Web界面能够快速从数据库中获取要展示的数据，数据库的快速查询显得尤为重要。Druid支持分布式、多维度数据分析查询系统，具有如下优势：一是能够达到亚秒级查询，并且支持高并发；二是能够实时数据导入；三是采用列式存储、数据的预聚合、Bitmap索引、mmap和对查询结果的中间缓存等关键技术，使其具有良好的扩展性和容灾性。

四、系统实现

（一）系统开发流程

无线链路流量监测分析系统开发流程如图4所示。

镜像流量：为了不影响网络性能和网络业务的正常使用，采用端口镜像技术获取网络中全部的流量数据。

实时数据采集：面对大量快速的网络流量数据，快速采集处理数据包显得尤为重要。DPDK是一种高速的数据包处理工具，其采用轮询方式收发数据包，解决了数据包处理时的多次拷贝、用户内核态切换等耗时问题。本系统使用DPDK高速数据包处理工具对网络镜像流量数据进行处理，并将其写入Kafka的Topic1中。

实时数据处理：实时快速地处理网络中源源不断的数据流，是保证系统有效展示数据的前提。Spark Streaming是一个对数据流进行实时处理的流处理框架，具备高扩展、高吞吐、高容错的特性，它能够从Kafka中消费数据并进行快速运算。本系统利用Spark Streaming技术从Topic1中消费数据，并进行消息的实时处理统计，最后将处理后的数据写入Topic2中。

实时数据展示：从Topic2中消费数据，并通过Druid进行持久化存储，为网络流量监控系统Web展示提供实时的查询服务。

本系统实现了配置功能模块、分析功能模块、统计功能模块，用于可视化配置、流量数据分析和统计，具体功能介绍如下。

（二）配置功能模块

配置功能模块包含了链路、应用、网段、告警等多个配置子模块。

链路配置子模块可以灵活配置链路信息，设置监听端口、上下行网段、上行带宽和下行带宽等信息来过滤网络中的流量数据。

应用配置子模块能够支持TCP、UDP、FTP、SMTP等多种不同协议的应用，根据需要获取不同协议类型的网络数据。

网段配置子模块可以设置网段类型、IP地址范围，获取不同网段范围的网络数据。

告警配置子模块中包含了链路告警配置、应用告警配置和异常流量数据告警配置，便于操作者灵活设置告警触发条件、告警等级，并及时发现网络中的异常数据。告警配置如图5所示。

（三）分析功能模块

分析功能模块主要包含了链路分析、应用分析、主机分析和网段分析子模块。

链路分析子模块展示了链路配置模块配置的链路详情数据，网络管理员可选取不同的时间段和对应链路，能够实时展示流量数据走势图、流量统计、流速统计和带宽利用率等信息。

链路分析功能界面如图6所示。

应用分析子模块展示了应用配置模块配置的应用详情数据，网络管理员可点击查看相关应用并选取不同的时间段，能够实时展示该应用的流量数据走势图、流量统计、流速统计和告警次数等信息。

主机分析子模块展示了主机列表中的主机详情信息，选取不同时间段可以实时展示该主机的流量数据走势图、流速、包速和丢包率等信息。

主机分析功能界面如图7所示。

网段分析子模块展示了网段配置模块中设置监听的网段流量数据详情，网络管理员可选取不同的时间段实时展示该网段的流量走势图、流量统计、流速统计、包速统计等信息。

网段分析功能界面如图8所示。

（四）统计功能模块

统计模块从全局角度展示了整个网络的监测流量数据，包含流速统计、包速统计、会话数统计、链路数、应用数以及流速走势、包速走势、会话统计图等信息，便于管理员从全局掌控网络的运行状态。

统计功能模块界面如图9所示。

五、系统测试

本文在不同时间段对系统CPU资源利用率、内存利用率、系统响应时间、请求成功率等指标进行了统计分析，系统测试统计情况如表1所示。

从表1中可以看出，请求准确率保持在95%以上，系统响应时间保持在1秒以内。系统资源利用率较高的时间段集中在10:00～20:00，分析原因是网络流量数据在不同时段差距较大，并且本系统流量采集模块对流量进行实时采集，当流量数据较大时会导致CPU等系统资源开销较大。

六、结语

无线链路流量监测分析系统可适用于互联网、门户网、办公局域网等领域，改变了以往被动防御的网络安全治理，使得网络管理员能够及时感知网络风险，精准定位网络问题，为网络安全治理提供了强有力的手段。本文深入研究流量监测相关技术和研究现状，结合端口镜像、流量数据采集分析和数据查询持久化等关键技术，设计并实现了包含配置模块、流量分析模块和统计模块的流量监测系统，并将其应用于无线网络环境中，检验流量监测系统的性能。该系统实现了对无线网络进行实时监控，并能迅速定位网络中的问题和异常流量告警，极大地降低了网络维护成本和人员成本。