通信数据中的异常模式挖掘及其在网络安全中的应用

孙剑钢，曾晨煌

（杭州百恒网络科技有限公司，浙江 杭州 310000）

0 引 言

随着信息技术的飞速发展，通信数据的规模和复杂性急剧增大，呈现出爆炸式增长的趋势。大规模的数据传输和存储变得日益普遍，带来了前所未有的挑战和机遇。然而随着数据价值的不断提升，社会各界对通信数据安全的需求也日益凸显，因为数据已成为恶意行为和网络攻击的主要目标。本研究旨在深入探讨通信数据中的异常模式挖掘技术，以提高对潜在威胁的识别和应对能力。

1 通信数据异常模式挖掘技术实现

1.1 数据采集

实时数据流采集是通过监控网络通信即时捕获数据包的方法。其借助Apache Flink 这一强大的流处理引擎，能够实现高效、可扩展的实时数据处理。

第一步，需要安装并配置Apache Flink 环境，包括下载并解压Apache Flink 发行版、设置必要的环境变量（如JAVA_HOME 和FLINK_HOME 等）。完成环境配置后，启动Flink 集群以实现分布式处理，或以单机模式进行简单的测试和开发。

第二步，使用Flink DataStream API 来设置实时数据源，以明确数据处理流程。设置数据源的目的是实时监听网络通信数据。借助Flink 提供的SourceFunction 接口自定义数据源，捕获并发送网络通信中的数据包。该数据源会持续监听网络通信，不断将新数据包注入Flink 的数据流。因此，实时数据流能够持续更新，始终包含从网络中捕获的最新通信数据。

1.2 数据存储

文章选用MySQL 作为存储后端，以可靠地保存历史通信数据。第一步，创建一个数据库，取名为CommunicationDataDB，用于承载通信数据。第二步，在这个数据库中创建一张表，命名为NetworkPackets，以存储捕获的通信数据，具体内容如表1 所示。

表1 NetworkPackets 具体内容

1.3 数据预处理

1.3.1 数据清洗

数据清洗的主要目的是处理异常值、噪声和错误数据，以确保清洗后的数据集质量可靠，为后续分析提供准确的数据基础[1]。异常值处理指识别并处理异常值。这些异常值可能偏离数据的正常分布，对分析产生负面影响，通常采用统计方法或基于阈值的方法来识别异常值。数据中存在的噪声会影响对真实模式的识别，因此需要采用适当的方法对噪声进行平滑或过滤，如使用滤波器或平均值等技术，以有效地减少噪声影响。错误数据包括重复、不一致或超出合理范围的数值，通过识别这些错误并进行相应的修正，可以确保数据的准确性。

1.3.2 缺失值处理

缺失值处理是确保数据集完整性和准确性的关键，包括识别缺失值、选择填充策略、执行填充操作等步骤。识别缺失值的目的是了解数据集中哪些属性存在信息缺失，进而为选择适当的填充策略奠定基础。填充策略的选择要充分考虑数据的特点和缺失值的分布情况，如中位数、众数、均值等填充策略。其中均值填充是一种常用的填充策略，适用于数值型数据。

1.3.3 数据标准化

数据标准化旨在消除不同属性的尺度差异，使数据具有相似的尺度范围，从而有助于模型更准确地理解和处理数据。数据标准化可以简化数据分析过程，提高模型的性能和准确性。进行数据标准化前，需要统计分析数据的属性，如计算每个属性的均值和标准差，均值用于度量数据集的中心位置，而标准差则表示数据的分散程度。利用计算得到的均值和标准差对各属性的数据值进行标准化处理，公式为

式中：x为原始数据值；x′为标准化后的数据值；μ为属性的均值；σ为属性的标准差。

1.4 异常模式检测算法设计

异常模式检测算法有多种类型，如支持向量机、概率模型、深度学习模型等。文章选用正态分布为概率模型，并进行异常模式检测。这是因为正态分布符合中心极限定理，适用于描述复杂数据中多个随机因素的综合影响。此外，正态分布的参数估计相对简单，只需对常规数据进行统计分析即可得到均值和标准差，为模型的构建提供了极大的便利。更重要的是，正态分布的计算效率高，无须复杂的训练过程，因此能够满足实时性要求[2-3]。

使用正态分布作为概率模型进行异常模式检测时，需要完成数据准备、计算正态分布参数、计算概率密度函数、设置阈值以及异常检测等步骤。

1.4.1 数据准备

在进行异常模式检测前，需要进行数据准备。一方面，需要收集具有代表性的数据，这些数据应涵盖正常情况和可能存在的异常情况，可以来自实际系统的日志、传感器数据或网络流量等各种渠道。另一方面，需要对收集的数据进行整理和清洗，处理缺失值、异常值和错误数据，确保数据质量和一致性。

标记正常数据和异常数据是重要步骤，可以通过已知的异常情况或专家判断来完成标注工作。此外，对数据集进行合理分割也是必不可少的，通常会将大部分数据用于模型的训练，而剩余的小部分数据则用于评估模型的性能[4]。在分割数据时，要确保测试集和训练集都包含正常和异常数据，以确保模型训练和评估的全面性和准确性。

1.4.2 计算正态分布参数

计算正态分布参数，即计算每个属性的均值和标准差。计算参数的关键代码为

将这段程序导入NumPy 库，并将其命名为np，计算并存储正常数据集normal_data 的均值和标准差。

1.4.3 计算概率密度函数

对于每个数据点x，使用正态分布的概率密度函数来计算其属于正态分布的概率。概率密度函数的计算公式为

用软件编程实现概率密度公式函数的程序为

对于一个数据点x，在给定均值mean 和标准差std_dev 的条件下，计算该数据点属于正态分布的概率密度值。在异常模式检测中，可以将该概率密度值与设定的阈值进行比较，从而判断数据点是否异常。

1.4.4 设置阈值

通过观察正常数据的概率密度分布，可以设置一个阈值，当数据点超出这个阈值时，就将其视为异常值。该过程可以通过分析正常数据的概率密度分布来完成。文章选用正态分布的均值和标准差来计算这一阈值。异常点通常被定义为距离均值一定数量标准差的点，这个数量一般在2 到3 之间。

1.4.5 异常检测

计算每个数据点x的概率密度，如果概率密度低于设定的阈值，则将该数据点标记为异常值，用程序表示为

这段代码设定了一个阈值，该阈值是一个需要根据具体数据分布和应用场景进行调整的超参数。在概率密度函数中，如果数据点的概率密度低于该阈值，则数据点将被判定为异常值。

2 通信数据异常检测应用

2.1 网络安全加强

通过部署实时监测系统，利用异常检测技术对网络通信数据进行深入分析，使系统能够实现对网络流量的实时监测与防御。如果系统检测到异常流量模式，则表明存在潜在的网络威胁，如恶意软件或网络攻击。在这种情况下，系统可以立即触发警报，通知网络管理员并采取相应的阻止措施，防范潜在威胁，确保网络整体的安全性[5]。

此外，利用异常检测技术可以对用户和设备的通信行为进行深入分析。这种行为分析不仅能够识别异常的登录模式（如异地登录或非正常时间登录），还能检测到频繁的登录失败、大量的数据下载等异常行为，及时发现可能的网络入侵现象。通过实时分析通信数据，系统能够迅速识别可能存在的威胁，为网络管理员提供有力支持，以加强系统对潜在攻击的防御能力。

2.2 实时威胁检测

系统通过实时监控通信数据流并进行流量分析，能够检测出异常模式，如异常的大数据包传输或频繁的连接请求等异常情况。这种实时监测能够帮助系统迅速发现潜在的网络攻击，如拒绝服务攻击（Denial of Service，DoS）或大规模数据传输攻击。一旦检测到异常模式，系统会立即发出警报，并通知网络管理员进行及时响应。借助此流量分析，网络安全团队能够更加有效地保护网络，使其免受各类网络威胁的侵害。

追踪不寻常活动是利用异常检测手段来监测和识别网络中的异常行为，包括突然变化的数据传输模式、未经授权的访问行为、潜在的内部威胁等。通过实时追踪这些异常活动，系统能够在问题发展初期就识别出潜在问题，并采取适当的措施。对于可能的内部威胁，如员工的异常数据访问行为，系统也能及时发现并展开调查，以确保企业内部网络的安全性。

3 结 论

文章深入探讨了通信数据中异常模式挖掘的技术实现，选用正态分布作为异常检测的概率模型，并研究了该技术在网络安全领域的应用。同时，详细阐述了数据采集、预处理和异常模式检测算法，建立了一个完整的异常模式挖掘系统。本研究为异常模式挖掘技术在网络安全中的应用提供了参考和支持，对推动网络安全领域的实际应用具有积极意义。