网络大数据平台异常风险监测系统设计

张利峰 邵斐

摘 要： 采用支持向量机进行网络大数据平台异常风险监测时，建模效率低导致对异常风险的监测结果存在较高的误差，设计基于Hadoop的网络大数据平台异常风险监测系统。依据云计算Hadoop系统作业原理，通过Map/Reduce分布式模式对大数据进行分类筛选等操作，通过控制模块中的SDN控制器对大数据流量进行分流处理，将网络大数据分类反馈到监测模块中，采用监测模块通过预处理端和存储端对异常数据风险进行监测，通过预处理端实现大数据的有效分流监测；系统软件通过最小二乘支持向量机对网络大数据进行高效率建模，实现网络大数据异常监测。实验结果表明，所设计系统具有监测效率和稳定性高、性能佳的优势。

关键词： 网络大数据； 异常风险； 监测系统； 控制模块； Hadoop； 最小二乘支持向量机

中图分类号： TN931+.3?34； TP314 文献标识码： A 文章编号： 1004?373X（2018）22?0143?04

Abstract： When the support vector machine is used to monitor abnormal risks of the network big data platform， the modeling efficiency is low， which leads to high errors of abnormal risk monitoring results. Therefore， an abnormal risk monitoring system based on Hadoop is designed for the network big data platform. According to the operation principle of the cloud computing Hadoop system， the big data is classified and filtered by using the Map/Reduce distribution model. The shunting processing of big data traffic is conducted by using the SDN controller in the control module， so as to feed the network big data in classification back to the monitoring module. The monitoring module is used to monitor abnormal data risks by using the preprocessing terminal and storage terminal. The effective shunting supervision of big data is realized by using the preprocessing terminal. In system software， high?efficiency modeling of network big data is conducted by using the least squares support vector machine， so as to realize abnormality monitoring of network big data. The experimental results show that the designed system has the advantages of high monitoring efficiency， high stability and good performance.

Keywords： network big data； abnormal risk； monitoring system； control module； Hadoop； least squares support vector machine

網络大数据是眼下社会经济发展的主流，但是由于异常风险数据的存在，准确提取大数据受到阻碍 [1]，因此出现网络大数据平台异常风险监测系统。如何通过此系统实现异常风险的有效监测[2]，是当前监测系统设计中的重中之重。传统常用的网络大数据平台异常风险监测系统通常采用神经网络和支持向量机方法进行监测，二者建模和监测的方式是干扰网络大数据平台对异常风险监测的关键因素，异常风险监测的结果存在不稳定性、局限性、效率低等缺陷[3]。

本文设计基于Hadoop的网络大数据平台异常风险监测系统从硬件设计、软件设计两方面阐述对异常风险的监测功能，并与WBT系统和网络仿真技术系统进行监测对比仿真实验。实验结果表明，本文设计的系统具有稳定性好、效率高、误差小的优势，为网络大数据平台的异常风险监测提供了有效途径，具有较高的实际应用价值。

1 系统硬件设计

1.1 Hadoop系统作业原理

网络大数据本身具有体量巨大、类型繁多等特点，使用一台计算机不能完成对数据进行分类筛选监测等操作[4]，因此产生云计算系统。本文系统是在Hadoop系统作业原理的基础上进行设计，其通过Map/Reduce分布式模式对大数据进行操作[5]。Hadoop系统作业原理见图1。

图1中，把网络大数据中的异常数据监测任务细分为多种子任务，每种子任务分别使用一个节点，最后把结果上传到数据库管理节点，主管理节点把全部结果汇合到一起后，就是异常风险数据的监测结果。

1.2 控制模块设计

在基于Hadoop的网络大数据平台异常风险监测系统中设计异常风险监测控制模块，可以使大数据可以流畅、安全、稳定的输送和使用[6]。SDN控制器是异常风险监测控制模块的主导控制设备。通过使用OPENFLIW技术[7]构建大数据传输途径，大数据传送数量得以限制，完成对网络大数据的全部掌控，因此它是可以使网络大数据实行隔离控制的控制器。网络大数据异常风险监测系统控制模块控制原理图如图2所示。

图2中网络大数据平台由计算端和控制端组成，通过接口1把二者连接在同一路径，以此加强大数据的传送具有连贯性和应用性。计算端将控制算法传递给SDN控制器，控制端和SDN控制器一起服务于网络大数据平台。把网络大数据平台加入和风险监测相符的参数，就是控制端对网络大数据平台的控制点。图2中的接口2就是平台特意作为控制端输入网络参数重置标准；但是SDN控制器对网络大数据的控制就是参数重置后的大数据流量分流，把网络大数据分类上传到监测模块，使监测模块可以进行准确有效的异常数据风险监测。

1.3 监测模块设计

本文系统通过监测模块对网络大数据平台中的异常数据风险进行监测。监测模块由预处理端和存储端构成[8]，其中还设置了警电路和缓冲电路，提高了系统的稳定性和用户体验，监测模块的结构图见图3。

通过图3可知，在网络大数据平台监测模块中，异常报警、异常大数据监测、异常大数据区域的构建和存储是监测模块的工作核心。

2 网络异常风险监测

2.1 最小二乘支持向量机

由于传统网络大数据平台异常风险监测时采用支持向量机进行分析，该方法存在建模时间长、效率低等缺陷[9]。本文系统采用最小二乘支持向量机进行网络大数据平台异常风险监测时，对传统方法进行改进的内容是：不等式约束变成等式约束；损失函数成为经验函数；二次规划问题变成求解线性方程组问题。

2.2 网络大数据平台异常风险监测模型

本文系统基于最小二乘支持向量机塑造网络大数据平台异常风险检测模型，实现大数据异常风险检测，其工作流程是：

1） 在实时收集网络大数据的有关信息中采取网络入侵时的数据当作异常风险监测。

2） 在原始网络数据异常风险监测的数据中减少数据的范围，提高最小二乘支持向量机的学习速度。

3） 把网络大数据异常风险监测样本区分成多个子样本集，并使用最小二乘支持向量机分别对各个子样本集建模。

4） 在最小二乘支持向量机内设定好参数和训练、测试的样本。

5） 各个节点中，把训练样本输入到最小二乘支持向量机里练习，建立阐述输入和输出之间映射关系的网络大数据平台异常风险监测模型。

6） 把网络大数据异常风险监测结果反馈到管理节点，获取训练样本异常监测的最后结果。

7） 通过测试样本对构建的网络大数据异常风险监测模型的性能实行测试研究[10]，若监测结果与实际应用不符，重新训练，以此类推直到符合所求为止。

3 实验分析

本文对本文系统与WBT系统和网络仿真技术系统进行对比实验，验证本文系统对于网络大数据平台异常风险监测的性能优劣。在同一网络大数据库中实行异常风险数据监测中，监测到的异常风险数据量与其系统的监测性能成正比，监测性能的优劣代表系统和数据库的匹配度高低。实验检测获取的三种系统监测性能对比结果如图4所示。

从图4可以看出，WBT系统的监测性能极差，应用性能低；网络仿真技术系统在监测时间为120 s前的监测性能略优，而时间增多后，监测的性能没有相应提高，在实验接近尾声阶段，监测出的异常风险数据量没有增多，说明性能有待优化。相比之下，本文系统监测出的异常风险数据量随着时间的增多而增多，而且可以把网络大数据库中的异常风险数据全部监测到，证明本文系统的性能高的优势。

实验为检测本文系统的运行效率，在不同工作进程数情况下对本文系统的元组吞吐量进行检测。实验确保分别向本文系统提交4组不同数量的数据任务，检测不同数据量情况下，不同工作进程时本文系统元组吞吐量波动情况，结果如表1所示。实验通过Storm rebalance命令对本文系统的工作进程数量进行调控。

分析表1能够得出，当系统工作进程量逐渐提升，本文系统进行异常风险数据检测的吞吐量逐渐提高，说明提高系统工作进程量可增强本文系统的并行操作性能。当本文系统监测的数据量为150万条时，如果工作进程数是3，则本文系统的吞吐量为0.83万条/s，此时工作进程量提升到4，则本文系统的吞吐量增加到0.96万条/s，如果工作进程数提高到6以及9，本文系统的吞吐量出现了大幅度提高趋势，分别增加到1.04万条/s以及1.08万条/s，说明本文系统具有较高的并行操作性能，应用在网络大数据平台异常风险监测过程中具有较高的优势。

針对本文系统监测到的异常风险数据比其他两个系统多，因此使用“监测准确率”对监测出的异常风险数据进行判别是否全部都是异常风险数据。从而验证本文系统的准确率和稳定性。实验使用三种不同类型网络大数据库，通过本文系统分别实行异常风险数据监测，结果见图5。

分析图5能够得出，本文系统在三种不同数据库中的异常风险数据监测准确率一直保持在[90%，98%]区间中，浮动幅度小，验证了本文系统的准确率和稳定性。

4 结 论

本文设计基于Hadoop的网络大数据平台异常风险监测系统是由控制模块和监测模块构成。控制模块通过SDN控制器提高数据的使用效率，监测模块通过对异常风险数据的监测以及使用报警电路对异常风险数据进行处理后，形成异常大数据区域存储到存储器中。系统采用最小二乘支持向量机实现网络大数据平台异常风险监测。

参考文献

[1] 张科星.网络大数据平台中的特征数据分类系统设计与实现[J].现代电子技术，2017，40（8）：25?28.

ZHANG Kexing. Design and implementation of feature data classification system in network big data platform [J]. Modern electronics technique， 2017， 40（8）： 25?28.

[2] 任华，张玲，叶煜.数字化校园中用户网络行为大数据的分析与监控[J].计算机与数字工程，2017，45（9）：1814?1818.

REN Hua， ZHANG Ling， YE Yu. Analysis and monitoring of big data of user′s network behavior in digital campus [J]. Computer and digital engineering， 2017， 45（9）： 1814?1818.

[3] 路鹤晴，张晓峰，李斌.基于物联网的高危妊娠监测预警网络平台的设计与应用[J].中国医疗器械杂志，2017，41（5）：327?329.

LU Heqing， ZHANG Xiaofeng， LI bin. Design and application of high?risk pregnancy monitoring & warning Internet platform based on Internet of Things [J]. Chinese journal of medical instrumentation， 2017， 41（5）： 327?329.

[4] 曾胜.重大危险源动态智能监测监控大数据平台框架设计[J].中国安全科学学报，2014，24（11）：166?171.

ZENG Sheng. Framework design of large data platform for monitoring and controlling major hazards dynamically and intelligently [J]. China safety science journal， 2014， 24（11）： 166?171.

[5] 张成军，刘超，郭强.大数据网络环境下异常节点数据定位方法仿真[J].计算机仿真，2017，34（5）：273?276.

ZHANG Chengjun， LIU Chao， GUO Qiang. Simulation of abnormal node data location in large data network environment [J]. Statistical research， Computer simulation， 2017， 34（5）： 273?276.

[6] 唐晓彬，周志敏，董莉.大数据背景下网络突发事件动态监测研究[J].统计研究，2017，34（2）：44?54.

TANG Xiaobin， ZHOU Zhimin， DONG Li. Research on monitoring Internet burst events dynamically from the big data perspective [J]. Statistical research， 2017， 34（2）： 44?54.

[7] 张威，敖乃翔，王德勇，等.基于异常用电行为识别的社会治安风险预警方法[J].中国电子科学研究院学报，2016，11（6）：594?598.

ZHANG Wei， AO Naixiang， WANG Deyong， et al. Public security risk preception based on anomaly detection of electrical behavior [J]. Journal of China Academy of Electronics and Information Technology， 2016， 11（6）： 594?598.

[8] 胡为艳，艾民，周光彬，等.基于大数据的信令监测系统的设计与实现[J].电视技术，2016，40（1）：95?101.

HU Weiyan， AI Min， ZHOU Guangbin， et al. Design and implementation of big data based signaling monitoring system [J]. Video engineering， 2016， 40（1）： 95?101.

[9] WANG S， LI Y， ZHAO X， et al. Intrusion detection system design of cloud computing based on abnormal traffic identification [J]. International journal of reasoning?based intelligent systems， 2015， 7（3）： 186?192.

[10] XUE Y W， ZHANG P Z， FAN J. Design and realization of supervision platform of simulating capital abnormal flow in complex financial network [J]. Systems engineering?theory methodology application， 2005， 14（5）： 449?453.