Web 网络大数据分类系统开发应用

钱游 重庆城市职业学院

一、w eb 网络数据分类系统总体设计

根据网络大数据分类系统所需要的要求，分类系统应采用软硬件相结合的方式以实现对数据的分类管理，所得出的系统安全性能更高、运行稳定性更好，且更加方便相关人员进行管理与数据监测。

就目前来说，单独使用软件、硬件均不能保障系统高效、稳定运行，且成本相对较高，对人力物力等资源消耗也相应增加。而将软、硬件相结合，通过硬件部分数据采集器和软件部分数据采集源代码等相关对Web 网络数据进行采集，将采集到的Web 网络数据通过网络接口传输至Web 网络处理器中进行处理并储存，然后，将处理好的数据传输至软件部分的数据分类与改进程序中，以实现对大数据的分类处理，最终将处理的结果传输至存储模块进行保存。后期数据将储存在数据库中，通过一系列的处理不断更新，方便了工作人员的管理与使用。

二、Web 网络大数据分类系统硬件设计

（一）web 数据采集器

数据采集(DAQ)，是指从传感器和其它待测设备等模拟和数字被测单元中自动采集非电量或者电量信号，送到上位机中进行分析，处理。数据采集系统是结合基于计算机或者其他专用测试平台的测量软硬件产品来实现灵活的、用户自定义的测量系统。应用时，数据采集系统置于被监控的设备处，通过传感器对设备的电压或者电流信号进行采样、保持，并送入A/D 转换器变成数字信号，然后将该信号送到FIFO 中。当FIFO 中存放的数据到了一定数目时，由ARM7 从FIFO 中读出，然后通过ARM7 的以太网接口或者RS232 送给上位机。考虑到要监控的设备可能会很多，所以设计了多路采集通道，经过模拟开关后再进入A/D 转换器。CPLD 是整个系统的控制核心，控制采集通道的切换、A/D 转换器的启/停、转换后的数据在FIFO 中的存放地址发生器、产生中断请求以通知ARM7 读取存放在FIFO中的数据等。

（二）web 网络处理器

网络处理器是一种可编程器件，在收集到从网络数据采集器传到过来的数据后，可特定地应用于数据汇聚等过程中。网络处理器器件内部通常由若干个微码处理器和若干硬件协处理器组成，多个微码处理器在网络处理器内部并行处理，通过预先编制的微码来控制处理流程。而对于一些复杂的标准操作则采用硬件协处理器来进一步提高处理性能，从而实现了业务灵活性和高性能的有机结合。 web 网络处理器这里建议采用IXP2400，IXP 可通过增加硬件资源来达到高性能，而通过将这些硬件分解并用多总线连接以形成多主多从的结构以达到其灵活性。另外，软件商，通过ixa portability framework 提供了可移植性，以及大量可以使用的底层函数。

（三）存储模块

存储模块是用于存储计算机数据的处理系统，储存数据包括原始数据、计算过程中产生的数据、计算所需程序以及计算结果数据等。当网络数据传输进web网络数据处理器并被处理器及时分析处理后，网络数据通过网络接口将数据传入存储模块进行数据存储。这里推荐使用C8051F 系列单片机和AT45DB081D-SU。C8051F 系列单片机的优势有：基于增强的CIP-51内核，其指令集与MCS-51完全兼容，具有标准8051 的组织架构，可以使用标准的803x/805x 汇编器和编译器进行软件开发；集成了丰富的模拟资源，绝大部分的C8051F 系列单片机都集成了单个或两个ADC，在片内模拟开关的作用下可实现对多路模拟信号的采集转换；集成了丰富的外部设备接口；信号处理方面的性能增强，可对所采集信号进行实时有效的算法处理并提高了数据传送能力等。

三、Web 网络大数据分类系统软件设计

（一）软件部分大数据采集

针对数据采集部分，为了实现硬件设计中对数据的有效采集，需要对数据采集器编写源代码。数据采集器编写源代码。在软件设计的过程中，用JavehpptUser 对Web 网络数据进行采集，源代码将通过连接方式获取，且为了保证采集数据的完成度，需要将代码进行转换后再进行数据的采集，具体数据采集器源代码编辑如下：

// 采 集 组 件common affiliation CreeperAdsl inherit CreeperFoundation

{Common Web CreeperByAdsl（）

{Rope Web=Creeper(mission)};

//Web 网络数据

{

Web=Creeper(mission);

Size++;}

Return Web;

//客户端

Common affiliation My User

Com mon affiliation Baogang Data Creep er Bolt inherit Founda-tion Rich Bolt;

（二）web 大数据分类与改进系统

设计好web 网络处理器的硬件后，要求编辑相应的软件代码，实现相关程序的功能，并根据实际情况将web 网络数据进行分类，使网络处理器有逻辑判断的依据，具体的编码如下：

//分类对象

common affiliation DataKind

{ backroom Rope dataid；

backroom Rope dataMonicker；

backroom int dataDegree；

backroom Rope dataPraent；

backroom Rope dataKind }

if（content Does not include the "stock"）

//对含有相同属性的数据归为一类

for（Classification list）

if（Source site does not belong to the configuration list）

for（Must contain the keyword list）

if（There are）

continue；

else

break；

else

Join the classification directly；

for（Must not contain the keywords list）

if（There are）

break；

else

continue；

if（Meet m u st b e includ ed an d m ust n o t co nt ain conditions）

{ Comp uting contains key indicators to jud ge w hether classification belongs；}

同时，对分类好的数据进行改进，以实现对web 网络大数据跟好的分类，相关代码如下：

PrintTree（T）；

// 显示整个决策树

Show（T，Sh）；

Show Branch（Sh，T，v）；

short MaxLine（St）；

ndent（Sh，Mark）；

SaveTree（T，Extension）；

// 保存整个决策树

OutTree（T）；

Tree GetTree（Extension）；

// 检索整个决策树

Tree InTree（）；

//依据数据属性通过决策树进行分类

Stream Out（s，n）；

ReleaseTree（Node）；

Tree Leaf（ClassFreq，NodeClass，Errors）；

Sprout（Node，Branches）；

// 在一个节点中插入分支

TreeSize（Node）；

Tree CopyTree（T）

SaveDiscreteNames（）

//保存分类结果