Hadoop下的在线网络日志分析系统设计

刘芬

在线网络日志分析系统，可以有效的保证网络安全管理。但是当前使用的网络日志分析系统存在无法有效的处理大量的日志数据、处理过程用时较长等诸多问题。因此本文提出基于Hadoop下的在线网络日志分析系统，能有效的实现日志大数据的分级归档，更是实现了大数据的分级化存储，有着较快的响应速度，具有较强的可行性和实用性。

【关键词】Hadoop 在线网络日志 系统设计

在计算机系统的网络运行管理中，网络安全问题尤为突出。那么加强网络日志的管理，是实现和强化网络安全管理的途径。因此通过分析网络日志，能有效的了解相关设备故障信息、运行背景及出现的多处异常信息数据，从而及时的发现并解决故障，继而很大程度的提高维修效率，节省了维护成本。Hadoop作为一种大数据的资源开发处理平台，在近些年的飞速发展中，被广泛的应用于多处领域。Hadoop在网络日志的分析系统中也被得以广泛的应用。Hadoop能够较为有效的将传统的网络日志中无法解决问题得以处理，但是当前的Hadoop日志分析系统主要还是离线模式。因此本文通过提出在线网络日志分析系统，从而对構建大数据的在线分析系统有着重大的意义。

1 Hadoop在线日志分析系统设计

要想构建可以处理海量大数据的日志在线分析系统，就需要设计该系统具备如下功能：

（1）其一就是可以不受时空限制的，实时接收储存日志的数据信息，只有基于该种功能才能保证后续的分析功能实现；

（2）其二要保证海量的信息数据得以有效管理，并且具备较高的信息功能拓宽性。日志数据的总量是持续不断的增长的，那么该系统要想更好的实现存储系统的维护，必然要保证日志数据的相关信息存储是不会对系统功能造成较大的影响；

（3）其三就是需要及时的对用户的需求进行响应，只有及时的完成响应，才能有效的达到所要完成的信息系统分析；

（4）其四就是整体的系统要保证一定的高效性。对于日志的功能分析主要是通过针对数据的整体操作从而完成的，对于具体的分析操作有相对稳定的模式，无需过多改动；

（5）其五就是可以实现数据的分割定位，来更加高效的满足用户对于数据的查询需求。

2 文件分级归档管理机制

在海量的数据日志中，系统想要完成大数据信息的储存，无疑会极其耗时。那么在实际的大型网络运用中，通过排除部分特殊的情况，对于绝大多数的业务，使得大部分的网络日志信息得以处理。用户通常对于某一时段某一日志信息的来源有所兴趣，因此需要对大数据完成有效的分级归档化管理。

在日志的诸多数据组织中，日志的时间以及信息的大小是尤为重要必然考虑的因素。日志的时间与具体的使用价值存在较为密切的联系，只有保证日志的时间越接近，那么日志就越新就会被更多人访问，从而具备较大的价值，反之价值则较小。文件的大小与数据信息的可定制性有所关联，文件越大那么文件的数据就会越小，数据的可定性就会越差，反之则亦然。如果文件的大小过小，就会很大程度的影响数据的组织性，同时还会导致系统的信息处理效率有所下降。因此对于日志文件需要完成分级归档化管理，从而解决如上问题。此处通过以文件大小为例进行示范说明。

在进行归档管理之前，需要设置不同的日志文件大小参数指标。比如设置第一级参数指标为64MB、第2、3级参数指标大小为1和16GB，依次类推。那么相应的日志文件在归档中，就要满足下级的文件数据量，要达到上级的文件大小标准时完成归档的过程。具体的归档过程（如图1所示），当1级的日志文件合并成第2级文件，之后将该文件在1级文件系统中完成删除，当第2级日志文件的大小达到16GB时，再次启动程序合并成第3级文件，进而类推完成逐层的归档合并。

3 系统部署框架

通过依照在线网络日志分析系统的功能性进行划分，从而形成了一个较为简单的系统部署框架（如图2所示）。该系统构架的主要组成部分包括了：日志转换器1台、日志文件收集服务器3台、以及日志分析服务器1台还有Hadoop集群1套，以及若干个日志源设备。其中期指分析服务器是该系统框架的中心部位。主要的系统交互类型包括了三种：日志流以及控制流还有业务流。

4 结语

在实现网络安全管理中，网络日志分析是极其重要的组成部分。传统的日志分析已经无法实现多种功能需求，因此本次通过提出Hadoop下的在线网络日志分析系统，从而有效的实现了日志大数据的分级归档机制，更是实现了大量的数据分级化存储，有着较快的响应速度，但是该系统的内在组成构架尤为复杂，因此亟待开展部分针对性的开发工作。本次研究虽然表明此种系统的有效可行性，但是部分细化问题还有待深入探究。

参考文献

[1]胡光民，周亮，柯立新.基于Hadoop的网络日志分析系统研究[J].电脑知识与技术：学术交流，2010，06（08）：6163-6164.

[2]杨锋英，刘会超.基于Hadoop的在线网络日志分析系统研究[J].计算机应用与软件，2014，31（08）：311-316.

[3]刘永增，张晓景，李先毅.基于Hadoop/Hive的web日志分析系统的设计[J].广西大学学报（自然科学版），2011，36（s1）：314-317.

[4]刘永增，张晓景，李先毅.基于Hadoop/Hive的web日志分析系统的设计[C].中国教育和科研计算机网cernet学术年会，2011.

作者单位

国网湖北省电力公司信息通信公司 湖北省武汉市 430000endprint