木马僵尸网络监测系统

2014年9月，国家互联网应急中心对木马、僵尸程序活动状况的抽样监测显示，中国大陆地区1,042,303个IP地址对应的主机被木马或僵尸程序秘密控制，被篡改的网站达11,152个。而对僵尸网络进行监测的目的是了解跟踪木马僵尸网络变化发展趋势，对控制服务器或动态域名进行屏蔽，掌握控制网络内的感染情况，并针对性地采取措施，最终保护终端用户的安全和利益。

上海交通大学木马僵尸网络监测系统开发主要涉及到以下几方面的工作:

1Linux平台下的高速包捕获和高性能DPI引擎

使用了零拷贝技术解决高速网络的流量捕获，多处优化了Linux操作系统，优化了开源的Snort 2.9版本并利用其作为DPI检测引擎，通过控制多检测进程并行工作充分利用了多核CPU资源和内存，通过日志文件到数据库的转储解决了突发峰值的数据库插入瓶颈，最大化提升了x86平台整体网络流量处理性能。

2 有害行为特征库的搜集、整理和提取验证工作

这是系统开发过程中耗时最久，投入资源最多，并且还在不断持续进行的一项工作。经过了多年积累和这次项目进一步研究，我们已经在僵尸网络、网站后门、网页篡改等有害行为的样本搜集、分析整理、特征提取、后期验证反馈等方面形成了一整套完整的流程和体系。系统研究了大量流行木马、各类僵尸网络的传播模型，初步了解了其传播和控制规律，并从中出抽取了大量的流量特征码和其特殊的应用行为。

3 分布式系统集成

让数百个或更多的DPI识别引擎同时运行，并且保证特征规则库的同步下发更新，保障每个引擎报出的安全事件可以被迅速送到汇聚节点记录入库，使用自动化监控进程去处理各种异常并快速恢复，并不是一件简单的事情。要让这套复杂的系统正常运转起来，需要在很多细节方面进行相应的开发和集成工作。包括批量网络安装操作系统的套件Cobbler研究，批量部署应用和日常管理的工具下fabric使用，应用于服务器状态分布式监控的Ganglia系统搭建，应用于满足数亿条原始安全事件存储的数据库设计和优化，都是分布式系统必须要解决的问题。

4 后期归并聚类、关联分析和验证工作

这部分工作在降低误报率，增加预报准确率，从海量的原始安全事件长期记录中挖掘出真正有威胁的有害行为，对攻击者和受害主机进行追踪定位和行为分析有着特别重要的意义。基于数据挖掘的有害行为识别方法比较新，目前缺少一套成熟的体系，还在进一步进行研究完善。在开发中研究了基于高可用性分布式文件系统HDFS存储、对网络流量和日志友好的编程接口，如Hive/Impala的使用、适合处理非关系型数据的NoSQL数据库、用户友好易用的行为数据可视化页面等。