网络全流量分析技术沙龙

邢帆

12月21日～22日，在中国计算机用户协会网络应用分会第二十一届网络新技术与应用主题年会中，Ipv6工作組同期举行了以网络全流量分析为主题的技术沙龙，全国众多高校代表及多家技术厂商参加了此次活动。

中国人民大学张丹东在《大数据测试项目的思考与实践》的主题演讲中表示，目前中国人民大学大数据体系测试项目中，已取得了数据采集及数据存储的阶段性成果，并积极尝试实现数据关联与分析以及数据查询与展示的推进。其中，数据关联与分析的核心与难点在于建模。未来，人民大学希望能够在大数据实践领域实现数据应用用于决策辅助。张丹东分析，目前高校的大数据来源主要包括：校园网络流量、校内系统日志、校内系统数据以及互联网数据。在数据获取、模板一致性、数据移植等几个重要维度的考量中，校园网络流量表现最佳，校内系统数据在三个维度上均表现欠佳，这表明不同来源数据做大数据项目的难度差异较大。

活动中，众多企业代表也就高校网络流量、大数据等技术领域的相关情况展开了讨论，并分享了部分成功案例。北京网瑞达科技有限公司总经理丛群在会上提出，当前高校网络中心的核心职能是以提供IT服务为根本，更好地规划、建设、运行IT资源，将IT资源服务于教学、科研以及广大师生和教职工的日常生活。且高校已脱离IT管理建设初级阶段，IT管理和IT建设的趋势是从硬件到软件、从分散到集中、从重视功能到重视体验和易用性等方面，同时重视IT管理和运行数据的分析和展现可以更好的发挥 IT部门对学校各种业务的支持。因此，网瑞达提出了IT融合管理概念及实现框架：统一入口、整合服务、融合数据，分别形成全新的管理门户及用户门户。

IT管理的融合本质是网络数据的融合，而网络行为数据在高校中占比最大。校内网络行为数据可分为两大类，一类为标签数据，另一类为行为数据：标签数据一般包括网络行为发生者的账号信息、位置信息和终端类型信息，可分别从认证系统、网管系统和DHCP中获取；行为数据一般包括NAT、服务器URL、用户URL和安全事件等，可分别从NAT设备、反向代理、DPI设备及安全设备中获取。NAT数据和URL数据是最适合描述用户网络行为的颗粒单位，在使用了NAT的校园网络环境中，用户网络行为将全部基于NAT，即可收集全量的网络行为数据，同时现在的网络应用基本基于HTTP或者HTTPS，URL数据可以更精准的描述用户的网络行为。但传统的IT管理模式下，用户的网络行为将以IP为共同标识，分散地存储于这些IT管理系统中，难以被全面地整合利用。

为解决上述问题，网瑞达退出了日志/数据统一管理平台对多个IT系统的标准化日志或非标准化的日志、私有数据进行统一采集、存储、建模、关联、索引及分析。将多条零散的以IP为标识的网络行为数据互相关联，最后形成一条以账号+终端为标识的综合性数据，全面掌握“谁，在哪里，用什么终端，做了什么”，通过整合后的数据进行深度挖掘为全面提升IT服务奠定了坚实的数据基础。

北京邮电大学已初步应用网瑞达IT融合管理体系，在日均125G，6.35亿条日志的环境中，数据统一分析平台得到了初步应用。会上还展示了北邮2017年11、12月两个月的用户网络行为数据分析成果，包括在本科生期末及研究生开题/答辩的特殊时期，本科生及研究生资源访问偏好的不同，以及最受欢迎广大学生欢迎的应用排行、终端类型和操作系统占比等等；结合北邮网络管理策略的调整，详细分析了北邮出入流量、计费与免费流量、出口协议的变化趋势与占比。其中，对于用户eduroam串号分析及异常IP分析的分析，将网络行为数据运用至日常校园网络管理的情景中，为高校IT管理提出了切实可行的新思路。

北京科能腾达信息技术股份有限公司SIEM 产品经理王继超表示：目前网络规模急剧增长，安全管理面临资产、端口、服务、漏洞、攻击事件、应用事件、行为事件、流量事件、运维事件等诸多管理事务，在一个有着数以千计IP的网中，单单以上一项管理工作，就有可能消耗管理员大量时间完成，如网络中有突发事件或是其它不安全问题产生，管理工作会变得更为复杂，网络管理工作和安全管理工作都面临着相当大的挑战。

“全网安全信息与事件分析——SIEM”是泛信息事件管理与指标化风险分析中很重要的一部分。系统将事件与资产关联化，事件数据指标化，以实现最大程度的信息事件便捷管理，内置多种事件管理功能可轻松应对各种网络信息事件，诸如：事件采集、定义模型，解析泛化，精细查询，分类统计，分布式存储，大数据计算，自动化任务，机器学习，关联分析、指数话评估、资产关联管理、安全事物流程等，SIEM是一个集中接入平台，也是一个安全事物管理工具集，能够为管理员打造一个“耳聪目明，手疾眼快，博闻强识，机警灵活”的安全信息与事件管理体系，辅助安全管理员轻松快捷的应对复杂网络事件。

北京希嘉创智教育科技有限公司高级副总裁汪浩也表示，当前高教信息化发展的重心趋势正在发生巨大变化，在传统以事务为核心的应用系统基础上，以数据为核心的应用系统建设逐步快速发展。而事物型和分析型系统各自底层的数据支撑环境是不一样的，想要实现这两者良性的发展，“数据基础”是一个绕不过去的关卡。因为无论是事务型系统还是数据型系统都需要高质量的数据供给。未经整理的数据是没有开发价值的，日志数据价值挖掘的重要途径之一就是“关联”。大数据处理平台的作用就是盘活数据资产，打通高校全量数据，这之中简化数据的管理和使用是核心。目前，南京理工大学、江南大学、南京工业大学、中南民族大学等高校已经落实了平台API数据授权体系实际支撑开发场景。利用工具强化用户底层数据基础，降低日志数据使用门槛，从而让数据“活”起来。

经过多年的发展、积累，高校信息化不断受到来自社会各界的关注，这既为其信息化发展提供了动力，也带来了更多挑战。随着数据资产化观念的逐步渗透，大数据已经作为一项信息化基础工作纳入到高校信息化总体规划中。打好数据基础，对于校园网络流量分析势必起到至关重要的作用。