大数据分析技术在安全领域的应用

张　滨（中国移动通信集团公司信息安全管理与运行中心，北京 100053）

大数据分析技术在安全领域的应用

张滨
（中国移动通信集团公司信息安全管理与运行中心，北京 100053）

本文从信息安全分析现状出发，深入剖析了传统基于特征的信息安全分析所面临的问题和挑战，提出基于大数据的安全分析方法，构建基于大数据的安全分析平台，有效提升信息安全管控水平。文章详细介绍了大数据技术在信息安全数据的存储、检索、分析等层面的应用，对典型应用场景的大数据分析方法进行了详细阐述，并指出安全大数据分析的应用价值以及未来的发展方向。

信息安全；大数据；不良信息治理；安全态势感知

张 滨 毕业于清华大学无线电系。高级工程师。现任中国移动通信集团公司信息安全管理与运行中心总经理，曾担任江西省移动通信局副局长，中国移动通信集团公司计划部、管理信息系统部副总经理，国务院国有资产监督管理委员会信息中心副主任。长期从事通信网规划建设、信息化推进、信息安全管理工作，参与了中央企业信息化政策措施研究，组织了中国移动ERP项目的实施，在通信、互联网、信息化和信息安全领域有较深入的研究。

传统的基于特征的信息安全分析技术已广泛应用恶意代码检测、入侵检测等，但随着数据规模的增加和一些新兴威胁的出现，对安全分析检测技术提出了更高要求。应用大数据分析技术进行信息安全问题分析已成为业界研究热点。Gartner在2012年的报告中明确指出“信息安全正在变成一个大数据分析问题”。借助大数据安全分析方法，不但能够解决海量数据的采集和存储，基于机器学习和数据挖掘方法，能够更加主动、弹性地去应对新型复杂的违规行为和未知多变的风险。BDSA（Big Data Security Analysis，安全大数据分析）应运而生。

根据IDC（国际数据公司）的相关统计，2015年大数据市场规模增长到170亿美元，年增长率为40%；预计到2020年，全球数据总量将会增长44倍，达到35 ZB，而这个数值还在以每两年就翻一番的速度迅猛增长。

在产业界和学术界，“大数据分析”都成为炙手可热的产业领域。在学术界，国际顶级期刊《Nature》和《Sciences》分别出版了专刊《Big Data》和《Dealingwith Data》，从信息安全防护、互联网技术和生物医药等多个方面讨论了大数据应用相关问题。在产业界，CSA（云安全联盟）2012年成立了专门的大数据工作组，该工作组由业内和院校的志愿者组成，确定该领域内的原则、纲领及所面临的挑战。CSA的报告《安全智能中的大数据分析》，重点讨论了大数据在安全分析中的应用，并提出了利用大数据分析工具对结构化和非结构化数据进行分析如何改变了安全分析领域。同时，国家制定了《促进大数据发展行动纲要》，标志着大数据战略正式上升为国家战略。

收稿日期：2015-11-16

中国移动利用大数据分析技术在信息安全领域开展多项应用探索，如基于大数据技术的骚扰诈骗电话等不良信息治理、基于大数据分析技术的安全态势感知分析、基于大数据分析技术的钓鱼网站分析等，都取得了良好的效果，有效提升了信息安全管控水平。

1　安全大数据分析

大数据分析技术给信息安全领域带来了全新的解决方案，但是如同其它领域一样，大数据的功效并非简单地采集数据，而是需要资源的投入，系统的建设，科学的分析。Gartner在2013年的报告中指出，大数据技术作为未来信息架构发展的十大趋势之首，具有数据量大、种类繁多、速度快、价值密度低等特点。将大数据技术应用与信息安全领域可实现容量大、成本低、效率高的安全分析能力。

1.1信息安全分析引入大数据的必要性

大数据具有“4V”的特点：Volume、Variety、Velocity和Value，可实现大容量、低成本、高效率的信息安全分析能力，能够满足安全数据的处理和分析要求，将大数据应用于信息安全领域能够有效的识别各种攻击行为或安全事件，具有重大的研究意义和实用价值。

随着企业规模的增大和安全设备的增加，信息安全分析的数据量呈指数级增长。数据源丰富、数据种类多、数据分析维度广；同时，数据生成的速度更快，对信息安全分析应答能力要求也相应增长。传统信息安全分析主要基于流量和日志两大类数据，并与资产、业务行为、外部情报等进行关联分析。基于流量的安全分析应用主要包括恶意代码检测、僵木蠕检测、异常流量、Web安全分析等；基于日志的安全分析应用主要包括安全审计、主机入侵检测等。

将大数据分析技术引入到信息安全分析中，就是将分散的安全数据整合起来，通过高效的采集、存储、检索和分析，利用多阶段、多层面的关联分析以及异常行为分类预测模型，有效的发现APT攻击、数据泄露、DDoS攻击、骚扰诈骗、垃圾信息等，提升安全防御的主动性。而且，大数据分析涉及的数据更加全面，主要包括应用场景自身产生的数据、通过某种活动或内容“创建”出来的数据、相关背景数据及上下文关联数据等。如何高效合理的处理和分析这些数据是安全大数据技术应当研究的问题。

1.2安全大数据分析方法

安全大数据分析的核心思想是基于网络异常行为分析，通过对海量数据处理及学习建模，从海量数据中找出异常行为和相关特征；针对不同安全场景设计针对性的关联分析方法，发挥大数据存储和分析的优势，从丰富的数据源中进行深度挖掘，进而挖掘出安全问题。安全大数据分析主要包括安全数据采集、存储、检索和安全数据的智能分析。

（1） 安全数据采集、存储和检索：基于大数据采集、存储、检索等技术，可以从根本上提升安全数据分析的效率。采集多种类型的数据，如业务数据、流量数据、安全设备日志数据及舆情数据等。针对不同的数据采用特定的采集方式，提升采集效率。针对日志信息可采用Chukwa、Flume、Scribe等工具；针对流量数据可采用流量景象方法，并使用Storm和Spark技术对数据进行存储和分析；针对格式固定的业务数据，可使用HBase、GBase等列式存储机制，通过MapReduce和Hive等分析方法，可以实时的对数据进行检索，大大提升数据处理效率。

（2） 安全数据的智能分析：并行存储和NoSQL数据库提升了数据分析和查询的效率，从海量数据中精确地挖掘安全问题还需要智能化的分析工具，主要包括ETL（如预处理）、统计建模工具（如回归分析、时间序列预测、多元统计分析理论）、机器学习工具（如贝叶斯网络、逻辑回归、决策树、随机森利）、社交网络工具（如关联分析、隐马尔可夫模型、条件随机场）等。常用的大数据分析思路有先验分析方法、分类预测分析方法、概率图模型、关联分析方法等。可使用Mahout和MLlib等分析工具对数据进行挖掘分析。

综上，一个完备的安全大数据分析平台（如图1所示）应自下而上分为数据采集层、大数据存储层、数据挖掘分析层、可视化展示层。主要通过数据流、日志、业务数据、情报信息等多源异构数据进行分布式融合分析，针对不同场景搭建分析模型，最终实现信息安全的可管可控，展现整体安全态势。

2　安全大数据分析的典型应用

2.1基于用户行为的不良信息治理

中国移动开展了基于大数据的不良信息治理工作，主要针对垃圾短信和骚扰诈骗电话开展基于异常行为的大数据分析。通过开源工具Hadoop、HDFS、Pig、Hive、Mahout、MLlib搭建大数据分析平台，采集用户的行为数据，构建用户行为分析模型；分别提出了异常行为分类预测模型、统计预测分析模型、社交网络分析模型等，将用户的行为数据输入到模型中，可以精准地挖掘出违规电话号码，并且发现违规号码与正常号码之间存在大量相异的行为特征。通过用户的行为，构建多维度的用户画像数据库，支撑全方位的大数据不良信息治理服务，支撑大数据不良内容的智能识别等。实践表明，大数据分析技术能够挖掘出更多潜在的违规号码，是对现有系统的有效补充。除此之外，中国移动还将大数据技术应用在安全态势感知、手机恶意软件检测和钓鱼网站的分析中，提升了现有系统的分析能力。

2.2基于网络流量的大数据分析

在互联网出口进行旁路流量监控，使用Hadoop存储及Storm、Spark流分析技术，通过大数据分析技术梳理业务数据，深度分析所面临的安全风险。主要分析思路是采集Netflow原始数据、路由器配置数据、僵木蠕检测事件、恶意URL事件等信息，采用多维度分析、行为模式分析、指纹分析、孤立点分析及协议还原等方法，进行Web漏洞挖掘、CC攻击检测、可疑扫描、异常Bot行为、APT攻击、DDoS攻击挖掘等分析。

图1　安全大数据分析平台

2.3 基于安全日志的大数据分析

基于安全日志的大数据分析思路主要是融合多种安全日志，进行数据融合关联分析，构建异常行为模型，来挖掘违规安全事件。主要的安全日志包含Web日志、IDS设备日志、Web攻击日志、IDC日志、主机服务器日志、数据库日志、网管日志、DNS日志及防火墙日志等，通过规则关联分析、攻击行为挖掘、情景关联分析、历史溯源等方法，来分析Web攻击行为、Sql注入、敏感信息泄露、数据分组下载传输、跨站漏洞、尝试口令破解攻击等应用场景。

基于安全日志的大数据分析已经在国际上有广泛的应用。如IBM QRadar应用整合分散在网络各处的数千个设备端点和应用中的日志源事件数据，并将原始安全数据进行标准化，以区别威胁和错误判断；IBM QRadar还可以与IBM Threat Intelligence一起使用，提供潜在恶意IP地址列表，包括恶意主机、垃圾邮件和其它威胁等；IBM Qradar 还可以将系统漏洞与事件和网络数据相关联，划分安全性事件的优先级等。ZettaSet海量事件数据仓库来分析网络中的安全漏洞和恶意攻击；Zettaset主要包括Orchestrator和SDW （Security Data Warehouse，安全数据仓库）。Orchestrator是端到端的Hadoop管理产品，支持多个Hadoop分布；SDW是构建在Hadoop的基础上，并且基于Hive分布式存储。SDW于2011年Black Hat网络安全会议面世，SDW可从网络防火墙、安全设备、网站流量、业务流程以及其它事务中挖掘安全信息，确定并阻止安全性威胁。处理的数据质量和分析的事件数量比传统SIEM多；对于一个月的数据负载，传统SIEM搜索需要20～60 min，Hive运行查询只需1 min左右。

2.4基于DNS的安全大数据分析

基于DNS的安全大数据分析通过对DNS系统的实时流量、日志进行大数据分析，对DNS流量的静态及动态特征进行建模，提取DNS报文特征：DNS分组长、DNS响应时间、发送频率、域名归属地离散度、解析IP离散度、递归路径、域名生存周期等；基于DNS报文特征，构建异常行为模型，来检测针对DNS系统的各类流量攻击（如DNS劫持、DNS拒绝服务攻击、DNS分组异常、DNS放大攻击等）及恶意域名、钓鱼网站域名等。

2.5APT攻击大数据分析

高级可持续性威胁（APT）攻击通过周密的策划与实施，针对特定对象进行长期的、有计划的攻击，具有高度隐蔽性、潜伏期长、攻击路径和渠道不确定等特征。现已成为信息安全保障领域的巨大威胁。“震网”潜伏3年，造成伊朗纳坦兹核电站上千台铀浓缩离心机故障。

收集业务系统流量、Web访问日志、数据日志、资产库及Web渗透知识库等，提取系统指纹、攻击种类、攻击时间、黑客关注度、攻击手段类型、行为历史等事件特征，再基于大数据机器学习方法，发现Web渗透行为、追溯攻击源、分析系统脆弱性，加强事中环节的威胁感知能力，同时支撑调查取证。

3　总结

随着移动互联网、云计算等技术的日趋成熟，黑客网络攻击的手段和方法也日趋复杂，违规业务行为也变化多样，给信息安全监管和不良信息治理带来极大的挑战。传统的基于特征的信息安全防御手段已很难应对。只有充分地利用海量异构的大数据资源和大数据分析技术，才能有效防御新型攻击。

中国移动已在不良信息治理、态势感知、基础网络安全等方面开展大数据分析应用探索，并取得了一定的成效。电信行业面临着复杂的网络环境和多种安全挑战，需要体系化地建设安全大数据分析平台，利用大数据分析技术，有效提升各领域的信息安全管控水平，为业务发展保驾护航。

中国移动主导的“国际诈骗电话监控拦截技术要求”成为行业标准

在近日召开的中国通信标准化协会网络与信息安全技术工作委员会会议上，中国移动主导的“国际诈骗电话监控拦截技术要求”获通过成为行业标准。

据了解，该标准基于中国移动在国际诈骗电话治理方面的成功实践，定义了在网络侧对国际诈骗电话进行监控拦截的具体技术要求，包括总体技术架构、数据采集要求、疑似号码分析、诈骗电话验证、诈骗呼叫拦截等内容。目前，依托诈骗电话监控拦截系统，中国移动月均拦截国际诈骗电话2 000余万次，切实保护了用户权益。该标准的通过，标志着中国移动国际诈骗电话治理工作已成为行业最佳实践，为“打击治理电信网络新型违法犯罪专项行动”的深入开展提供了有力支撑，并对全行业提高诈骗电话治理能力与水平起到了积极的促进作用。

中国移动汇总了7类诈骗类型样本，样本总结了现阶段不法分子利用假冒短信诈骗的主要方式。包括冒充中国移动10086客服号码、假冒各大银行服务号码、假冒知名电商如淘宝或京东平台、假冒支付宝、假冒热播综艺节目栏目组、假冒客户的亲戚朋友、假冒学校等诈骗手法向客户发送短信，诱骗用户点击访问短信中出现的钓鱼网站链接以窃取信息的诈骗短信。客户出于对被假冒平台的信任或受诈骗短信中中奖等信息的引诱，上当受骗导致信息被窃取的例子层出不穷。

中国移动提醒广大客户，对收到的相似短信加以甄别，若短信中出现需要点击的链接一定要加以注意，若链接中出现需要填写个人信息的内容更要倍加小心，以免手机被钓鱼诈骗网站或病毒软件侵袭，导致用户受到损害。

据记者了解到，此前，中国移动自2014年7月起在全国范围内开展“综合治理不良网络信息防范打击通讯信息诈骗”行动的一阶段工作已圆满落幕并取得了良好的成效。截至2015年10月，中国移动月均拦截垃圾短信4亿余条，封堵淫秽色情网站1.2万余个，监测处置恶意软件1万余种，处置“响一声”违规号码22万余个。

目前，中国移动“治防行动”二期工作在国务院批准建立的包括公安部、工信部、中宣部、中国人民银行等23个部门和单位组成的打击治理电信网络新型违法犯罪工作部际联席会议和中国移动安全领导小组的领导下稳步进行。这也是截至目前，领导级别最高，成员单位最多的一次针对手机使用环境的治理行动。据悉，“治防行动”二阶段工作将在“电话诈骗”、“伪基站”、“钓鱼网站”、“不良手机APP”等4个方面进行重点打击，做到“四面围堵”。 （摘自：新华网）

Big data application in information security analysis

ZHANG Bin
（China Mobile Information Security Center， Beijing 100053， China）

This article analyzes the situation of the information security， the problems and challenges in information security analysis， proposes big data security analysis， and builds big data security analysis system， on the idea of big data to effectively enhance information security management and control ability. The article describes in detail the core application of the big data method in the information security data storage，retrieval， analysis and so on， as well as the typical application scenarios of big data analysis methods，pointing out the value of big data security analysis system and the future direction.

information security； big data； illegal information control； security situation awareness

TN918

A

1008-5599（2015）12-0001-05