用户异常行为分析方法研究与应用

2019-10-15赖建华唐敏

软件导刊 2019年8期

赖建华唐敏

摘要：为了应对高级持续性威胁（APT）攻击造成的威胁，解决传统基于规则的分析方法对用户异常行为检测的误报与漏报问题，提高用户异常行为检测效果，通过采集用户行为日志生成用户操作行为矩阵，并通过模型定义方式对用户行为进行相似度分析。采用容忍度测算、突变测算、差值测算与峰值测算方法，分析与发现用户异常访问。基于用户画像的异常行为分析方法结合了用户操作行为特征及角色定义，利用用户行为日志历史信息勾勒出用户行为画像，使系统能准确、实时地判断用户行为异常，提高了对异常行为的实时检测与快速响应能力。

关键词：异常行为分析;高级持续性威胁攻击;行为矩阵;用户画像

DOI：10. 11907/rjdk. 182544 开放科学（资源服务）标识码（OSID）：

中图分类号：TP309文献标识码：A 文章编号：1672-7800（2019）008-0181-05

Research and Application of User Abnormal Behavior Analysis Method

LAI JIAN-hua1，2， TANG Min3

（1. Fujian Institute of Science and Technology Information;2. Fujian Key Laboratory of Information Network;

3. Fujian Straits Information Co. Ltd，Fuzhou 350003， China）

Abstract： In order to deal with the threat caused by high-level persistent threat attack， the traditional rule-based analysis method is used to solve the false alarm and missed alarm of user abnormal behavior detection， and improve the detection effect of user abnormal behavior. User behavior matrix is generated by collecting user behavior log， and similarity analysis of user behavior is done by model definition. Tolerance measure method， mutation measure method， difference measure method and peak value measure method are collected. Users' abnormal access is analyzed and found by common use. The abnormal behavior analysis method based on user portrait is combined with user operation behavior characteristics and role definition， and the user behavior portrait is outlined by using user behavior log history information. The system can judge user behavior abnormality in real-time and improve the ability of real-time detection and rapid response to abnormal behavior.

Key Words： abnormal behavior analysis; high-level persistent threat attack; behavior matrix; user portrait

基金项目：福建省科技计划项目（2017R1008-1，2018R1008-9）

作者简介：赖建华（1974-），男，硕士，福建省科学技术信息研究所高级工程师，研究方向为网络与信息安全、软件工程;唐敏（1976-），男，硕士，福建省海峡信息技术有限公司工程师，研究方向为安全管理与分析、资产情报。

0 引言

近年来，高级持续性威胁（APT）攻击已成为政府及各级企事业组织面临的主要安全威胁。APT攻击检测防御技术能够主动检测APT攻击行为，防止恶意入侵及异常行为造成的破坏与损失。传统基于流量特征库的APT攻击检测与防御方法对于已知威胁，如已知漏洞或病毒木马程序的攻击比较有效，但对于攻击特征未知、技术复杂、持续时间长的APT攻击则无法进行有效检测与定位[1]。国内外在构建APT检测模型与APT防御系统方面取得了一定进展。在国外，FireEye研发了一种基于终端异常行为检测的APT防御系统，将用于樣本分析的沙箱技术前置到用户环境监测设备中，但其检测过程建立在捕获恶意代码基础上，因此存在被绕过的可能;RSA[2]提出一种基于网络异常行为监测的原型Beehive，通过对企业网络环境中各类日志的采集与分析进行异常检测，但是检测结果的有效性仍需要人工鉴定与确认。在国内，根据用户异常行为识别已知或未知安全威胁一直是研究热点，并取得了一定成果[3-6]，如董彬[7]提出一种基于Netflow的异常行为检测框架，能够对蠕虫、DDOS攻击、网络扫描等行为进行检测，并提出基于Hadoop平台的系统框架，但其侧重于对大规模异常的监测，而对APT攻击这类注重自身隐蔽性、网络流量特征不显著的攻击行为检测能力有限;孙建坡[8]提出一种基于攻击链的描述模型，能够对攻击过程与结果进行建模，但对于如何进行攻击行为检测并未给出具体算法描述。构建APT威胁检测模型需要考虑数据采集、数据存储、行为识别、告警响应等多个环节。随着大数据时代的到来，APT检测与防御设备受到数据量庞大、人工处理能力不足及特征库有限等因素影响，无法跟上时代发展步伐，必须从入侵行为角度，采用基于异常行为识别的检测方法，才能更加快速、精确地检测与定位APT入侵行为和攻击者。

从APT入侵者视角，攻击及用户异常行为可分为：侦查目标、制作工具、传送工具、触发工具、控制目标、执行活动与保留据点7个阶段[9]。每个活动阶段一般会在网络及目标系统内形成活动记录，包括：流量日志、系统运行日志、配置变动记录以及人员操作行为日志等。这些记录日志包含了用户登录行为记录、接口调用信息、数据增删改查信息、权限及数据结构修改记录，隐含着越权访问、数据窃取以及主机失陷等入侵及异常行为的蛛丝马迹。通过对操作行为数据的分析，可以挖掘出潜在的用户异常行为。传统APT入侵检测系统对异常行为的检测采用基于规则的分析方法，通过配置行为分析规则，定义异常行为的时间、地点、人员、访问方式等，也即5W1H分析方法[10]。该方法对常规的行为定义与检测是有效的，但由于异常行为场景很多，不能完全通过行为的若干要素进行简单定义与排查，否则容易出现误报和漏报情况。因此，需要对历史行为数据进行建模，并采用相关算法对用户行为进行预测及异常检测，才能有效发现入侵及异常行為。

针对当前APT防御形势的要求，本文提出一种基于用户画像的异常行为分析方法。用户画像可以将定性和定量方法很好地结合在一起[11]，其中定性方法是指对用户使用习惯、行为特点进行抽象与概括[12]，定量分析是指通过对特征作精细化的统计分析计算，获得对用户异常行为的精准识别[13]。该方案结合了用户操作行为特征及角色定义，利用用户日志历史信息勾勒出用户行为画像，使系统能够准确、实时地判断用户行为异常，从而提高对异常行为的实时检测与快速响应能力。

1 用户异常行为分析流程

本文设计的用户异常行为分析方法流程如图1所示，共分为5个阶段，分别为：日志采集、模型定义、行为刻画、异常分析及安全告警。

图1 用户异常行为分析流程

1.1 日志采集

日志采集通过各种协议方法采集用户异常行为分析所需的用户访问日志、业务操作日志、系统运行日志、数据库访问记录及流量日志等。

不同类型的日志数据格式不完全相同，不同途径获取的数据也存在重复、相互关联，甚至相互矛盾的情况。本文在数据采集后进行还原操作，并进行一系列预处理，包括提取、清洗、关联、比对与标识等操作。其中数据关联是指将海量信息与用户帐号、自然人等相关联，以方便信息溯源。最后将采集到的海量异构数据变换为一种适合后续数据分析的形式。

由于行为日志具有明显的大数据特征[14]，本文采用基于HDFS的分布式索引数据存储，从而保证了数据的高可靠性，并能快速进行检索。

1.2 模型定义

本文从实际业务系统数据中提取相关数据构建数据集，根据挖掘出的系统用户信息，设计并构建了用户模型。该模型将用户属性分为：基本属性、职位属性、业务属性、时间属性以及空间属性5类，这5类属性共同构建用户完整信息。属性模型定义如下：①基本属性。表示用户固有、静态的属性状态[15]，如：用户性别、年龄、爱好等基本属性特征;②职位属性。表示用户职位级别的属性信息，用于识别相同职位等级人员的异常访问行为;③业务属性。表示用户在业务功能使用方面的属性信息[16]，系统中不同角色能够使用的业务功能不同，根据用户业务功能设计不同标签，如：超级用户、操作用户、审计用户以及配置用户等，每个业务属性对应不同的功能模块集合;④时间属性。对用户访问行为在时间上进行分段建模，分段建立数据访问与业务处理模型，用于识别特定时间段发生的异常行为，或访问的异常时间段;⑤空间属性。根据用户访问区域进行区分与建模，用于识别与用户具有相同访问区域的异常访问行为，或异常访问区域。

1.3 行为刻画

用户除基本属性外，也应具有相应行为，类似于编程语言的属性和方法。本文从七大维度进行描述，包括：用户会话、访问业务系统、操作内容、操作内容差异性、一天访问行为、一周访问行为、每天连续操作时间等构建用户行为标签，如表1所示。行为标签是指用户对系统的时序化操作行为，即行为序列[17]。

1.4 异常分析

以上步骤已提取了用户行为数据，形成用户行为模型，接下来的异常分析通过预先建立一系列模型、策略，将用户待检测的行为序列模式与已知特征序列进行匹配。若能正常匹配，说明待测用户行为正常;若存在无法匹配或部分无法匹配的情况，则说明待测行为存在异常，该行为称为异常行为。

在异常分析环节，本文在基础属性条件配置基础上引入统计算法，通过对不同条件之间的测算进行分析运算。系统采用的统计算法包括：容忍度测算、突变测算、差值测算、峰值测算等。

1.5 安全告警

安全告警是实现从数据采集、异常分析到最终响应的主动防御体系的关键环节[18]。通过上述分析过程形成检测分析结果，并在满足一定条件时进行安全告警。生成的告警信息包括：告警名称、告警对象（通常为某个业务系统对象）、告警内容、告警等级、告警发生时间以及告警证据链等内容。本文根据告警等级、告警对象责任人信息等条件，通过响应机制，利用邮件、短信、微信等方式自动通知管理人员，实现对消息的及时推送。

2 用户异常行为分析方法

用户异常行为分析步骤通常包括：画像数据获取、相似度计算、画像聚类以及画像生成。对于异常行为分析而言，画像数据获取阶段即采集用户行为日志，在相似度计算阶段根据职位、时间以及空间模型计算同类用户行为之间的相似度，系统根据相似度进行聚类，而远离大规模聚类的对象则认为表现异常，进入告警环节。

本文提出的用户异常行为分析方法的主要优势在于其结合了多种分析方法与用户行为画像定位能力，能够准确定位异常用户。即：用户所有行为都与用户账号关联，用户账号与自然人唯一关联，用户所有行为都有行为记录。当匹配到异常行为时，可以迅速关联到用户账号，从而定位到自然人（入侵者）。同时，通过业务属性标签，可以关联到出现异常的具体业务功能。

2.1 相似度方法

基于相似度的方法[19]是一种可用于实时异常行为识别的分析方法。系统采用欧氏距离法对用户在单位时间内的操作行为习性进行相似运算。欧氏距离也称为欧几里得距离，是一种多维空间的距离计算方法[20]。

欧氏距离法通过以下步骤对用户行为进行相似度计算：

（1）系统根据画像模型为不同职位、时间、空间类别的用户生成操作习性矩阵。

（2）计算用户操作习性矩阵不同属性之间的相似度，相似度的值在0～1之间。属性包括1.3章提到的七大维度。对于行为习性矩阵的每个属性，都定义一个与之相对应的相似度计算函数。该函数返回一个0～1之间的相似度计算值。

（3）采集到新的行为日志时，会与已有用户操作习性矩阵的属性值进行比较，计算其之间的相似度。行为日志之间相似度定义为不同属性相似度的加权平均值，具体公式如下：

[SIM（X，Y）=Ej*SIM（Xj，Yj）Ej] （1）

其中，X表示已有用戶行为属性，Y表示新的用户行为记录，j表示用户行为习性的属性索引值，[Ej]表示属性j的相似度期望，[Xj]、[Yj]表示用户行为属性X与用户行为记录Y中属性j的值。

（4）最后，计算用户行为习性的相似度，并结合异常度量加权，对超过阈值的用户行为生成安全告警。

2.2 容忍度测算

容忍度测算[21]是根据两个不同分析维度条件之间的比例关系，从中发现同一用户或同一源地址发起各类行为占比操作是否超标的情况。例如：某天用户对数据库的导出操作次数是否占该用户当天对所有数据库操作次数的一半以上。按容忍度测算规则中配置的开始时间与周期决定本次分析事件的时间区间，即开始时间减去周期，再到开始时间为止为本次分析的事件区间。容忍度测算流程如图2所示。

在容忍度测算流程中，从事件区间与日志类型组合依次查找事件条件1和事件条件2的数据，并将两个数据按关注点进行汇总计数，提取两次汇总中相关的关注点，通过关注点循环计算两个事件总数占比，对占比超过阈值的情况进行告警。

图2 容忍度测算流程

2.3 突变测算

突变测算是对同一日志属性下不同时间段之间的数量变化进行测算，并对变化明显的情况进行告警。例如：一个目标地址当前事件量为前一小时的5倍。

突变测算流程如图3所示，根据事件条件分别读取当前时间减去时间差，再到当前时间的事件量，以及当前时间减去两个时间差，再到当前时间减去时间差的事件量。通过关注点将两个时段中关注点的事件量相除，如果结果大于规则给定的阈值，则对相关关注点进行安全告警。

图3 突变测算流程

2.4 差值测算

差值测算是对同一关注点下不同时间的同一日志属性矢量差进行分析，矢量差超过规则阈值则产生告警。例如同一用户登出和登录时间矢量差在3天以上，将进行告警。

差值测算流程如图4所示，根据规则中配置的时间启动，获取前一周期中所有满足条件2与条件1的数据。将条件2与条件1同一关注点下相关属性矢量差与规则阈值进行对比，若超过阈值则进行告警。

图4 突变测算流程

2.5 峰值测算

峰值测算是指对同一日志属性按关注点进行排序，对从高到低的TopN进行告警。峰值测算流程如图5所示，根据规则中配置的时间进行启动，获取前一周期中所有满足条件的数据，并按关注点从大到小进行排序，对于前n位（n为规则中配置的top值）取值大于规则阈值的情况进行告警。

图5 峰值测算流程

3 实验与分析

本文实验测试选用某4A堡垒机一个月的用户操作日志作为测试数据集，合计记录数据2 190 518条。在一个月时间内，模拟了各类异常行为150次，包括：违规时间数据访问、违规终端业务访问、暴力登录尝试、木马违规刷数据、越权操作指令、违规金库操作等异常行为类型。将测试数据集作为输入，并启用不同分析方法引擎进行检测。根据检测出的异常行为数量，得出各种测试方法的准确率、误判率与漏判率。采用N（t）代表实际异常行为总数，N（d）代表正确检测出的异常行为数量，N（n）代表错误检测出的异常行为数量。

根据上述计算方法，得到实验结果如表2所示。

表2 用户异常行为分析实验结果

实验结果表明，在单独使用突变测算、差值测算与峰值测算方法的情况下，检测准确率不高，存在一定的误报和漏报情况，而在综合场景下，当各种分析方法都对行为进行确定性的告警匹配时，可得到较高的准确率与较低的误报率。

4 结语

本文提出的基于用户行为刻画的异常行为分析方法，通过采集用户行为日志生成用户操作行为矩阵，并通过模型定义方式对用户行为进行相似度分析、容忍度测算、突变测算、差值测算、峰值测算，从而及时发现用户异常访问，提高了对异常行为的实时检测及响应能力。本系统已应用于实际项目中，帮助用户分析堡垒机、操作审计系统等应用中的操作行为日志，并成功发现了其中采用木马程序盗刷数据、违规越权操作等违规行为。未来将继续对分析算法进行扩展，采用密度分析等分类方法对用户异常行为进行检测，通过多个分析维度进行分析，以提高分析可靠性。同时还可将该方法应用于网络流量异常分析，以识别异常流量行为。

参考文献：

[1] 周涛. 基于统计学习的网络异常行为检测技术[J]. 大数据，2015 （4）：38-47.

[2] YEN T F，OPREA A，ONARLIOGLU K，et al. Beehive： large-scale log analysis for detecting suspicious activity in enterprise networks[C]. Proceedings of the 29th Annual Computer Security Applications Conference， 2013：199-208.

[3] 江瀚，郭威，鄧韵东. 一种基于等级保护的高级持续性威胁防护模型研究[J]. 电子测试，2015（21）：17-20.

[4] 陈强. 高级持续性威胁攻击及预防的探索[J]. 网络安全技术与应用，2015（7）：63-64.

[5] 武宗涛，赵进，叶忠. 基于基线的APT检测分析平台研究与设计[J]. 网络安全技术与应用，2017（9）：35-37.

[6] 管磊，胡光俊，王专. 基于大数据的网络安全态势感知技术研究[J]. 信息网络安全，2016（9）：45-50.

[7] 董彬. 基于hadoop的APT建模与流量预处理技术研究与实现[D]. 长沙：国防科学技术大学，2015.

[8] 孙建坡. 基于攻击链的威胁感知系统[J]. 邮电设计技术，2016（1）：74-77.

[9] 徐远泽，张文科，尹一桦，等. APT攻击及其防御研究[J].通信技术，？2015，48（6）：740-745.

[10] 常松丽，陈立潮，潘理虎. 基于信息生命周期的多主体交互模型及形式化[J].计算机仿真，2012，29？（11）：158-161.

[11] 王洋，丁志刚，郑树泉，等. 一种用户画像系统的设计与实现[J]. 计算机应用与软件，2018（3）：8-14.

[12] 张哲. 基于微博数据的用户画像系统的设计与实现[D]. 武汉：华中科技大学，2015.

[13] 张丽娟. 基于大数据分析的用户画像助力精准营销研究[J]. 电信技术，2017，8（1）：61-62.

[14] 张慷. 手机用户画像在大数据平台的实现方案[J]. 信息通信，2014（2）：266-267.