大数据技术在网络安全风险挖掘中的应用

于 川

（青岛市大数据中心，山东 青岛 266000）

随着数字化转型的持续深化，网络安全也面临严重威胁。网络安全问题是一个多层面综合性的课题。近年来，电信网络诈骗犯罪持续呈现高发姿态。不法分子通过电话、网络等各类现代通信工具实施诈骗，严重危害民众财产安全。同时大数据引发的网络安全问题也更加严峻，逐渐得到社会各界的普遍关注，也成为当下亟待解决的重要问题。任何事物都具有双面性。如何发挥大数据技术在网络风险挖掘中的关键性作用成为当下的重要研究课题。

1 大数据技术的内涵及关键技术

麦肯锡全球研究对大数据所做的定义是：“一种规模大到在获取、存储、管理、分析方面大大超出了传统数据库软件工具能力范围的数据集合，具有海量的数据规模、快速的数据流转、多样的数据类型和价值密度低四大特征。”同时大数据也是一种先进的理念，能深入分析所有海量数据，以揭示事物的发展规律，能对多种事物之间的关系进行描述，预测事物下一阶段的发展情况。在各行各业，大数据都体现出较高的价值，包括医疗、科学、化工等，对社会经济的发展起到了促进作用。

大数据技术是对大数据的应用技术的统称。大数据的关键技术涉及四个层面，第一，信息采集。采集数据是发挥数据作用的重要前提。采集方式主要包括系统日志采集法、网络数据采集法以及其他数据采集法。第二，信息预处理。在数据处理之中，信息预处理处于基础位置，就是初步提取信息并对其进行清洗。初步抽取信息就是对多样化的数据进行转换，降低数据处理难度，或是统一数据格式，为处理数据做好准备；信息清洗，就是从采集的数据中剔除无价值的部分。第三，数据融合。数据融合就是对多样化的数据进行处理，既要对信息源进行检查，也要对其进行重组。第四，数据挖掘与分析。此类技术的运用，目的就是要缩减数据规模。截至目前，以结构化与半结构化的方式对数据进行分析，已经具备了成熟条件，以人工智能的方式挖掘与分析非结构化数据，取得了良好成效。第五，存储与处理数据。运用此类技术，能处理好半结构化、非结构化数据之间的问题。在处理结构化数据过程中，不仅要对数据是否可靠、易于处理进行评估，也要对数据传输是否有效做出评价。

2 大数据技术在网络安全风险挖掘中应用的重要性及必要性

在数据量呈指数级增长的情况下，网络安全问题的复杂性与隐蔽性越来越强。为及时有效地识别网络安全风险，必须要充分利用大数据技术的分析与挖掘优势，识别网络安全风险，继而采取有效的应对措施。现对大数据技术在网络安全风险挖掘中应用的重要性及必要性进行分析，具体如下。

2.1 大数据技术在网络安全风险挖掘中应用的必要性

大数据时代下，网络安全风险呈现多样化的趋势。这些风险的存在对企业、个人乃至对一个国家的信息数据安全造成严重的影响。其中常见的风险主要包括：

第一，系统安全漏洞及数据泄露风险。从当前各个领域的发展情况看，使用的操作系统在网络安全方面都客观存在漏洞，尤其是有些行业的操作系统时间久远，加之日常维护不及时、未及时升级，一旦遭到攻击就会发生泄漏系统信息的情况，甚至还会引发系统崩溃。同时在操作系统过程中，用户会根据自己的需求设置通用服务，包括浏览网页、发送与接收电子邮件等，这些都为黑客入侵系统提供有利条件。

第二，网络病毒入侵风险。对于当代人而言，在学习、工作、生活中需要的各种信息都能通过网络获取，便捷地利用U盘存储信息，以电子邮件的方式传输信息，这些数据操作方式都会导致病毒传播与扩散。截至目前，世界范围内已经确定的病毒种类超过10万种，网络主机、服务器都是病毒的攻击对象，最严重的后果就是网络瘫痪。网络应用率的快速提高，网络技术不断推陈出新，病毒在这样的背景下也实现了迭代，类型越来越丰富。网络病毒本身具有较强的再生机制，在得不到制约情况下能大面积传播。一旦网络计算机遭到病毒入侵，尤其是服务器，系统运行就会受到阻碍，系统瘫痪现象也有可能发生，用户不能正常使用系统中的部分程序，大量数据丢失，后门、蠕虫、DDOS这几种黑客攻击手段始终没有得到有效控制，攻击方式也变得智能、多样。

第三，黑客入侵风险。在大数据背景下，黑客入侵是网络信息最大的安全隐患之一，在大数据的辅助下，黑客可以隐藏自身，对网络信息发起猛烈攻击，导致大数据的价值密度出现下降的情况，现有的安全分析工具不能及时识别黑客，给网络信息带来安全隐患。当前人们频繁使用局域网，就是建立在广播技术基础之上的以太网，在同一个网络中，处于任何一个节点的网卡都有可能截取随意两个节点之间的通信数据包，为工作交流提供方便。一般而言，企业都会在内部为连接互联网设置出入口，这就为外网黑客进入企业网络系统带来了可能，只要进入网络之后，利用一定的技术就能从网络中获取存储于每一个节点中的数据信息。同时系统本身也有漏洞，可以通过未设防的路径进入网络中，获取企业内部数据信息，或是破坏应用程序与系统文件，网络运行由此中止，企业会因为数据泄露而遭到严重损失。

第四，人为风险。大数据背景下，信息体量日益增加，信息以无法想象的速度传播，如果系统管理员没有意识到维护网络安全的重要性，风险意识淡薄，网络信息将面对严重的风险隐患。在网络信息安全管理过程中，一定要形成硬性制度，许多企业或机构就是因为网络信息安全管理制度有纰漏，工作人员技能水平较低，系统管理人员未做到严格保密，引发了泄露或丢失数据的情况，或是在数据传输、存储、管理过程中遭到不法访问或篡改，威胁到网络安全，用户不得不承受经济损失。

2.2 大数据技术在网络安全风险挖掘中应用的重要性

大数据技术在网络安全风险方案中的应用价值主要体现在：

第一，可以显著提升风险管理能力，减少网络安全风险带来的损失。随着现代信息技术的广泛应用，各类信息系统相继推出。任何IT系统都不可能保证绝对安全，每一个系统都存在一定的漏洞，也会在运行中出现新漏洞，这是风险评估的根本原因之一。通过大数据技术对系统运行的实际情况进行深入分析，全面收集各个环节的数据，借助大数据深度分析和挖掘，能从更深层次找到引发安全漏洞的原因，帮助企业组织提早发现安全事件的苗头，有针对性地采取合适的应对措施。

第二，可以有效提升网络安全风险监测能力。网络在运行过程中持续面临着威胁，网络攻击与破坏行为一直都在演变之中，只有充分了解网络安全威胁，才能采取有效的防范措施。智能化的大数据分析能力对新出现的风险、面临的威胁进行及时处理并发出警告。在系统运行中，攻击者与攻击行为层出不穷，数据泄露事件发生的概率日渐提高，安全事件发生之后要采取有效的方式进行处置。通过大数据技术的应用，可以快速分析和识别网络活动中的异常信号，及时发出报警，企业可以安排专业人员找出漏洞，压制住苗头问题，避免引发全域灾难。

3 大数据技术在网络安全风险挖掘中的具体应用

在分析大数据技术在网络安全风险挖掘中应用的重要性及必要性的基础上，下文侧重围绕大数据技术的具体应用进行探索。

3.1 基于大数据技术建构网络安全数据分析平台

网络安全平台架构由数据采集、数据存储、数据分析以及数据呈现四个主要部分构成。具体而言：

第一，数据采集层，需要运用分布式方法采集各种信息，包括使用者信息、安全信息、事件信息等。在采集数据时，同时采用Flume、Kafka、Storm这三种形式，实现了彼此之间的优势互补。Flume最大的优势就是能收集与汇总海量数据，而且能将其传送到指定位置，具备较强的实用性与可靠性。凭借定制数据，用户能从多个端口找到自己需要的数据，初步对数据进行加工并提供给数据定制方。Kafka用于流式数据加工，能起到缓存的作用。Kafka有着复杂的成分，生产者、代理者、消费者数量都比较多，能从总体上实施全方位逻辑处理，采用分布式的方式发布订阅系统，系统而全面地进行逻辑处理。

第二，数据存储层，存储是一项主要内容，除了能达到海量存储的目的以外，也能保证存储时间，还可以通过结构化、半结构化、非结构化的方式统一存储数据，运用均衡算法，能把数据信息分布于不同的文件系统之中，此举最大的优势就是在后续数据检索时不需要耗费过多的时间；平台采集数据之后，需要及时对其进行存储。例如，采用分布式文件系统HDFS由一个管理节点和好多个数据节点组成。其优势在于具备良好的容错性。数据文件可以存储在任何一个节点上，对其进行划分，把最基本的存储单位设定为64 MB。该项技术在运用中，无法在同一个时间段对多个数量的文件进行访问，如果需要进行此项操作，系统性能有可能遭到破坏。

第三，数据分析层，需要从更深层次对数据进行关联分析，解析外部情境，明确数据的基本特征，以这种方式识别安全事件，当不正常的网络行为出现在系统中，能高效地进行诊断，还可以根据需要进行信息检索与定位。

第四，数据呈现层，要以可视化的方式呈现大数据结果，采用多样化的方式对网络安全状态进行描述。

3.2 利用大数据技术感知和评估风险，及时检测潜在的网络安全风险

充分利用大数据技术的优势来提升风险感知能力和风险评估能力，对第一时间检测和应对网络安全风险具有重要的意义。

第一，对安全事件进行深度分析。为及时觉察异常行为，必须快速感知出现的各种异常行为，以便于尽早发现安全事件的苗头，识别更多的隐形漏洞。伴随着网络安全感知能力的不断增强，能有效、及时发现病毒与黑客，弄清用户行为的特征，维护网站合法性与网络内容可靠性。同时应提升网络感知能力来维护网络安全，发现异常行为并采取预防举措。例如，利用大数据技术对网络设备运行日志完整记录和分析，识别用户网络流量变化、行为特征，把握住APT攻击的特征，精准地定位网络访问的发生地点，对其是否正常做出判断。

第二，建设网络安全风险评估数据库。通过建立风险信息数据库，建构网络安全风险评估模型，为网络安全风险评估提供精准的数据支持。在风险信息数据库中对海量数据进行系统化的存储和分析。目前，安全评估数据库建设通常采用的是B/S模型，利用多个终端服务实现对海量网络信息的整合和收集。在对数据库中的数据进行处理、整合、共享时，则需要发挥出Web浏览器、应用服务器以及数据服务器等优势。通过保证网络安全风险评估数据库的正常运行，实现对数据的集中整合、统计分析。而要保证数据库平台的运行，则需要保证相关设计模型、功能等符合标准，为信息的预测模型和评估体系升级奠定坚实基础。

第三，建立和利用危险评估模块。在网络安全风险挖掘过程中，需要充分借助危险评估模块。通过对设备及系统存在的安全风险进行记录，借助危险评估模块进行层次性定性分析和定量分析，全面进行风险评估，提升安全漏洞检测的实效性。例如通过对安全入侵项目、管理记录等进行深度的对比分析，充分结合网络安全风险管理经验及科学的识别技术，有效识别风险，并提出相应的应对方案，确保危险评估模块发挥应有的作用。此外，积极地落实云安全检测技术也是提升整体效果的重要途径。通过利用云数据进行测算和编写，实现对潜在风险的预估和综合性处理，提升网络安全风险挖掘、识别和应对的效果。

3.3 加强大数据技术人才队伍建设

数据是当代社会的重要资产，是数据业发展的生命线。大数据技术在网络安全风险挖掘中应用需要一支专业化的大数据技术团队。在网络安全预防和应对中，大数据技术人才队伍建设过程中，应注重提升技术人员的人机结合工具应用能力和信息萃取技术掌握水平。因此，技术人员应具备熟悉使用大数据技术的能力，即能够结合人机结合工具，借助模型构建与工程流程相结合，采用智能化的手段高效率处理信息，从信息中萃取有价值的信息，准确识别网络系统中存在风险的节点。因此，应定期组织开展大数据人才专项培训活动，结合网络安全风险挖掘工作需求安排培训内容，提升大数据技术团队利用人机结合工具，保障网络系统的安全性，为网络系统安全预测和防范提供技术支持。

4 结语

综上所述，随着互联网的全面普及，网络安全风险挖掘与防范已成为各行各业关注的重要问题。大数据技术在维护网络安全，抵御网络安全风险的过程中，必须利用大数据分析和挖掘技术，实现对海量数据的深度分析，有效识别潜在风险。同时要依靠完善的网络安全数据库、危险评估模块以及云安全检测平台，发挥大数据优势提升网络安全风险挖掘和应对能力，不断提升网络安全水平。