基于scap网络安全大数据平台的研究与设计

◆徐文涛 吴中超

（信息工程大学 河南 450001）

基于scap网络安全大数据平台的研究与设计

◆徐文涛 吴中超

（信息工程大学 河南 450001）

随着计算机网络技术的快速发展，网络安全问题越来越突出，其中网络安全漏洞信息是网络安全的核心内容，对安全漏洞信息的管理和认识，可以促进网络安全的建设，进一步减少网络犯罪。目前漏洞信息发布平台众多，但描述标准不统一，信息冗余度较大，基于此，本文介绍以当前国际、国内权威漏洞平台数据为核心，对基于scap知识体系构建的网络安全大数据平台进行相关研究与设计。

scap；网络安全；漏洞平台

0 前言

随着当前计算机通信技术的高速发展，人们的生活越来越离不开计算机网络，但随之带来的网络安全问题也愈发凸显，如网络钓鱼、信息泄露、木马病毒、DDOS攻击等。这些网络安全问题往往是利用特定网络设备的漏洞、存在漏洞缺陷的设备没有及时更新安全设置或安全补丁的情况下出现的。目前互联网上各平台对于网络安全漏洞信息的发布往往各自为战，网络设备厂商和互联网安全漏洞平台发布的漏洞时间和描述又不尽一致。安全内容自动化协议SCAP提供了一套自动化、标准化的方法来维护连接到互联网设备的安全，它有一组标准化格式与术语规范，并且包含了相关系统的缺陷与安全配置标准化参考数据。本文介绍的基于scap网络安全大数据平台就是一个综合性漏洞信息处理平台，用来及时采集和研究相关网络系统或设备的漏洞信息及安全措施，对网络安全研究具有重要意义。

1 基于scap网络安全大数据平台的主要研究内容

1.1 标准漏洞数据库建立标准

安全漏洞信息是互联网安全技术的核心信息，描述安全漏洞的SCAP标准在国际上被越来越多的组织和机构采用。我们构建的基于scap网络安全大数据平台，全方位、多角度展示漏洞信息的关联特征和危害分级特征，采集了国际、国内主流的安全漏洞数据库19个，其中包含了NVD（美国国家漏洞库）、CVE（标准信息安全漏洞库）、USCert（美国网络安全应急响应中心）、CNNVD（中国国家漏洞库）、CNVD（中国国家信息安全漏洞共享平台）、Exploit Database、微软、Ubuntu等特定操作系统漏洞公告等。并且分析各个漏洞数据库的漏洞信息特征、漏洞信息间的关联信息，提出了基于通用漏洞编号及特定系统漏洞编号相结合的漏洞信息关联技术，并对漏洞数据库综合分析，评估漏洞信息的全面性和覆盖范围、数据的引用情况、支持SCAP情况、包含POC情况、受漏洞影响应用软件情况等，根据评估结果建立包含数据来源、字段引用、漏洞信息分析的标准数据库。

1.2 漏洞数据自动化处理分析技术

该平台首先通过数据采集模块采集各平台的漏洞信息，然后基于漏洞数据的特征字段和文本分类技术对采集的漏洞数据自动化分类处理，并保留原始漏洞信息库，依据平台漏洞数据库建立标准构建三级漏洞信息数据库。为加快索引时间，避免过大延迟，索引表建立模块采用二级索引技术对漏洞信息按照标准字段进行归类索引整理。漏洞信息数据库自动化处理平台同时构建多个功能分析模块，包括补丁统计分析模块、受影响软件信息统计分析模块，漏洞可利用级别分析模块、POC统计分析模块等，该类统计信息可以按照时间或系统版本信息进行展示或检索。整个系统各模块独立运作，自动化程度高，保证系统运行的稳定性和健壮性。

2 基于scap网络安全大数据平台的主要结构

对于一般漏洞信息处理平台而言，所提供服务的要求：（1）漏洞信息必须准确；（2）数据的完备性，包括所采集漏洞信息整体条目完整，单条漏洞信息完整；（3）漏洞信息的时效性；（4）漏洞信息发布平台提供服务的稳定性。基于scap网络安全大数据处理平台除满足以上要求外，还要有基于scap知识体系对漏洞信息的处理，因此该平台的设计主要包含了五个模块：漏洞数据采集模块，数据清洗模块，数据自动化分类处理模块，可视化检索模块，日志和异常处理模块。

2.1 数据采集模块

主要利用网络爬虫技术、数据库存储技术从互联网权威网站采集漏洞信息，将采集的原始数据存储于数据库中，这一过程需要对数据源的更新作自动化识别处理，保证采集到的漏洞数据的完整性。该模块主要是基于pythonscrapy框架技术，对不同漏洞发布平台独立分析、采集数据，有针对性地定制数据采集计划。

2.2 数据清洗模块

基于各个网站的漏洞数据的条目信息、描述信息等将原始漏洞信息依照安全大数据库建立标准进行结构化、格式化的数据清洗。目的是统一不同网站发布的漏洞信息的字段特征，便于后续的基于scap的漏洞信息知识化分析处理。其中要涉及xml文档解析技术、正则表达式匹配技术、自然语言理解技术等多种技术。

2.3 数据自动化处理模块

基于scap的知识体系对清洗过的漏洞信息按照安全漏洞信息数据库建立标准重新对不同网站漏洞信息进行关联，并在此基础上按照用户需求提取poc、漏洞可利用级别、有缺陷的应用信息等进行进一步分析处理，将处理结果及漏洞数据关联信息存储在数据库中，而且提供可扩展功能模块接口，让漏洞信息得到最大化的利用。

2.4 可视化检索模块

其目的是将平台处理过的漏洞信息高效、便捷、友好地展示给用户，并且根据该平台的用户情况，随时为用户定制展示模块。因此，该模块的实现采用基于Flask的轻量级web框架对处理过的漏洞数据信息提供可视化检索。Flask框架配置灵活，不同环境的配置也非常方便，它的blueprint能够很方便地进行水平扩展，更加便捷地增加平台展示内容。

2.5 日志和异常处理模块

搜集并分析系统各个功能模块运行时记录的日志，根据日志分析结果，判断该模块运行的状态，按照错误类别及特定信息标志进入错误处理阶段，错误处理包括改变对应模块运行方式、重启特定功能模块和按级别报警等功能，保证整个系统自动、稳定地运行，帮助系统管理员了解系统运行状态。

3 基于scap网络安全大数据平台的主要特点

3.1 拥有高质量的漏洞数据信息

该平台是基于scap标准构建的综合网络安全漏洞数据平台，数据来源于国际国内权威漏洞数据发布平台。通过设计的一套知识体系将不同漏洞平台数据加以整合、分析，构建了供科研教学和安全运维所使用的综合漏洞处理平台。

3.2 拥有分布式自动化处理机制

基于scap网络安全大数据平台的所有功能模块中，安全漏洞数据的采集模块是基础。因此，必须要保证漏洞数据的完整性和时效性。该平台在安全漏洞原始数据库建立阶段，拥有一套综合故障处理机制，有效地避免漏洞数据链的缺失，保证了漏洞数据的完整性和实效性。

3.3 拥有详尽的漏洞关联特征

安全漏洞数据库采取不同的关联算法会导致检索时有不同的效果，为了保证漏洞数据在最终检索阶段的全面性、低冗余性。平台依托于通用漏洞编号和特定漏洞编号相结合的方式建立不同网站漏洞信息的关联链，将更加详尽的漏洞信息展示给平台使用者。

3.4 拥有良好的扩展特性

该漏洞数据平台采用三级数据库构建，一级数据库是从互联网采集的原始漏洞信息库，二级数据库是通过文档解析、正则匹配、文字聚类分析的数据清洗库，三级数据库是以scap为标准的基于平台自动化分析的知识数据库。其中包含了丰富多样的网络安全漏洞分析信息。为不同领域的学术研究、网络安全运维提供多样性、完备性的数据保障。其中poc、漏洞利用代码信息、受特定漏洞影响的软件版本等信息可以应用于网络攻防平台的靶机自动化部署。

4 结论

基于scap网络安全大数据平台采集互联网上权威漏洞平台发布的网络安全漏洞信息，采用了自然语言理解、国内外网络安全信息库的最新检索等关联技术，并在基础数据集上进行知识抽取和特定安全分析，构建出具有知识体系分类的网络攻防知识库，满足不同安全人员的从业要求，为网络安全领域的科学研究和安全运维提供了全面、系统的信息支撑。

[1]张玉清, 吴舒平.国家安全漏洞库的设计与实现[J].通信学报，2011.

[2]张力.引入SCAP标准提高系统配置安全[J].信息安全与技术，2010.

[3]特赛克,张力. SCAP标准简介[J].中国信息安全，2011.

[4]王甜,夏斌伟,徐辉等.信息系统安全等级测评配置检查工具研究与实现[J].计算机应用与软件，2014.

[5]王谦,潘辰.基于大数据时代下的网络安全漏洞与防范措施分析[J].网络安全技术与应用，2017.