基于大数据的信息管理模式研究

2022-07-26胡振宇夏琪琦王佳楠郭蓓蓓安慧

网络安全技术与应用 2022年5期

关键词：信息管理分析

◆胡振宇夏琪琦王佳楠郭蓓蓓安慧

基于大数据的信息管理模式研究

◆胡振宇夏琪琦王佳楠郭蓓蓓安慧

（河南财政金融学院河南 450046）

随着信息技术的飞速发展，大数据已被广泛应用于各个行业和各个领域。本文首先分析大数据的发展历程、定义概念和性质特征，接着在此基础上提出基于大数据的信息管理模式，最后介绍其运行流程，供相关读者参考。

大数据；信息管理；模式

全球已从工业经济时代迈入数字经济时代，数据已成为不可缺少的关键性和基础性的生产要素，并与劳动、资本、土地、知识、技术等构成新经济范式。在党的十九届四中全会中，第一次正式将数据明确为能获取报酬且能产生价值的新型生产要素[1]。重视和利用数据的价值，已成为世界各国和社会各界的共识[2]。在20世纪末，大数据开始在中国兴起，其起初只在IT互联网行业应用，此后，大数据已逐步向金融贸易、医疗卫生、生产制造、政府治理等行业领域拓展运用[3]。

中国政府高度重视大数据的培育和发展，本研究按时间顺序汇总罗列中国部分大数据政策（表1）。最新的国家政策是在2020年12月，中央网信办、国家发展和改革委员会和工业和信息化部等部门联合发布了《关于加快构建全国一体化大数据中心协同创新体系的指导意见》，其提出要加快建立全国一体化大数据中心协同创新体系。

表1 中国部分大数据政策

发布时间文件名称发文机关 2016年12月《大数据产业发展规划（2016—2020年）》工业和信息化部 2018年4月《科学数据管理办法》国务院办公厅 2018年8月《推动企业上云实施指南（2018—2020年）》工业和信息化部 2020年12月《关于加快构建全国一体化大数据中心协同创新体系的指导意见》中央网信办、国家发展和改革委员会、工业和信息化部等

1 大数据

学术界和业界一直在探讨大数据（Big Data）的定义，但对大数据的概念还未形成完全统一的界定。起初对大数据的概念是从数据量大的角度界定，但随着大数据应用场景不断增多、大数据处理技术不断发展，大数据的概念已发展为数据量和技术等在内的综合性概念。工业和信息化部电信研究院曾在《大数据白皮书（2014年）》对大数据的概念进行定义，其认为大数据是具有体量大、结构异样、时效强的数据，且是新资源、新应用和新工具的综合体。在麦肯锡公司报告《大数据：下一个创新、竞争和生产力的前沿》中提到，大数据是数据量大小超出传统信息技术软件和数据库管理工具在合理时间内的获取、存储、分析和管理能力的数据集，需特定技术才能完成其收集和应用。总之，大数据是网络与存储、数据与算法、决策与管理相交融合的产物。作为互联网时代的信息资产，大数据在被计算机处理后，具有辅助决策、优化流程等功能[4]。

大数据的特征也是学术界和业界探讨的焦点，其是大数据的外在表现，可为理解大数据的概念提供一个形象且直观的基础。目前对大数据共同特征的界定相对稳定，并将大数据的特征描述为多个V，如3V、4V、5V等。在2001年，Douglas Laney提出了大数据的3V特征，即大容量（Volume）、格式多样化（Variety）、处理速度快（Velocity）。随着大数据的发展，不断有学者对大数据特征提出新的观点，但都是按照几个“V”或新增几个“C”的模式拓展。比如，在Laney所提出3V特征的基础上新增真实性（Veracity）、有价值（Value）、可视化（Visualization）、虚拟化（Virtual）、易变化（Variability/Volatility）等特征。最终在5V的基础上增加动态性（Vitality）、有效性（Validity）、复杂性（Complexity），形成一个“7V+1C”的特征模式。

2 信息管理模式

本研究提出的基于大数据信息管理模式的框架如图1所示。其可实现全面高效的数据收集、存储、挖掘和分析，并可以利用有价值的信息，并通过信息管理帮助进行有效的决策。

（1）大数据架构

首先提出用于大数据存储、处理和分析的多维混合性的大数据架构，以作为基础支持信息管理模式的创建。其具体是构建计算机体系结构，即信息管理模式的总体架构。通过查看具体行业或领域的文献资料，以确定大数据架构的核心和非核心组件，这些组件可以反映所创建的信息管理模式的独特特征[5]。

图1 基于大数据信息管理模式的框架

（2）数据库和云仓库

接着创建数据仓库和云计算平台，其以标准数据格式统一存储从多来源收集且经数据清洗和初步处理后的高度异构的数据。这些海量数据通过并行可扩展存储的方式分别存储在集成数据库和云仓库平台中。可采用关系数据库技术来创建数据库，以有效存储有明显价值的信息。可采用分布式数据库技术来创建云仓库，以有效存储有潜在价值的信息。

（3）大数据处理模型

下一步创建大数据处理模型来处理在数据库和云仓库中获取和存储的数据，以将质量较差的数据处理成完整性、一致性、准确性和时效性都满足标准的高质量数据，从而为下一阶段大数据分析做准备。未经处理的原始数据数量庞杂、形式异样，故大数据处理本质是将低质量数据转化为高质量数据，并需要根据行业或领域权威专家的分析来提前确定数据质量的评判标准。具体可采用结构化数据缺失值替换、非结构化数据术语提取等技术和Hadoop、MapReduce等工具，来建立模型进行大数据处理。

（4）大数据分析平台

接着建立大数据分析平台，通过分析不同属性的海量数据，以从大数据中提取隐含的、事先未知但可能有用的信息，挖掘大数据中蕴含的价值。存储在数据库和云仓库中的数据是大数据分析的主要数据源。

基于大数据分析方法来构建大数据分析平台的顶层，这些大数据分析方法可概括为以下五类，如图2所示。第一类是描述性分析方法，其通过仔细检查数据，并以标准报告和特别报告的形式定义当前状态，并涉及信息的总结和描述。第二类是探究性分析方法，其是通过检测数据来确定所要解决问题的根本原因。第三类是预测性分析方法，其和预测或统计建模相关，基于监督、非监督和半监督的学习模型来确定特定事件的未来可能性。第四类是规定性分析方法，其是评估行动或指令对所要实现的目标、要求和约束的影响。第五类是预防性分析方法，其旨在识别可能存在的风险，并及时建议前瞻性的预防策略[6]。

图2 大数据分析方法

基于大数据分析技术来构建大数据分析平台的中层。这些大数据分析技术包括分类分析、聚类分析、异常分析和特定群体分析等数据挖掘技术，关联分析、预测分析、统计分析、智能推荐等深度学习技术，以及遗传算法、人工神经网络、决策树等机器学习技术。其也包括文本分析、社交网络分析和情感分析等用于文本形式数据或社交媒体数据的分析技术，和用于分析地理数据或Web数据的空间分析或点击流分析技术等。此外，基于大数据分析工具来构建大数据分析平台的底层。这些大数据分析工具包括Teradata Warehouse Miner、Mahout OLAP和Pentaho等，其可具体执行分析预测等。