基于大数据挖掘的企业智能知识管理与决策的研究

赵舰波

（西安外事学院，西安 710077）

引言

互联网以及计算机科学的高速发展产生了大数据产生，随之而来的是几乎所有的领域、所有的行业都要面对大数据时代下的转型。近年来，海量信息处理技术与工具的缺乏，导致全球近1 650家跨国企业在面对商业市场的快速变化中无法及时地做出反应，以及提出有效决策。现今，全社会都进入了大数据时代，企业要想能够正确地寻找决策支持的知识，就必须以新兴的大数据挖掘技术来重塑企业知识管理的业务流程，持续提高组织的决策水平，提升企业的核心竞争力。

一、相关概念

大数据挖掘指的是从多数据类型的、迅速变化的和数据价值密度低的海量数据中挖掘出对用户有价值的信息，提供并服务用户。大数据挖掘与传统数据挖掘比较，就技术发展背景、所面临的数据环境及挖掘的广度深度而言，大数据挖掘依赖云计算、物联网、移动互联网、移动智能终端等技术的蓬勃发展，围绕大数据的特征，分析现有数据挖掘系统的问题，借助先进技术，对庞杂的数据进行实时处理与多维分析，处理数据的范围更广阔，挖掘分析得更加深入和全面。

智能知识管理探讨如何利用可能的技术手段，构筑一套系统化方案，使海量驳杂的数据能够提供知识的智能化个性服务，提升企业对信息的利用能力，最终提高决策者的决策水平。传统的知识管理从算法、结构、过程等方面入手，研究的对象是“知识管理系统”，不重视知识本身的智能化管理，没有进行知识管理的系统研究，也没有对知识整合利用方法的设计，以至于当知识的数量过大，传统的知识管理平台就难以完成任务。所以，知识本身也要具有一定的智能，能够自我管理。

二、国内外研究现状

2014年8月，谷歌公司公布了其在建的“知识库”（Knowledge Vault）。“知识库”可以使用算法自动在网上搜集信息，利用大数据挖掘把数据转化成用户的可用知识。IBM公司使用Hadoop、流计算、智能分析等系统，整合实现了实时数据的管理，完成数据的智能分析等。

在国内，刘益等人提出了基于知识本体的知识结构，这个观点的形成使用了Perez总结的，建立本体所需的5个基本元语：概念、关系、函数、公理和实例；知识结构将知识本体中除实例之外的概念、关系等抽象要素用知识元、知识关联和知识推理证明表示，这样更利于描述知识本体的内在意义。中国人民银行征信中心与中国科学院虚拟经济与数据科学研究中心一起合作开发了中国人民银行的全国个人信用评分系统——中国评分（China Score）等。

三、研究目标

1.智能知识管理这一交叉学科的发展落后于其商业应用的现实需求，使用数据挖掘、数据分析等工具，挖掘互联网和数据库等知识源，整个过程产生了许多的模式和不同的规则。决策者无法很好地理解如此众多的潜在模式和规则，在那些能够为决策提供支持的事情上无法集中注意力和精力。企业需要使用大数据挖掘技术融合知识管理，保证决策者能够有效使用数据挖掘得到的知识，从而提高决策水平。

2.基于大数据环境，大数据是数据分析的反映，从大数据挖掘出的非结构化知识开始，经过人为主观处理，将非结构化知识转化为半结构化知识，再将半结构化知识转换为结构化知识，最后使得从事结构化决策的决策者无须了解过多的业务知识，也能够通过获得的结构化知识做出正确的结构化的决策。

3.研究现有的知识管理框架，在此基础上逐步完善智能知识管理框架，建立基于大数据挖掘的智能知识管理的理论框架。研究智能知识获取的机理，探讨智能知识获取的理论，应用新技术，提炼新算法，探索出基于大数据挖掘的智能知识管理与决策的内涵。

四、研究拟解决的问题

1.大数据环境下的智能知识管理与决策结构的改变。（1）知识机理的重新架构。基于大数据的知识发现过程与传统知识不同，是基于数据信息的知识决策。（2）决策模式的更改。不同于基于因果关系的传统决策，大数据环境下的决策模式是基于相关数据分析的决策。（3）管理模式的更改。传统的管理模式是基于业务知识的学习，也是基于实践经验的累积；而大数据挖掘是以结构化知识为研究对象的，这类知识的使用促使决策结构的改变，需要研究智能知识管理如何支持更高层次的半结构化决策和非结构化决策。大数据环境下的智能知识管理与决策结构的改变需要重新梳理理论框架，研究新技术、新算法，探讨这种改变对管理决策的影响。

2.大数据环境下的智能知识获取的方法、智能知识获取的技术。大数据研究的核心价值是从大量驳杂的知识中使用人为主观知识的转换，从而得到被管理决策者所使用的结构化知识。这个过程我们需要研究构建评价体系，对不同类型的粗糙知识选择合适的指标，完成有效性评估；研究如何将主观知识在大数据挖掘中完成量化、表达，这些主观知识涵盖了专家经验、领域知识、用户偏好等；研究包括人机交互、定性定量结合的智能知识获取技术的原理和应用；传统的数据挖掘挖掘出的是静态性的知识，探索结合领域知识挖掘模式之间的变换规律，进行深层次的挖掘，使静态知识挖掘转变为动态知识挖掘。

3.大数据挖掘时，表现出规则过载和表达解释困难的问题。大数据挖掘时的知识规则过载主要表现在深度上的过载以及数量上的过载，在深度和数量两个维度上的过载导致很难找到用户真正感兴趣的知识，从而使得用户难以获得可直接用于决策的知识。大数据挖掘时的表达解释困难表现在知识的理解性差、知识的实用性差，系统或用户使用不同的数据挖掘算法，挖掘出的知识存在较大差异的表现形式，且数据质量良莠不齐，甚至会产生知识冲突，使得表达起来非常困难。

五、研究方案

1.构建基于云计算的大数据挖掘体系结构。云计算作为大数据技术的基础支撑服务，是一种新型的具备高扩展能力和高弹性的虚拟化的计算模式，主要应用在数据存储和数据处理方面，这些特性为大数据提供了基础的存储服务，提供了高效的数据处理动力。大数据挖掘的体系架构中结合了云计算的分布存储和分布并行计算，呈现出了云计算/客户端的结构模式。大数据挖掘结合云计算，使用云计算提供的服务支持，以强大计算能力和海量的存储能力为核心，整合多种大数据挖掘、分析技术和挖掘、分析算法，形成新的挖掘云，在挖掘云中实现大数据的实时分析与挖掘，并把分析和挖掘的结果以可视化技术呈现给客户。

2.构建基于Hadoop的大数据挖掘平台。我们可以构建融合多种技术、功能的Hadoop大数据挖掘平台，平台分为数据来源、大数据挖掘平台和用户显示层。数据来源可以是结构化数据，也可以是半结构化数据，甚至是非结构化数据；大数据挖掘平台是基于Hadoop的实时数据分析、处理平台，平台可运用不同的计算模式、计算方法分析和挖掘数据内容；用户显示层以可视化的技术向用户展示数据结果或接受某种请求服务。通过构建基于Hadoop的大数据挖掘平台，完成大数据的收集、存储、计算、筛选、分析和展示。

3.研究现有知识管理体系结构，建立智能知识管理理论模型，设计并实现基于大数据挖掘的智能知识管理系统。研究现有的知识管理体系结构，找到知识的源头。原始知识来自大数据挖掘的结果，结合智能知识管理的理念，让原始知识具备智能化特点，使之能够自我更新，并从中发现深层次的知识，以此逐步建设智能知识管理理论模型。最后，以理论模型为基础使用计算机技术设计，并实现基于大数据挖掘的智能知识管理系统，使之真正能够服务于用户。

结语

大数据挖掘和智能知识管理结合，从知识管理的角度，既关注数据挖掘的过程，也关注数据挖掘的结果，从而使知识管理过程找到的是用户真正感兴趣的、可行动的及其现实世界的知识，智能化处理对用户有用的知识，挖掘、分析出自身具备智能性质的知识，自动管理这些知识的自更新、自应用，在正确的时间，以正确的方式，传递正确的知识给正确的人，提高大数据挖掘获取的知识的实用性，减少信息爆炸，以智能地支持企业有效管理决策，提高知识管理水平。

[1]吴若溪.大数据时代知识管理的新风向[J].学理论，2015，(7).

[2]吴忠.大数据时代下的管理模式创新[J].企业管理，2013，(10).

[3]邓仲华，刘伟伟.基于云计算的大数据挖掘内涵及解决方案研究[J].情报理论与实践，2015，(7).

[4]石勇，张玲玲，陈懿冰.智能知识管理发展研究[C]//2012—2013年管理科学与工程学科发展报告，2014.

[5]吴泽.大数据时代知识管理的作用和方法创新[J].图书情报导刊，2016，(1).

[6]维克托·迈尔·舍恩伯格，肯尼思·库克耶.大数据时代[M].盛杨燕，周涛，译.杭州：浙江人民出版社，2013.

[7]孟小峰，慈祥.大数据管理：概念、技术与挑战[J].计算机研究与发展，2013，(1).