大数据分析方法在企业档案管理中的应用

王毅+李晶伟

摘 要：随着大数据研究逐渐深入，企业创新决策越来越依赖于数据分析，而企业档案数据资源为企业这一决策提供了数据基础。因此，在此背景下企业档案管理中运用大数据分析方法具有重要性意义。本文详细的阐述了数据质量管理、可视化分析、语义引擎、数据挖掘、趋势预测分析等五种大数据分析方法在企业档案管理中的应用及注意问题。

关键词：大数据分析方法；企业档案管理；档案数据资源；企业创新决策

Abstract： With the gradually go deep into the research of big data， the enterprise innovation decision-makings are more and more dependent on data analysis， and the enterprise archive data resources provide the data base for enterprises these decisions， therefore used of big data analysis in Enterprise Archive Management has important significance. This paper detailed expounds the Data Quality Management， Visualization Analysis， Semantic Engines， Data Mining， Tendency Prediction and so on five big data analysis methods in the application of Enterprise Archive Management and problems that deserve attention.

Keywords： Big data analysis method； Enterprise Archive Management； archives data resources； enterprise innovation decision-making

2015年9月5日，我国政府发布了《促进大数据发展行动纲要》，旨在促进大数据和云计算、物联网、移动互联网等新一代信息技术的融合，探索大数据和传统产业发展新模式，推动传统产业转型升级和新兴产业发展。正如大数据专家舍恩伯格所说：大数据正在改变人们的生活和人们理解世界的方式，更多的变化正蓄势待发，大数据管理分析思维和方法也开始影响到我们企业档案管理的发展趋势。

1 大数据分析方法在企业档案管理中应用的背景

1.1 大数据研究逐渐纵深化。自从2008年science杂志推出Big Data专刊以来，国内外对大数据的研究如火如荼。经过一段时间的探索，“目前大数据领域的研究大致可以分为4个方向：大数据科学、大数据技术、大数据应用和大数据工程。而人们对于大数据技术和应用两个方面的关注比较多”[1]。正如2012年奥巴马政府投入2亿美元启动 “大数据研究和发展计划”的目标所显示的那样，目前大数据的研究逐渐向纵深化方向发展，着重从大型复杂的数据中提取知识和观点，帮助企业实现从“数据分析能力”向“数据决策能力与优势”的转化。

1.2 企业创新决策越来越依赖于数据分析。对于企业技术创新者而言，目前更多的企业高层越来越依靠基于数据分析的企业技术创新决策。靠传统的经验方法去决策往往是滞后的，因此，大数据分析方法作为先进的定量分析方法，目前出现的一些先进数据分析方法与技术势必会对企业的运行管理、生产业务流程、管理决策产生飞跃式的影响。大数据分析方法也成为企业档案数据分析、技术创新决策的有效工具。

1.3 企业档案为企业创新决策提供数据基础。对于一个企业而言，使用的数据资源必须具有真实性可靠性。“企业档案是在企业的各项活动中直接形成并保存备查的各种文献载体形式的历史记录”[2]，企业档案是企业在生产、经营、管理等活动中形成的全部有用数据的总和。除了发挥着凭证参考维护历史真实面貌的作用之外，企业档案更“是企业知识资产和信息资源的重要组成部分”[3]，具有知识创新性、不可替代性，为企业技术创新决策提供数据基础。“特别是在当前大数据背景下，企业档案数据资源的开发与建设对企业经营决策的制定与适应市场竞争环境起到关键性作用。”[4]

在上述背景下，将大数据分析方法应用在企业档案管理中具有重要性意义：不仅拓展企业的管理决策理论，同时帮助企业运用所拥有的档案数据资源洞察市场环境，发现新的竞争对手，进行自我总结，做出科学决策，使企业紧紧抓住大数据时代带来的市场机遇。

2 大数据分析方法在企业档案管理中应用的方式

大数据分析方法在企业档案管理中的实现方式即是将大数据分析方法运用在企业档案信息分析挖掘上。它贯穿企业数据处理的整个过程，遵循数据生命周期，广泛收集数据进行存储，并对数据进行格式化预处理，采用数据分析模型，依托强大的运行分析算法支撑数据平台，发掘潜在价值和规律并进行呈现的过程。常见的大数据分析方法“其相关内容包括可视化分析、数据挖掘、预测分析、语义分析及数据质量管理”[5]。

2.1 数据质量管理提升企业档案数据资源品质。大数据时代企业档案数据资源呈现出4V特点，这使得企业档案数据很容易出现不一致、不精确、不完整、过时等数据质量问题。基于数据生命周期对企业档案数据资源进行数据质量管理分为数据预处理、数据存储、数据使用三个阶段。在数据预处理阶段，通过ETL工具即数据经过萃取（Extract）、转换（Transform）、加载（Load）至目的端这几个预处理过程达到数据清洗和格式化的目的。目前Oracle公司的Data Integrator和Warehouse Build、微软的Dynamics Integration及IBM的Data Integrator都是比较常见的ETL工具。在数据存储与使用阶段，针对目前企业档案大数据呈现出4V的特点，传统关系型数据库在数据存储与数据管理方面已经难以胜任，非关系型数据库以其高吞吐量、可拓展性、高并发读写、实时性等特性能够满足数据存储与管理的要求。目前应用最广的是并行处理系统MapReduce和非关系型数据库比如谷歌的Big Table和Hadoop的HBase。将ETL工具移植入云计算平台系统，将会大大有助于完成数据清洗、重复对象检测、缺失数据处理、异常数据检测、逻辑错误检测、不一致数据处理等数据质量处理过程，从而保证企业档案数据资源的数据质量。

2.2 可视化分析提升企业档案数据资源可理解性。

“大数据可视分析是指在大数据自动分析挖掘方法的同时，利用支持信息可视化的用户界面以及支持分析过程的人机交互方式与技术，有效融合计算机的计算能力和人的认知能力，以获得对于大规模复杂数据集的洞察力。”[6]那么企业档案数据资源的可视化分析可以理解为借助可视化工具把企业档案数据资源转化成直观、可视、交互形式（如表格、动画、声音、文本、视频、图形等）的过程，便于企业经营者的理解利用。

以2015年2月15日最新版的“百度迁徙”（全称“百度地图春节人口迁徙大数据”）为例，该项目让我们近距离了解到大数据可视化。它利用百度后台每天数十亿次的LBS定位获得的数据进行计算分析，全程展现中国人口迁徙轨迹，为政府部门科学决策提供科学依据。受该项目启发，企业可将拥有不同类型的档案信息进行可视化，比如进行企业档案的网络数据可视化、时空数据可视化、时间序列数据可视化、多维数据可视化、文本数据可视化等[7]。以文本数据可视化为例，目前典型的文本可视化技术标签云，可以将档案文本中蕴含的主题聚类、逻辑结构、词频与重要度、动态演化规律直观展示出来，为企业决策提供依据。另外，常见的信息图表类可视化工具主要有Google chart、 IBM Many Eyes、Tableau、Spotfire、Data-Driven Documents（D3.js）等；时间线类可视化工具主要是Timetoast，、Xtimeline、Timeslide、Dipity等；数据地图类可视化工具主要有Leaflet、Google fushion tables、Quanum GIS等。这些新技术都为企业档案数据资源可视化提供了科学工具。

2.3 语义引擎实现企业档案数据资源的智能提取。大数据时代全球数据存储量呈激增趋势，传统的基于人工分类目录或关键词匹配的搜索引擎（谷歌、百度等）仅仅能够进行简单的关键词匹配，用户无法得到非常准确的信息，检索准确率并不高，而且检索结果相关度较低，检索结果缺乏引导性。为提供给用户高质量的检索结果，改善用户搜索体验，提高效率，实现智能提取，语义搜索引擎应运而生。“语义引擎是随着语义网的发展，采用语义网的语义推理技术实现语义搜索的语义搜索引擎。”[8]它具备从语义理解的角度分析检索者的检索请求，能够理解检索者的真正意图，实现信息智能提取。对语义分析可以采取自然语言处理方法进行概念匹配，提供与检索者需求相同、相近或者相包含的词语。目前存在基于本体的语义处理技术，它以本体库作为语义搜索引擎理解和运用语义的基础。对于企业而言，将语义引擎分析方法与协同过滤关联规则相结合，可以挖掘用户的需求，提供个性化的服务。比如亚马逊公司通过对用户检索的语义进行分析推理，结合协同过滤关联规则，为用户提供相近需求的产品，提升自己的经济效益。对于一份人事档案而言，语义引擎也能分析出该份人事档案中的某人的职务、级别，从中提取出姓名一职务一级别一时间等关键信息，提高检索准确率和效率，实现智能提取。

2.4 数据挖掘发现企业档案数据资源的隐性价值。“数据挖掘又称数据库中的知识发现”[9]。简而言之，数据挖掘就是企业从数据集中发现知识模式，根据功能一般分为预测性模式和描述性模式，细分主要有分类与回归模型、聚类分析模型、关联规则模型、时间序列模型、偏差检测模型等。主要挖掘方法有神经网络方法、机器学习方法数据库方法和统计方法等。

数据挖掘是大数据分析方法的核心。对于企业而言，数据挖掘的档案数据资源应该由两部分组成：一是企业正常运行管理过程中所形成的档案数据资源，通过运用分类、聚类、关联规则等方法对企业内部的数据进行挖掘，发现潜在模式，为企业技术创新人员决策提供支持。比如在2004年全球最大的零售商沃尔玛在分析历史记录的顾客消费数据时，发现每次季节性飓风来临之前，手电筒和蛋挞的数量全部增加。根据这一关联发现，沃尔玛公司会在飓风用品的旁边放上蛋挞，提升了企业的经济效益；二是企业在运行过程中遗存在互联网上的数据，通过网络舆情及时跟踪可以获取市场最新动态，为企业调整服务模式、市场策略、降低风险提供依据。比如Farecast公司运用数据挖掘，从网络抓取数据来预测机票价格以及未来发展趋势，帮助客户把握最佳购买时机，获得较大成功。

2.5 趋势预测分析实现企业档案数据资源的价值创造。“预测分析是利用统计、建模、数据挖掘工具对已有数据进行研究以完成预测。”[10]预测分析的方法分为定性与定量分析两种方法：定性分析如德尔菲法以及近年来人工智能产生的Boos-ting·贝叶斯网络法等；定量分析法一般从形成的历史数据中发掘数据模型达到预测效果，如时间序列分析模型、分类与回归分析模型等。

企业档案数据资源预测分析是在企业档案数据资源数据挖掘的基础之上，发现适合模型，将企业档案数据输入该模型使得企业技术创新人员达到预测性的判断效果，实现价值的创造。一个典型的例子即是市场预测问题，企业技术创新者可以根据档案数据预测某件产品在未来六个月内的销售趋势走向，进而进行生产、物流、营销等活动安排。具体来讲企业可以通过数据时间序列分析模型预测产品销售旺季和淡季顾客的需求量，从而制定针对独特的营销策略，减少生产和销售的波动性，获得利润和竞争优势。预测分析在大数据时代彰显出企业档案数据资源独特的魅力。

3 大数据分析方法运用于企业档案管理中应当注意的问题

3.1 成本问题。大数据分析需要依靠分析工具和运算时间，特别是在复杂的企业档案数据资源中采用相关大数据分析工具的科技成本还是很高的，要以最少运算成本获得更有价值的数据内容。合理选择大数据分析工具不光可以节省运算成本而且能够更快速获取盈利增长点，同时在大数据分析和企业档案数据资源的存储成本方面也要适当的控制在合理的范围内。既要保证大数据分析质量，又要降低企业档案存储成本是大数据分析方法运用到企业档案管理中的重要原则。

3.2 时效问题。“大数据的动态性强，要求分析处理应快速响应，在动态变化的环境中快速完成分析过程，有些甚至必须实时分析，否则这些结果可能就是过时、无效的”。[11]由此可见，影响大数据分析的重要因素就是时效性问题。“大数据数据分析的核心内容之一是数据建模”，[12]数据分析模型要不断的更新适应数据的动态变化。如果模型落后于数据的变化，那数据分析只能是失效的。同时由于经济环境、政治生态、社会文化等因素不断变革，企业档案数据的收集也会产生新的问题。只有不断加强对这些数据的实时监测和有效分析，才能更好的识别出数据变化中的细微之处，建立与之相适应的数据分析新模型。

3.3 情感问题。“大数据的另一个局限性在于它很难表现和描述用户的感情。”大数据分析方法在处理企业档案数据方面可以说如鱼得水，大数据分析是一种科学的机器运算方法，无法去实现人文价值提取，比如如何从企业档案数据资源中提取企业文化，这更需要人的情感直觉去实现，而严谨的科学数据是无法实现的。因此，我们在热衷于大数据分析方法的量化结果时，同时也不要忽略在传统企业档案管理中的那份人文精神。

总之，大数据时代环境下，在企业档案数据资源开发利用中应用大数据分析方法具有重要意义和多种方式。通过大数据分析方法的应用，可以帮助企业创新管理者从所拥有的海量档案数据中提取有用的知识和观点，发掘隐藏在信息背后潜在的规律模式，推动企业管理优化，决策科学，提升自身技术创新能力，同时合理解决好大数据分析方法在成本、时效、情感等方面的问题，进而使企业最终在激烈的市场竞争中立于不败之地。

*本文系2016年度辽宁经济社会发展立项课题《辽宁省企业技术创新与档案大数据分析方法研究》（项目编号：2016lslktzdian-30）前期研究成果之一。