大数据知识服务关键要素与实现模型研究*

官思发

大数据知识服务关键要素与实现模型研究*

官思发

知识服务是需求导向和创新驱动的、高度知识密集型的服务类型，大数据时代的来临为知识服务既带来了新的机遇也带来了新的挑战。文章对大数据知识服务的影响因素研究现状进行梳理，总结出大数据知识服务的五方面关键要素并深入分析，在此基础上对宏观上构建大数据知识服务实现模型的理论基础和意义进行探讨，并构建了大数据知识服务实现的概念模型。

大数据 知识服务 关键要素 知识服务模型

0 引言

随着信息技术的推动和知识需求的进一步扩大，知识服务成为不可替代的服务类型。张晓林认为知识服务应以信息知识的搜寻、组织、分析、重组的知识和能力为基础，根据用户的问题和环境，融入用户解决问题的过程之中，提供能够有效支持知识应用和知识创新的服务[1]。大数据时代的来临为知识服务带来了巨大的变革与重组。大数据知识服务是以大数据知识服务人才为核心，以大数据思维和理念为主线，利用大数据知识服务平台和大数据资源为条件保障，对知识服务需求进行准确抓取，始终以大数据理念和技术为支撑最终实现知识服务的全过程的新型服务。

大数据为知识服务带来了巨大的机遇，同时也为知识服务带来了较大的挑战。大数据作为新一代信息技术产业的重要内容，将新兴的云计算技术应用于经济、金融、政治、医疗、生物和科学研究等领域的大数据分析中，在较短的时间以较低的成本实现数据分析目标。在情报分析和市场研究等领域，将数据分析成果形成知识产品提供服务已经成为情报分析的热点研究。但从宏观上对大数据知识服务的关键要素的分析及要素之间的关联关系方面的研究目前还比较匮乏。本文从知识服务的关键要素出发，结合大数据对知识服务带来的变革和影响，探讨了大数据知识服务的关键要素构成和实现模型。

1 国内外研究现状

随着大数据的快速生成和累积，知识服务机构在开展知识服务过程中必然选择基于大数据资源的储备和分析去完成知识服务任务。大数据为新的信息技术环境下的知识服务带来机遇，同时带来了诸多挑战。如何应对大数据环境下各种结构化、半结构化和非结构化数据的多维处理就是其中的一大难题。本文对已有大数据知识服务的研究归纳为如下三个方面：

(1)大数据知识服务理念和体系研究。张兴旺等人组织了大数据知识服务体系的专题研究[2]。其中，秦晓珠等对大数据知识服务的内涵进行了阐述，详细分析了大数据知识服务的典型特征，并结合大数据知识服务模式下对各种类型大数据管理和处理需求，构建了大数据知识服务概念模型[3]；李晨晖等对大数据知识服务运行机理、平台构建体系架构及所涉及的关键技术进行了研究，并系统描述了大数据生态系统在图书馆中的应用过程[4]，对大数据知识服务的框架体系进行了初步的尝试和探索。

(2)大数据知识服务方法研究。数据的快速增长对大规模数据挖掘和知识发现提出了新的挑战，粗糙集理论被成功引入数据挖掘的知识获取中，Zhang Junbo、Wong Jian-Syuan和Li Tianrui等人提出基于并行大规模粗糙集的运用MapReduce的知识获取方法，从大数据中挖掘有效知识，并在Hadoop、Phoenix和Twister三个MapReduce运行平台上试验，证明了所提并行方法的有效性[5]。蒋勋和刘喜文认为对大数据进行数据清洗是最终获取知识的有效途径，给出了数据清洗的基本框架模型及其局限，从而进一步提出非清洁数据的清洁度的机制[6]，对大数据环境下面向知识服务的数据清洗进行了深入的研究。刘海鸥将用户情景信息引入个性化推荐过程，结合云计算技术提出了一种大数据知识服务方法[7]。事实上，大数据知识服务是一项复杂的系统工程，涉及到众多的复杂问题，尤其是非结构化数据的处理技术仍然不够成熟，大数据分析的深入探索与实践仍需更多的付出与努力。

(3)大数据知识服务应用研究。大数据知识服务本身是一项高智力、密集型、复杂度较高的服务领域，Greco Albert N和Aiss Chelsea G认为大数据与预测已经形成了一个不小的产业市场，在出版行业，在线零售商利用大数据系统捕获了大量的消费者及其购买行为的数据，然后运用预测分析和协同过滤系统为消费者提供购买建议，并建议加拿大和美国的大学出版社建立大数据系统，不断采集销售和营销数据，利用大数据和预测分析获取有效知识[8]。Cai Dongfeng、Bai yu和Zhang Guiping提出了基于大数据处理技术的知识服务平台，指导了工业化和信息技术应用融合项目在中国沈阳的实施[9]。国内外已经开展大数据情报分析和知识服务应用方面的探索，而大数据知识服务的实践价值将会催生更多的知识服务应用领域和模式的创新。

总体看，目前的研究对大数据知识服务的概念内涵和大数据知识服务平台技术框架等进行了初步的探索，也有研究人员对大数据处理的具体技术或方法进行了一定的研究，但仅仅是单独从技术框架、数据清洗、具体方法等角度研究大数据知识服务中的一个或某些具体问题，缺乏从宏观上对大数据知识服务所涉及的主要因素进行统筹规划的研究，不能从宏观上指导知识服务机构开展大数据知识服务的顶层规划与内容设计。

2 大数据知识服务关键要素分析

图书馆知识服务是国内知识服务的重要研究方向，戚建林从社会发展环境、信息政策法规、知识服务理论、知识服务人才四个方面论述了图书馆知识服务的主要影响因素，并对未来知识服务进行了展望[10]。王曰芬、吴婷婷和张蓓蓓从要素结构因素和关联结构因素两个角度，对图书情报机构知识服务的影响因素进行了分析和调研。内部要素结构主要指实物资源、人力资源、财务资源和无形资产；外在关联因素主要指用户、竞争者、社会的科技环境、人文环境、经济环境、政策法规等[11]。司莉认为实现知识服务的关键要素在于知识服务用户的迫切需求、知识服务人员成为内容主题专家、建设基于本体的知识库与交互功能较强的知识服务平台，还必须有行之有效的战略学习机制[12]。从现有的文献中，本文梳理出知识服务需求、知识服务制度政策、知识服务专业人员、知识服务资源和知识服务平台五大要素作为知识服务的关键要素。

大数据知识服务是由于大数据技术的出现对知识服务带来的新的变革与发展。大数据知识服务构成要素仍然与传统知识服务一样，受知识服务需求、知识服务制度政策、知识服务人员素质、知识服务资源建设和知识服务平台等因素制约，它们的区别在于，大数据技术将对这五方面的因素进行全新的变革，进而为知识服务全流程和业务服务模式等带来彻底的变革与重组。

在开展大数据知识服务过程中，知识服务需求、大数据资源、专业知识服务人员、知识服务技术平台和知识服务制度规范构成大数据知识服务的关键要素。

2.1 大数据知识服务需求

大数据知识服务需求可以从两个层面去理解，一是传统知识服务需求，二是由于大数据技术驱动产生的知识服务需求。传统的知识服务需求用以往的知识服务经验或实践模式能够较好地应对，不属于大数据知识服务的主要内容。而大数据知识服务的重点和难点在于如何通过用户的行为轨迹或活动规律，挖掘出用户潜在的知识服务需求，这也体现了前文描述的大数据不光是对用户需求的变革，而且是对用户服务需求、过程以及效果等全过程的革新。既要从大数据记录中挖掘用户的需求，也要通过大数据实现用户的需求。在市场经济环境下，服务科学尤其强调用户的主动地位和核心主导作用，大数据知识服务作为知识密集型的服务之一，以大数据分析技术为手段，挖掘出用户的真实需求，并最终满足用户需求，这将是知识服务最理想的状态。

大数据对知识服务的所有环节进行了变革，使大数据知识服务需求具有数据密集性、隐蔽性和动态性等特征。大数据环境下，用户知识服务需求首先具有数据密集性的特点，在大数据时代，要想通过传统的小数据分析方式完成知识服务已经成为历史，用户知识服务需求已经必然地与大数据的搜集、组织和分析挖掘相联系，数据密集型的知识服务已经或正在改变知识服务模式与过程。在海量知识用户构成的服务对象中，单个用户的知识服务需求有时候并未直接表达出来或很容易被发现，而是隐藏在用户的行动轨迹、用户浏览历史或其社交网络环境中，需要对用户的网络行为进行跟踪分析和挖掘才能找出用户的知识服务需求。大数据知识服务需求的动态性体现在数据环境的快速变化，使得用户知识需求随之改变，以及用户所处角色、所在社会媒体和所需完成的任务或研究课题等的快速改变，都要求对知识服务内容进行动态更新。

知识需求是知识服务的前提，在产品开发需求方面，有研究提出“在全球化分布式产品成功开发过程中，知识工程起着最核心的作用，通过考察全球软件开发不同利益主体的知识需求，能够帮助确立全球软件开发项目成功的经验，并提出了成功开展全球软件开发项目的条件”[13]，对知识需求的获取将影响知识服务的整体效果。大数据知识服务需求的数据密集性、隐蔽性和动态性就决定了大数据知识服务需求获取的复杂性。从实践来看，可以从两个方面获取用户的知识服务需求，一方面是直接获取，例如可以向用户询问获取知识需求；另一方面是间接获取，如可以通过对用户网络行为的分析获取用户的知识需求。

2.2 大数据知识资源建设

从信息管理理论看，信息服务的前提是有足够的信息资源保障。肖希明认为信息资源建设是人类对处于无序状态的各种媒介信息进行选择、采集、组织和开发等活动，使之形成可资利用的信息资源体系的全过程[14]。同样，在大数据知识服务的背景下，大数据知识资源就是大数据环境下开展知识服务最基本的条件保障。只有在资源充足的条件下，才有可能在知识服务人员的知识加工和情报分析基础上形成知识产品，满足大数据环境下的知识需求。

大数据知识资源建设具有数据规模大、数据结构复杂、数据价值密度低等特点。2013年中国产生的数据总量超过0.8ZB(相当于8亿TB)，2倍于2012年，相当于2009年全球的数据总量。预计到2020年中国产生的数据总量将是2013年的10倍，超过8.5ZB[15]。这些数据资源为大数据环境下的知识服务提供了重要的资源保障。知识资源结构的复杂性是大数据资源建设最关键的问题之一。在资源建设过程中，可以从结构化资源、非结构化资源和半结构化资源的分类入手进行资源建设。大数据知识资源第三个特征即数据价值密度低，大数据知识资源的价值隐藏在众多数据之中，局部数据价值含量较低，甚至与总体数据包含的价值信息相悖。

大数据环境下，信息源的自动生成主要由各种传感器和RFID等手段实现。吴斌等设计了一种采集传感器节点数据，对其处理形成知识并提供API接口供上层服务调用的方法[16]。通过传感器自动捕获数据、搜集社交网络中用户生成数据和信息系统主动采集数据是大数据的三种主要产生方式。大数据知识服务的资源建设是没有尽头的，只要社会向前发展，用户的知识服务需求也会随之动态更新和演变，知识服务机构的资源建设和储备就必须紧跟用户需求和时代发展，尤其是在大数据理念和技术支持下。相对来说，知识服务机构所累积的信息资源越多越好，因此，在实践中，知识资源的建设需要各个知识服务机构在考虑自身资源和能力的基础上，持续不断地投入人力、财力和物力，从而为大数据知识服务提供资源支持。

2.3 大数据知识服务专业人员

知识服务专业人员是知识服务的核心，知识服务质量很大程度上取决于知识服务人员的专业化水平。尤其是在大数据环境下，对知识服务人员的专业化水平要求更高，不仅要求知识服务专业人员熟悉文献资源和数字信息资源的组织和利用，而且在计算机能力和数据统计分析能力等方面都对知识服务人员提出了新的更高的要求，知识服务机构需要多方面的高水平人才共同组建专业化的知识服务团队。如英国国防科技研究院大力发展深度信息服务和现场专家服务，营造适于员工学习交流的软硬件环境和学习文化的氛围，培养了一批由信息专家、信息科学家和知识代理组成的知识服务队伍[17]。

知识服务专业人员在进行知识加工和情报分析的过程中，最关键的就是知识服务能力的培养和体现。知识构建能力是知识服务能力的根本保障，从大量文献或信息中所包含的知识元及相关信息间的链接，将产生极大的知识增值。在大数据环境下，专业人员通过对知识元提取和标引，基于关联数据进行知识组织、基于本体的语义知识挖掘、知识推送与个性化推荐，实现大数据环境下全流程的知识服务。随着云计算技术的日益成熟，探索基于MapReduce的分布式知识处理平台技术，并整合大数据分析的具体方法，进而将其完全融入满足用户知识需求的全过程，形成动态可控的知识服务所需的知识产品与服务生成机制，将极大地提升大数据知识服务人员的知识服务能力。

2.4 大数据知识服务平台

大数据知识服务平台是一个大数据获取、存储、组织、分析、决策服务资源和服务能力共享、交易和协作的智慧平台[4]。大数据知识服务平台保障大数据知识服务全生命周期过程服务的有效运作。从大数据知识服务的宏观视角来看，本文认为大数据知识服务平台是集用户知识服务需求采集、大数据获取与知识组织、大数据分析与挖掘、大数据服务提供与推荐、大数据知识服务评价与反馈、知识服务专业人员与用户沟通互动等功能于一身的综合知识服务系统。

从实践来看，知识服务平台积累了海量的结构化、半结构化和非结构化的数据资源，对这些资源的充分挖掘和深度分析，将极大地改善知识服务的水平。从知识服务研究和平台建设实践来看，集成多项知识服务技术和功能的平台是大数据知识服务平台的主要建设思想。在分析当前知识服务系统的基础上，司莉从知识构建角度提出知识服务的四项关键技术：知识元标引与链接技术、主动推送的知识导航与服务技术、支持语义的知识检索技术、知识重组与整合技术[12]，这些技术同样适用于大数据环境下的知识服务。从目前的技术发展来看，知识服务平台具体应该包括针对不同数据源的智能采集终端与技术、数据格式标准和数据存储系统、数据清洗与处理技术、数据挖掘与知识发现技术、预测性分析与个性化服务等技术构成的完整技术体系。在大数据环境下，由于数据类型的多样性和复杂性，需要从大数据本身出发，构建能够处理大数据的分析模型和知识发现技术，并结合用户个性化的需求对大数据进行深度挖掘，以更好地保证用户需求的实现。尤其是在社交媒体的冲击下，信息传播的广度和深度都得到巨大的提高，社会网络大数据成为一种主要的大数据来源。从社会网络的视角分析和满足用户的知识服务需求，并已经取得了一些重要成果，这将是大数据知识服务平台的发展趋势。

2.5 大数据知识服务制度规范

大数据知识服务规范是从制度设计的角度对大数据知识服务全生命周期进行约束和保护的重要手段。对大数据知识服务从战略规划的制定入手，明确知识服务发展的短、中、长期目标，能够更好地指导知识服务活动的开展。而其他一些针对大数据背景的技术标准的制定和过程管理规范等同样是大数据知识服务顺利进行的必要保证。

大数据属于新兴的技术领域，为知识服务过程中知识产权的管理和用户隐私保护都带来了巨大的挑战。大数据环境下，知识资源通过社交媒体、移动互联网等渠道快速地传播，如果不对这些渠道下资源的传播进行合理规范，将不利于知识服务和知识创新。本文认为，应该从大数据知识服务战略规划的顶层设计出发，制定大数据知识服务平台建设的标准、大数据知识服务的过程管理制度和大数据知识服务的评价反馈机制，从而形成适应大数据知识服务全过程的政策制度支撑体系，确保大数据知识服务稳定运行。

3 大数据知识服务实现概念模型构建

3.1 构建的理论基础

“知识采集-知识处理-知识存储-知识服务-知识转换”共同构成了知识服务供应链结构，对整个知识服务具有宏观上的统领作用和指导意义。此外，从情报研究的角度来看，大数据知识服务是情报研究产品或结果的应用过程。在情报理论方面，经典的竞争情报过程模型——Herring模型，由竞争情报规划、情报源采集、情报加工、情报服务与情报反馈5大阶段构成，与前文的知识服务供应链具有一定的对应关系，因此，知识服务和情报研究内在的具有较强的关联关系，能够用知识服务供应链和竞争情报Herring模型等对大数据知识服务进行理论指导，同时，应用大数据思维对情报研究进行革新，结合知识服务供应链对服务过程中所有环节与关键要素进行合理规划，能够提高大数据知识服务的效果。

3.2 构建的意义

大数据知识服务模型是大数据知识服务的核心指南，模型对大数据知识服务过程中涉及的关键要素进行了梳理，并对关键要素之间的关联关系进行一定的呈现和展示，能够指导知识服务活动的顺利开展。本文将在大数据知识服务关键要素梳理的基础上，对大数据知识服务的概念模型进行初步勾画，供知识服务机构借鉴和参考。

大数据知识服务要素是大数据知识服务模型和开展大数据知识服务实践的基础。大数据环境下的知识服务是一项系统工程，需要在科学的大数据知识服务战略规划指导下，通过大数据知识服务要素之间的协同配合，共同创造开展大数据知识服务的需求采集机制、资源保障机制、人才支持机制、技术平台支撑和制度规范机制，从这五大方面构建基于大数据知识服务全生命周期的协同工作模式。其中，掌握大数据分析的专业知识服务团队是大数据知识服务得以开展和顺利实现的最根本保证。本文从大数据知识服务构成要素的视角，对大数据知识服务模型进行构建，其中，对知识服务要素之间的关联关系进行了高度概括，以知识供应链和竞争情报Herring模型为主线，通过大数据分析技术完成知识深度组织和挖掘。大数据知识服务的顶层理论设计和实践指南，丰富了大数据知识服务的理论内容。

3.3 构建过程与实现

大数据知识服务是一项高度智力密集型和技术密集型的工作，需要知识服务机构投入大量的人力、财力和物力进行相关资源的建设和条件保障。如图1所示，知识服务需求、知识服务资源、知识服务平台、知识服务制度和知识服务专业人员共同构成了大数据知识服务五个维度方面的核心内容，是大数据知识服务全生命周期过程中的主体框架。在传感器终端的自动生成、用户主动生成和业务处理系统被动生成这三种方式交替作用下，快速地累计了海量的数据资源。大数据平台首先需要实现对这些海量数据的采集和存储，这些资源构成了大数据知识服务的前提。由于资源的类型和复杂度等差异，对海量数据资源进行分类和清洗处理是大数据知识服务平台的基础性工作，从中可得到不同的资源存储供分析挖掘使用。通过知识元标引和链接分析、知识重组与整合技术对知识资源进行深度组织，并通过支持语义的知识检索技术和关联数据技术实现内部资源与外部资源的融合，将进行深加工所得的知识资源作为组织的知识资产存储在知识库中，在组织内部按不同的知识服务需求最大限度地进行授权和共享，运用社交媒体平台进行知识服务导航与推送，如RSS订制服务、Wiki、Blog。

图1 大数据知识服务要素关系框架模型

在知识用户的知识服务需求的牵引下，知识服务专业人员在知识服务的各项制度规范的约束和监督下，利用内部知识库积累的知识资源和外部大数据作为信息源，在大数据知识服务平台集成的多项知识服务技术的支持下，以知识用户的需求为导向，对大数据资源进行有序加工和深度分析，实现知识服务全生命周期的管理和服务。

4 结语

大数据知识服务是建立在对大数据的有效处理和预测分析的基础上的服务，云计算技术是进行大规模数据处理和复杂计算的强有力的技术手段，Ibrahim Abaker Targio Hashem，Ibrar Yaqoob，Nor BadrulAnuar等人对基于云计算的大数据定义、特征和分类进行了探讨，并对大数据和云计算的关系进行了辨析，也讨论了大数据存储系统和Hadoop技术的关系，并提出包括可扩展性、数据有效性、数据整合、数据清洗、数据质量、数据异构性、隐私、法律和政策规范以及治理方面的问题[18]。大数据时代对知识服务而言既是机遇也是挑战，知识服务机构应该以知识用户的大数据知识服务需求、专业的大数据知识服务人员、大数据知识服务资源建设、大数据知识服务技术平台和大数据知识服务制度规范五位一体的大数据知识服务实现机制为核心，从这五个方面进行大数据知识服务核心要素的构建和完善，从而保证大数据知识服务的有效运作与实现。要真正实现大数据知识服务，必须对知识服务的每一个过程和环节进行深入的研究与实践，笔者只是对大数据知识服务的宏观框架和核心构成要素进行了梳理，尚缺少对知识服务资源建设、人才培养、方法技术、政策制定等方面的具体而深入的研究，今后需要结合实践对这些内容进行补充和完善。

[1]张晓林.走向知识服务：寻找新世纪图书情报工作的生长点[J].中国图书馆学报，2000，26（5）：32-37.

[2]张兴旺.大数据知识服务体系研究[J].情报资料工作，2013（2）：11.

[3]秦晓珠，李晨晖，麦范金.大数据知识服务的内涵、典型特征及概念模型[J].情报资料工作，2013（2）：18-22.

[4]李晨晖，崔建明，陈超泉.大数据知识服务平台构建关键技术研究[J].情报资料工作，2013（2）：29-34.

[5]JunboZhang，JianSyuanW，TianruiLE.Acomparison ofparallel large-scale knowledge acquisition using rough set theory on different MapReduce runtime systems[J]. IntJApproxReason，2014，55（3）：896-907.

[6]蒋勋，刘喜文.大数据环境下面向知识服务的数据清洗研究[J].图书与情报，2013（5）：16-21.

[7]刘海鸥.面向云计算的大数据知识服务情景化推荐[J].图书馆建设，2014（7）：31-35.

[8]GrecoAN，AissC G.UniversityPressesin theTwentyfirst Century：The Potential Impact of Big Data and Predictive Analytics on Scholarly Book Marketing[J]. JOURNALOFSCHOLARLYPUBLISHING，2015，46（2）：105-140.

[9]Cai D，Bai Y，Zhang G.The Knowledge Service Project in the Era of Big Data[C]//IEEE International Congresson Big Data.Santa Clara，CA，2013：429-430.

[10]戚建林.图书馆知识服务的影响因素及其发展[J].图书馆工作与研究，2003（1）：11-12.

[11]王曰芬，吴婷婷，张蓓蓓.图书情报机构知识服务的战略管理与影响因素研究[J].情报理论与实践，2009，32（12）：1-6.

[12]司莉.基于知识构建的知识服务的实现[J].图书馆论坛，2009，29（6）：216-219.

[13]Parviainen P，Tihinen M.Knowledge-related challenges and solutions in GSD[J].EXPERT SYSTEMS，2014，31（3）：253-266.

[14]肖希明.信息资源建设：概念、内容与体系[J].中国图书馆学报，2006，32（5）：5-8.

[15]张广彬，盘骏，曾智强.数据中心2013：硬件重构与软件定义[EB/OL].[2014-06-12].http：//wenku.it168. com/d_001358914.shtm.

[16]吴斌，王俊峰，覃毅芳，等.一种面向自主服务的知识网络构建方法[J].四川大学学报：自然科学版，2013，50（5）：973-978.

[17]赵悦，蔡超，丛姗.稳固信息服务开拓知识服务——英国国防科技研究院知识服务部转型启示[J].情报理论与实践，2011，34（10）：28-31.

[18]IbrahimAbakerT H，IbrarY，NorBadrulAE.Therise of“big data”on cloud computing：Review and open researchissues[J].InformSyst，2015：98-115.

Research on the Key Factors and Implementation Model of Big Data Knowledge Service

GUAN Si-fa

Knowledge service is demand-driven and innovation-driven，highly knowledge-intensive service.The advent of big data era brings both new opportunities and new challenges for knowledge service.This paper summarizes the current development status of big data knowledge services affecting factors，analyzes the five key elements of big data knowledge services，and builds a conceptual model for big data knowledge service implementation.

big data；knowledge service；key factors；knowledge service model

格式 官思发.大数据知识服务关键要素与实现模型研究[J].图书馆论坛，2015（6）：87-93.

官思发（1987-），男，中国人民大学信息资源管理学院博士研究生。

2015-01-15

*本文系国家社科基金重大项目“云计算环境下的信息资源集成与服务研究”（项目编号：12&ZD220）、中国人民大学科研基金项目“信息分析技术创新研究”（项目编号：10XNJ035）和中国人民大学2014年度拔尖创新人才培育资助计划研究成果之一