面向大数据的知识语义建模技术研究综述*

柴瑜晗，刘 妍，司亚琪，仇 晶,2

(1. 河北科技大学 信息科学与工程学院，河北 石家庄 050018； 2. 广州大学 网络空间先进技术研究院，广东 广州 510006)

0 引言

随着互联网技术的迅速发展，各种行业以及人们的日常生活都与互联网的联系日益密切，同时互联网数据变得愈加丰富多样，数据量也在不断地以指数形式上升。互联网极大地便利了人们的生活，但是也给人们带来了诸多的问题以及挑战。海量的数据信息也为人们迅速精准获取有效信息带来了一定的不便。

为了解决这一问题，许多新技术被提出用于知识获取，信息抽取正是在这种背景下产生的。信息抽取完成的主要任务是将非结构化的文本语料通过某种方式方法变换成结构化信息。网络表示学习能够有效分析复杂网络中节点之间的联系。由于数据量的庞大以及硬件环境的限制，大数据分析技术起到了一定的作用。本文将针对近年来的大数据分析技术、信息抽取技术和网络表示学习工作进行介绍和总结。

1 大数据分析技术

1.1 大数据分析应用

大数据分析在最近几年发展迅猛，遍布各个行业，例如商业、医疗、教育等，发挥着不可替代的作用，同时也创造了不可估量的价值。大数据分析也渗透到人们生活的方方面面。

淘宝数据魔方能够开放网站所有的交易数据，是淘宝平台的数据应用方案，从中能够清楚地了解到用户的需求以及市场状况等，为进一步的发展提供可靠的依据。

在能源有效利用和整合上，大数据起到了至关重要的作用，智能电表能够智能化管理能源的使用情况，也能减少一些不必要的损失。使用大数据分析能够有效分析能源的消耗情况，并进行快速分析，依据分析结果使得能源有效节约。

智能电网已经被广泛用于人们的生活中，德国政府通过智能电网来收集用电数据，并预测未来需要的电量，从而提前购电，降低了成本。

维斯塔斯风力系统主要使用BigInsights软件和IBM超级计算机将数据收集起来，能够充分利用这些数据进行定位，使得各种装置都能够放置在最合适的位置，从而大大的减少了分析工作所占用的时间，并且分析得更加准确。

1.2 大数据分析处理框架

大数据分析处理框架主要分成批量数据处理和流式数据处理。

1.2.1批量数据处理框架

在大数据环境下，基于Hadoop的MapReduce并行计算框架发展得比较好，Hadoop及其生态圈在大数据处理方面已经做得比较完善，有着优秀的分布式并行处理框架，开发起来相对容易，并且负载均衡、容错恢复比较完善，能运行在大量廉价的硬件系统之上。MapReduce模式的主要思想是把要解决的问题自动拆解成Map和Reduce。Spark 是一种高效通用的分布式计算框架，中间数据放到内存中，在迭代运算上效率非常高。Spark更适合于迭代运算比较多的ML和DM运算。因为在Spark里面，有RDD的抽象概念。Spark比Hadoop更通用，Spark提供的数据集操作类型有很多种，Hadoop只提供了Map和Reduce两种操作。HDFS是一种分布式文件系统层，可对集群节点间的存储和复制进行协调。HDFS确保了无法避免的节点故障发生后数据依然可用，可将其用作数据来源，可用于存储中间态的处理结果，并可存储计算的最终结果。YARN可充当Hadoop堆栈的集群协调组件。该组件负责协调并管理底层资源和调度作业的运行。通过充当集群资源的接口，YARN使得用户能在Hadoop集群中使用比以往的迭代方式运行更多类型的工作负载。

1.2.2流式数据处理框架

大数据实时流数据处理在整个数据分析过程中具有非常重要的地位，现在使用较为广泛的流数据处理系统有Yahoo!S4、Storm、Spark Streaming、Samza等。S4(Simple Scalable Streaming System)是一个分布式流处理引擎，开发者可以在这个引擎基础上开发面向无界的、不间断的流数据处理应用。文献[1]中Storm是一个免费开源、分布式、高容错的实时计算系统，底层使用了ZeroMQ这一消息中间件来实现物理节点之间的数据收发。Storm的数据源一般选择使用Kafka[2]分布式消息系统，通过使用类似于管道的方式，实现高效的实时流数据处理。Spark Streaming 是Spark核心API的一个扩展，可以实现高吞吐量的、具备容错机制的实时流数据的处理。支持从多种数据源获取数据，包括Kafk、Flume、Twitter、ZeroMQ、Kinesis 以及TCP sockets。基本原理是将输入数据流以时间片(秒级)为单位进行拆分，然后以类似批处理的方式处理每个时间片数据。Samza[3]是一种基于Kafka和YARN的轻量级分布式流数据处理系统。Samza的工作节点类似于Storm的Balt节点，当工作节点将数据处理后，将处理后的节点发送给其他的工作节点继续进行处理，每一个节点处理一种Task，然后多个Task串联起来对流数据进行处理。文献[4]中介绍了一种实时数据仓库的流数据采集处理架构。文献[5]中介绍了一种在互联网行业中非常具有代表性的数据采集架构。目前在工业领域，主要使用了传统的SCADA系统[6]来进行数据采集。

2 信息抽取分析技术

随着互联网的高速发展，网络数据呈现爆炸式的增长，从海量数据中挖掘有效信息成为了一项艰巨的挑战。2012年5月份，Google正式提出知识图谱(Knowledge Graph)[7]，在这之后，国内外的其它互联网搜索引擎公司也纷纷构建了自己的知识图谱，例如搜狗的“知立方”[8]、微软的“Probase”[9]和百度的“知心”[10]。知识图谱可以看成是一张巨大的图，图中的节点表示概念或者实体，而图中的边则由关系构成，其基本组成单位是“实体-关系-实体”三元组。实体抽取是信息抽取的子任务，是最基本的一步，旨在从大规模自然语言处理文本中找到相关的实体。关系抽取是信息抽取的关键任务，旨在大规模自然语言处理文本中识别实体并抽取实体之间的关系。

2.1 实体抽取

实体抽取作为一项基本任务，其抽取的完整性、准确率、召回率等都能够严重影响到后续任务的进行。命名实体识别的研究从一开始是采用基于规则和词典的方法进行识别，规则需要领域专家或者语言学者进行手工制定，并且规则之间不能够出现冲突，这也带来了一定的难度，需要更多的时间和精力制定规则。

随着技术的发展，越来越多的研究者采用基于统计机器学习的方法来完成命名实体识别的任务，主要是通过机器学习的方法对原始语料进行训练，然后再利用训练好的模型去识别实体，例如，隐马尔科夫模型(Hidden Markov Models，HMM)[11]、最大熵马尔科夫模型(Maximum Entropy Markov Models，MEMM)[12]、条件随机场(Conditional Random Fields，CRF)[13]等。文献[14]利用KNN算法与条件随机场模型，实现了对Twitter文本数据中实体的识别。文献[15]提出使用最大熵算法，并且在Medline论文摘要的GENIA数据集上进行了实体抽取实验，取得了不错的效果。文献[16]使用一种迭代的方式将实体语料库进行有效扩展，这种方式主要是使用较少的实体实例，然后建立一些特征模型，将这些特征模型用到新的数据集当中，从而能够从新的数据集当中抽取新的命名实体。文献[17]提出了一种基于无监督学习的算法，在日志中能够根据已知的实体语义特征识别出实体，然后将这些识别出来的实体进行聚类。

随着深度学习的兴起和广泛应用，将深度学习用于实体抽取上取得了不错的效果。文献[18]使用句子方法和窗口方法进行实体抽取。句子方法是把整个句子作为预测词的输入，并且区分句子中的每一个词，然后使用一层卷积神经网络结构；窗口方法是把预测词的上下文窗口作为输入，然后使用传统的NN结构。在文献[19]中，介绍了基于双向LSTM和条件随机场的方法。文献[20]提出混合使用双向LSTM和CNN进行自动检测字和字符级特征。文献[21]提出在BiLSTM-CRF模型上加入音韵特征，并且使用attention机制来学习关注更有用和有效的字符。文献[22]中使用大量的未标注的数据集训练双向神经网络语言模型，该模型用来获取当前标注词的语言模型向量，然后将语言模型向量作为RNN-CRF的特征向量。文献[23]中提出了一种利用众包标注数据学习对抗网络模型的方法进行中文实体识别系统的构建。该方法是受到了对抗网络学习的启发，模型使用了两个双向 LSTM，一个LSTM用于学习标注员的公有信息，另外一个用于学习属于不同标注员的私有信息。在公有块的学习过程中使用了对抗学习的思想，将不同标注员作为分类的目标，从而进行对抗学习，使其能够优化公有模块的学习质量，并且最终收敛于真实数据，即专家标注的数据。tweet中包含多种不用的信息，为了充分利用各种信息，文献[24]中提出了一种处理tweet数据的方法，该方法利用条件随机场和 Adaptive Co-attention Network 扩展了一个双向 LSTM 网络。

2.2 关系抽取

许多的实体关系抽取系统被研发出来，比如SnowBall[25]、TextRunner[26]等，其中TextRunner是第一个开放领域关系抽取系统。

基于支持向量机、核函数[27]、逻辑回归[28]、句法解析增强[29]、条件随机场[30]等一些有监督学习的方法在关系抽取方面都取得了不错的效果,但是严重依赖于大量已标注的数据，在时间和精力上花费都是巨大的。在文献[31]中，作者考虑使用远程监督的思想。远程监督思想能够有效解决关系抽取任务中需要大规模标注数据的问题。在文献[32]中，一种基于图模型的方法被提出，从而进行关系抽取。在文献[33]中提出增强远程监督的假设，与文献[30]中提出的方法相比较，大大减少了错误率。由于实体之间不仅仅只是包含一种关系，很多实体之间具有多种关系。文献[34]提出采用一种多实例多标签方法来解决实体之间具有多种关系的问题。在文献[35]中提出利用多实例多标签和贝叶斯网络的方法，从而进行关系抽取。

有监督学习关系抽取方法具有严重的依赖性。随着深度学习在不同任务上取得的不错效果，例如文本分类、机器翻译、智能问答等，许多的研究人员开始尝试将深度学习的技术应用到关系抽取任务中，希望能够取得好的效果。在文献[36]中，一种使用递归神经网络方法被提出，得到句子的向量表示，从而用于关系抽取。文献[37]中提出使用卷积神经网络的方法得到句子表示，实体信息能够被较好地考虑，从而进行关系抽取。文献[38]中提出了一种新的卷积神经网络并且采用新的损失函数进行关系抽取，能够很大程度上区分不同关系类别。文献[39]中提出使用双向LSTM和树形LSTM同时对实体和句子进行建模，从而进行关系抽取。由于人工标注数据较少，于是，在文献[40]中尝试将模型扩展到远程监督上。在文献[41]中，为了能够充分利用实体所包含的所有信息，提出了一种基于句子级别注意力机制的神经网络模型，该模型能够根据特定关系为实体对的每个句子分配权重，把有噪音的句子过滤掉，然后利用所有有效句子进行学习和预测。在文献[42]中，将文献[41]中提出的句子级别注意力机制的神经网络模型扩展到了多语言场景下注意力机制，大大提高了多语言场景下关系抽取的性能。文献[43]使用增强学习的方法构建了一个能够依据大规模自动回标的包数据训练出一个高质量的句子级的关系抽取的分类器。文献[44]通过抽取实体的描述信息，从而引入更丰富的语义信息，使实体学习到更好的表示，并提出一种句子级别的注意力模型。文献[45]提出了一个双向递归卷积神经网络模型(BRCNN)。文献[46]提出了Att-BLSTM模型，从而获得一个句子中最重要的语义信息进行关系抽取。文献[47]使用基于图的方法对bootstrapping关系抽取系统返回的关系实例进行排序。

2.3 实体和关系的联合抽取

对于实体抽取和关系抽取的方法，一种是使用流水线的方法(Pipelined Method)进行抽取，输入一个句子，首先进行命名实体识别，然后对识别出来的实体进行两两组合，再进行关系分类，最后把存在实体关系的三元组作为输入。流水线的方法会导致错误率的提升。另外一种是联合学习的方法，将实体抽取和关系抽取联合学习，输入一个句子，通过实体识别和关系抽取联合模型，直接得到有关系的实体三元组。这种方法可以克服上面流水线方法的缺点，但是可能会有更复杂的结构。文献[48]利用共享神经网络底层表达来进行联合学习。在文献[39]中，命名实体识别使用NN进行解码，在RC上加入了依存信息，根据依存树最短路径使用一个BiLSTM来进行关系分类。文献[49]将联合学习的方法用到了生物医学文本中的实体关系抽取任务上，在关系分类时，先将输入的句子进行依存句法分析，从而构建依存句法树，然后将这种树状结构输入到Bi-LSTM与RNN混合的网络中进行关系分类。文献[50]提出了一种新的标注策略，可以把联合抽取实体和关系的任务转换为标注任务，然后使用端到端的神经网络模型增加了偏置损失函数，增强了相关实体之间的联系，直接得到关系实体三元组。

3 网络表示学习

数据量的爆发式增长，使得大规模网络图结构的分析与挖掘引起了越来越多的关注，网络数据形式能够自然且清晰地表达各种物体间的联系，同时信息网络结构成为人们生活中的一种信息载体和形式。在网络图结构中，包含很多的网络节点以及构节点与节点之间联系的边缘，每个网络节点和边缘都会包含丰富的外部信息，例如文本信息等。网络结构包含丰富的信息，对网络结构分析进行有效的分析与挖掘能够更深层次发现大量隐藏的有用信息。

针对网络结构的分析，一个重要的问题就是将网络结构信息能够合理地表示出来。基于网络的表示学习是一种降维的方法，希望将一个网络中的每一个网络节点映射到一个连续低维向量空间中，并且在这个低维空间中能够保持原有的网络结构信息或者距离信息不变，从而能够更好地研究分析复杂信息网络中的节点间的联系，进行后续任务。

网络表示学习是一种分布式的表示学习技术。传统的网络表示学习是对高维数据进行降维，主要的方法包括主成分分析[51]、线性判别分析[52]、多维缩放[53]等。局部线性表示[54-55]是一种较为经典的方法，一个节点的表示是根据它的邻居节点的表示的线性组合来近似得到的。拉普拉斯特征映射[56-57]是假设两个相连的节点的表示应该相近。Word2vec[58]对网络表示学习的方法有着非常重要的影响。DeepWalk[59]是受到了Word2vec的启发，也是第一次将深度学习的技术引入到网络表示学习领域，先应用随机游走得到一些有序的节点序列，然后把这些节点序列使用SkipGram模型得到每个节点的向量表示。Deepwalk是根据节点之间的边缘进行随机游走，然后产生节点序列，但是只是考虑了节点的一阶相似度。因此文献[60]提出了LINE算法，该方法提出了一阶相似度与二阶相似度的概念。一阶相似度考虑相连的两个节点，二阶相似度考虑具有共同邻居节点的两个节点。基于这两个相似度，提出了优化函数，得到的最优化结果即为每个节点的向量表示。文献[61]提出了node2vec算法，该算法是在DeepWalk的基础上改进了随机游走的策略，引入了 biased-random walks，具有很好的适应性。SDNE[62]是一种基于深层神经网络的方法，使用深度学习模型来捕捉节点间高度的非线性关系。节点本身会包含丰富的文本信息，因此提出TADW算法[63]，不仅考虑了网络的结构信息，还考虑了节点产生的文本信息。因此它在矩阵分解的基础上，将邻接矩阵进行分解，同时用节点的文本表示矩阵来进行约束，这种方法在一定程度上能够解决网络结构的稀疏问题。文献[64]提出了MMDW算法，该算法是基于矩阵分解，从而对网络结构进行建模。文献[65]提出了CENE算法，通过利用结构信息和文本信息学习节点的表示。CANE[66]利用网络节点的文本信息来对节点之间的关系进行解释, 来为网络节点根据不同的邻居学习上下文相关的节点表示。在文献[67]中，受机器翻译思想的启发，从而提出了TransNet模型, 利用平移机制来解决关系抽取问题。在文献[68]中，根据社区森林模型，提出了一种新颖的基于骨干度的社区发现算法，用于发现真实社交网络中的社区。在文献[69]中，提出了BIGCLAM算法，是一个可覆盖社区发现算法, 为每个网络中的节点学习了一个k维非负向量表示。

4 结论

大数据时代的到来，使得各种信息变得更加丰富。这些信息具有跨领域、数目规模巨大、更新迭代速度飞快等特点，因而能够进行数据分析以及从数据中获取有效知识。本文阐述了大数据分析技术、信息抽取技术、网络表示学习三种技术的发展以及现有方法的不足之处。由于中文句法的复杂性，知识获取依旧面临很大的挑战。

参考文献

[1] GRADVOHL A L S, SENGER H, ARANTES L, et al. Comparing distributed online stream processing systems considering fault tolerance issues[J]. Journal of Emerging Technologies in Web Intelligence,2014, 6(2):174-179.

[2] WANG G, KOSHY J, SUBRAMANIAN S, et al. Building a replicated logging system with Apache Kafka[J]. Proceedings of the Vldb Endowment, 2015, 8(12):1654-1655.

[3] FENG T, ZHUANG Z, PAN Y, et al. A memory capacity model for high performing data-filtering applications in Samza framework[C]// IEEE International Conference on Big Data. IEEE, 2015:2600-2605.

[4] MAJEED F, MAHMOOD M S, IQBAL M. Efficient data streams processing in the real time data warehouse[C]// IEEE International Conference on Computer Science and Information Technology. IEEE, 2010:57-61.

[5] GOODHOPE K, KOSHY J, KREPS J, et al. Building LinkedIn’s real-time activity data pipeline[Z]. 2012.

[6] 宗子轩, 谌海云, 吉宁,等. 物联网和SCADA系统的发展、现状与展望[J]. 物联网技术, 2014(12):61-64.

[7] AMIT S. Introducing the knowledge graph: things, not strings[Z].2012.

[8] 搜狗百科.知立方[EB/OL].[2018-04-11] http://baike.sogou.com/h66616234.htm.

[9] WU W, LI H, WANG H, ZHU K Q. Probase: a probabilistic taxonomy for text understanding[C]//Proceedings of the 2012 ACM SIGMOD International Conference on Management of Data, ACM New York, USA, 2012:481-492.

[10] 百度百科.百度知心[EB/OL].[2018-04-11] http://baike.baidu.com/view/1097128.html.

[11] BIKEL D M, SCHWARTZ R, WEISCHEDEL R M. An algorithm that learns what’s in a name[J]. Machine Learning, 1999, 34(1-3):211-231.

[12] BORTHWICK A E. A maximum entropy approach to named entity recognition[D]. New York:New York University, 1999.

[13] MCCALLUM A, LI W. Early results for named entity recognition with conditional random fields, feature induction and web-enhanced lexicons[C]// Conference on Natural Language Learning at Hlt-Naacl, Association for Computational Linguistics, 2003:188-191.

[14] LIU X, ZHANG S, WEI F, et al. Recognizing named entities in tweets[C]// Meeting of the Association for Computational Linguistics: Human Language Technologies, 2011:359-367.

[15] LIN Y F, TSAI T H, CHOU W C, et al. A maximum entropy approach to biomedical named entity recognition[C]// International Conference on Data Mining in Bioinformatics. Springer-Verlag, 2004:56-61.

[16] WHITELAW C, KEHLENBECK A, PETROVIC N, et al. Web-scale named entity recognition[C]//Proceedings of the 17th ACM Conference on Information and Knowledge Management. New York: ACM, 2008.

[17] JAIN A, PENNACCHIOTTI M. Open entity extraction from web search query logs[C]//Proceedings of the 23rd International Conference on Linguistics. Stroudsburg, PA: ACL, 2010 :510-518.

[18] COLLOBERT R, WESTON J, KARLEN M, et al. Natural language processing (almost) from scratch[J]. Journal of Machine Learning Research, 2011, 12(1):2493-2537.

[19] LAMPLE G, BALLESTEROS M, SUBRAMANIAN S, et al. Neural architectures for named entity recognition[C].Proceedings of the 2016 Conference of the North American Chapter of the Association for Computatuinal Linguistics:Human Language Technologies,2016:260-270.

[20] CHIU J P C, NICHOLS E. Named entity recognition with bBidirectional LSTM-CNNs[J]. Computer Science, 2015.

[21] BHARADWAJ A, MORTENSEN D, DYER C, et al. Phonologically aware neural model for named entity recognition in low resource transfer settings[C]// Conference on Empirical Methods in Natural Language Processing, 2016:1462-1472.

[22] PETERS M E, AMMAR W, BHAGAVATULA C, et al. Semi-supervised sequence tagging with bidirectional language models[J]. 2017.

[23] YANG Y S, ZHANG M, CHEN W, et al. Adversarial learning for chinese NER from crowd annotations[J]. 2018.

[24] ZHANG Q, FU J L, LIU X Y, et al. Adaptive co-attention network for named entity recognition in tweets[J]. 2018.

[25] AGICHTEIN E, GRAVANO L. Snowball : extracting relations from large plain-text collections[C]// ACM Conference on Digital Libraries. ACM, 2000:85-94.

[26] MICHELE B, CAFARELLA M J, OREN E. Open information extraction from the web[C]//Proceedings of IJCAI’07, 2007:2670-2676.

[27] BUNESCU R C, MOONEY R J. Subsequence kernels for relation extraction[C]// International Conference on Neural Information Processing Systems. MIT Press, 2005:171-178.

[28] KAMBHATLA N. Combining lexical, syntactic, and semantic features with maximum entropy models for extracting relations[C]// ACL 2004 on Interactive Poster and Demonstration Sessions. Association for Computational Linguistics, 2004:22.

[29] MILLER S, FOX H, RAMSHAW L, et al. A novel use of statistical parsing to extract information from text[C]// North American Chapter of the Association for Computational Linguistics Conference, 2000:226-233.

[30] CULOTTA A, MCCALLUM A, BETZ J. Integrating probabilistic extraction models and data mining to discover relations and patterns in text[C]// Main Conference on Human Language Technology Conference of the North American Chapter of the Association of Computational Linguistics, 2006:296-303.

[31] MINTZ, MIKIE, STEVEN, et al. Distant supervision for relation extraction without labeled data[C]// Joint Conference of the, Meeting of the ACL and the, International Joint Conference on Natural Language Processing of the Afnlp, Association for Computational Linguistics, 2010:1003-1011.

[32] YAO L, RIEDEL S, MCCALLUM A. Collective cross-document relation extraction without labelled data[D]. Amherst:University of Massachusetts-Amherst, 2010.

[33] RIEDEL S, YAO L, MCCALLUM A. Modeling relations and their mentions without labeled text[C]// European Conference on Machine Learning and Knowledge Discovery in Databases. Springer-Verlag, 2010:148-163.

[34] HOFFMANN R, ZHANBG C, LING X, et al. Knowledge-based weak supervision for information extraction of overlapping relations[C]// Meeting of the Association for Computational Linguistics: Human Language Technologies, 2011:541-550.

[35] SURDEANU M, TIBSHIRANI J, NALLAPATI R, et al. Multi-instance multi-label learning for relation extraction[C]// Joint Conference on Empirical Methods in Natural Language Processing and Computational Natural Language Learning, 2010:455-465.

[36] SOCHER R, HUVAL B, MANNING C D, et al. Semantic compositionality through recursive matrix-vector spaces[C]// Joint Conference on Empirical Methods in Natural Language Processing and Computational Natural Language Learning, 2012:1201-1211.

[37] ZENG D, LIU K, LAI S, et al. Relation classification via convolutional deep neural network[C]//Proceedings of COLING, 2014:2335-2344.

[38] SANTOS C N D, XIANG B, ZHOU B. Classifying relations by ranking with convolutional neural networks[J]. Computer Science, 2015, 86(86):132-137.

[39] MIWA M, BANSAL M. End-to-end relation extraction using LSTMs on sequences and tree structures[J]. 2016.

[40] ZENG D, LIU K, LAI S, et al. Distant supervision for relation extraction via piecewise convolutional neural networks[C]//Proceedings of EMNLP, 2015.

[41] LIN Y, SHEN S, LIU Z, et al. Neural relation extraction with selective attention over instances[C]// Meeting of the Association for Computational Linguistics, 2016:2124-2133.

[42] LIN Y, LIU Z, SUN M. Neural relation extraction with multi-lingual attention[C]// Meeting of the Association for Computational Linguistics, 2017:34-43.

[43] ZENG X, HE S, LIU K, et al. Large scaled relation extraction with reinforcement learning[J]. Relation, 2018, 2: 3.

[44] JI G, LIU K, HE S, et al. Distant supervision for relation extraction with sentence-level attention and entity descriptions[C]//AAAI, 2017: 3060-3066.

[45] CAI R, ZHANG X, WANG H. Bidirectional recurrent convolutional neural network for relation classification[C]// Meeting of the Association for Computational Linguistics, 2016:756-765.

[46] ZHOU P, SHI W, TIAN J, et al. Attention-based bidirectional long short-term memory networks for relation classification[C]// Meeting of the Association for Computational Linguistics, 2016:207-212.

[47] LI H, BOLLEGALA D, MATSUO Y, et al. Using graph based method to improve bootstrapping relation extraction[J]. 2011, 6609:127-138.

[48] ZHENG S, HAO Y, LU D, et al. Joint entity and relation extraction based on a hybrid neural network[J]. Neurocomputing, 2017, 257:1-8.

[49] FEI L, ZHANG M, FU G, et al. A neural joint model for entity and relation extraction from biomedical text[J]. Bmc Bioinformatics, 2017, 18(1):198.

[50] ZHENG S, WANG F, BAO H, et al. Joint extraction of entities and relations based on a novel tagging scheme[J]. 2017:1227-1236.

[51] WOLD S, ESBENSEN K, GELADI P. Principal component analysis[J]. Chemometrics & Intelligent Laboratory Systems, 1987, 2(1):37-52.

[52] IZENMAN A J. Linear discriminant analysis[C]. Modern Multivariate Statistical Techniques, Springer, 2013:237-280.

[53] WICKELMAIER F. An introduction to mds[Z]. Sound Quality Research Unit, Aalborg University, Denmark, vol. 46, 2003.

[54] ROWEIS S T, SAUL L K. Nonlinear dimensionality reduction by locally linear embedding[J]. Science, 2000, 290: 2323-2326.

[55] SAUL L K, ROWEIS S T. An introduction to locally linear embedding[Z]. 2000.

[56] BELKIN M, NIYOGI P. Laplacian eigenmaps and spectral techniques for embedding and clustering[C]//Proceedings of the 14th International Conference on Neural Information Processing Systems: Natural and Synthetic, Vancouver, 2001. 585-591.

[57] TANG L, LIU H. Leveraging social media networks for classification[J]. Data Mining & Knowledge Discovery, 2011, 23(3): 447-478.

[58] MIKOLOV T, SUTSKEVER I, CHEN K, et al. Distributed representations of words and phrases and their compositionality[C]//Advances in Neural Information Processing Systems. 2013: 3111-3119.

[59] PEROZZI B, Al-RFOU R, SKIENA S. Deepwalk: online learning of social representations[C]//Proceedings of the 20th ACM SIGKDD International Conference on Knowledge Discovery and Data Mining, New York, 2014:701-710.

[60] TANG J, QU M, WANG M, et al. Line: large-scale information network embedding[C]//Proceedings of the 24th International Conference on World Wide Web, Florence, 2015:1067-1077.

[61] GROVER A, LESKOVEC J. Node2vec: scalable feature learning for networks[C]//Proceedings of the 22nd ACM SIGKDD International Conference on Knowledge Discovery and Data Mining, San Francisco, 2016:855-864.

[62] WANG D, CUI P, ZHU W. Structural deep network embedding[C]//Proceedings of the 22nd ACM SIGKDD International Conference on Knowledge Discovery and Data Mining, San Francisco, 2016:1225-1234.

[63] YANG C, LIU Z, ZHAO D, et al. Network representation learning with rich text information[C]//Proceedings of the 24th International Conference on Artificial Intelligence, Buenos Aires, 2015:2111-2117.

[64] TU C C, ZHANG W C, Liu Z Y, et al. Max-margin deepwalk: discriminative learning of network representation[C]//Proceedings of International Joint Conference on Artificial Intelligence (IJCAI), New York, 2016.

[65] SUN X, GUO J, DING X, et al. A general framework for content-enhanced network representation learning[J]. 2016.

[66] TU C C, LIU H, LIU Z Y, et al. CANE: context-aware network embedding for relation modeling[C]//Proceedings of the 55th Annual Meeting of the Association for Computational Linguistics, Vancouve, 2017:1722-1731.

[67] TU C C, ZGANG Z Y, LIU Z Y, et al. TransNet: translation-based network representation learning for social relation extraction[C]//Proceedings of International Joint Conference on Artificial Intelligence (IJCAI), Melbourne, 2017.

[68] XU Y, XU H, ZHANG D, et al. Finding overlapping community from social networks based on community forest model[J]. Knowledge-Based Systems, 2016, 109:238-255.

[69] YANG J, LESKOVEC J. Overlapping community detection at scale: a nonnegative matrix factorization approach[C]//Proceedings of the 6th ACM International Conference on Web Search and Data Mining, Rome, 2013:587-596.