卷积神经网络在关系抽取中的应用研究

罗少伟

（四川大学计算机学院，成都 610065）

卷积神经网络在关系抽取中的应用研究

罗少伟

（四川大学计算机学院，成都 610065）

自2006年Hinton提出新的神经网络学习算法以来，卷积神经网络（CNN）在图像识别、语音识别等领域取得巨大成功,引发一股深度学习热潮。伴随着基于海量文本的词向量表示技术的进步，卷积神经网络逐渐在自然语言处理领域取得超越传统机器学习算法的识别效果。综述CNN在关系抽取领域的最新研究成果，介绍其发展历程、基本框架，并对CNN在该领域的发展方向进行总结和展望。

卷积神经网络；词向量；关系抽取

1 卷积神经网络模型

卷积神经网络是一种重要的前馈神经网络模型，它通过卷积操作提取输入的更高维度特征，在图像识别和语音识别领域都取得巨大成功。理解卷积神经网络的关键在于局部感知、权值共享和池化三个概念：局部感知受启发于生物学里面的视觉系统结构，视觉皮层的神经元就是局部接受信息的，我们只需要对局部进行感知，然后在更高层将局部的信息综合起来就得到了全局的信息。这种特征提取的过程类似自下而上的方法，一层层接收局部的输入，最后不断聚合；权值共享通过局部相邻区域使用相同权重的方法大幅减少卷积神经网络参数数量，降低了模型复杂度；池化操作通过对卷积结果的聚合统计，提取出最显著的影响因素，降低了模型复杂度，同时提高了模型的泛化能力。

从模型结构上说，一个最简单的卷积神经网络应包括四个部分：卷积层、池化层、全连接层、分类层。卷积层包括多个卷积核，每个卷积核与输入进行矩阵卷积，得到一个新的特征图，特征图的尺寸与输入特征图尺寸、卷积核的大小和卷积滑动窗口大小都有关系；池化层将卷积后的特征图划分为数个不相交的区域，然后对每个区域取最大值或平均值作为池化后的新特征图；全连接层将所有池化特征展开并连接，作为下层输入；分类层利用池化后的特征进行分类，一般采用Softmax概率化或打分等方法。

图1 关系抽取卷积神经网络基本结构（文献[6]）

2 基于大规模语料的词向量表示

词是承载语义的最基本单元，卷积神经网络应用于自然语言处理任务的第一个障碍就在于如何表示词。Harris在1954年提出词的分布假说：上下文相似的词，其语义也相似，这是目前主流词向量表示方法的理论基础。到目前为止，基于分布假说的词表示方法，根据建模的不同，主要可以分为三类：基于矩阵的分布表示、基于聚类的分布表示和基于神经网络的分布表示。

基于矩阵的分布表示需要构建一个 “词-上下文”矩阵，矩阵中的每个元素对应相关词和上下文的共现次数，通过词与上下文的共现统计来度量词和词之间的距离；基于聚类的分布表示通过聚类手段构建词与上下文之间的关系，根据两个词的公共类别判断两个词的语义相似度；基于神经网络的分布表示通过构建神经网络语言模型，使得该模型对训练文本的概率估计最大化来获取词的向量表示。

无论上述哪种方法，目前的研究现状表明：在大规模语料上训练出的词向量可以很好地表达词与词之间的语义相似度，同时，相比于传统的One-hot表示方法，词的分布表示维度大大降低，为深度神经网络的应用创造了有利条件。

3 卷积神经网络在关系抽取领域的应用

关系抽取（Relation Extraction）是信息抽取的关键技术之一，它的目的是在实体识别的基础上，抽取出这些实体之间存在的语义关系。实体间的关系可被形式化描述为关系三元组〈Entity1，Relation，Entity2〉，其中Entity1和 Entity2是实体类型，Relation是关系描述。关系抽取即从自然语言文本中抽取出关系三元组〈Entity1，Relation，Entity2〉，从而提取文本信息。

目前主流的关系抽取算法主要包括两大类：基于知识工程的方法和基于机器学习的方法。基于知识工程的方法通过人工编写规则集合，利用模式匹配的方法从文本中找出相应的关系三元组。基于机器学习的方法一般将关系抽取问题视为分类问题，通过特征工程选取有效特征，利用机器学习算法训练分类模型，通过分类模型判定实体对之间的关系。

基于卷积神经网络的关系抽取算法本质上也属于机器学习算法，不同点在于特征的提取方面：传统机器学习算法需要先进行特征工程提取处出有效识别特征，这一过程往往非常复杂，耗时耗力，而且依赖于词性标注、句法分析等前期自然语言处理过程，这些过程中存在的错误会在关系抽取过程中传播扩大，最终影响识别效果，而基于神经网络的方法则是让模型直接自动提取特征，避免了复杂的特征工程和错误传播问题。

[Zeng et al.2014]提出采用卷积神经网络进行关系抽取。 他们采用词汇向量和词的位置向量作为卷积神经网络的输入，通过卷积层、池化层和分类层得到句子表示。 通过考虑实体的位置向量和其他相关的词汇特征，句子中的实体信息能够被较好地考虑到关系抽取中。 [Santos et al.2015]改进了卷积神经网络的损失函数，通过采用了正确类别相对错误类别的Pair-Wise损失函数，间接地增加训练样本，能够有效地提高不同关系类别之间的区分性。[NT Vu et al.2016]通过融合CNN和RNN两种模型，使得识别效果进一步提高。

对于不同识别算法的对比评价基于Semval2010-Task8数据进行，评价标准采用去除other类的宏平均F1值（官方评价标准），下图为主要关系抽取算法识别效果对比：

表1 主流关系抽取算法识别效果对比

4 研究展望

卷积神经网络能够从词向量序列中较好地提取句子语义信息，在关系抽取领域取得了超越传统方法的性能表现，同时，在序列建模方法中，RNN（循环神经网络）及相关的变体（LSTM、GRU等）也取得了较好效果。针对关系抽取的卷积神经网络提出以后，目前在词向量融合、词特征融合、卷积窗口、代价函数等多方面进行了改进，而卷积的整体网络结构始终没有大的变化，下一阶段应尝试构造不同的卷积结构，更好地抽取句子特征及实体关系特征。

5 结语

本文给出了卷积神经网络在关系抽取领域的应用情况综述。主要介绍了关系抽取任务、卷积神经网络结构、基于神经网络的词向量原理及卷积神经网络在关系抽取领域目前的识别效果，同时针对目前的研究现状，展望下一阶段卷积神经网络的改进方向。

[1]Rink B，Harabagiu S.UTD:Classifying Semantic Relations by Combining Lexical and Semantic Resources[C].International Workshop on Semantic Evaluation.Association for Computational Linguistics，2010:256-259.

[2]Socher，Richard，Brody Huval，Christopher D Manning，Andrew Y Ng.2012.Semantic Compositionality Through Recursive Matrix-Vector Spaces.In Proceedings of the 2012 Joint Conference on Empirical Methods in Natural Language Processing and Computational Natural Language Learning.Association for Com-putational Linguistics，pages 120-1211.

[3]Zeng D，Liu K，Lai S，et al.Relation Classification Via Convolutional Deep Neural Network[J]，2014.

[4]Santos C N D，Xiang B，Zhou B.Classifying Relations by Ranking with Convolutional Neural Networks[J].Computer Science，2015

[5]Vu N T，Adel H，Gupta P，et al.Combining Recurrent and Convolutional Neural Networks for Relation Classification[C].NAACL，2016.

[6]Nguyen T H，Grishman R.Relation Extraction:Perspective from Convolutional Neural Networks[C].The Workshop on Vector Space Modeling for Natural Language Processing，2015:39-48.

Research on the Application of Convolution Neural Network in Relation Extraction

LUO Shao-wei
（College of Computer Science，Sichuan University，Chengdu 610065）

Since 2006,Hinton proposed a new neural network learning algorithm,CNN(Convolutional Neural Network)in image recognition,speech recognition and other areas of great success,triggering a deep learning boom.Convolutional neural networks have gradually gained recognition beyond the traditional machine learning algorithms in the field of natural language processing,along with the advances in word vector representation technology based on massive text.Reviews CNN′s latest research achievements in the field of relational extraction,introduces its development process and basic framework,and summarizes the development direction of CNN in this field.

Convolutional;Word Vector Representation;Relation Extraction

1007-1423（2017）09-0058-03

10.3969/j.issn.1007-1423.2017.09.015

罗少伟（1983-），男，云南禄丰人，研究生，研究方向为机器学习、自然语言理解

2016-12-29

2017-02-25