基于历史信息的目标属性抽取网络模型

彭 军， 韦照川

(桂林电子科技大学 信息与通信学院,广西 桂林 541004)

目标属性抽取是目标属性情感分析的一个重要的子方向，它能够给出目标文本中的情感实体或者情感对象，为后续的情感分类提供判别目标[1-2]。例如给定句子“The price is reasonable although the service is poor.”，目标属性抽取模型能够处理该句子，得到目标属性集合{price, service}。

从冰箱取出一支保存的黑曲霉试管斜面，在超净工作台中加入无菌水，使无菌水刚好没过斜面上的全部黑曲霉，然后用接种环把黑曲霉从斜面上轻轻刮下来，制成黑曲霉孢子悬液。

目标属性抽取的研究大致可以分为基于规则、基于特征工程和基于深度学习的方法[3]。根据语法和依存关系创建规则或者特征工程都需要大量的人工劳动和长时间的经验积累，这大大限制了模型的发展。深度学习技术能够从标注数据集自动提取特征进行训练，大幅度地减少复杂的特征工程，目前已经成为目标属性抽取领域研究的热点。深度网络模型的探索工作包括Poria等[4]提出的7层的CNN模型，Jebbara等[5]提出的字符向量和词向量联合的扩展模型，He等[6]提出的无监督模型等。

随着对目标属性抽取模型的不断探索，科研人员发现利用目标属性和观点项的一种“共现”现象，能够有效地改进网络的表现。这种“共现”现象是指，在评论性文本中目标属性的出现往往伴随着观点项，例如在上面的例子中，目标属性“price”和观点项“reasonable”一同出现，目标属性“service”和观点项“poor”相伴而生。目前，性能优越的目标属性抽取网络模型大都考虑了这种“共现”现象，这方面的代表性工作有Wang等[3,7]提出的RNCRF模型、耦合多层注意力模型以及Li等[8]提出的结合局部历史信息和选择转换网络的模型。

目标属性抽取通常被看作序列标注任务，但是当前的网络模型大多未充分考虑前后标记之间的关联信息。这种关联信息可分为上下文语义特征之间的关联和预测值概率分布之间的关联2个部分。文献[8]引入了一种局部的历史信息注意力模块，该模块能够利用局部的历史语义信息增强模型的特征提取能力，但这种模块在一定程度上忽略了全局特征的历史信息和预测标签之间的约束关系。通常来说，目标属性提取网络使用{O,B,I}标记，其中B表示目标属性的起始单词，I代表目标属性的内部单词，O表示非目标属性单词。在时刻t，若一个单词被标记为O，则它下一个单词的标记就不可能是I，即前后单词预测标记的概率分布是有关联的。为获得全局的语义关联和加强前后标记之间的语义依赖关系，结合文献[8]，提出了一种结合历史信息的目标属性抽取网络，该网络将历史的局部语义信息融入当前的特征向量，并通过建模目标属性和观点项之间的关联实现观点项提取任务，再通过一个注意力机制得到句子的全局信息，然后用全局的历史信息注意力模块进一步抽取历史信息和标记词语之间的约束关系，最后将得到的特征向量通过softmax函数得到当前词语的标记值。

声音又响起了：“我们决定给这位先生最后一次机会，请如实回答以下这个问题，如果您诚实回答，我们还可以让您顺利退出，如果您不回答或者是撒谎，那么就将受到惩罚。”

1 结合历史信息的目标属性抽取网络

图1 结合历史信息的目标属性抽取网络模型架构

项目负责人王家臣对项目研究背景、研究目标、技术路线、研究内容、项目实施计划、创新点、考核指标、保障措施、质量计划案等内容进行了汇报，课题负责人分别汇报了各课题实施方案。项目咨询专家组就技术路线、关键节点控制以及研究方案等提出了具体意见。张兴凯院长介绍了该院在金属矿山开采安全技术与装备研发方面的工作情况，承诺落实法人责任，保障项目顺利实施。会前，项目牵头单位组织开展了财务政策培训会。

进一步地，将L个历史信息融入当前的隐向量，

1.1 局部历史信息注意力模块

本模型采用文献[8]提出的局部历史信息注意力模块提取标注词语的局部特征向量。局部历史注意力模块的内部架构如图2所示。

图2 局部历史注意力模块内部架构

(1)

(2)

其中，W4∈R2do×2do、W5∈R2do×2da、W6∈R2do×2da为权值矩阵。进一步地，使用双线性变换求得关联向量的权重：

目标属性抽取可以看作一个序列标记任务，当对某个单词标注时，该单词的标记往往只与相近的几个单词有关，与较远距离的单词关联性较小[8]。因此，本模型假设标注单词与前L个单词的关联程度较高，同时为保留句子的整体信息，使用图1中(b)的Bi-LSTM网络提取句子的整体语义信息。通过建模目标属性和观点项的关联，能够提高目标属性抽取的准确性[3,7-8]。因此，本模型在第2个Bi-LSTM上同时建模观点项标注任务，并使用注意力模块将局部特征向量与文本整体的语义信息结合。

练习的设计尽量避免题海战术，做到轻负高效。为了达到这个目的，老师首先要跳入题海，精炼题型，突出重点，提高实效，将学生从繁重的课业中解放出来。

(3)

1.2 目标属性和观点项依赖信息注意力模块

结合历史信息的目标属性抽取网络模型架构如图1所示。该模型主要由局部历史信息注意力模块(图1中(a))、目标属性和观点项依赖信息注意力模块(图1中(b))、全局历史信息注意力模块(图1中(c))3个注意力模块组成。

图3 目标属性和观点项关联向量网络架构

如图1所示，局部历史信息注意力模块的输入为第1个Bi-LSTM网络的隐向量和前L个时刻该模块的输出值，输出为当前的局部特征向量。目标属性和观点项依赖信息注意力模块的输入为第2个Bi-LSTM网络的隐向量和局部特征向量，输出为蕴含全局信息的关联特征向量。全局历史信息注意力模块的输入为局部特征向量与关联特征向量的联接值和前N个时刻该模块的输出值，输出为分类特征向量。

(4)

在融媒体时代下，主持人不但要具备电视制作的能力，而且还必须要适应全媒体环境的要求，并能够熟练运用各种信息技术手段，比如说文字、图像、视频、网络以及远程交互等方面的应用，并通过不同的方式将电视节目内容的即时性以及视觉冲击力和感染力进行强化并提高到一个新的层次，同时还要加大各类信息资讯的表现力。除此之外，电视节目主持人还必须擅长通过新媒体积累人气以此提高节目的影响力与号召力，强化节目的黏合度。

(5)

(6)

(7)

(8)

4.人工鱼巢的建造 在水库浅滩区，种植挺水植物（如芦苇），并设置人工鱼巢，可利用石块、废弃汽车轮胎、瓦砾等作材料。营造良好的水生生态环境，目的是利于鳖的栖息，以及吸引小鱼虾在此觅食、栖息，便于鳖捕捉到小鱼虾作食物。提高仿野生养殖的效果。

1.3 全局历史信息注意力模块

(9)

(10)

(11)

将分类向量通过softmax层，得到标记词语的概率分布：

(12)

其中：WA∈Rc×(2da+2do)为输出权重矩阵，c为类别数；bA为相应的偏移项。

2 实验与分析

为验证模型的有效性，选择SemEvil-2014数据集(Laptop数据集DT1和Restaurant数据集DT2)和SemEvil-2016数据集(Restaurant数据集DT3)进行实验。

2.1 数据集与预处理

数据集统计信息如表1所示。

初中学生英语成绩主要受自身智力因素以及外在因素的影响，外在因素则包括英语老师教学方法、英语学习环境等等，是学生英语成绩以及英语表达能力发生变化的主要原因。许多初中英语老师已经认识到学生学习能力的差异性以及因材施教的重要性，采用并推广了一些符合个性化教学基本要求的教学方法和手段，比如分层教学法。

表1 实验数据集统计信息

国际语义组织提供的SemEvil-2014和SemEvil-2016标准数据集标注了目标属性的起始和结束的位置。为了将标点符号纳入网络，采用spacy进行英文分词，同时将所有的标点符号标记为“PUNAT”，通过将“PUNAT”标记映射为向量，可以将标点符号信息输入网络计算。本模型采用300维的GloVe初始化词向量[14]，使用dropout策略抑制过拟合现象[15]，dropout比率设置为0.5。本模型程序使用Dynet深度学习框架搭建。

2.2 损失函数和测试方法

本模型的所有模块都是可微的，可以使用梯度下降法[16]实现端到端的训练。使用交叉熵损失作为模型的损失函数：

(13)

(14)

L=ζLA+τLO。

(15)

使用较小的区域来搜索局部最大值,以得到GT角点的最大数量。图6表明了许多GT角点被SUSAN算法的最后一步剔除,只保留了局部最大值并去除了其他不重要的角点。在图像处理过程中,物体之间的大小和距离都很小,因此,这个步骤对在过程结束时保存的地面真实角点数量具有重要的影响。然而,这些SUSAN算法变种的误报率比Noble算法要高得多。因此,必须找到其他方法来规避相关角点的误检,降低误报率。

为衡量模型的性能，采用F1值作为判别标准，F1值定义为

(16)

(17)

(18)

其中：P为精确率；R为召回率；PT、PF、NF分别为真正例、假正例、假反例。

2.3 实验结果分析

F1值的实验结果如表2所示。其中，THA+STN为局部历史注意力模型[8]，RNCRF为循环神经网络和条件随机场结合的模型[7]，LSTM为仅使用长短时记忆网络实现的标注模型[8]，CRF-1为基于特征模板的条件随机场模型[8]，CRF-2为同时使用特征模板和词嵌入的条件随机场模型[8]。

印刷的厚度与网板厚度有密切关系，除此之外，与焊膏特性、机器参数设定相关。印刷过程中经常需要调整刮刀的速度和压力，依此实现印刷的厚度微调。

表2 F1值的实验结果 %

从表2可看出，在DT3数据集上，本模型取得了最优的结果，与LSTM相比，F1值增加了3.49%，与RNCRF相比，F1值增加了4.12%；在DT1、DT2数据集上，本模型与LSTM相比，F1增加了1.4%、1.34%，这表明本模型通过融合历史信息和目标属性及观点项之间的依赖关系，能够有效提高目标属性抽取的性能；与THA+STN相比，本模型通过增加全局的注意力模块和改进目标属性与观点项的依赖模块，在测试数据集上的F1值均有所增加，这表明预测标记之间的约束关系，目标属性和观点项的依赖信息以及全局特征之间的语义关系能够帮助模型达到更优的结果；与CRF-1、CRF-2相比，LSTM、RNCRF、THA+STN和OURS模型能够取得更好的结果，这表明深度学习方法在目标属性抽取网络中具有优越性。

从表2还可看出，在DT2和DT1数据集上，RNCRF的表现比THA+STN和本模型更好，这可能是由于在捕捉预测标签之间约束关系方面，条件随机场更具有优势。通过增加历史信息和目标属性与观点项的依赖信息，在3个数据集上本模型均优于LSTM，这对后续的研究具有一定的参考价值。

第一，新型的服务体系。该体系是顺应市场需求而诞生的，比如代耕、托管、订单等服务方式都有很大的需求，这也是发展现代农业的必然路径。一些合作型服务组织、服务型农业企业和专业化服务组织这几类经营性服务主体会享受到更多的政策扶持，会有很好的发展。

3 结束语

提出了一种结合历史信息的目标属性抽取网络模型。该模型在LSTM的隐向量输出端和分类特征向量的输出端使用注意力机制融合历史的语义信息和预测标签的约束关系，使得网络能够较好的捕捉前后标记词语的关联。实验结果表明，本模型能够提高目标属性抽取网络的性能。下一步将继续研究目标属性提取算法，尤其是尝试在提取浅层语义信息时添加词语的依存语法关系约束或者输出端使用条件随机场，从而进一步提高方面抽取网络的性能。