基于句法特征的评价对象抽取方法研究
2014-02-28王荣洋李寿山周国栋
戴 敏，王荣洋，李寿山，朱 珠，周国栋
(苏州大学 计算机科学与技术学院自然语言处理实验室, 江苏 苏州 215006)
1 引言
进入21世纪后，网络在人们的日常生活中扮演着越来越重要的角色。在网络里，人们广泛进行购物、交友等活动，相应产生了大量用户参与的对于人和事、电影、产品等的评论文本。这些评论文本往往以商品评论、论坛评论和博客等多种形式存在。用户会通过网络上已有的评论文本来掌握某产品或电影的评价，但同时用户会饱受迅速膨胀的评论信息量的困扰，仅靠人工方法很难对网上海量的带有丰富意见的资源进行收集和处理，因此给自动化、智能化评论信息处理提出了新的要求和挑战。情感分析(Sentiment Analysis)正是在这种背景下产生的[1-3]。目前，越来越多的研究者开始把目光转向细粒度的[4](Fine-grained)情感分析任务。例如，评价对象抽取(Opinion Target Extraction)即是目前应用最受关注的情感分析子任务之一。
评价对象是指某篇评论中表现的主题，即评论文本中评价词语所修饰的对象。例如，在产品评论中关于一款手机屏幕、电池、按键、应用软件等，都可以作为评价手机的某一具体对象。评价对象抽取是细粒度的情感分析任务，评价对象是情感信息的一部分。这项研究的开展有助于为上层情感分析任务提供服务。本文的目标就是提出新的方法或模型抽取评论文本中的评价对象。例如，
例句1Capella University has incredible faculty in the Harold Abel School of Psychology.
通过例句1可知，“faculty”被情感词“incredible”所修饰，因此，“faculty”可以做为本句的评价对象。它们共同组成一个二元组(“faculty”，“incredible”)。我们通过情感词“incredible”的极性可以很容易的判别出该主观句对评价对象“faculty”的褒贬。
目前，主流的情感信息抽取方法分为两个类型： 基于非监督学习的抽取方法和基于监督学习的抽取方法。前一种方法一般采用一些启发式规则识别可能的评价对象[5]；后一种方法则使用机器学习方法学习已标注样本构建自动识别系统[6]。虽然基于非监督学习的抽取方法在该方向的研究初期占有主导地位，但是这种方法构建启发式规则比较复杂，而且由于很难控制多个规则之间的全局优化，非监督学习方法所获得的抽取性能往往并不能满足实际需要。相对而言，基于监督学习方法的抽取性能会得到很好的改善。基于监督学习方法的关键问题是如何选择有效的特征。虽然Jakob 和Gurevych[6]中提出的词形、词性及依存路径已经取得了一定的效果，但对于能够很好描述情感词和评价对象关系的结构句法特征并没有涉及。
本文基于监督学习的抽取方法，使用Jakob和Gurevych[6]提出的序列标注学习的模型。重点考察句法特征在监督学习方法上面的表现。我们发现评价对象和情感词之间的关系可以通过句法树获得，例如，评价对象和情感词之间往往存在主谓关系。对于路径“NN
本文的其他内容组织如下： 第二部分介绍相关工作；第三部分介绍系统构建、特征描述；第四部分介绍实验结果及分析；最后总结全文。
2 相关工作
评价对象抽取是抽取评论文本中情感表达所面向的对象。该任务是情感信息抽取任务中研究最为广泛的一项任务，相继出现了大量的抽取方法[6-8]，这些方法大致可以分为两类： 基于非监督学习的抽取方法和监督学习的抽取方法。
2.1 基于非监督学习的评价对象抽取方法
Hu和Liu[5]最新提出评价对象抽取问题，认为出现频率较高的名词往往是评价对象候选，相继利用关联规则挖掘评价对象。Li和Zhou[7]使用情感词典和主题词典抽取<情感词，评价对象>二元组，与传统的方法相比，他们通过抽取二元组可以捕获情感词和评价对象之间的关系。与以往的方法不一样的是，该方法充分考虑了上下文信息，利用情感词和评价对象的关系提高了抽取性能。Popescu和Nguyen[9]利用点互信息抽取产品的特征。同时，他们还根据情感词将显性特征进行聚类，然后对每类标明一个标签，用于省略评价对象的抽取。
2.2 基于监督学习的评价对象抽取方法
相对于非监督学习抽取方法，基于监督学习的方法起步较晚。Zhuang等[10]针对意见描述—评价对象序偶的抽取提出了一种监督学习的算法。该算法从一个标注了的数据集中学习评价对象的候选结点，和与这些序偶相关的依存和词类路径的结合信息。文中的实验结果表明，基于监督学习的这种方法在抽取效果方面远远优于Hu和Liu[5]提出的基于规则的方法。Kessler和Nicolov[11]提出了基于机器学习分类方法的监督学习方法，用于实现意见描述和评价对象的识别，得到了类似的结论。Jakob和Gurevych[6]将评价对象抽取问题建模成序列标注问题，进而使用条件随机场模型(CRF)进行学习，在同一领域里面获得了比Zhuang[10]方法更佳的抽取效果。同时，实验结果还验证了基于序列标注的模型同样适合评价对象抽取的领域适应问题。本文主要研究基于监督学习的评价对象抽取方法，并采用条件随机场模型进行训练。Putthividhya和Hu[12]采用命名实体识别抽取产品属性。
3 系统构建
本节主要介绍系统架构，特征概述等问题。
3.1 系统架构图
本文将评价对象抽取任务建模为序列标注问题，实现基于CRFs的评价对象抽取系统。该系统可以分为两部分，即训练和识别，如图1所示。
原始语料经过主观性检测、词性标注、依存分析等预处理后得到可用语料。其中主观性检测即识别出语料中的主观句，这是由于我们的系统是在主观句中进行评价对象抽取的。训练部分利用特征模板，从可用语料中抽取特征，进行训练得到识别模型。
图1 基于CRF模型的评价对象抽取系统框架结构
识别过程则是用训练得到的模型进行评价对象识别，得到标注结果。该过程是一个典型的有指导机器学习(Supervised Machine Learning)的过程。
3.2 特征概述
Jakob和Gurevych[6]采用了条件随机场模型进行评价对象的抽取，并抽取词形、词性、依存关系、词距离等特征，取得了不错的效果。然而对于<评价对象，情感词>二元组，仅靠这几个特征并不能充分捕获到它们之间的关系。我们通过语料发现，它们之间的关系可以通过句法树获得，例如，评价对象和情感词之间往往存在主谓关系。路径“NN
因此，本文引入句法分析结果提供的句法特征，主要是指句法的路径特征，用于基于CRF模型的评价对象抽取任务。表1列出了本文中所用到的句法特征。(例句2对应的句法树如图2所示，当前待识别单词为“film”)除了全局路径外，特征P5和P6是从路径特征衍生而来，它们能够在一定程度上反映同情感词之间的关系。
表1 各种句法特征概述
例句2This film made in the 1930’s is almost incomprehensible to me.
4 实验结果与分析
本节主要介绍实验语料，实验设置，给出实验结果，并做相应的结果分析。
4.1 语料概述
本文用到的语料来源于DSRC*http://www.ukp.tu-darmstadt.de/data/sentiment-analysis/。DSRC语料包含Services和Universities两个领域，文献[13]给出了DSRC详细的标注规范及说明。各领域的原始语料规模统计如表2所示。
表2 语料相关统计说明
4.2 实验设置
在本实验中，条件随机场模型的实现采用CRF++*http://crfpp.sourceforge.net/，使用默认参数，词与词性的窗口大小为3，其余特征用当前窗口，使用标记的Bigram特征。
对于这些句法特征，我们采用贪婪式的特征选择算法[12]进行特征选择。
我们首先将数据集按9∶1分成训练集和开发集进行特征选择，最后使用选择出的最优特征组合按10倍交叉验证的方法进行测试，最终结果使用10次运行的平均值。
我们采用的评价标准是平均准确率、平均召回率、平均F1，分别记作P、R、F1。
4.3 实验结果与分析
本文中，我们以词特征(Token)和词性(POS)特征为基础特征，然后加入其他的句法特征。表3显示了分别加入单个句法特征的效果。
表3 加入单个句法特征的效果
从表3可以看出，加入单个句法特征之后，评价对象的抽取效果有非常明显的提高，在加入路径特征后，F1可以提高5—8个百分点。该结果验证了句法信息对评价对象抽取的重要性。对于路径特征，某条路径能够直接反映当前词同情感词之间的关系，例如，主谓关系等，因此路径特征对评价对象的抽取起着非常关键的作用，而精简路径和部分路径作为路径特征的衍生，同样起着比较重要的作用。当情感词作为动词时，评价对象通常位于情感词的右侧；当情感词作为形容词时，评价对象通常位于情感词的左侧。因此位置特征对评价对象的抽取同样起着非常重要的作用。在一句话中，评价对象同情感词通常位于同一子句中，因此特征P7对评价对象的抽取能够提供一定的信息量。
表4显示了我们利用贪婪式的特征选择算法所选择的特征组合，由于采用的是贪婪式特征算法，即每次选择贡献度最大的特征，因此特征选择是有先后顺序的。通过此表可以看出，特征组合{P5,P3,P6,P7}可以达到最好的效果，我们并没有采用其他的句法特征，因为加上其他特征之后对最后的抽取效果并无帮助。
表4 特征选择的结果
图3 Universities领域实验结果
图4 Services领域实验结果
图3和图4分别显示了在两个领域中我们的方法同Jakob和Gurevych[6]的方法比较，在此实验中，我们采用了十倍交叉验证的方法。其中基准系统代表只用词形(Token)和词性特征(POS)的结果，J和G(2010)代表Jakob和Gurevych[6]中使用的词性、词性、依存路径和离情感词距离为特征的抽取方法的结果。从图3和图4可以看出，当采用句法特征之后， 抽取结果的召回率有显著提高。在Universities领域的R中，我们的方法比Jakob和Gurevych[6]的方法提高大约4.4个百分点，Services领域的R比Jakob和Gurevych[6]的方法提高大约7.5个百分点。整体性能方面，其中Universities领域的F比Jakob和Gurevych[6]的方法提高3.5个百分点，Services领域的F比Jakob和Gurevych[6]的方法提高大约6.4个百分点。说明句法结构信息能够充分反映评价对象和情感词之间的关系。
5 结论
本文主要介绍了句法特征在评价对象抽取中的应用，实验结果表明，句法特征对评价对象的抽取起着非常关键的作用，句法信息能够充分捕捉情感词和评价对象之间的关系。基于句法特征的CRF模型远远优于仅使用词形和词性特征的抽取方法，而且明显优于目前最好的基于依存句法的抽取方法，即Jakob和Gurevych[6]的方法。
在下一步的工作中，我们将继续寻找其他的句法特征，进一步提高和完善句法特征在评价对象抽取任务中的应用。同时，将句法特征应用到评价对象抽取的领域适应问题中，考察句法特征在评价对象抽取领域适应问题中的表现。
[1] Pang B， Lee L. Opinion Mining and Sentiment Analysis[J]. Foundations and Trends in Information Retrieval, 2008, 2(1-2) :1-135.
[2] Pang B, Lee L, Vaithyanathan S. Thumbs up? Sentiment Classification using Machine Learning Techniques[C]//Proceedings of the EMNLP 2002. 2002: 79-86.
[3] 赵妍妍，秦兵，刘挺．文本情感分析[J]. 软件学报, 2010, 21(8):1834-1848.
[4] Kim S，Hovy E. Extracting Opinions, Opinion Holders, and Topics Expressed in Online News Media Text[C]//Proceedings of the ACL Workshop on Sentiment and Subjectivity in Text. 2006: 1-8.
[5] Hu M， Liu B. Mining Opinion Features in Customer Reviews[C]//Proceedings of the AAAI-2004. 2004: 755-760.
[6] Jakob N， Gurevych I. Extracting Opinion Targets in a Single and Cross-Domain Setting with Conditional Random Fields[C]//Proceedings of the EMNLP-2010. 2010: 1035-1045.
[7] Li B, Zhou L, Feng S, et al. A Unified Graph Model for Sentence-based Opinion Retrieval[C]//Proceedings of the ACL-2010. 2010:1367-1375.
[8] 王荣洋，鞠久鹏，李寿山，等. 基于CRFs的评价对象抽取特征研究[J]. 中文信息学报，2012，26(2)： 56-61.
[9] Popescu A, Nguyen B, Etzioni O. OPINE: Extracting Product Features and Opinions from Reviews[C]//Proceedings of HLT/EMNLP-2005. 2005:32-33.
[10] Zhuang L, Jing F, Zhu X. Movie review mining and summarization[C]//Proceedings of the CIKM-2006. 2006: 43-50.
[11] Kessler J， Nicolov N. Targeting Sentiment Expressions through Supervised Ranking of Linguistic Configurations[C]//Proceedings of the Third International AAAI Conference on Weblogs and Social Media, San Jose, California, USA, May.2009: 90-97.
[12] Putthividhya D， Hu J. Bootstrapped Named Entity Recognition for Product Attribute Extraction[C]//Proceedings of the EMNLP-2011. 2011: 1557-1567.
[13] Toprak C, Jakob N, Gurevych I. Sentence and Expression Level Annotation of Opinions in User-Generated Discourse[C]//Proceedings of the ACL-2010. 2010: 575-584.
[14] Jiang Z， Ng H. Semantic Role Labeling of NomBank: A Maximum Entropy Approach[C]//Proceedings of the EMNLP-2006.2006:138-145.
[15] 宗成庆. 统计自然语言处理[M]. 北京： 清华大学出版社，2008:1-475.
