主客观与褒贬分类融合的微博情感倾向性分析

韩中元等

摘 要：在微博情感倾向性分析中，一种典型分析方法是先对微博进行主客观分类，再对判定为主观的微博进行褒贬分类，但其问题在于主客观分类错误将直接传导到褒贬分类。针对这一问题，本文提出了一个主客观分类和褒贬分类融合的评估情感倾向性强度的模型。首先使用改进的逻辑回归模型构建主客观分类模型，并结合情感词典构建褒贬分类模型；然后，将二者融合，构建情感倾向性强度模型来选出具有较强情感的微博；最后应用褒贬分类模型判定情感倾向性。该方法在第六届中文倾向性分析评测（COAE2014）的微博观点句识别任务中获得了主要指标Micro_F1值和Macro_F1值的第二名。

关键词：情感倾向性分析；主客观分类；褒贬分类；微博

中图分类号：TP391.1 文献标识码：A 文章编号：2095-2163（2014）06-

Abstract： A typical practice in sentiment analysis consists of two steps： first classify the subjective sentences from the objective ones， and then distinguish the positives from the negatives among the subjective sentences. To alleviate the issue of error accumulation arising from such a pipeline approach， this paper investigates a unified model for microblog sentiment analysis. Firstly， a subjective-objective classification model is constructed by the improved Logistic Regression model. And a positive-negative classification model is proposed by using sentiment dictionary and the improved Logistic Regression. Secondly， an emotional intensity model， which is a linear combination of the two classification sub-models， is applied to select the microblogs with more strong sentiment. Lastly， the sentiment classification is judged by the positive-negative classification model. The final release of COAE 2014 indicates that the proposed method ranks as top 2 in micro_F1 and macro_F1 in the task.

Keywords： Sentiment Tendency Analysis； Subjective-Objective Classification； Positive-Negative Classification； Microblog

0引 言

随着微博的不断发展和实用普及，国内外学者围绕微博展开了一系列研究，其中微博情感倾向性分析已然成为研究热点之一。微博情感分析即是对带有情感色彩的主观性微博进行分析、处理、归纳和推理，就是通过对微博情感信息的综合计算和技术评定，藉此实现了解人们针对实体、人物、事件、主题及其属性的主观意见和对应情感的研究宗旨[1]。微博的情感分析在挖掘用户观点、产品反馈、商品推荐、潜在用户挖掘等多方面均具较高的应用价值。而且，在理论上，情感分析技术也有助于自然语言处理领域其他研究方向的深度发展，具体来说则如自动文本摘要以及问答系统等[2]。

当前研究中，文本情感分析主要采用了基于情感知识的方法和基于分类的方法[2]。针对此两类方法，可做如下综述和解析。

一方面，基于情感知识的方法可通过考察文本内部是否含有情感知识来完成主客观分析和褒贬分析[3]。这类方法的情感知识主要是通过情感词典、领域词典或主观文本中带有情感极性的组合评价单元而相应获得。例如：文献[4]利用情感词典识别文本中的情感词，文献[5]通过WordNet半自动地构建评价词词典和修饰词词典，文献[6]则通过模板获取名词词性的评价词语等。

另一方面，基于分类的方法就是将情感分析视为分类任务，并使用机器学习的方法，以及选取大量有意义的特征来训练分类器。本文沿用的即是分类的方法。在具体任务上，情感倾向性分析包含着主客观分析和褒贬义分析。而在分类方法中，则对应着主客观分类和褒贬义分类。

其中，主客观分类是指将文本分为主观、客观文本两类，其核心是分类模型的选择和分类特征的选取。典型研究包括：文献[7]使用词语作为特征，而将朴素贝叶斯模型作为分类器以完成情感文本的主客观分类，文献[8]又将符号、人称代词等一些特殊文本作为特征进行主客观文本分类，文献[9]即采用基于图的分类算法完成句子级的主客观分类等。

而褒贬义分类就是将主观文本分为褒义、贬义两类。相关研究包括：文献[10]以支持向量机作为分类器，提出了一个两步分类方法，首步将微博按主客观分类，后步再将主观微博分为积极的和消极的两类，文献[11]则重点构建了基于朴素贝叶斯、支持向量机和条件随机场情感分类器，文献[12]即应用K-最邻近法设计了一个分类器，其特征使用了Twitter的特有属性和习惯用法（比如标签和表情等）。

在基于分类方法进行微博情感倾向性分析的相关研究中，一般认为，只有含有主观情感的微博才具有褒贬义，因此，典型处理是将情感分析分为两个阶段：首先将微博分为主观和客观两类，再对分类为主观的微博进行褒贬分类（即情感极性分类）[10，13]。然而，这种方法却因建立在完全信任主客观分类结果的基础上，而极有可能导致主客观分类的错误直接传导到褒贬分类中。为减少错误的积累传递，本文即将微博的主客观分类模型和褒贬义分类模型相互融合，提出了一个情感强度模型，通过利用该模型而对微博的情感倾向性强度实施判断，再基于此来选择具有较强情感倾向性的微博进行褒贬义分析。

本文提出方法的有效性在第六届中文倾向性分析评测（COAE 2014）的微博观点句识别任务（Task 4）中得到了检验。评测结果表明，将主客观分类与褒贬分类融合的中文微博情感倾向性分析方法以较小的精确率损失换来了召回率的明显提高，进而获得了整体性能的更大提升，在主要评价指标Micro_F1和Macro_F1上获得了第二名。

1 主客观分类与褒贬分类融合的情感倾向性分析方法

1.1 整体框架

本文所提出的融合主客观分类和褒贬义分类的中文微博的情感倾向性分析方法的整体框架描述如图1所示。该框架的主要内容包括：利用带主客观标注的微博构建主客观分类模型；利用带褒贬标注的微博和情感词典构建褒贬分类模型；融合主客观分类模型和褒贬分类模型的情感倾向性强度模型。

在该框架中，首先以二元文法（bigram）作为微博的特征，采用改进的逻辑回归模型，在主客观微博训练数据上学习主客观分类模型θs；亦采用同样方式得到一个基本的褒贬义分类模型。然后，利用情感词典作为先验知识对褒贬分类模型的特征权重进行调整，以弥补训练样本少而带来的数据稀疏问题，由此得到褒贬分类模型θJD。最后，将θs和θJD线性加权，构造了一个情感倾向性强度模型θP。对于测试数据，可利用倾向性强度模型θP选择具有情感倾向性的微博，再通过褒贬分类模型θJD而完整给出情感倾向性分析结果。

1.2 主客观分类模型

本文采用改进的逻辑回归模型学习主客观分类模型和褒贬分类模型。以主客观分类模型为例，学习过程可以描述为：对微博内容提取特征向量x，用主观微博和客观微博组成的序对构建训练数据，再利用对数损失函数和梯度下降法在训练数据集上学习每个特征x的权重θ。

在测试数据上，逻辑回归模型根据训练阶段学习到的特征权重，对测试数据的特征求和，将其记为θ·x，其中，x是特征向量，θ表示向量的权重。

情感倾向性分析的基础依据就是微博的特征，特征选择对性能将具有直接的影响。与文本分类问题相比，微博内容有其特殊之处。人们在使用微博发表看法时，表达上比较随意，语法结构也不严谨，用词极不规范且存在网络用语等大量未登录词，这即对传统的分词方法提出了挑战。

针对微博特征提取面临的相应问题，并借鉴文献[14-15]在n-gram上的成果经验以及bigram在信息检索中的良好性能，本文将选用基于汉字的bigram（不引起歧义的情况下，本文简称为bigram）作为微博的特征。基于汉字的bigram提取特征是将相邻的两个汉字作为一个特征，例如“三星手机”可以拆成“三星”、“星手”、“手机”三个特征。每篇微博转换为bigram特征向量，其特征值则为布尔值，即某篇微博若包含某个bigram，其值为1，否则为0。

研究已知，微博内容并不如正式文本那样规范书写、格局严谨，其中的语法错误、错别字等十分常见，这就可能会增加分词错误，从而影响分类器的有效性。采用bigram、而未用分词处理，避免了分词错误带来的影响。同时，对于一些书写错误的词或相应词的变形，也能起到一定的辨识作用。

1.3 褒贬分类模型

采用改进的逻辑回归模型，利用褒贬数据可以学习到一个褒贬义分析模型θJ。但由于训练样本少、情感词汇覆盖面不足，本文将利用情感词典作为词汇权重的先验值、并加入到褒贬义模型中，这在一定程度上缓解了词特征的稀疏问题。

每个褒义词（贬义词）被赋予一个常数权重Wd加入θJ中，得到θJD。具体来说，由于本文采用的是bigram，因此词典上每个褒贬义词按照bigram切分后，每个褒义词对应bigram权重之和为Wd，每个贬义词对应bigram权重之和则为-Wd。基于此，可利用θJD对微博的褒贬义进行判定。为简便起见，本文即将|Wd|设为1。

1.4 主客观分类与褒贬义分类融合的情感倾向性强度模型

如前所述可知，为避免主客观分类的错误传递到褒贬分类中，本文将二者结合，进而提出了情感倾向性强度模型，而利用该模型则可选择获得具有较强的情感倾向性的微博。微博的情感倾向性强度越大，含有褒贬义情感的概率也会越大。

具体来说，一方面，从表1中可以看出，主客观分析模型学习到的词汇往往不带有情绪倾向性。但从褒贬义角度，如果一个用户带有强烈的褒贬义倾向，则该微博是主观微博的概率则会相应增大。hit2lab_run4是hit2lab_run1根据话题对微博进行筛选的实验结果。微博与话题的相似性利用语言模型计算，将与每个话题最为相似的前2 500条微博作为备选，并对这些微博采用与hit2lab_run1相同的方法，进行主客观分类后，再将判定为主观的微博根据θJD做出最终褒贬判断。

hit2lab_run5是情感倾向性强度模型的实验结果。通过利用语言模型计算每篇微博与话题的相似度得分，每个话题选择得分最高的7 000条微博，共21 000条微博，同事使用情感倾向性强度判定模型θP，选取情感倾向性强度最大的10 000篇微博，再根据θJD给出最终褒贬分析结果。

2.4 实验结果

3 结束语

在微博的情感倾向性分析中，为解决主客观分类错误向褒贬义分类的传递，本文提出了将主客观分类和褒贬分类融合的微博情感倾向性强度模型，利用该模型能够减少错误传递的影响。而且，利用微博情感倾向性强度模型可以较好地选择出富含情感的微博。实验结果表明，本文所提出的方法以较少的精确率代价换来了召回率的较大提升，从而获得了衡量总体性能的F1值的提升，其有效性已在COAE2014评测中得到了切实证明。本文所提出的融合主客观和褒贬分类的微博情感倾向性强度模型尚存在大量的研究需要继续全面深入开展，未来将进一步探索更有效的融合方法用以提高情感倾向性分析的性能指标。

参考文献：

[1] 赵妍妍，秦兵，刘挺. 文本情感分析[J]. 软件学报， 2010. 21（8）： 1834-1848.

[2] 谢丽星，周明，孙茂松. 基于层次结构的多策略中文微博情感分析和特征抽取[J]. 中文信息学报， 2012， 26（1）： 73-83.

[3] HATZIBASSILOGLOU V， WIEBE J M. Effects of adjective orientation and gradability on sentence subjectivity[C]// Proceedings of the 18th conference on Computational Linguistics， 2000（1）：299-305.

[4] KIM SM， HOVY E. Automatic detection of opinion bearing words and sentences[C]//Proceedings of the International Joint Conference on Natural Language Processing， 2005， 61？66.

[5] WHITELAW C， GARG N， ARGAMON S. Using appraisal groups for sentiment analysis[C]// Proceeding Of the ACM SIGIR Conference On Information and Knowledge Management. New Youk： ACM Press， 2005：625-631.

[6] RILOFF E， WIEBE J. Learning extraction patterns for subjective expressions[C]//Proceedings of the 2003 Conference on Empirical Methods in Natural Language Processing ， 2003：105？112.

[7] YU H， HATZIVASSILOGLOU V. Towards answering opinion questions： Separating facts from opinions and identifying the polarity of opinion sentences[C]//Proceedings of the 2003 conference on Empirical Methods in Natural Language Processing. 2003：129？136.

[8] YAO TF， PENG SW. A study of the classification approach for Chinese subjective and objective texts[C]// Proceeding of the third National Conference for Information Retrieval and Content Security. 2007：117？123.

[9] PANG B， LEE L. A sentimental education： Sentiment analysis using subjectivity summarization based on minimum cuts[C]//Proceedings of the 42nd Annual Meeting on Association for Computational Linguistics ， 2004：271？278.

[10] BARBOSA L. FENG J. Robust sentiment detection on Twitter from biased and noisy data[C]// Proceedings of the 23rd International Conference on Computational Linguistics， 2010：36–44.

[11] PARK A， PAROUBEK P. Twitter as a Corpus for Sentiment Analysis and Opinion Mining[C]//Proceedings of the International Conference on Language Resources and Evaluation. 2010：1320-1326.

[12] DAVIDOV D， TSUR O， RAPPOPORT A. Enhanced sentiment learning using Twitter hashtags and Smileys[C]// Proceedings of the 23rd International Conference on Computational Linguistics. 2010：241–249.

[13] JIANG Long， YU Mo， ZHOU Ming， et al. Target-dependent Twitter sentiment classification[C]//Proceedings of the 49th Annual Meeting of the Association for Computational Linguistics： Human Language Technologies， 2011：151-160.

[14] PANG B， LEE L， VAITHYANATHAN S. Thumbs up？ Sentiment classification using machine learning techniques[C]//Proceedings of the ACL-02 conference on Empirical methods in natural language processing ， 2002（10）： 79？86.

[15] CUI H， MITTAL V， DATAR M. Comparative experiments on sentiment classification for online product reviews[C]//Proceedings of the 21st national conference on Artificial intelligence， 2006（2）： 1265？1270.

[16] 谭松波，王素格，廖祥文，等. 第五届中文倾向性分析评测技术报告[C]// 第五届中文倾向性分析评测会议， 2013：5-33.