基于神经网络的语境特征对must语义排歧影响研究

于建平 付继林 白塔娜

摘 要：英语情态动词的一词多义给自然语言处理带来了很大困难。情态动词语义对语境很敏感，发现影响情态动词语义的主要语境因素对情态动词特征选择、机器翻译等都十分重要。因此，采用神经网络技术对英语情态动词进行语义排歧，并确定不同语境特征对语义排歧结果的影响。基于一个100万字的语料库，以英语情态动词must为例，从语境中提取影响must语义的语义特征和句法特征，计算并确定这些特征向量值，建立可区分根情态与认识情态语义的BP神经网络，排歧正确率达到94%。在此基础上，通过实验研究确定不同语境特征对情态动词must语义排歧的影响程度等级。该研究结果为情态动词语义排歧及情态动词语义人工识别提供了重要依据。

关键词：神经网络;英语情态动词;语义排歧;语境特征

DOI：10. 11907/rjdk. 191918 开放科学（资源服务）标识码（OSID）：

中图分类号：TP301文献标识码：A 文章编号：1672-7800（2020）005-0033-04

0 引言

多数英语情态动词都具有一词多义、内涵与外延模糊、语义不确定等特性，所以英语情态动词语义排歧无论在人机语言交流还是自然语言处理中都是一个重要且棘手的问题。以往关于情态动词的研究主要侧重于对情态动词语义与句法特征及其功能的描述[1-3]。自然语言处理主要侧重于实义动词、名词语义理解与排歧技术及方法研究[4-10]。由于情态动词语义的复杂性，目前针对情态动词语义排歧的研究很少，针对不同语境特征对情态动词语义及其排歧影响的研究更少。然而，这些研究无论对语言学还是自然语言处理都具有十分重要的意义。神经网络是由大量简单处理单元广泛地相互连接而形成的复杂网络系统，其反映了人脑功能的许多基本特征，是一个高度复杂的非线性动力学系统。神经网络具有大规模并行、分布式存储与处理等特点，以及自组织、自适应与自学习能力，特别适合处理需要同时考虑许多因素和条件、不精确与模糊的信息处理问题[11]，已应用于模式识别、文本分類和知识发现等多个领域[12-19]。神经网络也很适合于研究情态动词的语义排歧问题。

本文以情态动词must为例，基于100万词的语料库建立情态动词语义排歧神经网络模型，并在此基础上研究不同语境特征对排歧效果的影响，旨在确定情态动词在具有不同语义时的语境特征结构，揭示不同语境特征对英语情态动词语义的影响程度，为情态动词语义排歧神经网络设计提供重要的特征选择依据，从而提高语义排歧正确率，并为英语情态动词语义识别提供依据。

1 英语情态动词must语义划分

著名情态语义学家Coates[3]把情态动词must的语义划分为：根情态语义（root meaning）和认识情态语义（epistemic meaning）。根情态语义包括表达责任（obligation）的语义和表达义务（necessity）的语义，Coates对must情态语义划分见图1。

本文采用以上语义划分方法，开展针对must根情态语义和认识情态语义的语义排歧与知识发现研究。

2 must语义排歧

2.1 语境特征提取

基于一个100万字的英语语料库，采用神经网络对must进行语义排歧。首先将语料库平均分为两个，一个作为训练语料库，另一个作为检验语料库;然后，按照以上语义划分对两个语料库中的must进行标注，分别从两个语料库中提取50个样本例句，构成训练集与检验集;之后确定样本例句的语境特征，包括语义特征和句法特征。语义特征由主语与must的互信息以及must与其后动词的互信息构成，句法特征由与must共现频率较高的句法形式构成。提取的语境特征包括：

（1）语义特征：①主语与根情态must1的互信息;②主语与认识情态must2的互信息;③根情态must1与谓语动词的互信息;④认识情态must2与谓语动词的互信息。

（2）句法特征：①否定式;②被动语态;③谓语动词为施事动词;④主语有生命性;⑤must+完成体;⑥must+静态动词。

2.2 语境特征向量化处理

为了使提取的10个语境特征能够在神经网络中运行，需要将语境特征变成矢量。首先，对①-④的语义特征计算互信息，计算公式如下[9]：

2.3 BP神经网络设计

由于训练集与检验集样本均为50个，输入向量为10维，vi （i = 1，2，…10），所以网络输入为一个50×10维的矩阵。对于隐层神经元个数，经过反复实验发现，隐层为9个神经元时，网络实现的精度和正确率最高，分别为1.760 95×10-8和94%，因此确定隐层神经元数量为9个。传递函数为tansig，输出层是单个神经元o，传递函数是线性的purelin，训练函数选取trainlm，训练精度设为le-006。该神经网络结构见图2。

将表1中训练集和检验集的向量输入神经网络。同时，对网络输出结果进行归一化处理，即输出结果在（-0.5，0.5）之间时，取0代表认识情态must;输出结果在（0.5，1.5）之间时，取1代表根情态must。在Matlab 7.0环境下运行所建立的BP神经网络，对其进行训练与检验，结果如图3-图4所示。其中，“*”为目标值，“+”为输出结果，二者重合为正确排歧，否则为错误排歧。由图3可以看出，在训练17步以后，神经网络达到设定精度10-6。由图4可以看出，该网络排歧只出现了3个错误，排歧正确率达到94%。

3 不同语境特征对情态动词must语义排歧的影响

3.1 实验

为了解不同语境特征对must语义排歧的影响程度，采用训练好的神经网络进行实验。每次从神经网络训练集矩阵与检验集矩阵中分别删除同一个特征向量，然后在Matlab7.0环境下运行BP神经网络，观察排歧结果变化程度，从而得知该特征对must语义排歧的影响程度。依次进行10次实验，实验结果见表2。

3.2 实验结果分析

从表3实验结果可以看出，当忽略认识情态must与谓语动词的互信息时，排歧正确率最低，说明“认识情态must与谓语动词的互信息”特征对must语义排歧影响最大。其次是“must +静态动词”，再次是“否定式”和“被动语态”特征。虽然忽略“否定式”和“被动语态”特征时都出现了8个错误，网络精度都为10-7，但忽略“被动语态”因素时，训练神经网络使用了更多步数，所以“被动语态”相比“否定式”对must的情态语义影响更大。以同样方法可以确定不同语境特征对must情态语义的影响由大到小排序为：认识情态must与谓语动词的互信息>must+静态动词>被动语态>否定式>根情态must与谓语动词的互信息>主语有生命性>主语与根情态must的互信息>施事谓语动词>主语与认识情态must的互信息>must+完成体。

比较表3中的数据可以发现，认识情态must与谓语动词的互信息、must+静态动词、主语有生命性主要影响must的根情态语义，其它特征主要影响must的认识情态语义。

下面从整体上研究不同语境特征对must情态语义排歧的影响。本文进行如下实验：①把主语与根情态must互信息以及主语与认识情态must互信息看作主语与must互的信息。在神经网络输入矢量中同时删除这两个矢量，然后运行神经网络，观察主语对must语义排歧的影响;②把根情态must与谓语动词的互信息和认识情态must与谓语动词的互信息看作must与谓语动词的互信息，同时删除这两个矢量，再运行神经网络，观察谓语动词对must语义排歧的影响;③同时删除6个句法特征，然后运行神经网络，观察全体句法特征对语义排歧的影响;④同时删除4个语义互信息特征，然后运行神经网络，观察全体语义特征对语义排歧的影响。实验结果见表3。

从表3可以看出，忽略must与谓语的互信息后，网络精度仅为10-2，无法达到设定精度（10-6），而且排歧正确率明显下降（58%），说明must与谓语动词的互信息对must的情態语义排歧影响很大。原因主要在于认识情态must与谓语动词的互信息对must语义排歧影响较大。相比之下，忽略主语与must的互信息对must语义排歧影响较小。从总体上看，谓语动词对must语义排歧的影响远大于主语对其的影响。从表3还可以看出，忽略所有句法特征后，排歧正确率有所下降，但下降幅度不大。但忽略所有语义互信息特征后，网络无法达到所要求的精度，仅为10-2，说明对其影响很大。该结果说明语义特征相比句法特征对must语义排歧的影响大得多，所以在情态动词语义排歧中，既要考虑语义特征，又要考虑句法特征，以语义特征为主，句法特征为辅。

4 结语

本文所建立的用于英语情态动词must语义排歧的神经网络达到了94%的理想排歧正确率。基于该神经网络进行的实验结果表明，就单项语言特征而言，“认识情态must与谓语动词的互信息”对must情态语义排歧影响最大，其次是“must +静态动词”。“被动语态”和“否定式”对must的情态语义影响也较大。“must+完成体”对must的语义排歧影响最小。就不同类别的语境特征而言，语义特征相比句法特征对must语义排歧的影响大得多。本文研究结果揭示了不同语境特征对must语义排歧的影响及影响程度，并对不同属性特征的影响程度进行排序，为情态动词语义排歧的特征选择与神经网络设计提供了重要依据，为自然语言处理中的情态动词语义排歧研究和情态语义学研究提供了重要的理论与实践依据。该方法也可应用于其它情态动词的语义排歧研究。

参考文献：

[1] PALMER F R. Mood and modality[M].  Cambridge： Cambridge University Press， 2001.

[2] SWEETSER E. From etymology to pragmatics： metaphorical and cultural aspects of semantic structure[M].  Cambridge： Cambridge University Press， 1990.

[3] COATES J. The semantics of the modal auxiliaries[M].  London： Routledge Press，1983.

[4] IDE N，VERONIS J. Word sense disambiguation： the state of the art[J].  Computational Linguistics， 1998，24 （1）： 1-41.

[5] SEIFOLLAHI S， SHAJARI M. Word sense disambiguation application in sentiment analysis of news headlines： an applied approach to FOREX market prediction[J].  Journal of Intelligent Information System， 2019， 52（1）：57-83.

[6] KRAWCZYK B， MCINNES B T. Local ensemble learning from imbalanced and noisy data for word sense disambiguation[J].  Pattern Recognition， 2018，78： 103-119.

[7] CORREA E A， LOPES A A， AMANCIO D R. Word sense disambiguation： a complex network approach[J].  Information Sciences， 2018，442： 103-113.