融合翻译知识的机器翻译质量估计算法研究
2021-01-12
(太原理工大学国际合作处,山西 太原 030024)
0 引言
在经济全球化的大背景下,大量的国际交流合作带来了机器翻译的极大需求,这对于机器翻译的质量也就有了更高的要求。显然,如何提升机器翻译的质量是一项重要的研究内容,这就需要对机器翻译质量进行客观合理的评价。而目前的机器翻译评价指标存在着对译文评分效果较差的情况,因此,有必要对机器翻译质量估计算法进一步研究,以进行优化改进。
1 机器翻译的基础算法与模型构建
1.1 基本模型简述
在以往的机器翻译质量估计的研究中,研究重点主要是对语法相关特征进行提取,以及对语义问题的研究,较为常用的方法是,忽略句子中单词的顺序,将句子转换为单词的集合,使用各个单词的向量平均值对该语句进行编码,再对编码后所得到的向量进行拼接,则得到输入特征。这种方法由于忽略了语句中的单词顺序,因此几乎无法提取到语句中深层次的含义[1]。由此,循环神经网络编码的方式应运而生,目前,较为常用的是GRU 编码器和解码器,以实现对语句序列的研究,同时,考虑到机器翻译领域往往需要较大的常见语言对数据集,因此,通常还需要引入神经网络机器翻译模型,来对数据集中的平行语料加以有效利用。整体来看,算法的基本模型分为神经网络机器翻译模型和译文质量估计模型,在输入特征向量的基础上,实现最终的质量输出。
1.2 语料库的构建和识别
构建语料库的作用是,识别两种语言下的短语词性,并为这些短语赋予基础功能,以提升自动识别的精确度和速度。在具体的语料库构建中,通常涵盖了30万个中文单词和28万个英文单词,这些单词能够构造出大量的语句和短语,基本涵盖了日常交际、商务、科研等各方面的正常沟通和翻译。
在语料库的识别方面,通过词性标记后,语句就会被划分为若干个单词,单词组成短语后,通过词性识别,就形成了句法树,短语中各单词之间的关系也就得到确定,以确保翻译的效率和质量得到提高。目前,GLR 算法是词性识别中较为常用的算法,其主要是根据动态识别表单和无条件转移语句,实现对短语上下文的似然性的分辨,在GLR 算法中,如发现语法歧义,则会通过句法的几何结构线性表进行解析,以进行符号识别。以往的GLR 算法在符号识别过程中精确度相对较低,为此,研究人员通过以短语中心点构造短语结构的方式,改进了GLR 算法,使得该算法的识别精度显著提高[2]。
1.3 自动识别算法的校正
在翻译自动识别算法中,由于汉语和外语之间存在较多的结构歧义,因此词性识别的校正是一个必要的步骤。通常,通过解析线性表的方式进行短语动作和句法功能的识别,对于句法功能的识别则相对较为完善,能够通过推进、归纳、接受、终止和出错等指针,对翻译错误进行识别,再利用语料库中的标记内容对错误进行更正[3]。具体来看,归纳和推进指针的作用相类似,都是对终止符位置的重新替换,但归纳指针能够重新制定句法功能识别。终止指针则会在可能产生结构歧义的节点产生,当终止指针出现后,算法会自动进行分析,确认中心点符号是否位于正确语句结构中,如发现异常则会直接调取出错指针进行校正。
2 融合翻译知识的机器翻译算法训练
2.1 所使用的模型
训练中所采用的模型由两部分组成,第一部分是两个翻译方向相反的神经网络机器翻译模型,第二部分则是QE 模型,其中,第一部分的主要作用是,实现源语言和目标语言之间的相互翻译,为两个结构完全相同的NMT 模型,两个模型之间的向量参数也基本相同。编码器则为GRU 编码器,初始状态为零向量,在计算过程中,先将单词映射为对应的向量,然后进行输入和计算,计算完成后输出结果,并使用解码器进行解码,解码器仍为GRU 解码器[4]。
2.2 训练过程
该算法的主要训练过程如下:
(1)对所使用的模型中的所有参数,包括词向量参数,全部随机初始化。
(2)对两个NMT 模型进行交替训练。具体的交替训练过程如下:首先,对第一个NMT 模型进行若干个迭代训练,并将batch 压入队列当中,当迭代的batch 达到一定数量后,对第二个NMT 模型进行训练,依次弹出第一个NMT 模型中所压入的batch,以用于第二个NMT 模型的迭代训练,输出的loss 则为两个NMT 模型的loss 值的平均数。除了交替训练的方式外,也可使用联合训练的方式,即采用同一个batch对两个NMT模型进行同时训练,相对而言,联合训练的方式在保证效果的前提下,训练方式更为简单快捷,因此应用也相对较多。
(3)NMT 模型训练完成后,在QE 训练集上训练,以得到最终模型。
3 译文质量的估计模型及评价
相关研究表明,要提升译文质量,其关键在于对其源语言和目标语言的语句,但受到QE 模型数据集规模的限制,无法直接通过QE 数据集进行源语言和目标语言之间的复杂对齐关系,因此,通常需要采用额外的数据包或工具加以进行。目前,较为常见的对齐方式是SMT 中的硬对齐方式,并采用特殊结构,对NMT 模型中的对齐模型进行改进。
该对齐模型主要分为用于最终预测的Word-level QE模型和提供对齐信息的NMT 模型,其中,预测模型主要用于输入源语句和对应的机器翻译译文信息等,所输入的目标语句向量则由目标端单词词向量、目标端单词左边和右边单词的词向量以及目标端三个单词所对应的POS 向量等。同时,该模型还存在着隐层,隐层又可分为若干个子层,分为以下几个结构:两个前向全连接层;双向的GRU;一个BiGRU。
在模型的输入阶段,需要目标端每个单词与源语言语句中的单词均对齐,因此,需要使用特殊的NMT 模型提供对齐信息,该NMT 模型的原理是,对目标端语句的单词提供所对应的注意力信息,来提高对齐的概率。在NMT 模型的编码器部分,主要采用双向循环神经网络提供目标端单词的上下文信息,解码器部分同样采用双向循环神经网络,以获得更为准确的对齐信息。
具体的测评工作主要针对算法的短语识别精度、识别速度和更新能力三个方面进行。测评工作小组则由机器翻译、翻译人员和打分人员组成,并使用封闭测评和开发测评两种工作方式。在评分过程中,识别速度和更新能力需要采用加权平均值法进行赋分。根据相关的测评结果,可以发现,不同算法模型的翻译质量取决于Word-level QE 模型的效果,由此可见,采用Word-level QE 模型进行机器翻译任务是行之有效的。与此同时,实验中也发现,Word-level QE 模型无论是否进行了改进,其效果都同以往的直接编码方式相比有了显著提升。
4 结束语
在机器翻译不断发展的情况下,研究人员对于机器翻译质量的估计算法也有了更为深入的研究,在以往的基础上,将评价指标侧重于句子级别的机器翻译,提高了估计算法的评测准确度。当然,在目前的研究和实验中,融合翻译知识的特征仍然存在着一定的局限性,因此,在今后的研究中,应当进一步结合其他的有效特征,以不断提高机器翻译质量估计的准确性。