神经网络机器翻译在地方志中的可用性研究

[摘 要] 近年来，人工智能与深度学习技术迅猛发展，机器翻译步入新的阶段——基于神经网络的机器翻译。相比之前的机器翻译，神经网络机器翻译在翻译效率与质量上有所提高，但是仍面临着许多挑战，其中一个挑战是神经机器翻译在与训练语料类型相同的文本中能达到良好的翻译效果，但是一旦跨出该文本类型，翻译性能就会急剧下降。据此，对目前的主流神经机器翻译引擎在地方志《祁东县志（1986—2005）》中的翻译进行质量评估，旨在通过对比各神经机器翻译在地方志《祁东县志（1986—2005）》中的可用性，优选出适用于地方志文本的神经机器翻译系统，以此为机器翻译译后编辑工作者在机器翻译引擎的选择上提供参考建议，提高机器翻译译后编辑的效率，同时也为神经机器翻译系统的设计提供优化方向。

[关 键 词] 机器翻译；翻译质量；《祁东县志（1986—2005）》

一、机器翻译质量研究现状

就国内而言，笔者在CNKI中国知网——中国标准全文数据库中分别以“机器翻译质量评估”“机器翻译质量评测”“机器翻译质量评价”“机器翻译质量估计”为主题进行了4次高级检索，共得到与本项目研究相关的文章38篇：中文期刊文献17篇，外文期刊文献3篇，硕士论文18篇。在这38篇相关研究中，有人对机器翻译质量评估方法进行研究，例如，钟文康等人提出了一种基于蜕变测试的多粒度测试框架，用于在没有参考译文的情况下评估神经机器翻译系统的翻译质量（钟文康等，2021：1051-1066）；王青和马萧尝试提出一种渐进式的机器翻译质量评估方法：通过借助统计方法、余弦相似度和文本情感分析等技术，从词汇、句子、语义和语用的宏观层面探讨机器译文的忠实度和准确性，以及从词频统计、词语搭配、平均句长、句法分析、文本相似度、主题词、文本情感状态和情感倾向的微观层面考察机器译文的实际翻译情况（王青、马萧，2020：144-151）；樊宇昕等人发现了一种基于FrameNet和双层优化的译文质量量化评判模式（樊宇昕、安中华，2019：101-105）。有人对机器翻译质量评估进行整体性研究，如马鸣皓简要介绍了现有的机器翻译质量评估方法（马鸣皓，2019：76-78）；秦颖则着重对机器翻译质量的自动化评估方法进行了介绍（秦颖，2015：326-335）。还有人对机器翻译在特定文本中的质量进行评估，比如，梁本彬和李天云以自己参加的翻译实践项目为例，展示了谷歌神经机器翻译在人文社科图书翻译方面的表现（梁本彬、李天云，2021：63-68）；肖维青和高佳辉以TED演讲为素材，对比评估了“网易见外”自动生成英译中字幕与网易公开课字幕的质量（肖维青、高佳辉，2020：95-105）；吉奕卫对比评估了谷歌翻译和有道翻译的汉语被动语态翻译质量（吉奕卫，2019：55-57）。此类研究涉及的文本主要有政府白皮书、财经新闻、《经济学人》、《纽约时报》，所选取的研究角度有词汇和句法错误分析、语内和语外错误分析、机器翻译和人工526c0101754b374b09661c4685120cbaae4e595b952129bb8f1740a9af538d1b翻译对比错误分析以及基于神经网络的机器翻译质量分析。从研究层次来看，因为机器翻译质量评估其本身具有跨学科特征，研究集中在信息科技、哲学与人文社科、基础科学三大学科。

就国外而言，有一些研究主要针对研究者自身的母语，分析英语到其母语的机器翻译质量评估。Wojak与Gralinski利用基于网络的人工平台对波兰语与英语双语译文产出进行评估（Wojak，Gralinski，2010：547-551）。Bentivogli等人在2015年国际口语翻译系统评测大赛（IWSLT）中对神经网络与基于短语的机器翻译进行英语与德语的翻译评测，指出神经网络模型对于翻译中动词的重新排列有更高的灵敏度（Bentivogli，et al，2016：257-267）。Koehn与Knowles曾针对利用神经网络英语到西语的翻译系统进行研究并评测，他们使用了法律、医药等专业语料进行训练，测试结果显示只有语料规模达到1500万字以上，才能得到一个性能较好的神经网络翻译模型（Koehn，Knowles，2017：28-39）。Toral等人对于罗曼语系、斯拉夫语系等语系中的9种语言进行英语到该语言的翻译质量评估（Toral，2017：1063-1073）。尽管已有多项研究对基于神经网络的机器翻译质量进行测评，但是其测评主要集中在同一个或者相邻的语系之间，缺少英汉之间的机器翻译质量评估。

二、地方志机器翻译质量对比的材料和方法

本研究主要对比地方志文本在不同机器翻译引擎中的翻译质量，此过程主要包括两个步骤：一是将地方志文本输入不同的机器翻译引擎，得到用于对比这些机器翻译质量的材料，即不同的机器译文；二是用人工评估方法对机器译文的质量进行对比评估。

（一）机器翻译质量对比的材料

本研究选用地方志《祁东县志（1986—2005）》作为原文本。《祁东县志（1986—2005）》由祁东县志编纂委员会编辑、方志出版社出版，记述湖南省祁东县1986—2005年这一历史阶段的自然、政治、经济、文化、社会等方面的发展面貌，体裁以记述体为主，语言客观平实。将原文本输入7个主流的机器翻译引擎：搜狗翻译、谷歌翻译、有道翻译、微软翻译、百度翻译、腾讯翻译君、DeepL翻译，得到本研究用于机器翻译质量对比的材料，即七篇机器译文。

（二）机器翻译质量对比的方法

本研究采用人工评估的方法对比各机器译文的质量，其中人工评估方法选用的评估标准是目前广泛使用的DQF动态质量评估框架，具体的操作流程如下：

第一，选择测试文本，即在本报告节选的《祁东县志（1986—2005）》第十六篇第一章文化事业的第一节至第四节中选择用于测试机器翻译引擎质量的文本。测试文本既要具备原文本的特点，保证测试结果的可用性；又不能太长，保护测试过程的高效性。因此，本报告选择第三节的第一段作为测试文本，该段落主要介绍祁东县祁剧演出的演职员队伍，段落长度为254个汉字。测试文本标记为ST’，如图1所示。

第二，输出评测译文，即依次将测试文本ST’输入搜狗翻译、谷歌翻译、有道翻译、微软翻译、百度翻译、腾讯翻译君、DeepL翻译中，输出这7个机器翻译引擎所对应的7个版本的译文，分别记为TT1、TT2、TT3、TT4、TT5、TT6、TT7。

第三，对机器翻译译文进行翻译质量评估，即评估人员对机器译文TT1、TT2、TT3、TT4、TT5、TT6、TT7的质量进行评估。此次评估的评估者是8名来自湖南师范大学外国语学院MTI专业的研三学生，评估者均已通过CATTI英语笔译二级考试，具备优秀的翻译能力，且上过计算机辅助翻译课，了解机器翻译相关知识。8位评估者分别编号为P1、P2、P3、P4、P5、P6、P7、P8。此次评估的评估标准是翻译自动化用户协会（TAUS）推出的DQF动态质量评估框架，DQF动态质量评估框架对机器翻译质量给出了两个评估属性：准确度和流畅度。准确度指原文本的意义在目标译文中的表达程度；流畅度指译文的语法、拼写、通用术语和名称能被母语者接受并理解的程度（TAUS，2015： 12）。8位评估者对机器译文的流畅度和准确度进行打分，流畅度和准确度的分数设置均为1-5分，1分表示译文非常不流畅、准确度很低，5分表示译文十分流畅、准确度很高。据此，将评估者Pn（n=1， 2， 3， 4， 5， 6， 7， 8）给ST’的机器翻译译文TT1～TT7的流畅度分数记作Fn1、Fn2、Fn3、Fn4、Fn5、Fn6、Fn7，将评估者Pn（n=1， 2， 3， 4， 5， 6， 7， 8）给ST’的机器翻译译文TT1～TT7的准确度分数记作An1、An2、An3、An4、An5、An6、An7。

三、地方志机器翻译质量对比的结果分析

8位评估者给7个机器翻译译文的流畅度评分情况如表1所示，准确度评分情况如表2所示。

那么Fn1、Fn2、Fn3、Fn4、Fn5、Fn6、Fn7（n=1， 2， 3，4， 5， 6， 7， 8）就分别为搜狗翻译、谷歌翻译、有道翻译、微软翻译、百度翻译、腾讯翻译君、DeepL翻译在ST’中的翻译流畅度。同样地，An1、An2、An3、An4、An5、An6、An7（n=1， 2， 3， 4， 5， 6， 7， 8）就分别为搜狗翻译、谷歌翻译、有道翻译、微软翻译、百度翻译、腾讯翻译君、DeepL翻译在ST’中的翻译准确度。7个机器翻译引擎在ST’中的翻译流畅度和准确度情况如图2所示。

由图2可以看出，在流畅度方面，TT2是7个机器译文中最流畅的，而TT7和TT3的流畅度相对较低，剩余4个机器译文TT1、TT4、TT5、TT6的流畅度相差不大。在准确度方面，TT2和TT5的准确度相同，而TT7和TT3的准确度相对较低，其他3个机器译文的准确度没有表现出明显的差异。综上所述，从流畅度和准确度两方面来看，TT2是7个机器译文中表现最好的。因此，在搜狗翻译、谷歌翻译、有道翻译、微软翻译、百度翻译、腾讯翻译君、DeepL翻译这7个机器翻译引擎中，输出TT2的谷歌翻译是最适合《祁东县志（1986—2005）》的机器翻译引擎，所以本报告选择谷歌翻译作为此次翻译任务的机器翻译引擎。

四、结论

从基于规则到基于实例、基于统计，再到基于神经网络，机器翻译确已取得较大进步，在翻译方面的表现可圈可点。在此次翻译实践中，报告者采用“机器翻译+译后编辑”的模式翻译《祁东县志（1986—2005）》，首先报告者以DQF动态质量评估框架为评价标准，对比七个主流的机器翻译引擎：搜狗翻译、谷歌翻译、有道翻译、微软翻译、百度翻译、腾讯翻译君、DeepL翻译在《祁东县志（1986—2005）》中的译文质量，最终以译文准确度和流畅度都相对较高的谷歌翻译引擎为工具，对《祁东县志（1986—2005）》第十六篇第一章的第一至四节进行机器预翻译，并在机器译文的基础上进行人工编辑，最终翻译定稿。作为业内领先的线上翻译平台之一，在此次翻译实践中，谷歌翻译在通用专有名词与简单句的处理上表现良好，报告者可直接采用机器译文或仅进行简单的译后编辑即可，有效提高了笔者的翻译效率，节约了时间成本。

近年来，人工智能与机器翻译技术迅猛发展，机器翻译的应用率呈大幅增长趋势。尽管机器翻译的表现愈来愈佳，但机器始终无法代替人脑。因而，人机结合的翻译模式才能最大限度地发挥两者的优势，实现效率与质量的平衡。目前，越来越多的人采用“机器翻译+译后编辑”的翻译模式。在信息井喷、翻译需求剧增的大环境下，译者有必要掌握灵活运用翻译工具的能力，提高信息检索与译后编辑的能力，以适应时代所需。

参考文献：

[1]陈明瑶，邱辉. 从语篇的衔接与连贯论《中国的环境保护》（白皮书）的英译[J]. 上海翻译，2009（1）：20-24.

[2]崔启亮. 论机器翻译的译后编辑[J]. 中国翻译， 2014，35（6）：68-73.

[3]冯全功，崔启亮. 译后编辑研究：焦点透析与发展趋势[J]. 上海翻译，2016（6）：67-74，89，94.

[4]方梦之. 应用翻译研究：原理、策略与技巧[M]. 上海：上海外语教育出版社，2013：184.

[5]黄国文. 语篇分析概要[M]. 长沙： 湖南教育出版社， 1988：11.

[6]黄河燕， 陈肇雄. 一种智能译后编辑器的设计及其实现算法[J]. 软件学报，1995（3）：129-135.

[7]李梅， 朱锡明. 译后编辑自动化的英汉机器翻译新探索[J]. 中国翻译，2013，34（4）：83-87.

[8]李运兴. 英汉语篇翻译[M]. 北京： 清华大学出版社， 2011.

[9]罗季美，李梅. 机器翻译译文错误分析[J]. 中国翻译，2012，33（5）：84-89.

作者单位：湖南师范大学外国语学院