机器翻译的终极之路在哪里(下)
2020-03-26
编者按:据不完全统计,世界上现存语言超过7000多种,即使人類不眠不休穷尽一生也只能掌握几十种语言。于是,很多科学家开始思考如何用机器来帮助人们解决沟通问题,因此机器翻译应运而生。那么,什么是机器翻译?机器翻译是如何发展的?目前还有哪些应用呢?接下来,我们将共同了解这些内容。
主持人:
倪俊杰 浙江省桐乡市凤鸣高中
嘉 宾:
刘宗凡 广东省肇庆市四会中学
邱元阳 河南省安阳县职业中专
金 琦 浙江师范大学附属中学
杨 磊 天津市第五中学
邵建勋 浙江省义乌市上溪中学
倪俊杰:在上一期中,我们介绍了机器翻译的发展历程以及它的基本应用。关于机器翻译的类型,大致可以分为基于规则的方法、基于统计的方法和基于神经网络的方法三种。受篇幅的限制,有关上述方法的原理及背后底层技术在上一期未能展开。但随着机器翻译越来越生活化,似乎读者们对机器翻译的“真面目”还想继续深入了解,特别是最近很火的神经网络。除此之外,有关机器翻译在生活中的应用还有哪些方式,也是读者们关心的问题。为此,本期我们将延续上期话题,继续探讨有关机器翻译的故事。
神经网络机器翻译模型
倪俊杰:据相关新闻报道,神经网络机器翻译(NMT)与其他机器翻译技术相比,可以使翻译质量提升30%,同时解决了远距离语言的复杂性问题。那么,关于神经网络机器翻译的模型,还有哪些值得关注呢?
邱元阳:关于神经网络机器翻译,确实有很多值得研究。2016年年底,因为Google公司率先公布了神经网络机器翻译,从此宣告机器翻译正式从1989年的IBM机器翻译模型过渡到了神经网络机器翻译模型(已经极大地接近普通人的翻译水平)。为什么谷歌的神经网络翻译系统(GNMT)有这么强大的能量呢?原因是它巧妙地结合循环神经网络(RNN)和编码(Encoding)建立了一个能够自学的翻译系统,通过这个系统来实现更多精确的上下文翻译,而不是一次翻译一个单词的破碎句子。深度学习模型也能使用它来学习,可以在无任何人为干预的情况下实现两种语言之间的翻译。
杨磊:这里我来着重介绍一下神经网络机器翻译的模型。人类语言可以表示为时间序列数据,即指在不同时间点上收集到的数据,这类数据反映了某一事物、现象等随时间的变化状态或程度,后面的数据跟前面的数据有关系。由于RNN可以有效地处理时间序列数据,所以,自然语言处理的各个领域越来越多地使用RNN。编码过程就是利用RNN将输入的一段文字转换成一系列数字,用这些“特殊”的数字来表征非常复杂的对象(一句话或一段文字)。这样比较两种不同的语言就相对容易了,因为我们只要去比较那组“特殊”数字就可以,不需要比较完整的文字。我们可以再用另一个RNN,把这些数字再次转换,转换后的结果可以是输入的原句,也可以是其他的语言,甚至还可以是一张图片,这个过程的结果,取决于使用何种语料库(数据集)。模型通过训练网络获得编码和解码过程中的两个RNN的权值,最终构建出一个翻译网络,全过程如图1所示。GNMT利用深度学习方法不依赖于对人类语言规则的了解,模型本身清楚这些规则,这意味着不需要专家调整翻译流程中的步骤,计算机就能做到这些,更有趣的是,如果有合适的训练数据集,大部分序列到序列问题都可以采用该模型。
机器翻译领域还有很多优秀的模型,统计机器翻译(SMT)也是其中的佼佼者。SMT是首先为语言的产生构造某种合理的统计模型,根据统计模型,定义模型参数,并设计参数估计算法,也就是把翻译当成统计几率,利用平行语料,然后逐字进行统计。例如,机器虽然不知道“病毒”的英文是什么,但是在大多数的语料统计后,会发现只要有“病毒”出现的句子,对应的英文例句就会出现“virus”这个词。
最新的研究用生成对抗网络(GAN)与神经机器翻译(NMT)两者结合到一起提出了一种新的框架 Adversarial-NMT,也得到了很好的实验效果。相信,随着研究的不断深入和商业领域的创新实践,机器翻译将会给我们的学习生活带来更多惊喜。
在线翻译网站应用
倪俊杰:语言的魅力,有时候连人类都无法参透,更何况是机器翻译呢?既然机器翻译是靠技术支撑的,那么技术的选择或者算法优劣也会对翻译的效果产生影响。目前市面上做机器翻译的企业非常多,具体哪家最好,到底该如何分辨呢?
刘宗凡:从20世纪50年代开始兴起的机器翻译,经历了基于规则的方法、统计机器翻译的过程,随着人工智能的发展,现在已经走入神经网络机器翻译的繁荣时期。我国在20世纪90年代后,在机器翻译上也取得了不错的成就,特别是在近年一众互联网公司的不断推动下,商用机器翻译逐渐迈入了实用化阶段。
比如,百度在2010年开始进入机器翻译领域,2011年百度机器翻译上线。百度翻译所研发的深度学习与多种主流翻译模型相融合的在线翻译系统以及基于“枢轴语言(pivotlanguage)”等技术的翻译系统,处于业内领先水平。2017年底,百度翻译被MIT Tech Review(《麻省理工科技评论》)评选为2018年世界十大突破技术。网易是我国最早涉足机器翻译的公司,网易有道在互联网用户中拥有很好的口碑,它于2011年创立网易感知与智能中心,2014年关注神经网络翻译,2017年自主研发的神经网络翻译系统正式上线。腾讯、科大讯飞、阿里巴巴等公司在机器翻译方面也投入了很多精力,他们的机器翻译技术也在全球购物、同声传译等方面起了至关重要的作用,在全球机器翻译领域处于第一梯队地位。
准确、优美的翻译,是人工智能的终极目标之一。目前的机器翻译虽然取得了长足进展,但离准确、优美还有很长的一段路要走。我们用目前最流行的几个在线机器翻译系统来翻译一段《鲁滨孙漂流记》中比较简单的文字,至于翻译结果的正确性和可读性,留给读者自己来评论。图2~图5分别是百度、谷歌、金山词霸、有道翻译的结果,下面这段是人工翻译:
I had two elder brothers, one of whom was lieutenant-colonel to an English regiment of foot in Flanders, formerly commanded by the famous Colonel Lockhart, and was killed at the battle near Dunkirk against the Spaniards. What became of my second brother I never knew, any more than my father or mother knew what became of me.(我有两个哥哥,大哥是驻佛兰德的英国步兵团中校。著名的洛克哈特上校曾带领过这支部队,大哥是在敦刻尔克附近与西班牙人作战时阵亡的。至于二哥的下落,我至今一无所知,就像我父母对我后来的境况也全然不知一样。)
除了在线翻译系统,机器翻译在同声传译方面也逐渐进入实用性阶段,为人们出国旅游、学习外语等提供了极大的方便。科大讯飞公司的“讯飞翻译机”目前已经可以实现粤语、四川话、东北话、河南话等方言和33种外语的实时翻译以及中英、中日、中韩、中俄四种语言的离线翻译。“搜狗翻译宝”“汉王翻译机”“小米、小爱老师”等产品基本都能满足出国旅游的日常翻译,与手机上的翻译APP相比,这些产品大多支持离线翻译,更方便、更稳定。
手机翻译APP应用
倪俊杰:既然介绍了机器翻译的在线翻译网站应用,我们就来了解一下手机APP端有哪些好的应用。
邵建勋:机器翻译技术日新月异,并在逐步深入地改变我们的生活。在实践中,有不同国籍的医学专家借助机器翻译通过视频合作完成手术,也有不少网店利用机器翻译把产品和企业介绍翻译成外语,节省了一大笔翻译的开支。目前应用最广泛的应该是“随身译”,各大公司都推出了自己的随身译手机APP。
下面简单介绍一下这5款手机APP的功能,这5款APP功能类似,基本都能满足普通外出交流的需求,又都有自己的特色。
①“搜狗翻译”,界面清爽,主要功能一目了然,有语音翻译、拍照翻译、文档翻译和推荐阅读等功能。推荐阅读栏目,主要是一些简单场景、新闻、名人名言,可以听语音,可以查看译文。特色是文档翻译,支持PDF、DOC、DOCX格式,限10M内。
②“有道翻译官”,有拍照翻译、对话、同传,也支持文档翻译,拍照翻译速度和准确度都不错,同传的断句不是很好,体验稍差,主界面可以很快捷地查看翻译历史记录。
③“翻译全能王”,功能比较多,集合了百度、谷歌、必应网页版的在线翻译,同时也有拍照翻译、语音翻译、对话翻译等功能,还有“每日一句”“日常口语”等。
④“百度翻译”,有“取词”功能、拍照翻译、對话翻译,还有比较有特点的菜单翻译、实物翻译等,取词翻译灵敏度很高,实际使用非常方便。
⑤“腾讯翻译君”,包括对话翻译、练听说、看世界等,对话界面可以上拉进入同声传译,UI界面和交互设计都很好,经过测试,效果比有道翻译官要好。“练听说”栏目小视频跟读的学习资源比较丰富,分类比较细,包括动漫、教育、纪录片、电影、电视剧、综艺等,可以主句跟读,练听力,练口语。特色是“看世界”栏目,全部是10多秒的短视频,类似抖音,全是英文的,十分有趣。
机器翻译竞赛
倪俊杰:可能很多人不知道,在机器翻译领域也有世界级的竞赛——WMT(全称为Workshop on Machine Translation(http://www.statmt.org/wmt19/),是全球学术界公认的国际顶级机器翻译比赛)。那么,这项竞赛是如何组织的?近几年来赛况如何呢?
邵建勋:WMT是由国际计算语言学协会ACL(The Association for Computational Linguistics)举办的。这是一年一度的机器翻译竞赛,自2006年至今,WMT机器翻译比赛已经成功举办14届,每一次比赛都是全球各大高校、科技公司与学术机构展示自身机器翻译实力的较量。在2018年的竞赛中,阿里巴巴达摩院获得5个项目的自动评测第一名,他们充分利用了阿里计算资源优势,基于业界最新的Transformer结构,进行了网络的改进和对词语位置信息的充分利用,全面改进了机器翻译的性能。2019年的WMT19比赛,微软亚洲研究院成了最大的赢家,竞赛类别共19个,微软参与了其中11个,并夺得了8个类别的冠军(如图6),微软亚洲研究院的神经网络机器翻译算法的表现遥遥领先于其他参赛队伍。
国际上,谷歌整合神经网络正在颠覆性地改变机器翻译,Facebook的开源机器翻译框架(Fairseq模型),全新无监督机器翻译法也展示出了“獠牙”,还有亚马逊、苹果等一大批高科技公司都在暗中较劲。在国内,搜狐旗下的搜狗在2017年拿下WMT冠军后,又拿下IWSLT机器翻译顶级评测大赛冠军,网易旗下的有道翻译在某些场景下的翻译击败了谷歌,科大讯飞也屡次获得国际口语机器翻译评测大赛冠军,中国AI逐渐向世界展示我们的智慧。
人类还需要学习外语吗?
倪俊杰:随着机器翻译技术的不断进步,不少公司也宣称其产品的机器翻译水平已经达到了人类水平,正所谓“一机在手,世界任你走。” 那么,机器翻译真的能达到人类水平吗?人类还需要学习外语吗?
金琦:随着机器翻译的发展,最先受到冲击的是口译同传行业。口译对反应速度和短时记忆能力要求很高,而机器在反应速度上远超过人类。但是笔译行业,机器翻译是很难替代的,一般来说,同传要求准确翻译80%就能及格,而笔译是要求100%。机器翻译处理长句子、复杂语法和文学语言的能力目前还不如人类。
虽然语音识别和机器翻译技术都在飞速发展,但是到目前为止,我们使用机器翻译处理大段文字或整个网页,仍然会大失所望,而且机器翻译的质量和语言语种有很大关系,如英语和法语比较相似,这两种语言互译的结果也比较理想,但英语对日语或者中文的翻译效果就差别很大了,当前所有的商用文本机器翻译系统存在诸多问题,如错译、漏译和重复翻译经常出现,尤其对成语、专业术语、人名地名等的翻译更是令人失望,甚至出现张冠李戴的情况,最重要的是说话人的语气、重音、语调,甚至肢体语言无法得到充分利用。
人类语言博大精深,一字之差,可能意义就完全不同。机器学习和人工智能的评测依靠一定的规则和衡量方法,而人类语言是没有规则可言的,谈话可以向无数不同的方向进行,这就需要我们根据特定的情境、人物、时间、地点才能体会出语言的真正内涵。更加重要的是,现实社会中,人与人交流更多的还是依靠口口对话,当对话双方能用同一种语言进行交流时,双方都会感觉很舒适。每一种语言的背后都是一种文化,一个民族,你知道的语言越多,你所能认识的世界就会越宽广。
结语
倪俊杰:如何突破语言障碍,让机器完成不同语言之间的自动翻译,是人类长期以来的梦想,但理想与现实之间还有很大的距离。赫拉利在新书《未来简史》中提到:“21世纪经济学最重要的问题,可能就是多余的人能有什么功用。当拥有高度智能而本身没有意识的算法接手几乎一切工作,而且能比有意识的人类做得更好时,人类还能做什么?技术的发展将加剧世界的不平等,让大多数人沦为无用阶级,而少数精英将成为掌控者。因此,我们首先必须承认并且接受,一些简单机械的工作,肯定会被机器所替代。随着物联网、大数据以及人工智能等新技术的不断应用,还会有更多的行业工种会被替代。甚至,我们还得警醒,之所以现在还没被机器取代,可能是因为目前机器用起来比较昂贵。但是,对于人类来说,学而不思则罔,学习是永恒的,创造更是人类的特长,学习并利用好机器翻译,更好地造福人类社会,是每一个人的责任。