同声传译 解密搜狗同传

技术宅

同声传译 并不是一次简单的机器翻译

说到机器翻译，相信很多朋友都在使用百度、有道等公司提供的在线翻译。我们只要打开在线翻译页面，然后输入需要翻译的语句，选择输出翻译语言即可快速完成翻译。如果再借助语音输入完成需翻译语句的输入，这就是一次简单的同声传译模型（图1）。

不过在线机器翻译准确度不高、机械性强、语义歧义等一直受人诟病，而要实现同声传译，一是要求“同声”，也就是可以同步识别发言者的语音，实现尽可能短的延迟；二则是“传译”，要求翻译尽可能准确。随着人工智能和深度学习技术的发展，同声传译技术逐渐实现了上述两个要求，比如搜狗的“搜狗同传”技术就可以很好地实现“同声”和“传译”（图2）。

同声+传译 搜狗同传背后的秘密

如上所述，同声传译技术并非简单的语音输入和机器翻译的结合体。同声传译讲究的是“同声”+“传译”，那么搜狗同传这类技术是怎么实现这些要求？

首先是同声。在王小川演讲的演示中可以看到，在演讲者完成一句话的演讲后，背后的大屏幕几乎在同一时间完成了语音和文字转换。这看似简单的语音到文本的转换，实则是搜狗强大语音识别技术的实际体现。

要对某个人说出的语句进行实时、高效的识别，搜狗同传先要实现精准的语音断句，也就是对用户说的每一句话进行判断，从而可以准备识别用户真正的表达意图。因为用户的演讲是连贯的，如果无法实现准确的语音断句，那么就很容易出现识别的偏差。举个简单的例子，“小王打败了小李得了冠军”这样一句话，用户在表述中不同的停顿就有完全不同的意思，如“A：小王打败了，小李得了冠军”，“B：小王打败了小李，得了冠军”。

为了提高语音断句的能力，搜狗同传算法通过能量检测和基于深度学习模型的方式，对语音信号进行语音和静音的判断，这样可以跳过对静音片段的处理以提升解码效率，同时语音片断可以分割成多句并行识别，大大提高语音识别的效率。借助深度学习模式，搜狗同传就可以准确识别语音断句。比如上述例子，如果前文表达的是小王的实力强大，这样通过上下文关系搜狗同传就会使用A的断句理解用户的输入（图3）。

在语音识别部分，搜狗同传使用了CLDNN+CTC结合的声学模型和RNNLM语言模型，把经过语音断句后的片段，通过声学模型和语言模型转换成文本。这样借助“语音断句算法+声学模型+RNNLM语言模型”，搜狗同传就可以准确识别用户的演讲，从而实现高效的“同声”输入识别（图4）。

其次是“传译”。在完成对用户语音的识别后就需要进行同步的翻译。要完成文本的准确翻译，其中的关键是文本断句。搜狗同传的文本断句模块借助内容平滑技术去掉无意义的词语，使句子变得通顺，然后通过规则和模型两种方法进行语句划分并加标点。这里还运用到了双向GRU技术构建编码端的结构。通过Attention机制在源端和目标端文本间进行对齐并生成当前时刻的句子级向量表示，并送至解码端，解码端逐词解码输出翻译结果。这样翻译后的语句通畅，可以很好地让倾听者看明白其他语言发言者要表达的意思（图5）。

這样通过“同声”（语音短句+识别输入）和“传译”（文本短句+逐词解码），搜狗同传可以让不同语言的演讲者和倾听者都可以看懂彼此的发言，实现全人类之间的顺畅交流（图6）。

同声传译 让我们沟通更便捷

随着对外开放力度的加强，无论是对外贸易（如和国外合作厂商的协作），还是普通用户的对外交往（如和国外网友的Skype交流），我们都需要和不同语言的用户进行交流，但是由于语言的障碍，使得这些交流变得异常困难。

不过随着类似搜狗同声传译技术的发展，借着这些技术我们就可以和国外的网友、同事进行无障碍的交流，这将极大地提高我们之间的沟通效率。比如对于国外有分部的公司，通过会议室投影仪的展示，不同国家的员工可以无障碍浏览和理解一种语言制作的PPT。对于希望学习其他语言的网友，借助同声传译远程在线课堂，即使身在中国，也不会由于母语的限制而看不懂国外教师的演示，大大提高了在线学习的效率。

正是看到同声传译的发展潜力，目前各大IT巨头也在发展各自的同声传译技术。比如谷歌在开发神经网络机器翻译技术，并且在YouTube视频使用即时同声传译字幕（图7），腾讯公司则推出人工智能同声传译解决方案“腾讯同传”，科大讯飞推出智能语音翻译机。随着AI技术的发展，这些同声传译技术必将会给我们和世界的交流带来更多的便利。