搜狗发布全球首个手语Al合成主播
2021-08-19
5月中旬,搜狗CEO王小川在“搜狐科技5G&AI峰会”期间的主题演讲上正式发布了最新一代搜狗AI合成主播—全球首个手语AI合成主播“小聪”。“小聪”基于搜狗的AI分身技术,如果得到普遍的应用,将能够帮助听障人士更好融入社会,更好享受数字化生活。
“搜狗AI开放平台”援引世界卫生组织发布的数据表示,全球听力障碍人群高达4 66亿,在我国则有2700万人;因无法常态化、高质量地接受资讯信息,很多听障人士难以融入社会,最终成为被遗忘和边缘化群体。
目前,在以电脑、手机为载体的各类新闻资讯、文化娱乐节目中引入手语的少之又少,引入真人来进行手语解说从人力、财力、效率和精力多个角度来看都很难实现。通过技术手段实现听障人士真正可懂的手语播报能力,对于帮助听障者克服沟通障碍、更好融入社会非常有價值。“小聪”发布后,未来更多电视节目、网络综艺等即可低成本、普遍化地方便听障人士收看。
据介绍,“小聪”以打造听障人士真正可懂的通用手语播报为目标,立足于搜狗领先的数字人技术体系——搜狗分身,集成了超写实3D数字人建模、机器翻译、多模态数字人生成、迁移学习、宴时面部动作生成及驱动等多项领先AI技术,实现了超写实3D数字人自然可懂的手语主播能力,使机器可以基于输入口语文本生成逼真度高、手语表达准确的3D数字人视频内容,从而具备“超写实的逼真数字人效果”“高可懂度的手语表达能力”“高接受度的手语展现效果”三大特点。
在手语表达方面,“小聪”基于《国家通用手语词典》,能够实现健听人语言与听障者手语语言的机器翻译能力,基于输入的健听人语言能够低延迟生成高准确率的手语语言表征,通过搜狗分身的多模态生成技术,实时预测生成对应的超写实3D数字人驱动参数,进而快速生成数字人手语播报视频,在测评中可懂度可以达到85%以上,能有效帮助听障者克服理解障碍,达成信息有效传递。