看得见声音，听得见手语

汤秀云

失语者真的可以正常说话吗？现如今，随着科技的进步，很多不可能变成了可能。针对中国庞大的失语者群体，北京航空航天大学研究生王娜娜和清華大学研究生黄爽经过两年多的不懈努力，研究出了款手语翻译臂环。失语者戴上臂环后，每做出一个手语动作，该臂环就能自动识别并转换成语音播放出来，实现了失语者与普通人零距离沟通。

为了失语好友，决心帮助失语者群体

王娜娜和黄爽在北京航空航天大学读本科时，是同室闺密。在次朋友聚会上，王娜娜结识了聋人朋友张权。因为王娜娜不懂手语，他们沟通起来十分困难，即使和张权面对面，她也不得不用微信打字和张权交流。王娜娜发现，当许多人在起聊得热火朝天时，张权只能独自默默地坐在个偏僻的角落里，眼里流露出茫然无助。不知为什么，王娜娜为无声世界中的张权感到抱歉，担心朋友们的忽略，会加重张权的自卑。

回到宿舍，王娜娜把张权的故事告诉了黄爽。她俩开始关注失语者这类特殊人群，并思考着为他们做点什么。为了让朋友们感同身受，学会换位思考，王娜娜和黄爽提议举办“假如给我天成为你——一日失语者体验”活动。

在超市里，因为结账时需要了解价格，体验失语者的王娜娜只能通过手机和店员沟遁，时旬稍长排在后面的人开始不耐烦地催促。而黄爽在与小朋友沟通时，差点被认为是拐卖儿童的坏人。

通过这次活动，王娜娜体会到，生活中的失语者面临很多困难。面对正常人，他们很难表达自己的想法和困境。即使现代科技发明已经对此类课题有了多项研究，但成果大多还停留在实验室阶段。王娜娜突发奇想，假如有种机器能够辨识手语，并将其翻译成正常人能听到或看到的语言，那么他们就能轻易地理解聋哑人要表达的意思，帮助脱离沟通困境。

王娜娜和黄爽着手研究手语翻译的可行性。通过查论文、做实验、写代码，并用以前得到的“冯如杯”奖金5万元作为启动资金正式行动起来。

资料显示，两名华盛顿大学的大二学生，为聋哑人研发了一款神奇手套，可将手语翻译成语音。但手套太引人注目，伤害失语者的自尊，使他们更加不愿意出门。王娜娜发现手语也是有定规则的手势，可以利用摄像头识别将手语转化成语音，但是随身携带个可以四处移动的跟踪摄像头，很显然不是件很自然的事。

发明翻译臂环，让手语“发声”

有次，王娜娜听到位老师抱怨，他家孩子在学弹钢琴，仅凭每周一次的课程，很难纠正手型、习惯上的错误，导致上课效率很低。后来钢琴老师向家长推荐了一款钢琴臂环，能识别钢琴演赛中手指、手臂的细微动作，孩子戴上后不久，手势就有了明显改观。王娜娜很纳闷，这样精确的识别究竟是如何做到的7经过调研发现，这是项名为肌肉电识别的技术。神经在传递信号驱动肌肉动作时会释放电流，通过对人体表面肌电信号的采集，就可以做到对细微的动作变化的识别。配合手环上的陀螺仪和手机、平板电脑的麦克风，即可精确地收集到所需数据。将数据通过算法处理后，系统可以将钢琴演奏量化，输出为可被教师、学生、家长利用的可视化数据。

王娜娜立马就想到了手语。不同的手指动作，定会触动不同区域的小臂肌肉，发出不一样的肌肉电信号。王娜娜和黄爽打算也应用这项技术将每个手语词汇的肌肉电信号录入系统，让人工智能深度学习，然后识别和转化成语音。另外，在运动手环、智能手表普及的今天，佩戴臂环也不会让失语者显得突兀。

确定研发方向后，关键是不断地输入数据、调试数据以保证手语翻译的准确性。为了检验模型的可靠性，最初只有两个人在录手语的数据，整天戴着臂环在那儿抬手放手做动作。整整 个月，王娜娜和黄爽对着手语教材，完成30个手势的录入，每人至少重复比画了一万五千多次。证实方案可行后，她们又联系了天津理工大学聋人工学院，合作进行数据采集和智能臂环开发，还与北京市朝阳区残联达成合作意向，为产品服务化提供咨询和指导。朋友张权也成了团队的顾问。

为了这款取名“手音”的APP能带给用户最佳体验，加班、熬夜成了团队的家常便饭。201 6年，他们甚至放弃了“史上最长寒假”，回家过了几天春节，队员们便匆匆赶往学校，继续开发、研制。他们没有办公室，开会就像打游击战，咖啡厅、餐厅、教室都曾用过。在实验室进行研发试验时，男生熬夜写代码，两个女生也会偶尔化身为“程序员鼓励师”，起为团队加油打气。

如今，“手音”已经涵盖了200个手语动作，为了保证精确度，每 个动作录制了一千人次。在识别手势后，“手音”会利用蓝牙将数据无线传输到电脑上，电脑根据传来的连续数据分析出是否符合某个手语动作，再通过扬声器将对应的词语或短句读出来。

整个流程看起来似乎并不复杂，但它能够像助听器 样成为失语者日常生活的一部分，极大地方便了他们的日常交流。

在创业大赛上夺冠

为检验这款APP的效果，王娜娜拿着测试样机到一家超市给用户体验。正巧，她遇到了位聋哑母亲，当时正焦急地向路人比画着什么，但是没一个人看得懂。王娜娜给这位母亲戴上臂环后，这位母亲打着手势，“我的孩子走丢了”的文字快速地出现在“手音”APP的界面上，并转化为语音输出。当王娜娜帮助她找到孩子后，她又做了点赞的手势，语音说出了“谢谢”

这次体验的成功给了王娜娜团队很大信心。在许多听障人士的帮助下，“手音”APP不断迭代更新，同时得到越来越多的肌电数据，通过这些大数掘的分析，语音翻译越来越精确。

2017年4月底，“极·致未来”责任创新挑战赛在北京举行，现场邀请了联合国开发计划署国别主任文霭洁、谷歌首席科学家在内的11位评委嘉宾。团队的顾问张权上台，他手臂上的黑色臂环，看上去像跑步时用的护腕。当张权用含混的发音介绍他自己时，人们还在疑惑什么都听不清楚的时候，张权用手指向前方，做出点赞的手势，“手音”APP转化为语音清晰地说出了“你好”，台下瞬间掌声雷动。

联合国开发计划署驻华代表罗世礼先生十分认同中国青年人解决社会问题的想法和态度。据专家鉴定，该项研发成果具有广泛的应用前景，而且随着人工智能的成熟，许多技术难题都将迎刃而解。届时，手语识别臂环将成为失语者的福音。

最终，王娜娜团队也凭借《看见声音，听见手语》项目，从两干多份参赛方案中脱颖而出，获得了决赛第名最佳人气奖，被誉为最有“包容性”的项目。与大多数紧盯收益的项目不同，王娜娜和黄爽没太考虑过赚钱的事，她们想的就是让听障人士生活得更好，让生命更有尊严。