智能手语翻译

宋纪元+冷峻+段向南+李浩亮

摘 要：针对中国乃至全世界范围内聋哑人与正常人之间交流困难的问题，设计了智能双向仿生手语翻译系统。本系统可实现手指弯曲度检测、手的空间运动轨迹检测、手势状态与手语库匹配、发音及文本信息显示等功能，能够及时准确地处理各种手语手势信息进行手语转语音和语音转手语的双向翻译，且翻译速度快，实时性好，识别率高，适应能力强。

关键词：手语；双向翻译；智能系统

1 作品简介

智能双向仿生手语翻译系统是基于STM32微处理器进行智能化控制的手语手势实时翻译设备。它将弯曲传感器等器件与全自主开发的32自由度仿生机械手臂相结合，通过特定的算法，实现及时准确地处理各种手语手势语音信息，实现手语转语音和语音转手语的双向翻译，翻译速度快，实时性好，识别率高，适应能力强。

2 原理结构

2.1 模块组成

作品的主要模块如图1所示。

（1）STM32微处理器

该处理器用于采集弯曲传感器和MPU-6050运动传感器的实验数据，通过算法处理数据判断手势信息，然后与手语库匹配翻译手语。

（2）弯曲传感器

弯曲传感器弯曲时其阻值会发生改变，可以反应手势信息，该弯曲参数可以通过串口传递至上位机，方便观察和调试。

（3）MPU-6050运动传感器

当手做出动作时，模块中的三轴陀螺仪、三轴加速器传感器能够获取相关数据，判断出手的空间运动状态。

（4）OLED显示屏

显示识别出的手语手势的文本信息，同时具有实时时钟显示及定时功能。

（5）语音合成模块

播放识别出的手语手势信息。

（6）蓝牙模块

方便下载和调试程序，与手机通讯，通过将手势转换为文字并传送到手机上，实现与手机通信以及手势编辑文字的功能。

2.2 主要功能

作品的结构框图如图2所示。

本作品的主要功能如下：

（1）手指弯曲度检测功能。位于五个手指背面的五个弯曲传感器能够及时快速地感知手指的弯曲程度，微处理器能及时获取弯曲传感器的弯曲参数，并通过相应的算法处理所获取的参数，进而对手势信息做出更合理的判断。

（2）手的空间运动轨迹检测功能。MPU-6050模块位于手套背面，当手发生翻转等动作时，其中的三轴陀螺仪和三轴加速度传感器能及时感应到相应的数据，微处理器及时处理数据，与弯曲参数相配合，能够更全面、准确地判断手的运动状态。

（3）手势状态与手语库匹配功能。微处理器内部存储有手语的状态信息，即手语库。微处理器通过算法对检测到的手语手势数据信息进行及时处理，然后与手语库进行匹配，从而得到准确的手语内容。

（4）发音及文本信息显示功能。微处理器将手语内容翻译成文本信息，通过显示屏显示出相应的文本信息，同时语音系统发出语音，达到翻译手语手势的目的。

2.3 工作流程

作品的工作流程如图3所示。

3 创新性

本产品将便携式手套和32自由度仿生机械手臂相结合，实现了手语转语音和语音转手语的双向交流，使得正常人和聋哑人之间的交流变得更加便捷。

本作品与其他的手语翻译设备相比，主要具有如下优势：

（1）本作品能够准确地刻画手势的空间运动轨迹和手指弯曲度等信息，获取手势信息方便可靠；仿生机械手臂能准确地识别语音并翻译成相应的手语。

（2）该设备的数据输入量小、速度快，实时性好。

（3）该手语识别系统的识别率比较高，识别的词汇量大。

（4）人性化的外观设计，将其设计为手套样式，方便携带与使用。

（5）该作品的适应能力强，用户可根据个人使用情况调整网络的连接权值，使手势识别程序能够适应不同用户。

（6）采用便携式设备，使用简单方便，能够为用户随时随地提供服务。

（7）通过蓝牙模块与手机、电脑进行通信，进一步拓展功能。

（8）设有语音模块和OLED显示屏，更人性化地提供准确的手语翻译信息，同时，显示屏具有实时时钟显示及定时功能。

（9）与通过视频采集进行手势识别的设备相比，该作品不受光照、背景、温度等外界環境条件的限制。

（10）可实现语音和手语之间的双向翻译，使得正常人和聋哑人之间的交流变得更加便捷。

4 市场前景

据中国残联提供的数据显示，目前国内听力残疾人达2054万，语言残疾人达130万，占中国人口总数的1.67%。他们中的许多人都使用手语进行交流，而真正能理解手语的普通人却很少。这种情况使得他们无法与正常人及时地进行交流沟通，给聋哑人的生活带来了极大的困扰。

便携式智能手语翻译系统可及时准确地处理各种手语手势信息，翻译速度快，实时性好，系统识别率高，适应能力强。

聋哑人属于弱势群体，需要我们给予更多的关怀。我们的关怀不仅仅局限于内心的同情，赠送物质和金钱，还可以用科技手段来帮助他们走出困境。

现今全世界大约有6 500～7 000万聋哑人，中国境内有近2 057万聋哑人，其中7岁以下的聋哑儿童高达80万。如此庞大的一个群体，他们本应该给社会创造更大的价值，却因为生理上的残疾，在生活、工作中受到极大的限制，甚至受到部分正常人的歧视。大多数聋哑人的生活可以说是不顺利的，而最大的原因便是沟通不便。我们应该通过科技的力量最大限度地给他们提供便利的沟通方式，从而改善聋哑人的工作和生活，逐渐提升他们的社会价值。

目前市场上还没有出现普及性的手语实时翻译设备，该便携式智能手语实时翻译设备打破了聋哑人与正常人传统的手语文字沟通方式，节约了聋哑人家庭请专业人士护理的费用，改善了聋哑人的生活，并且填补了这一市场空白。endprint