基于手机与数据手套的手语识别系统的设计

广东技术师范学院电信学院 王锦成 江劲标 蔡伟泽 张 鸿 罗敬威

基于手机与数据手套的手语识别系统的设计

广东技术师范学院电信学院 王锦成 江劲标 蔡伟泽 张 鸿 罗敬威

为了方便与听力、语言残障人士的交流，设计与实现以cc2541为平台的数据手套与手机的手语识别系统。数据手套采用弯曲传感器检测手指弯曲度，采用MPU6050采集手部的动作，数据处理后通过蓝牙4.0发送给手机。采用PCA的特征选择算法进行手语识别，功能实用、能很好地识别简单的手语。

cc2541；数据手套；弯曲传感器；三轴加速传感器；手语识别

0　引言

我国听力、语言残障人士超过2000万人，而且每年还在以2万～3万名的速度递增，手语是这类人群与外界交流的最重要的手段，然而普通人了解手语的非常少。智能手机已在人们日常生活中普遍应用，设计一款基于智能手机与数据手套的手语识别系统，通过在手机上翻译手语成文字和语音朗读，方便他们和不懂手语的人交流，也可以方便他们进行手语输入实现发送短信的功能。

1. 整体设计

本系统由用于手势识别的数据手套和手机手语识别客户端构成。数据手套由Flex 4.5弯曲传感器、MPU6050、CC2541主控电路部分、低功耗蓝牙4.0电路组成。用电阻应变式压力传感器测量手指弯曲度，将MPU605 0固定在手背上，测量手部做姿势时X、Y、Z各个方向重力加速度的分量值，从而识别手部的上下左右平移、翻转等动作。最后，采集到的数据经过处理后，通过蓝牙4.0传到手机上。安卓手机客户端对接收到的数据进行翻译成手语数据，然后通过扬声器播放手语对应的内容，屏幕显示手语的文本信息。

图1 系统组成图

2. 数据手套设计

2.1电路设计

数据手套的控制芯片选择TI公司的CC2 541，该芯片集成一个工业标准的增强型8051内核、RF收发器、8KB RAM和256KB闪存记忆，是一款完整型低功耗蓝牙（BLE）单模式芯片解决方案，具有超低功耗的睡眠模式和运行模式。硬件电路包括巴伦匹配电路、外部32MHz和32.768kHz晶振电路，以及反向F型PCB天线。MPU-6050整合了3轴陀螺仪、3轴加速器［3］，由主要I2C端口以单一数据流的形式，向应用端输出完整的9轴融合演算技术InvenSense的运动处理资料库。CC2541主控电路与MPU6050及低功耗蓝牙4.0通讯电路原理图如图2所示。

图3为制作的数据手套实物图，从图中可以看出4个手指上佩戴了弯曲传感器，这是因为无名指是和小指一起运动的，所以没有装弯曲传感器。从图3还可以看到cc2541和mpu650和蓝牙模块集成在一个小型的电路板上，电池装在背面，整个数据手套结构紧凑，方便携带。

图2 数据手套电路图

图3 数据手套实物图

图4 控制器流程图

2.2软件设计

CC2541监测弯曲传感器和mpu6050，当数据有变化时采集数据，记录组成报文通过蓝牙4.0发送，流程图如图4所示。

3. 手机端软件设计

3.1手语识别算法

手机端软件通过蓝牙接收数据手套发来的数据，采用基于PCA的特征选择算法进行特征提取［1-3］。特征提取的目的是用一组最有效的数据描述原始动作信号，达到特征空间维数的压缩，以尽可能做到不同手语动作对应的信号特征差异明显，提高分类识别率。由于加速计测量的是手势运动过程在三轴（x，y，z）投影的速度变化率［4，5］，其信号时间序列表征了手势运动轨迹的模式。将信号经过采样和幅度归一化为一组三维的特征向量序列，将活动段长度不等的信号按照时间轴平均抽取16点，并对三轴幅值同时按照线性最小-最大尺度变换的方法归到0-255之间。这两步规范化方法可以有效减少相同手语动作执行过程中因幅度和速度变化引起的差异，有利于识别。

假设手势X在第j个主成分的投影为：

如公式（2），手势在特征空间上的投影是所有原始特征的线性组合。但有些特征可能是冗余的或没有意义的。通过特征选择可以找到那些在应用中起重要作用的关键特征，摒弃冗余的特征［7，8］。另一方面，变换矩阵可以表示为：

a.利用PCA获得变换矩阵Q，生成特征手势空间，保留的特征向量数目为：

保留的一个特征向量，就是一个特征手势，保留的所有特征向量，构成特征手势空间；

b.输入训练手势，将其映射到特征手势空间中，得到一组关于训练集的特征数据；

c.输入测试手势，将其映射到特征手势空间中，得到关于该测试手势的特征数据；

d.计算测试手势与训练手势之间的距离或相似性，进行识别。

3.2自动朗读

Android提供了自动朗读支持。自动朗读支持可以对指定文本内容进行朗读，从而发生声音。这种自动朗读支持的英文名称为TextToSpeech，简称TTS。借助于TTS的支持，可以在应用程序中动态地增加音频输出，从而改善用户体验。提供了如下一个构造器：

TextTospeech（Context context，TextTospeech.OnInitListenerlistener）

从上面的构造器不难看出，当创建TextTo speech对象时，必须先提供一个监听器OnInitListener——该监听器负责监听TextTospeech的初始化结果。

表1 部分手语测试数据

表2 字母识别率

4. 测试

为验证本文提出方法的有效性和实用性，我们以文献［6］中选取的50个高频手语词作为实验对象。首先，采集数据计算特征矩阵，年龄在20～23岁的4位受试者参加了此次数据采集，测得的部分实验数据如表1所示。手语识别测试的方法：5个不同的使用者按照抽取的字母的先后顺序进行试验，测试结果如表2所示，结果表明系统的识别准确度比较高，简单的手势动作如字母A、B、T等的识别准确度能达到95%以上，部分比较复杂的动作如字母K、R等识别准确度也能达到85%。

［1］张莉，孙钢，郭军.基于K-均值聚类的无监督的特征选择方法［J］.计算机应用研究，2005（3）：3-24.

［2］张洁，高新波，焦李成.基于特征加权的模糊聚类新算法［J］.电子学报，2006，34（1）：412-420.

［3］范劲松，方廷建.特征选择和提取要素的分析及其评价［J］.计算机工程与应用，2001，37（13）：95-99.

［4］高鹰，黄昌正，周子航，刘振能.基于ARM的数据手套及其手语识别系统的设计与实现［J］.广州大学学报（自然科学版），2012（04）：68-74.

［5］李国峰，王锦，张勇，等.基于MEMS加速度传感器的智能输入系统［J］.传感技术学报，2009，22（5）：643-6461.

［6］中国残疾人联合会教育就业部，中国聋人协会.中国手语［M］.北京：华夏出版社，2003：5-200.

王锦成（1991—），男，广东湛江人，主要研究方向：生物医学工程与物联网。

注：2015年“攀登计划”广东大学生科技创新培养专项（pdjh2015b0318）“基于数据手套和手机的手语识别系统的设计”。