基于深度学习的手势识别与外部操作系统

摘  要：为正确识别使用者意图要做出的手势，文章设计并制作一种前臂多通道表面肌电信号采集臂环，再使用信號分割算法和神经网络模型建立深度学习神经网络，再用树莓派使用训练好的模型处理肌肉电信号，使得系统的运算速度进一步提升。最终实现通过识别用户肌电数据，判断用户手势动作，控制各种外部可操作的系统，例如机械手、虚拟手等，具有一定的社会价值与经济价值。

关键词：表面肌电;神经网络;肢体康复

中图分类号：TP391.41      文献标识码：A 文章编号：2096-4706（2020）05-0155-03

Gesture Recognition and External Operating System Based on Deep Learning

GAN Han

（School of Software & Internet of Engineering，Jiangxi University of Finance and Economics，Nanchang  330013，China）

Abstract：In order to correctly recognize the gesture that the user wants to make，this paper designs and makes a forearm multi-channel surface EMG signal collection arm ring，then uses the signal segmentation algorithm and neural network model to establish the deep learning neural network，and uses the trained model to process the EMG signal by raspberry school，which makes the systems operation speed further improved. Finally，it can recognize the EMG data of users，judge the gestures of users，and control all kinds of external operable systems，such as manipulator， virtual hand，etc.，which have certain social and economic value.

Keywords：surface electromyography;neural network;limb rehabilitation

0  引  言

本文是基于本校“多传感器融合对肌肉电进行手势识别”项目，对肌肉电处理与手势识别进行的研究成果。当前手势识别相关领域的解决方案主要有基于图像识别、基于传感器和基于表面肌电三个方向，在某些应用场景中以上前两种解决方案可以发挥其作用，但也受到许多限制，例如易受外界环境因素影响、使用过程的不便利性、存在识别盲区以及可识别手势的数量较少等。基于表面肌电的手势识别解决方案的实现与人体的紧密联结程度最高，可识别到手指关节等运动的微小细节，识别手势的精度最高，因此该种手势识别解决方案相关课题一直是该领域研究的热点。

1  系统的总体思路

系统总体可分为前臂多通道表面肌电信号采集臂环、神经网络算法和相应控制实现三个部分，按照功能实现，本系统可划分为五大部分，分别为信号源、信号收集、信号处理、神经网络算法和控制实现，系统实现框图如图1所示。

2  信号源的选取

经团队测试，前臂的表面肌电信号随手势变化而具有不同的波动，因此系统将受试者的前臂肌肉当作信号源。用多个差分电极以臂环的形式固定在前臂上采集不同手势动作的表面肌电信号，臂环实物佩戴图如图2所示。

3  表面肌电信号采集

使用差分电极电路实现对表面肌电信号离线训练阶段的数据采集[1]，如图3所示，左右两端电极为差分输入电极，中间电极为公共地。

表面肌电信号的幅值小且能量微弱，幅值只有μV～mV的数量级[2]，因此为有效采集表面肌电信号，避免外界的工频干扰及体外的电场、磁场感应在人体内形成的测量噪声干扰和影响表面肌电的检测，大多数研究团队均会采取植入式针状电极或者表面阵列式电极采集。为克服以上问题，本系统技术上使用多通道差分电极采集，解决了表面肌电信号低信噪比问题。

4  信号处理

将采集到的表面肌电信号进行信号处理，信号处理框图如图4所示。

获取的表面肌电信号经前后两级放大，通过切比雪夫I型带通滤波器滤波后，再通过A/D数模转换器，从模拟信号得到离散的数字信号，并通过信号分割算法进行信号分割，获得有效表面肌电信号样本。

5  神经网络算法

通过信号分割算法进行信号分割获得有效表面肌电信号样本，以此训练卷积神经网络模型分类，该分类器包括两种神经网络：首先使用卷积神经网络（CNN）识别当前时刻前臂神经活动状态。卷积神经网络具有高效的特征提取能力，在表面肌电信号快速识别方面，卷积神经网络有较好的分类性能，已经广泛应用于模式识别领域。之后将上述识别的完整手势动作前臂神经活动状态序列使用循环神经网络（RNN）进行手势的分类[3]。使模型在离线训练阶段对手势动作识别的分类具有高准确度。在在线识别阶段，神经网络模型能够对实时传送的表面肌电信号进行模式识别，分类出准确的类别，并将实时识别结果转换成相应的控制参数，实现对控制对象的控制。系统算法模块如图5所示。

6  控制实现

控制器根据神经网络模型识别的结果，将分类结果转换成相应的控制参数，控制相应对象，驱动虚拟手做出与识别结果相对应的手势，效果如图6所示。

7  实验测试

为了检验系统的可靠性以及实用性，实验人员对肌肉电采集等系统进行多次测试实验，记录实验结果，实验者进行上肢的手势运动，将会产生对应的不同表面肌肉电信号，臂环设备能够采集这些数据并通过蓝牙传输至PC端做进一步处理，从而将数据传输给机械手以及虚拟手等外部设备。

系统适用范围如下：

（1）可以帮助残疾患者解决因肢体残疾导致的生活中的不便;

（2）可以用于康复医学和临床医学研究，帮助肢体康复;

（3）可以帮助聋哑人与正常人进行双向交流;

（4）满足如今虚拟现实技术中对虚拟对象的操作。

8  系统优势

（1）识别精度高、识别数量大。据调查，国内一款名为DTing产品的平均识别率为90%，而本作品的识别精确度可以达到99.34%，该精度可以确保能够识别到每一根手指的运动。百度AI手势识别可以识别24个手势，而本作品可以识别的手势种类由于识别的高精度远远超过百度AI手势识别，目前可以识别100余种手势，未来手势识别种类数将不断增加。

（2）识别无盲区。国外研究人员开发的一款名为“E-chat”聋哑人社交手套的作品，应用于聋哑人的手势识别过程中，存在较大的识别盲区，某些动作由于传感器的限制无法识别。而本作品不存在识别盲区的问题。本作品紧密跟随信号源的变化，表面肌电信号超前于动作发生大约300 ms，理论上只要是手部能够做出的动作，均能够识别出来。

（3）应用领域广。目前市面上手势识别的解决方案均指向单一问题场景，在面对多任务需求场景中常显得应接不暇。本作品可用于康复医学领域、手语翻译交互以及体感交互体验等多个领域。可以满足因肢体残疾而带来生活不便的残疾患者的需求;可以满足聋哑人群体与肢残人之间的双向交流需求;可以满足如今虚拟现实技术中对虚拟对象的操作等。

9  市场分析和经济效益

根据我国第二次全国残疾人抽样调查数据显示，我国各类残疾人总数已经达到了8 296万人，这其中肢体残疾人数为2 412万人，占残疾人总数的29.07%，比重较大，而肢体残疾者中有226万是肢体截肢者。随着现代科学技术的迅速发展，社会对残疾人事业的关注程度也越来越高，数据显示，在所有残疾人当中，处在可就业阶段的青壮年残疾人所占比率远远不止四分之一。肢体的残疾给这些人的生活带来了很多的不便，严重影响了他们的正常生活。

基于深度学习的多传感器融合手势识别与控制系统能够有效地解决此类社会热问题。本文设计的控制装置不仅可以提高广大截肢者的生活品质，增加就业机会，也将会大大地降低国家、企业及家庭为他们所付出的服务成本，因此具有巨大的社会前景，能够被社会公众接受，具有市场前瞻性，从而产生相应的经济价值。

10  结  论

本文提出一种基于深度学习的多传感融合手势识别与控制系统，将肌肉電识别技术应用于手势识别中，运用自主设计的前臂多通道表面肌电信号采集臂环，使用快速有效的信号分割算法对多通道表面肌电信号进行采集分割并完成数据集的制备，并以此训练神经网络模型。实时的表面肌电信号通过已训练的神经网络模型进行分类，并将分类结果转化为控制信号，实现相应的控制。本系统可以应用于肢体康复、手语翻译交互、体感互动娱乐等多个领域，具有一定的研究价值、经济价值和社会价值[4]。

参考文献：

[1] 何友，王国宏，陆大金，等.多传感器信息融合及应用 [M].北京：电子工业出版社，2001.

[2] 李建华，王健.表面肌电图诊断技术临床应用 [M].杭州：浙江大学出版社，2015.

[3] 孙志军，薛磊，许阳明，等.深度学习研究综述 [J].计算机应用研究，2012，29（8）：2806-2810.

[4] 杨彬.基于多通道肌电信号的手指康复动作研究 [D].杭州：浙江工业大学，2017.

作者简介：甘晗（1999-），男，汉族，江西萍乡人，本科在读，主要研究方向：深度学习及嵌入式控制。