基于MYO的肌电假肢手控制中手势在线识别系统

王朋 李传江 井本成 张崇明 张自强

摘要：

表面肌电（surface electromyography，sEMG）信号被广泛应用于临床诊断、康复工程和人机交互等领域中.针对目前控制肌电假肢手的电极成本高、电极佩戴困难以及操作灵活性差等问题，设计一种基于MYO的肌电假肢手手势在线识别系统.通过采集人体上肢前臂的表面肌电信号，在时域上分别提取5种特征值，利用反向传播（back propagation，BP）神经网络分类算法实现对8种手势动作意图的在线实时识别.实验结果证明，利用MYO进行手势识别可以获得较好的识别结果，该系统能够准确识别8种手部动作，平均在线识别率达到92%.

关键词：

表面肌电信号; MYO; 特征提取; BP神经网络; 在线识别

中图分类号： TP 273文献标志码： A文章编号： 1000-5137（2018）01-0043-06

Hand mode online recognition system of electromyography prosthetic

hand based on MYO

Wang Peng， Li Chuanjiang*， Jing Bencheng， Zhang Chongming， Zhang Ziqiang

（The College of Information，Mechanical and Electrical Engineering，Shanghai Normal University，Shanghai 200234，China）

Abstract：

Surface electromyography （sEMG） is widely used in clinical diagnosis，rehabilitation engineering and human-computer interaction，etc.Aming at the problems of high cost of electrodes to control electromyography prosthetic hands，the difficulty in electrodes wear and poor operation flexibility，a MYO-based hand mode online identification system of electromyography prosthetic hands is designed.By collecting the sEMG of the human upper-limb-forearm and extracting 5 characteristic values in the time domain，8 real-time gesture recognition strategies are realized through the back propagation neural network.Experimental results show that the MYO-based gesture recognition canproduce bettergesture recognition results.The system can accurately identify the eight kinds of hand movements，and the average online recognition rate reaches 92%.

Key words：

surface electromyography; MYO; feature extraction; BP neural network; online recognition

收稿日期： 2016-06-12

作者简介： 王朋（1991-），男，硕士研究生，主要从事智能假肢方面的研究.E-mail：526127005@qq.com

导师简介： 李传江（1978-），男，副教授，主要从事计算机自动检测与控制、智能测控仪表、先进控制理论及其应用等方面的研究.E-mail：licj@shnu.edu.cn

*通信作者

引用格式： 王朋，李传江，井本成，等.基于MYO的肌电假肢手控制中手势在线识别系统 [J].上海师范大学学报（自然科学版），2018，47（1）：43-48.

Citation format： Wang P，Li C J，Jing B C，et al.Hand mode online recognition system of electromyography prosthetic hand based on MYO [J].Journal of Shanghai Normal University（Natural Sciences），2018，47（1）：43-48.

0引言

表面肌电（surface electromyography，sEMG）信号是由神经、肌肉兴奋伴随产生的生物电信号，并在一定程度上反映了人类特定手势动作的意图[1].sEMG可以反映神经肌肉的特性，包含着丰富的有关人体肌肉活动的信息，是一种重要的假肢控制信号，广泛应用于康复工程，尤其是智能假肢手的控制中[2-4].

随着生物电信号的不断深入研究，在sEMG信号的手势动作识别研究方面，国内很多学者都取得了一定的成果.文献[5]设计了一套简易且识别率高的表面肌电采集与在线识别系统，此外还设计了训练范式，根据被测试的训练数据提取在线识别算法的参数，以提高识别准确率.文献[6]提出了一种基于微处理器（advanced RISC machines，ARM）的肌电假肢控制器设计方案，通过反向传播（BP）算法实现了对5种手掌姿势的在线实时识别.这些方法虽然效果好，但是应用到截肢患者的实际生活中，还存在著很多局限性，仍然需要深入研究.

sEMG信号作为可靠的信号源被广泛用于肌电假肢手的控制中，sEMG传感器的质量直接影响动作模式的识别率，从而影响假肢手的整体性能.高质量的传感器比较贵，如Biomatric和Delsys无线电极等，单个传感器的价格都在5 000元以上.国内的假肢厂家多采用自己制作的肌电传感器，但信号干扰较大，严重影响动作模式的识别精度.加拿大创业公司Thalmic Labs 推出的创新性MYO臂环，它可以佩戴在任何一条胳膊的肘关节上方，捕捉手臂肌肉运动时产生的生物电信号，通过低功率的蓝牙将信号传出，干扰小，信号质量好，佩戴方便，并且价格低廉.将其应用到假肢手的控制上是一个很好的选择.

为了降低假肢手安装的成本和提高假肢手的实用性，本文作者提出一套基于MYO臂环的肌电假肢控制在线识别系统，实现对手势动作的在线实时识别.

1信号采集

图1MYO穿戴位置

图2八种手势动作

采用MYO臂环采集sEMG信号，它有8个通道，每个通道等间距排列.将其佩戴于肘关节上方的位置（水平放置手臂，手掌心朝下，MYO臂环的标识与手掌心的方向相反），如图1所示.

作者采用了8种手部动作进行在线识别研究，通过提取手部动作时所产生的sEMG信号的特征向量，进行分类，为人机交互模式提供可靠的控制源.8种手势分别为：（1）手腕内翻（Wrist Flexion，WF），（2）手腕外翻（Wrist Extension，WE），（3）握拳（Hand Close，HC），（4）展拳（Hand Open，HO），（5）握圆球（Spherical Grasping，SG），（6）握圆柱 Cylindrical Grasping，CG），（7）三指抓（Tripodal Precision Grasping，TPG），（8）二指捏（Key Grasping，KG）.各种手势动作如图2所示.

2软件系统设计

考虑到Visual Studio是基于Windows编程，与PC端有很好的兼容性，所以本设计的上位机部分使用VC++开发语言实现，与MYO臂环之间通过低功率的蓝牙来传送信号.软件部分主要包含sEMG信号实时采集、预处理、判断动作起止点、sEMG信号特征提取和在线识别等模块，其中模式识别所需的权值、阈值由BP神经网络离线训练得到，然后写入到系统中用于在线识别.手势动作识别的在线处理流程如图3所示.

图3手势动作识别的在线处理流程

2.1预处理

在上位机程序中，对MYO臂环实时采集到的sEMG信号先进行预处理，其目的主要是滤除噪声.虽然MYO臂环采集到的信号干扰较小，但是sEMG信号是一种微弱的生物电信号，易受干扰.本软件系统中用45～195 Hz 的带通滤波器，对sEMG信号进行预处理.

2.2动作起止点判断

动作起止点的判断方法有阈值法、神经网络法、移动平均法等[7].为了保证系统的实时性，对动作起止点的判断需要及时有效，所以采用阈值法.

对于MYO臂环的8个通道的sEMG信号，计算每个通道信号的某段数据采样点个数为N的时域特征绝对平均值（Mean Absolute Average，MAV）[8]：

MAVi=1N∑Nk=1x（k），i=1，2…I，（1）

其中，k为单个采样点，x（k）为每次采样的sEMG数据，i是MYO对应的单个通道，这里I=8.

将各路信号的MAV相加，通过设定的门限阈值来判断动作起止点.考虑到每个受试者的肌电信号特性不完全一样，在离线训练环节，通过对每个受试者采集到的样本数据进行分析，可以确定各自合适的阈值.

2.3特征提取

特征提取的目的是将不同手势动作尽可能区分，通过sEMG信号的某一特性数据来表示.相对于其他频域或时-频域特征，时域特征也可以获得相对较好的分类特性，且具有计算量少、获取迅速等优点，满足在线识别的实时性.因此，采用5个时域统计学特征作为分类标准，它们分别是平均绝对值（MAV）、过零点数（ZC）[9]、斜率变化数（SSC）、波形长度（WL）[9]和平均绝对值斜率（MAVS）.

MAV如（1）式所示.

sgn（-xk×xk+1） and （xk-xk+1≥ε），（2）

其中，sgn（x）=1，x>0

0，其他，ε是给定一个大于0的阈值（取0.02）.如果满足（2）式条件，则ZC值加1.

（xk-xk-1）×（xk-xk+1）≥δ，（3）

对于3个连续的采样点xk-1，xk，xk+1，给定一个大于0的阈值δ（取0.02）.当满足（3）式条件时，SSC值加1.

WL为N个数据长度内波形的累积长度，可以同时估计波形幅值、频率和持续时间，计算公式为：

WL=∑Nk=1xk+1-xk.（4）

MAVS为两个相邻分析窗口内的MAV之差，其计算公式为：

MAVS=Mk-Mk-1.（5）

2.4分类器

图4BP神经网络结构模型

本上位机软件系统采用如图4所示的三层BP神经网络作为离线训练和在线识别的分类器，由输入层、隐含层和输出层组成.输入层为n（n=40）个神经元，对应MYO的8路sEMG信号的5个时域特征值，隐含层设置q（q=18）个神经元，输出层为m（m=8）个神经元，分别对应8种不同的手势动作.

通过Matlab训练，得到输入层到隐含层权值向量Vqn和阈值向量θq;隐含层到输出层的权值向量Wmq和阈值向量φk.然后将其复制到软件界面中权值和阈值相对应的、允许用户输入的文本框內，实现在线手势动作识别.

3实验及结果

3.1预处理实验

图5原始数据与滤波后对比曲线

图68种动作状态与无动作的8路肌电信号

MAV之和对比实验统计图

由于sEMG信号复杂并且微弱，在采集过程中极易受到干扰，所以在本软件系统中采用了数字滤波技术，如图5所示.

从图5中可以看出，滤波之后的曲线是一条光滑的曲线，为判断动作起止点减少了不必要的干扰，从而能更准确地判断动作的起止点.

3.2动作起止点检测实验

为了找出不同受试者的合适阈值，对此，进行离线实验，在相同条件下做8种动作，各做20次，将8通道信号的MAV进行相加，然后与“无动作（No Action，NA）”相比较，如图6所示.从图6中可以看出，NA和其他8种动作有明显的区分界限.通过多次实验来确定“NA”和各种手势动作的MAV门限值.

3.3动作模式在线识别实验

在Matlab中用BP神经网络训练得到的权值、阈值系数，写入上位机控制系统中，实现手勢动作在线识别.实验过程中，每个动作做100次，8种手势动作的一次动作验证图如图7所示，其中图7（d）没有对应的动作显示，主要是考虑到以后应用到假肢手，需要一个手势动作，来复位当前假肢手所做的动作，从而更好地控制假肢手.

每个动作结束后，统计上位机软件显示的对应正确动作次数以及误判动作次数，结果表明，总体在线识别率为92%，实验结果如表1所示.

图7实验过程中八种手势验证图

表1八种动作在线识别结果

由表1可知，8种动作平均识别率为92%.

以同样的方式，采集其余4人的原始sEMG，进行Matlab训练，得到新的权值、阈值系数，重新写入到上位机控制系统中，然后进行在线识别实验，同样做100次，4个人的识别率都保持在92%左右.

4总结与展望

本文作者采用5种时域特征：MAV、ZC、SSC、WL以及MAVS，设计了基于MYO的肌电假肢在线识别系统.通过BP神经网络实现了8种动作的在线识别，整体识别率达到92%，很好地满足了截肢患者对肌电假肢手的控制的精度要求.

接下来，将在截肢患者身上做实验，验证该系统的识别精度;此外，还将研究减少MYO臂环的通道个数以及降低特征维数对识别精度的影响，力争研究出更高精度的肌电假肢手实时控制系统.

参考文献：

[1]Liu H J，Young K Y.Upper-Limb EMG-Based robot motion governing using empirical mode decomposition and adaptive neural fuzzy inference system [J].Journal of Intelligent and Robotic Systems，2012，68（3-4）：275-291.

[2]Oskoei M A，Hu H.Myoelectric control systems-Asurvey [J].Biomedical Signal Processing and Control，2007，2（4）：275-294.

[3]赵京东，姜力，金明河，等.基于肌电信号的仿人型假手控制 [J].机械与电子，2006（8）：54-56.

Zhao J D，Jiang L，Jin M H，et al.Prosthetic hand control based on EMG signals [J].Machinery & Electronics，2006（8）：54-56.

[4]You B，Wang H L，Huang L.The system of sEMG recognition for prosthetic hand control [C].Strategic Technology （IFOST），Ulsan：IEEE，2010.

[5]何可人，孙伟，罗锦宏，等.表面肌电采集与在线识别系统 [J].计算机测量与控制，2016，24（3）：241-243，247.

He K R，Sun W，Luo J H，et al.Collection and online identification system of sEMG [J].Computer Measurement & Control，2016，24（3）：241-243，247.

[6]卜峰，李传江，陈佳佳，等.基于ARM的肌电假肢手控制器 [J].上海大学学报（自然科学版），2014，20（4）：442-449.

Bu F，Li C J.Chen J J，et al.Design of electromyography prosthesis controller based on ARM [J].Journal of Shanghai University （Natural Science），2014，20（4）：442-449.

[7]尹少华，杨基梅，梁政，等.基于递归量化分析的表面肌电特征提取和分析 [J].中国科学技术大学学报，2006，36（5）：550-555.

Yin S H，Yang J M，Liang Zh et al.Recurrence quantification analysis based on surface EMG signal feature extraction and classification [J].Journal of University of Science and Technology of China，2006，36（5）：550-555.

[8]Nadzri A AB A，Ahmad S A，Marhaban M H，et al.Characterization of surface electromyography using time domain features for determining hand motion and stages of contraction [J].Australasian Physical and Engineering Sciences in Medicine，2014，37（1）：133-137.

[9]李媛媛，陈香，张旭，等.基于ART2神经网络的手势动作肌电信号识别 [J].中国科学技术大学学报，2010，40（8）：90-92.

Li Y Y，Chen X，Zhang X，et al.Hand gesture SEMG signal recognition based on ART2 neutral network [J].Journal of University of Science and Technology of China，2010，40（8）：90-92.