基于深度学习模型的表面肌电信号手势动作识别算法研究

曹书豪　许成哲

【摘 要】本文提出了一种基于深度学习模型的表面肌电信号手势动作识别算法，采用瑞士Ninapro公开数据库，通过2阶巴特沃斯滤波器进行带阻滤波对原始信号进行预处理，并利用标准偏差滤除无信号段，采用时间窗重叠的方式将原始数据扩充至符合深度学习模型训练的数据量。最后将预处理后的数据输入34层ResNet深度学习模型并得出识别结果。实验结果显示本文提出的算法较比同类论文取得了更高的识别精度，在52手势动作分类识别准确率达到92.66%，验证了本算法的有效性。

【关键词】深度学习;表面肌电信号;手势动作识别

中图分类号： TP391.41文献标识码： A文章编号： 2095-2457（2019）01-0118-003

0 引言

表面肌电信号是通过表面电极记录下来的肌肉运动生物电信号，它可以反映神经、肌肉的功能状态，近年来随着科学技术的发展，国内外对本课题研究也逐渐深入，使得其在临床医学、运动医学、康复医学及体育运动等领域被广泛应用。

2014年Jongin Kim等人[2]以四种手势动作的PSD做为特征输入支持向量机进行识别，识别率达91.97%。Manfredo Atzori等人[3]采用RMS、HIST等特征对Ninapro提供的手势动作进行分类识别，其中利用随机森林神经网络进行52动作分类的最高精确率达75.27%。2017年Stefano Pizzolato等人[4]利用RMS等特征对Ninapro数据库提供的DB子数据库中27个人的52个手势动作进行分类识别，最高分类精度达69.13%。2017年浙江大学杜宇[5]将深度学习模型运用到了手势识别当中，采用基于深度卷积网络的方法，通过对Ninapro数据库提供的手势动作进行对比实验，训练好的分类器逐帧的对输入的肌电图像进行分类，手势动作分类结果为识别出的手势标签中所占比例最高的标签。

针对现有方法的不足，本文提出了一种基于深度学习模型的表面肌电信号手势动作识别算法，将预处理后的数据输入34层ResNet深度学习模型并得出识别结果。实验结果显示本文提出的算法较比同类论文取得了更高的识别精度，验证了本算法的有效性。

1 表面肌电信号的预处理

1.1 Ninapro数据库简介

Ninapro[1]是一个针对基于稀疏多通道肌电信号的手势识别的标准数据集，主要用于主动假肢的研发。本文主要采用DB1及DB4进行对比实验。其中DB1包含27个完整个体的52种手势动作，如图1所示，每人毎种手势重复10次，DB4包含10人的52种手势，采样频率为100Hz。在采集过程中，要求受试者右手进行重复动作，每个手势重复持续5秒，然后休息3秒，每人每种手势重复6次。DB4包含10个完整个体的52个手势动作，采集协议同DB1一致，采样频率为2000Hz。

1.2 表面肌电信号的滤波处理

表面肌电信号是一种非常微弱的信号，其频谱范围为0-1000Hz之间，功率谱的最大频率随肌肉而定，通常在30～300Hz之间，表面肌电信号的主要能量集中在300Hz以下。因此本文采用2阶巴特沃斯滤波器进行带阻滤波，阻带边界为45-55Hz。该滤波器的平方幅度响应函数定义为公式（1）：

公式中N为滤波器的阶数，是正整数，是该低通滤波器截止频率，在设计低通滤波器的过程中，从式（1）可以看出选择和阶次N是设计滤波器的关键。根据信号的频谱特性确定通频带的截止频率、阻频带的截止频率、通带内最大限度的衰减和阻带内最小衰减。然后利用如下公式（2）、公式（3）得出阶次N和截止频率。

Ninapro数据库在数据处理过程中发现，部分信号存在幅值极低的情况，本文利用STD对原始数据进行筛选，每0.05秒截取一段信号，如STD大于300则保留该段信号，如小于300则滤除该段信号，重复此操作直至全部信号筛选完毕为止。滤除无信号段之后的表面肌电信号如图2所示。

1.3 表面肌电信号的扩充

以Ninapro数据库子集DB4为例，本文采用时间窗重叠的方式将原始数据库进行扩充，选取信号长度为0.5秒，时间窗重叠为0.3秒的方式將DB1中8424个原始信号扩充至229276个，DB4中3120个原始信号扩充至25249个，这样基本满足了深度学习对于样本数量的要求，在一定程度上减小了数据过拟合的可能。

2 表面肌电信号识别方法

2.1 深度残差网络

深度残差网络是于2015年提出的一种深度学习网络，简单的堆叠网络会导致严重的梯度消失问题，在更深的网络上，精确度达到了饱和，效果反而变差。针对上述情况，ResNet引入了残差学习来解决深度网络难以优化的问题。形式上看，神经网络实际上是将一个空间维度的向量x，用表示最优的映射，让堆叠的非线性层去拟合另一个映射，此时最优映射可以表示为：

H（x）=F（x）-x（4）

假设残差映射比原映射更易优化，那么，在极端情况下就很容易将残差推至0，这比将映射逼近另一个映射要简单得多。可以通过在前馈网络中增加一个“快捷连接”来表示。“快捷连接”跳过一个或多个层，执行简单的恒等映射，既不会增加额外参数，也不会增加计算复杂度，且整个网络依然可以用反向传播进行端到端的训练，残差块示意图如图3所示：

2.2 基于ResNet残差网络的表面肌电信号识别

本文采用基于Python的TensorFlow来设计ResNet残差网络，本文选用34层的ResNet，ResNet整体流程框图如图5所示：

（1）卷积层。卷积层是一个卷积神经网络中最为重要的部分，卷积层的每一个节点的输入只是上一层神经网络的一小块，本文采用34层ResNet残差网络，由于表面肌电信号为一维信号，故这个小块的大小为1×3，一般来说，经过卷积层之后的节点矩阵会变得更深。

（2）池化層。池化层神经网络不会改变矩阵的深度，但是它可以缩小矩阵的大小，通过池化层，可以进一步缩小最后全连接层中节点的个数，从而达到减少整个神经网络中参数的目的。

（3）全连接层。经过5轮卷积层和池化层的处理之后，在ResNet中是由全连接层给出最后的分类结果。我们可以将卷积层和池化层看成信号特征提取的过程，在特征提取完成之后，仍然需要使用全连接层来完成分类任务。

（4）Softmax层。通过Softmax层可以得到当前样例属于不同种类的概率分布情况。本文使用的Ninapro数据库当中，DB1和DB4均为52手势动作分类，故本文选择52节点的全连接层和Softmax层。

3 实验结果及分析

本实验平台CPU采用Inter i7 7800X，GPU采用微星GTX1080Ti，软件采用TensorFlow（ResNet）。对于每一个手势动作类别，选取其中的10%测试集，90%作为训练集。网络结构选择为34层ResNet残差网络，其中权重衰减因子0.0001，学习速率初始为0.1，分别在DB1和DB4中进行对比实验，实验结果如表1所示：

我们将文献[2]-[5]所运用的方法在DB1和DB4中做对比实验，并将表1中取得的最优分类精度与其相比较，实验结果如表2所示：

4 结论及下一步工作

本研究提出了一种基于深度学习模型的表面肌电信号手势动作识别算法，实验结果表明本研究提出的方法较比传统机器学习方法及现有深度学习方法在表面肌电信号手势动作的识别率上有了较大提升，在52手势动作识别的研究中获得了92.66%的准确率。

本文实验需要大量的表面肌电信号数据支持以及长时间的训练过程，下一步拟采用精调参数的方式对本算法进行调试，以便取得最佳的识别精度。另外本文提出的算法没有考虑静态手势和过渡手势的区别，两种动作具有不同的发力模式，应当区别对待。未来的工作包括对静态手势和过渡手势的分别建模，从而更好的学习手势动作的不同阶段中表面肌电信号的静态和动态特征。

【参考文献】

[1]Atzori M， Gijsberts A， Heynen S， et al. Building the NinaPro Database： a Resource for the Biorobotics Community[C]//IEEE Ras & Embs International Conference on Biomedical Robotics & Biomechatronics. IEEE， 2012.

[2]Atzori M， Gijsberts A， Castellini C， et al. Electromyography data for non-invasive naturally-controlled Robotic hand prostheses[J]. Nature， 2014， 1.

[3]Kim J， Cho D， Lee K J， et al. A Real-Time Pinch-to-Zoom Motion Detection by Means of， a Surface EMG-Based Human-Computer Interface[J]. Sensors， 2014， 15（1）：394-407.

[4]Pizzolato S， Tagliapietra L， Cognolato M， et al. Comparison of six electromyography acquisition setups on hand movement classification tasks[J]. Plos One， 2017， 12（10）：e0186132.

[5]Du Y， Jin W， Wei W， et al. Surface EMG-Based Inter-Session Gesture Recognition Enhanced by Deep Domain Adaptation[J]. Sensors， 2017，17（3）：458.