基于单振元超声传感器的手势识别系统*

李跃峰，刘洪海

(上海交通大学 机械系统与振动国家重点实验室，上海 200240)

0 引 言

随着科技的发展，生活中人与机器的互动和交流越来越多，人机交互的方式已经成为一个研究热点。直接采集肌肉信息读取人体运动姿态信息或者运动意图的新型人机接口正在涌现。这种类型的人机接口操作非常符合人的直觉，方便实用，尤其适合用于控制真实世界或虚拟环境中的运动物体，比如假肢手[1]、康复机器人[2]和游戏互动等。

基于表面肌电人机接口，最成熟的方式是采集表面肌电信号(surface electro myogram,sEMG)以读取肌肉收缩情况，判断人体动作。在该领域已有许多文献研究[3]，市场上亦有成型产品,但也存在一些根本的问题：表面肌电信号是在皮肤表面采集的，无法在深度方向上区分不同层次的肌肉，空间分辨率不高，因此，在识别精细的运动，如手指动作时有所不足[4]。

基于超声的人机接口能很好地解决空间分辨率的问题，因为超声波能够穿透人体的组织，检测不同深度的信息。目前,这方面大部分研究均基于超声成像技术的[5～7]。超声成像技术能提供清晰的肌肉图像，但其依赖于B超设备，成本很高，体积庞大，并且要求很强的数据处理能力，难以走出实验室。

为了解决这些问题，本文设计了一种基于单振元超声传感器的手势识别系统。通过在前臂放置多个单振元超声传感器，对肌肉进行A超扫描，采集肌肉信息，利用机器学习的方法对回波数据进行模式识别，判断手势动作。实验结果表明：系统能够有效判别手指动作。

1 肌肉运动和超声信号的关系

为了获得前臂肌肉信息，可以将超声传感器放置于前臂表面。超声传感器向人体组织内部发射超声波，声波遇到肌肉—肌肉或肌肉—骨骼等组织界面时，会发生反射，反射波回到超声探头，形成超声回波。通过判断回波峰值的位置和大小，即可检测组织界面的深度和特性。通过对前臂进行B超成像，可以看到，在手指动作时，前臂横截面内的各块肌肉会有很大程度的形状、面积和密度的变化。这个变化体现在A超回波上，即为各个波峰的位置和幅值的变化。通过对这些波峰的变化进行分类和识别，判断手指的运动。

2 单振元超声传感器设计

超声波传感器是整个手势识别系统的最前端，其作用是在激励电压的作用下发射超声波，并接收反射的回波信号，兼具收发作用，因此，也被称作换能器。

考虑到成本和整个系统复杂度，选择单振元超声传感器。其主要参数包括直径、形状、中心频率和带宽等。参考工业无损检测和医学超声的案例[8]，最终选择了直径10 mm、中心频率5 MHz的压电陶瓷。为了更好地适合人体应用，自行设计了匹配层，并将其与压电陶瓷进行了整体封装，加工完成的传感器如图1所示。

前臂的肌肉非常复杂，仅仅使用一个探头无法检测到所有肌肉的信息，但一味增加探头数量又会增加硬件设计和数据处理的难度，因此，采用4只超声传感器，用一条绑带以臂带的形式绕在前臂，起到固定传感器的作用。

图1 超声传感器

3 手势识别系统设计

3.1 系统总体结构

除了最前端的传感器之外，手势识别系统主要包括两大部分：硬件平台和处理算法，如图2所示。

图2 手势识别系统框图

3.2 超声信号的获取与调理

超声传感器需要用高频的激励电压驱动，另一方面，接收的回波需要进行信号调理和数/模转换，两部分的工作均由一块超声发射/接收板卡ZXUS4完成。

考虑到安全性，探头的激励电压被限制在40V，脉冲的重复频率为20 Hz。采用100 MHz/8 bit的采样率获取长度为8 192个像素点的信号。

3.3 超声信号的预处理

采集到的信号用MATLAB进行离线处理。根据文献[9]，利用B超成像技术得到的图像是在手势识别方面良好的信号源，因此,本实验也采用类似于超声成像技术[10]中的超声信号调制方法。

具体分为4个步骤：时间增益补偿(time gain compensation,TGC)、带通滤波、包络检波和对数压缩。时间增益补偿用于补偿超声波在传播过程中由于发散和阻尼所造成的能量衰减；带通滤波的环节中，采用了中心频率定位在通带中心的高斯滤波器，滤除非线性传播和电路中的噪声；包络检波的方法对信号进行Hilbert变换；对数压缩的目的是将时间增益补偿造成的大动态范围压缩到较小的空间中，便于后续的处理。预处理示意如图3所示。

图3 预处理示意

3.4 特征提取与模式识别

整个模式识别的过程可以分为2个步骤:1)对训练集的数据进行处理，根据一定的方法提取特征;2)将特征送入分类器，对其进行训练;3)利用训练完成的分类器，对测试集的数据进行手势的判别。

参照文献[5]，采用类似的特征提取方法。对经过预处理得到的每一个通道的每一帧信号，将其以120个像素点为窗长进行分段，对每一小段进行线性回归，然后将所有线性回归得到的系数串联起来，构成该帧特征向量。得到的特征向量长度约800维，为了便于分类器分析，先采用主成分分析(principal component analysis,PCA)的方法对其进行降维，最终选取35维主成分送入常用的线性判别分析(linear discriminant analysis,LDA)分类器，根据实验的范式，选用一定量的数据作为训练集，使用其余数据作为测试集或者直接进行在线测试。

4 实验测试与结果分析

为了测试搭建的手势识别系统，进行了离线的手势识别实验，即将采集数据和分析数据的过程分开，分析数据的过程在采集完所有数据之后进行。

4.1 实验范式

考虑到手指的精细动作识别是表面肌电等其他人机接口的难点，因此，采用手指屈的动作作为目标动作。包括5个手指的屈动作和静息态共6个。实验时，受试者坐在椅子上，手和前臂水平于椅子的扶手上。调节椅子的高度使受试者无任何不适。将臂带佩戴在手臂上，并使2只传感器对准内侧的尺侧腕伸肌，2只传感器对准外侧的桡侧腕屈肌。放置位置距离腕关节大约5 cm。

受试者按照屏幕的指示完成实验动作，分别包括拇指屈、食指屈、中指屈、无名指屈和小指屈，每个动作维持5 s，动作之间插入5 s的休息态。一组动作共同时50 s，进行10组该动作，需要500 s的时间。

将采集到的10组数据中的前5组作为训练集，后5组作为测试集，利用前述模式识别算法进行验证，计算手势识别的正确率。采用这样的方式来决定训练集和测试集，目的是希望尽可能地模拟在线测试的情况，即在前半段时间进行分类器的训练，在后半段时间利用训练的分类器进行在线的测试。

4.2 实验结果

分别计算5位受试者的手势识别率如图4所示。图4(a)给出了6个动作((1～6分别对应休息态、拇指屈、食指屈、中指屈、无名指屈和小指屈)的识别率，图4(b)中给出了5位受试者的手势识别率。游标指示了标准差。

可以看出：针对6个识别动作的范式，平均识别率达到了91.1 %，不同受试者之间手势识别率有一定差异，其标准差约为5 %，最差的受试者(S2)的手势识别率也在85 %以上。针对不同的动作，可以看到其识别率之间有所差异，其中小拇指和中指的识别率比较高，而且在不同受试者之间的差异也比较小。

图4 不同动作和受试者的手势识别率

5 结 论

设计并实现了一种基于多通道单振元超声传感器的手势识别系统。应用多个单振元超声传感器对前臂肌肉进行A超扫描，获得肌肉的层次信息，利用模式识别的算法在超声信号和手指动作建立映射关系。实验表明：手势识别系统具有很高的识别正确率。

[1] 李天博,陈 玲,陈坤华,等.基于MSP430的肌电假手系统设计[J].传感器与微系统,2012,31(4):75-78.

[2] 李庆玲.基于sEMG信号的外骨骼式机器人上肢康复系统研究[D].哈尔滨：哈尔滨工业大学，2009.

[3] 丁其川，熊安斌，赵新刚，等.基于表面肌电的运动意图识别方法研究及应用综述[J].自动化学报，2016,42(1):13-25.

[4] Fang Y F,Hettiarachch I N,Liu H H,et al.Multi-modal sensing techniques for interfacing hand prostheses:A review[J].IEEE Sensors Journal,2015,15(11):6065-6076．

[5] Castellini C,Passig G,Zarka E,et al.Using ultrasound images of the forearm to predict finger positions[J].IEEE Transactions on Neural Systems and Rehabilitation Engineering,2012,20(6):788-797.

[6] Shi J,Guo J Y,Hu S X,et al.Recognition of finger flexion motion from ultrasound image:A feasibility study[J].Ultrasound in Medicine & Biology,2012,38(10):1695-1704.

[7] Sikdar S,Rangwala H,Eastlake E B,et al.Novel method for predicting dexterous individual finger movements by imaging muscle activity using a wearable ultrasonic system[J].IEEE Transactions on Neural Systems and Rehabilitation Engineering,2014,22(1):69-76.

[8] 李洪阳，李毅彬，李申龙，等.基于A型超声波传感器的血压连续测量系统[J].传感器与微系统,2016,35(2):87-90.

[9] Huang Y,Liu H.Performances of surface EMG and ultrasound signals in recognizing finger motion[C]∥International Confe-rence on Human System Interactions,London:IEEE,2016:117-122.

[10] 伍于添. 医学超声设备：原理·设计·应用 [M].北京:科学技术文献出版社,2012.