基于传感器的腕部动作检测与手势识别方法综述

胡跃辉, 陈亚冬, 张 涛, 钟纪权, 王 星

(1.合肥工业大学 光电技术研究院,安徽 合肥 230009；2.合肥工业大学 仪器科学与光电工程学院,安徽 合肥 230009；3.合肥溪流光电科技有限公司,安徽 合肥 230009；4.合肥工业大学 电子科学与应用物理学院,安徽 合肥 230009)

0 引 言

自2012年Google Glass问世以来,各种可穿戴设备大量出现。主流的可穿戴设备基本分为三类：手腕部设备：苹果手表,小米手环等；脚部设备：耐克智能运动鞋；头部设备：谷歌眼镜,微软Hololens眼镜等。不同于传统的基于个人电脑和鼠标的人机交互模式,基于可穿戴设备的人机交互方式也逐渐出现变化,国内外对基于传感器的腕部动作检测与手势识别方法展开了长期的研究。本文将对该研究进行综述。

1 检测与识别方法的研究现状与分析

对腕部动作信号进行检测的传感器有很多种,从其测量原理上可以分为声学传感、力学传感、光学传感、电学传感、加速度测量等。在当前的研究中,这几种传感器都实现了较好的测量效果和手势识别结果。此外,近年来机器学习算法有了巨大的发展,广泛应用于基于传感器的手势识别的算法包括支持向量机(support vector machine,SVM)[1,2]、反向传播(BP)神经网络[2,3]、低维的卷积神经网络(convolutional neural network,CNN)[4,5]等。

1.1 腕部动作检测的力学传感器方法

目前,常见的采集腕部皮肤表面的运动信号的微力学传感器包括基于聚偏氟乙烯(polyvinylidene fluoride,PVDF)薄膜的压力传感器、基于驻极体薄膜的压力传感器、力敏感电阻传感器、陶瓷压电传感器、电容压力传感器、改进的气压传感器等。

2018年,合肥工业大学的胡跃辉等人[6,7]研究了一种基于PVDF压电薄膜的体积小、柔性好、灵敏度高,容易和皮肤接触,可以舒适地对腕部的肌肉运动信号进行检测的传感器。2019年,胡跃辉等人[8,9]基于PVDF传感器及其阵列研究了一种进行实时鼠标手指动作识别的方法。该方法利用PVDF腕部传感器来构成围绕腕部一周的传感器阵列,根据腕部信号的特征对该传感器阵列的分布进行优化,使用该传感器阵列采集用户手指动作时的手腕肌肉和肌腱运动对传感器造成的压电信号,使用短时能量来实时检测和提取运动信号片段,将其编码为手指动作的特征向量输入到BP神经网络,对三个基本的类鼠标手指动作的识别率达到了96.7 %。2020年,胡跃辉等人[10]研究了一种基于驻极体薄膜的压力传感器,能够较好地测量腕部的肌肉运动信号。

2018年,中国科学技术大学的张宇飞等人[11,12]通过手腕周围放置4只力敏感电阻器(force sensitive resistors,FSR)以捕捉不同手势的手腕压力分布,可以实时识别手势并将其转换为鼠标的移动。为了确保系统的实时性,设计了一些简单分类器来识别手势,从而降低时间的复杂性。此外,该原型体积小,能耗低,易于与智能手表和智能腕带等普通可穿戴设备集成。研究表明,该系统在实时手势识别方面性能良好,F得分高达92.55 %,处理数据平均延时小于50 ms。

2017年,卡尔加里大学的Booth R与Goldsmith P[13]通过放置在腕部内侧的陶瓷压电传感器对5个手指的敲击手势进行识别,利用SVM算法得到了97 %的识别率。2019年格拉斯哥大学的Liang X等人[14]使用电容压力传感器配合SVM算法对3种手势进行识别,得到了90 %以上的识别率。2019年,上海交通大学的Shull P B等人[15]使用改进的气压传感器来测量手腕运动时腕部压力变化,从而实现手势识别和手指角度估计。

2018年,三星的Byun S W等人[16]提出了一种基于柔性表皮触觉传感器阵列(flexible epidermal tactile sensor array,FETSA)的新型接触式手势识别方法,该方法用于根据手腕的运动来测量电信号。在该研究中,FETSA用于根据手腕的运动来测量传感器的物理变形,以电阻值变化的形式获取数据。

1.2 腕部动作检测的电学传感器

常见的基于电学传感的测量腕部运动方法：电阻抗断层成像(electrical impedance tomography,EIT)的方法,表面肌电(surface electromyography,sEMG)信号的方法。该类方法大多需要将测量电极紧贴皮肤。2018年，伦敦大学的Wu Y等人[17]提出了一种基于电阻抗断层成像的高精度手势识别系统。该系统使用带有电极的腕带连接前臂。它设计了19种手势用于识别,实时测量前臂骨骼和肌肉运动引起的内部传导率分布,利用所提出的循环分组方法,并将数据传递给自动编码器和分类器中进行手势识别,实现了超过98 %的准确率。2019年,三星的Choi C等人[18]根据记录在腕部背部的sEMG信号对3～5个手指手势进行分类。此外,结合CNN算法比较了主体内模型和主体间模型之间的分类准确性。此外,Jiang S等人[19]提出基于sEMG和惯性测量单元传感融合的实时手势识别腕带的设计和验证,它对8种悬空手势和4种平面手势进行识别,实验的悬空手势和平面手势的分类准确率分别为92.6 %和88.8 %。

1.3 腕部动作检测的声学传感器

同时,基于声学的方法,如超声、麦克风等也成为一种人机交互的热点。2017年,香港城市大学的Siddiqui N,Chan R H M[1]研究了手腕声学测量的手势识别,以开发低成本的可穿戴人机交互设备。该装置结合线性判别分析算法对美国手语中的36个手势的识别率达到了80 %以上。2017年,布里斯托大学的McIntosh J等人[20]比较了可穿戴式超声设备的不同前臂安装位置的性能,研究了由于位置移动导致的性能下降,并开发了一种技术来补偿这种错位,该技术结合了图像处理和神经网络,对10个离散手势的屈伸进行分类,准确率超过98 %。此外,这种方法可以连续跟踪单个数字屈曲,均方误差(mean square error,MSE)小于5 %,还可以区分不同关节的屈曲程度。

1.4 腕部动作检测的光学传感器

近几年,基于可穿戴的光学的方法,如摄像头、光电容积描记(photoplethysmography,PPG)技术等方法也开始逐渐出现并发展应用。2018年,宾汉姆顿大学的Zhao T M等人[21]利用低成本的PPG传感器成功地将特定的手势信号从脉搏的PPG信号中分离出来,通过对10个采集到的3 600多个手势使用二类分类器进行实验,证明该系统可以从美国手语中区分出9种基本的手指手势,平均识别精度超过88 %。2018年,浙江大学的Chen F Y等人[22]提出了一种可穿戴式腕式摄像机。在实验中,它使用图像识别技术成功识别出由美国手语定义的从0到9的10个手指手势,准确率高达99.38 %。通过使用设计的算法和该装置操纵机器人手臂来运输和堆积木,进一步证明了其性能,并且可以分类由不同手指组合形成的手势。

2 结束语

腕部动作检测与手势识别是当前的研究热点,本文对基于传感器的腕部动作检测和手势识别方法的研究工作进行了介绍,重点介绍了传感器技术在腕部动作检测与手势识别中的国内外研究现状,包括声学传感(超声、麦克风),力学传感，光学传感(光电容积描记技术、摄像头)，电学传感(电阻抗断层成像、电波导装置),加速度测量等几种传感器以及对应的识别算法。可以看到,腕部动作检测与手势识别技术已经取得一定的进展。考虑到实际应用场景,该研究应该更加关注于如何保证识别动作的实时性、准确性、鲁棒性,以及佩戴的舒适性和适用性。