基于压力感知的步态识别研究现状
2023-08-06黄凯周旭辉梅健邹青宇
黄凯 周旭辉 梅健 邹青宇
摘 要 归纳了压力感知方向的步态识别技术近年来的研究现状,分别阐述可穿戴式传感器和地板压力传感器两种应用方向,并分析、对比各自的优势与不足。最后对压力感知方向的步态识别技术进行了展望。
关键词 步态识别 压力感知 传感器 人工智能
中图分类号 TP212.9 文献标识码 A 文章编号 1000-3932(2023)04-0406-05
步态识别作为一种生物特征识别技术,在身份识别、健康检测及智能家居等应用场景中具有极大的发展空间,与人脸、指纹及虹膜等其他生物技术相比,传统的步态识别不需要人为的接触,可以使用摄像机远距离采集步态信息。此外NIXON M研究发现,人的步态特征具有唯一性[1],从而使步态识别在安全防护、智能监控等领域有可观的发展空间[2]。
步态识别在1994年被首次提出[3]。与过去基于机器视觉的步态研究相比,近些年随着传感器的更新和发展,采用压力传感器来采集信号再通过算法进行步态识别的研究已成为一个比较热门的方向。因此,基于可穿戴传感器和基于地板传感器的步态识别[4]在步态识别技术的研究中脱颖而出,其中基于地板传感器和可穿戴传感器的系统以传感器为核心部件来采集数据。根据所使用的传感器类型,基于可穿戴的步态识别系统一般分为两种:表面肌电图(Surface Electromyography,SEMG)系统和微机电系统(Microelectro Mechanical Systems,MEMS);基于地板传感器的系统可分为3种:压电式传感器系统、压阻式传感器系统和电容式传感器系统。
1 基于可穿戴传感器的步态识别
1.1 可穿戴传感器的发展现状
压力传感器能够将来自外界的模拟信号转换为数字信号方便人们进行观察分析,依据不同传感原理设计的传感器具有多种多样的特点与其各自适用的场景[5]。随着研究者们对压力传感器的深入研究,目前,数据采集和特征提取被普遍应用到柔性压力传感器上,柔性压力传感器的设计指标主要在于灵敏度、响应时间、数据准确性及稳定性等性能。基于可穿戴传感器的步态识别对于柔性压力传感器的选用需要从脚底的舒适度、设备价格与性能、适用条件等诸多的因素来综合考虑。云服务技术的兴起,推动了可穿戴传感器对于数据采集与传输的研究发展[6]。笔者主要从3个方面总结了可穿戴传感器的步态识别:基于下肢传感器、基于足底传感器、基于多传感器。
1.2 基于下肢传感器的步态识别
下肢运动是通过人体各个肌肉相互协调配合形成的动作,各个肌肉在运动中的作用各有不同,因此要实现步态识别的功能,需要用多个传感器对各个部位分别采集信息,整个系统一般由4个主要模块组成:数据采集模块,使用传感器对下肢运动参数进行采集;无线传输模块,将采集的数据传到PC端;电源模块,为传感器提供动力;数据处理模块,对传输来的数据进行整理、比对和分析。
基于下肢传感器的方法一般采用表面肌電图系统,肌电信号由有源表面电极收集。MEHMOOD A等用腿部的两个关键肌肉区域放置的可穿戴式肌电图传感器[7],检测肌肉疲劳,评估跌倒的风险。与表面肌电图系统类似,表皮传感器系统也被放置在皮肤上进行检测,KIM K K等研究了一种基于深度神经网络裂纹检测的新型电子皮肤,该皮肤呈蛇形,能够适应皮肤表面[8]。
吴平平等用获取的单肌肉表面肌电信号和加速度信号来识别步态信息[9]。选定股直肌作为实验相关肌肉,采集其表面肌电和加速度信号,采用小波去噪原理降低外界干扰对数据采集造成的影响,采用核主成分分析(Kernel Principal Components Analysis,KPCA)方法[10]对数据进行信息融合,利用支持向量机(Support Vector Machine,SVM)算法[11]与BP神经网络分别建模,最后获得了较高的识别率,但其仍然面临舒适性差、数据类型不全面等问题。
1.3 基于足底传感器的步态识别
足部是人体运动中使用最频繁的部位,足底压力包含丰富的步态信息,可用于识别人体状态。然而,足底压力受年龄、穿戴、身体状态及外界环境等诸多因素的影响。因此学者们对足底压力分布特征进行了统计分析,并研究出各种形式的足底压力信息收集方法及步态识别方法与算法。基于足底传感器的方法大多采用测力鞋垫系统,需要对足底部位进行分区研究。根据人体生物力学研究,支撑相和摇摆相是正常人体完成一个行走周期的必要动作,支撑相可以细分为足跟着地期、负荷反应期和足尖离地期[12]。
宋礼文等提出一种算法,对足部运动数据加以提取,其把整个足部活动划分为着地阶段、整足接触阶段、足跟离地阶段和离地阶段4个阶段[13],分解过程如图1所示。采用多贝西小波(Daubechies Wavelet)对数据进行预处理,减少干扰。将传感器采集的一次数据视为一个数据切片,计算足底压力峰值-均值。根据计算的压力峰值进行足部运动特征提取,采集到的足底数据可以很好地满足步态识别的准确性,且冗余量少,但对特殊人群、特定环境还有待提升。
1.4 基于多传感器的步态识别
多传感器结合下肢传感器与足底压力传感器的数据、特征及信号等,可以使得识别精度更高。因此基于多传感器的步态识别较基于下肢传感器与基于足底传感器的来说,可以更精确、全面地采集数据。将识别过程设备分为惯性测量单元(Inertial Measurement Unit,IMU)和足底压力测量单元两个部分。将IMU固定在人体的下肢,用于采集下肢数据,使用压力鞋垫采集人的足底压力数据,采集到的数据传输到穿戴在腰间的微处理器内,微处理器负责数据的采集与传输,将数据传输到主机中,再由主机完成复杂的计算。
吕佳乐等设计了基于多传感器信息的人体下肢步态识别系统[14],系统整体框架如图2所示。系统采用了柔性姿态传感器与足底压力鞋垫,重新构建了数据收集体系并利用二阶卡尔曼滤波[15]对双腿下肢关节角度信息进行计算,采用比例化和模糊化的方法来对不同的足底进行处理,利用SVM进行识别研究。通过同一人多次实验验证了算法的有效性、正确性、通用性,具有更高的识别准确率和更低的信号处理负荷。但过多的穿戴,不仅成本上更高,而且要比采用单一传感器对人的行为操作造成的影响更大,舒适性也有一定影响。
2 基于地板传感器的步态识别
2.1 地板传感器的研究现状
地板传感器系统需要用到的技术包括采集装置的选取、压力数据的特征提取及识别算法的设计等。采集装置可嵌入地面或采用隐蔽性强的摄像头,以保证装置的隐蔽性;压力数据包括压力分布、形状特征及最大压力等参数;识别算法有SVM、极限学习机(Extreme Learning Machine,ELM)算法[16]及卷积神经网络(Convolutional Neural Networks,CNN)算法[17]等。与可穿戴传感器相比,地板传感器虽然有不需要人为佩戴的便利以及隐藏性强等优点,但为了保证信息采集的准确性,实际应用中需要用到大量的传感器,因此基于地板传感器的步态识别所需的成本较高,应用场合也有一定的局限性。地板传感器的步态识别主要分两个方面:基于地板压力的传感器和基于视触结合的地板传感器。
2.2 基于地板压力的传感器
地板传感器的研究与实验大多用测力台和测力板来实现,通过采集行走人员的脚掌压力分布情况及其变化趋势进行特征分析,从而对进出人员身份进行鉴别,在一些特定场所也可以布置基于地板传感器的步态识别系统,检测人员出入时体重和步态的微小变化,判别人员的物品携带问题。杨春生等提出一种可应用于入侵防范系统的步态识别方法[18],采用60×40的矩阵排列方式收集测力板采集的足底触觉信息,并对数据进行预处理从而降低误差,然后采用基于CNN模型的算法进行特征提取[19],最后通过数据识别结果分析得到,静态数据得到了很高的识别率,动态数据得到了较高的识别率,但在静态识别率稳定在95%以上的情况下,动态识别率仍有待提高。
2.3 基于视触融合的地板传感器
视触融合的步态识别方式是地面压力传感器与远处的摄像头相结合的方法。与单一地面传感器相比,视触融合的方法不仅能提升识别准确率,应用范围也更加广泛。李昱等提出一种全身步态模型[20],该模型将视觉与触觉两种特征进行融合,算法包括全身步态模型的建立、视触觉特征的提取和分类器的分类识别。对步行动作进行分析,建立身体质量与地面所受压力的动力学关系,触觉特征通过地面仪器获得,分别求解支撑腿加速度、摆动腿加速度和上半身加速度。实验系统采用Walkway步道式足底压力测试设备和应用广泛的微软Kinect for Windows V2.0进行特征提取[21]。分类器的分类识别选用径向基核函数(Radial Basis Function,RBF)构造多分类器,这是一种基于SVM的学习方法[22],这种方法可以尽可能避免由于欠学习和过学习而导致的问题的发生。RBF有效降低了不同穿搭、背包负重等因素对步态识别率造成的干扰,得到了较高的步态识别率。建立的实验系统也能更方便快捷地进行特征提取和模型验证。文中模型采用了对足底压力分区增加特征识别点的方式,具有很好的稳健性,但目前国内该方面的研究仍处于发展阶段,数据库也有待完善,因此识别率仍有待提高。
3 总结与展望
3.1 总结
基于压力感知的步态识别,现在逐渐成为步态识别应用中的一个重要研究方向。步态识别作为近年来越来越热门的技术,由于在某些特定领域的应用有优于其他生物识别技术的优点,吸引了越来越多的学者对其进行深入的研究。目前,步态识别研究仍处于探索阶段,与其他成熟的生物识别应用相比还有一段发展路程。对于可穿戴压力传感器,舒适性、敏感性、数据的延迟、采集的准确性问题仍亟待改善,其中多传感器融合中各部分的协调性、数据的抗干扰性及识别的准确性等不足之处仍有待提高;对于地板压力传感器,铺设所需花费的资源、抗压性、高昂的成本及各种环境造成的影响等问题也需要考虑。为了克服单一识别的不足,与其他生物识别技术相互融合的识别可能会逐渐变成一个热门的方向。
3.2 展望
步态识别作为识别技术中的一种研究方向,虽然有其他识别技术没有的优点,但由于其便利性、成本以及其他因素,还未能像面容、指纹等技术一样成熟地应用在日常生活中。基于压力感知的步态识别技术未来的发展方向有:
a. 算法的创新与优化。目前的算法可以识别单人静态的足底压力信息,但对于多人的、动态的情况,尤其是运用在复杂环境中时,则需要考虑到方方面面,因此对于算法的创新与优化是非常必要的。
b. 传感材料的发展与设计。传感材料的进一步发展对于步态识别来说也是至关重要的,选用更敏感、传输速率更快的传感材料可以有效地改善采集数据的准确性,增加采集数据的类型以及提高识别的速率,从而提高步态识别的准确性。此外,随着步态识别技术在未来的应用普及,舒适性、便携性、可忽略性以及成本问题也需要加以考虑。
c. 数据采集与传输。近年来,无线传感器的发展为动静态数据的采集提供了极大的便利,但与此同时,无线传感器也存在数据传输准确率低、失真率高及传输速率低等一系列问题,因此,在未来对于无线传感器的数据采集和传输也是一个亟待解决并需要不断提高的问题。
d. 數据的筛选。对于单特性的数据采集来说,需要确定采集到的数据的类型。对于多特性相互融合的数据采集来说,不仅需要确定数据类型,还需要注意冗余数据。不论是单特性还是多种特性相互融合,都需要将大量采集到的数据进行融合筛选,将融合的数据提炼简化并提取所需要的数据,从而降低数据筛选方面的成本。
e. 数据库的创建与完善。相较于比较成熟的指纹识别技术,基于压力的步态数据库信息还十分匮乏。在研究的过程中,研究者们可以使用的压力数据也非常局限,往往需要寻找志愿者或自己充当实验对象,此过程浪费大量的时间与精力,而且采集的数据信息一般都是小范围内的,因其特异性和区域的局限性不能广泛应用。因此,建立可以共享的数据库是十分必要的。
参 考 文 献
[1] NIXON M.Gait biometrics[J].Biometric Technology Today,2008,16(7-8):8-9.
[2] 邬明汉,黄永祯,郭柏冬,等.基于步态识别的视频侦查技术与应用[J].中国人民公安大学学报(自然科学版),2021,27(3):22-28.
[3] SHAKHNAROVICH G,LEE L,DARRELL T.Inte-grated face and gait recognition from multiple views[C]∥Proceedings of the 2001 IEEE Computer Society Conference on Computer Vision and Pattern Recogni-tion.IEEE,2001:1439-1446.
[4] DERAWI M O,BOURS P,HOLIEN K.Improved Cycle Detection for Accelerometer Based Gait Authentication[C]// Sixth International Conference on Intelligent Information Hiding & Multimedia Signal Processing.IEEE,2010.DOI:10.1109/IIHMSP.2010.84.
[5] 白成,耿达,周伟,等.高性能电阻型柔性压力传感器研究进展[J].微纳电子技术,2021,58(7):559-570.
[6] 闻建强.支持云服务高性价比可穿戴设备的设计研究[J].吉林化工学院学报,2021,38(7):36-42.
[7] MEHMOOD A,NADEEM A,ASHRAF M,et al.A fall risk assessment mechanism for elderly people through muscle fatigue analysis on data from body area sensor network[J].IEEE Sensors Journal,2021,21(5):6679-6690.
[8] KIM K K,HA I,KIM M,et al.A deep-learned skin sensor decoding the epicentral human motions[J].Nature Communications,2020,11:2149.
[9] 吴平平,徐剑华,杜明家,等.基于单肌肉表面肌电-加速度融合的步态识别[J].合肥工业大学学报(自然科学版),2020,43(7):884-889.
[10] DENG F Y,YANG S P,LIU Y Q,et al. Fault diag-nosis of rolling bearing using the Hermitian wavelet analysis,KPCA and SVM[C]//2017 International Conference on Sensing,Diagnostics,Prognostics,and Control(SDPC).IEEE,2017:632-637.
[11] 张语萌,李志俊,步子豪,等.基于SVM-KNN的人体步态相位识别[J].科技视界,2019(28):23-24;26.
[12] 贾山,路新亮,韩亚丽,等.在摆动相中用于下肢外骨骼跟踪人体踝关节轨迹的方法[J].东南大学学报(自然科学版),2014,44(1):87-92.
[13] 宋礼文,向长城,邱达,等.基于足底压力分布的足部运动特征提取[J].医用生物力学,2021,36(3):431-436.
[14] 吕佳乐,高学山,石永杰,等.基于多传感器信息的人体下肢步态识别[J].兵工自动化,2021,40(10):85-90.
[15] 赵瑜,周波,綦俊峰,等.基于双阶卡尔曼滤波的九轴姿态融合算法研究[J].电子世界,2019(7):98-99.
[16] 赵治羽,马磊,孙永奎.基于足底压力传感器的步态识别方法研究[J].电子测量技术,2019,42(13):26-31.
[17] OU J,LI Y J. Vector-kernel convolutional neural networks[J].Neurocomputing,2019,330:253-258.
[18] 杨春生,化晨冰,王鸣镝,等.一种可用于入侵防范的步态识别方法研究[J].计算机应用与软件,2017,34(3):248-251.
[19] HINTON G E,SALAKHUTDINOV R R.Reducing the dimensionality of data with neural networks[J].Science,2006,313(5786):504-507.
[20] 李昱,季文彬,戴士杰.全身步態模型的视触融合步态识别算法[J].哈尔滨工业大学学报,2022,54(1):88-95.
[21] HUITZIL I,DRANCA L,BERNAD J,et al.Gait reco-gnition using fuzzy ontologies and Kinect sensor data[J].International Journal of Approximate Reasoning,2019,113:354-371.
[22] WANG H,FAN Y Y,FANG B F,et al.Generalizedlinear discriminant analysis based on euclidean norm for gait recognition[J].International Journal of Ma-chine Learning and Cybernetics,2018,9(4):569.
(收稿日期:2022-11-15,修回日期:2023-06-08)
Research Status of Gait Recognition Based on Pressure Sensing
HUANG Kai ZHOU Xu-huiMEI Jian ZOU Qing-yu
(1. College of Information and Control Engineering, Jilin University of Chemical Technology;
2. School of Electrical and Information Engineering, Beihua University)
Abstract In this paper, the research status of gait recognition technologies for pressure sensing direction in recent years was summarized and two application directions of wearable sensor and floor pressure sensor were expounded, respectively, including analysis, comparison of their strengths and weaknesses and the prospect of the gait recognition technologies.
Key words gait recognition, pressure sensing, sensor, artificial intelligence