基于Kinect的人体非对称步态识别及骨骼关键点位置重要性分析

摘" 要：首先利用Kinect采集10名受试者分别模拟正常步态及4种非对称步态时的全身骨骼关键点数据，依次对数据进行滤波去噪、标准化等预处理过程，然后利用循环神经网络模型对上述5种步态进行分类，并通过平均精确率指标评价输入不同数量和不同位置骨骼关键点时的识别效果。结果表明，当输入25个骨骼关键点信息时，模型的识别平均精确率为98.8%；当输入相同骨骼关键点数量（8个和4个）时，下肢骨骼关键点对于人体非对称步态的识别重要性大于上肢骨骼关键点。当仅输入2个骨骼关键点时，上肢骨骼关键点对于非对称步态的识别重要性大于下肢骨骼关键点。上述研究结果可以为基于Kinect的人体步态对称性分析，尤其是采集方案设计提供一定的参考。

关键词：Kinect；步态对称性；骨骼关键点；深度学习；数据处理

中图分类号：R318" " " 文献标志码：A" " " " " 文章编号：2095-2945（2025）06-0094-05

Abstract： This study initially employed Kinect to capture full-body skeletal keypoint data from 10 subjects simulating both normal gait and four types of asymmetric gaits. The data underwent preprocessing steps such as filtering and normalization. Subsequently， a recurrent neural network（RNN） model was utilized to classify the aforementioned five types of gaits. The classification performance was evaluated using the average precision metric under varying numbers and locations of skeletal keypoints. Results indicate that with 25 skeletal keypoints as input， the model achieved an average precision of 98.8% in gait recognition. Moreover， for the same number of keypoints（8 and 4）， lower limb keypoints were more crucial than upper limb keypoints in identifying human asymmetric gaits. Conversely， when using only 2 keypoints， upper limb keypoints were more significant for gait recognition than lower limb keypoints. These findings contribute insights into Kinect-based analysis of human gait symmetry， particularly in the design of data acquisition protocols.

Keywords： Kinect; gait symmetry; skeletal key point; deep learning; data processing

人体步态对称性是指左右两侧身体结构和运动方式的相似性，被视为人体正常行走和运动的基础。不同类型的运动障碍、肌肉骨骼疾病以及神经系统疾病都会导致人体步态的非对称性，因此对人体非对称性步态的研究具有重要的临床意义[1]。传统上，步态对称性的评估主要依赖于人工观察和主观判断，这种方法存在主观性强、可重复性差等问题。另一方面，采用运动学、表面肌电等测评技术虽可以获取客观测量结果，但是需要将传感器附着在被采集对象的身体上，传感器的贴附容易引起测试对象的不适，进而降低其对于数据采集环节的依从性，严重情况下甚至会拒绝佩戴，导致数据采集失败。同时，传感器的贴附可能会从“躯体”和“心理”2个层面阻碍患者最自然的步行状态。因此，如何在不影响自然步行状态的前提下（即非接触式）检测并准确识别其非对称步态成为临床步态分析面临的一个关键性问题。骨骼关键点检测技术的出现为非对称性步态的“非接触式”客观评估提供了新的方法[2]。这种技术主要基于计算机视觉和机器学习的方法，从图像或视频中提取人体关节的位置信息，实现对人体姿态和运动的描述和分析[3]。

骨骼关键点检测过程主要包括以下几个步骤：数据采集和预处理、关键点定位、关键点连接、关键点跟踪和姿态估计。首先，通过Kinect相机或深度传感器采集人体运动的数据，然后对数据进行预处理，例如去噪、滤波和标准化。接下来，利用深度学习模型对图像或视频中的关键点进行定位。紧接着，根据关键点的位置信息，通过连接不同关节的关键点形成人体骨骼模型。最后，通过跟踪关键点的位置变化可以实时估计人体的姿态[4]。在获取准确骨骼关键点数据的基础上，选择合适的识别算法对于非对称性步态的评价效果同样非常重要[5-6]，传统的机器学习方法主要有支持向量机（Support Vector Machine， SVM）、随机森林、K最近邻算法（K-nearest neighbor， KNN）等[7-8]，但上述方法存在一定的局限性[9]，例如由于步态数据的特征维度较高，且样本数据量一般有限，因此上述分类方法在处理数据时容易出现过拟合与欠拟合的问题，导致模型的泛化能力受到极大的限制。

近年来，随着深度学习算法的发展，尤其是深度神经网络能够自主学习和提取复杂的步态特征信息，省去了大量人工设计的过程，使得其在处理步态分类识别问题方面具有独特优势[10]。例如，Khokhlova等[11]设计了一种基于Kinect和循环神经网络算法（LSTM算法）的步态对称性识别模型；Bari等[12-13]提出了2种基于Kinect和深度卷积神经网络的步态识别方法；Jun等[14]则针对异常步态识别问题，提出了一种基于Kinect和门控循环单元的深度神经网络识别方法。需要指出的是，现有研究将Kinect识别的全身骨骼关键点坐标信息作为识别任务的输入特征时，普遍将所有骨骼关键点信息作为输入，这种方式虽然可以提升识别精度，但是其中不可避免存在一些冗余信息，使得模型训练的时间和计算量有所增加。另一方面，根据人体运动协同理论可知，中枢神经系统采取分层控制的方式来简化多关节运动的控制，从而达到降低运动控制冗余的目的[15-16]。因此，在生理上，关节组合之间的协同被认为是人体中枢神经系统对肢体多关节运动的一种调控策略。为此，本文假设不同关节组合对于对称性步态的影响存在一定的差异，换言之，不同关节位置的骨骼关键点对于非对称步态的识别效果影响存在差异，尤其是下肢检测到的骨骼关键点对于非对称步态的识别重要性更显著。

为了验证上述假设，本文采用Kinect有效收集10名受试者正常对称步态以及模拟4种非对称步态状态下的骨骼关键点数据，对数据进行预处理后，利用循环神经网络模型识别上述非对称步态类型，并通过模型的平均精确率指标来分析改变输入骨骼关键点的位置和数量时模型的分类效果。

1" 方法

1.1" 数据采集

本文中的数据采集对象为10名健康成年人（男性6人，女性4人，平均年龄23±1.3岁）；男性身高（1.72±0.14 m），女性身高（1.63±0.12 m）。上述受试者均不存在任何神经、肌肉、骨骼等方面的疾病，所有参与本次数据采集的受试者均充分了解实验内容，并签署知情同意书。实验过程中模拟的5种步态类型见表1。

每位受试者采用正常步态行走（图1）的基础上，通过调整单侧鞋底厚度来模拟4种不同非对称程度的步态类型，且每种步态类型采集有效时长均达到1 200个连续帧以上，并通过Kinect v2获取逐帧骨架及每一个关节关键点在三维空间中坐标信息，即骨骼关键点数据，具体如图2所示。

1.2" 数据处理

考虑到Kinect捕获的步态坐标数据存在一定的信号噪声，为此，本文首先采用移动窗对25个关节点（图3）的序列数据进行中值滤波，以实现平滑和去噪目的，然后再对数据进行标准化。在此基础上，本文所采集的数据集包含了10名受试者采用5种不同的步态时的骨骼关键点数据，选取其中的80%作为训练集，20%作为测试集，并依次选择表2中的骨骼关键点组合作为模型的输入数据。

本文中模型训练及测试过程均在Windows 10系统pytorch的深度学习框架下完成，主要基于循环神经网络算法来通过对骨骼关键点序列数据进行处理，从而达到对5种步态类型进行分类识别的目的。具体在处理该步态时间序列数据时，首先将时间序列的窗口长度设定为100，epoch代表训练次数，设定为200，隐藏层的节点个数设定为128。测试集大小test_size设为0.2，dropout设定为0.5。num_layer代表着RNN和GRU的层数，将其设定为2。初始学习率lr设定为0.000 01，batch_size表示批量大小，设定为64。详细信息见表3。

1.3" 评价指标

模型评估指标通常用来衡量模型在分类任务中的效果，本文采用平均精确率（Mean Precision）指标来评价模型在分类非对称步态方面的能力。该指标指的是每个类别精确率的平均值，其中每个类别的精确率是指在该类别上正确预测的样本数量与该类别所有样本数量之比。精确率越高，表示分类器在预测正例时的准确性越高，其计算公式为

式中：TP为模型将正类别样本正确地预测为正类别的样本数；FP为模型将负类别样本错误地预测为正类别的样本数。

式中：Precisionn表示第n个类别的精确率；n表示n分类任务，本文取n=5。

2" 结果与讨论

本文中通过改变输入骨骼关键点的数量和位置，以观察模型识别效果。不同输入特征对应的识别结果见表4，由表中数据可以看出，当输入25个骨骼关键点信息时，模型的识别平均精确率为98.8%；随着输入骨骼关键点数目的减少，识别效果越差；当输入骨骼关键点数目大于或等于4时，此时分类识别精确率都在85%以上。当输入骨骼关节的数目小于4时，平均精确率都低于80%。

另一方面，在保持骨骼关键点数量不变的前提下，通过改变关键点位置组合方式，对比了单独输入上肢骨骼关键点和单独输入下肢骨骼关键点信息时模型的分类识别效果。可以发现，在输入8个骨骼关键点的前提下，输入下肢骨骼关键点（髋、膝、踝关节等）的平均精确率为96.9%，而输入上肢骨骼关键点（肩、肘、腕关节等）时的平均识别精确率为95.3%，显著低于前者。类似地，在输入4个骨骼关键点的前提下，输入左、右下肢关节骨骼关键点的平均识别精确率分别为92.9%和91.6%，而输入左、右上肢骨骼关键点的平均识别精确率为89.3%和88.1%。这说明在输入8个和4个骨骼关键点的前提下，下肢骨骼关键点对于人体非对称步态的识别重要性大于上肢骨骼关键点。

最后，当仅输入2个骨骼关键点时，即仅输入上肢腕关节和肘关节的模型平均识别精确率分别为78.3%和78.9%，而仅输入下肢踝关节和膝关节时的模型平均识别精确率只有69.5%和68.1%。上述结果说明，当输入骨骼关键点降低到一定数量以后，上肢骨骼关键点对于非对称步态的识别重要性大于下肢骨骼关键点。

3" 结论

本文基于Kinect和深度学习算法实现了对人体非对称步态的分类识别，识别精确率可以达到98%以上；同时，证明了人体上下肢骨骼关键点对于非对称步态识别的重要性存在差异，其中，在分别输入8个和4个骨骼关键点时，下肢骨骼关键点在非对称步态识别中的重要性高于上肢骨骼关键点。然而，当仅输入2个骨骼关键点时，上肢骨骼关键点对非对称步态识别的贡献则超过下肢骨骼关键点。上述研究结果可以为基于骨骼关键点检测的人体步态对称性研究方案设计提供一些借鉴和参考。

参考文献：

[1] 张幼安，侯振杰，坎标，等.基于Kinect的帕金森病步态不对称性识别方法[J].中国康复理论与实践，2018，24（7）：795-801.

[2] 张世宇，祁子禹，干智超，等.基于Kinect v2低成本动作捕捉系统在步态分析中的开发及应用[J].中国神经精神疾病杂志，2023，49（1）：54-59.

[3] 张笑宇，陈凯，杨颖.基于Kinect系统的步态参数提取方法[J].数据采集与处理，2022，37（4）：872-882.

[4] 田皓宇，马昕，李贻斌.基于骨架信息的异常步态识别方法[J].吉林大学学报（工学版），2022，52（4）：725-737.

[5] 刘芳超，周谋望，李涛.基于人工智能算法的步态分析在疾病临床诊疗中的应用进展[J].中国康复医学杂志，2023，38（6）： 836-840.

[6] THAKUR D，LALWANI P. Comparative performance of machine learning models for the classification of human gait[J].Biomedical physics amp; engineering express，2024，10（2）.

[7] 高经纬，马超，姚杰，等.基于机器学习的人体步态检测智能识别算法研究[J].电子测量与仪器学报，2021，35（3）：49-55.

[8] 王全坤，郭冰菁，尤爱民，等.基于SVM的偏瘫患者异常步态识别与临床康复辅助诊断系统[J].计算机应用与软件，2023，40（10）：94-100.

[9] KOHNEHSHAHRI F，MERLO A，MAZZOLI D，et al. Machine learning applied to gait analysis data in cerebral palsy and stroke： A systematic review[J].Gait amp; Posture，2024， 111（6）：105-121.

[10] 田皓宇，马昕，李贻斌.基于骨架信息的异常步态识别方法[J].吉林大学学报（工学版），2022，52（4）：725-737.

[11] KHOKHLOVA M，MIGNIOT C，MOROZOV A， et al. Normal and pathological gait classification LSTM model[J]. Artificial Intelligence in Medicine，2019，94（3）：54-66.

[12] BARI H， GAVILOVA M. KinectGaitNet： kinect-based gait recognition using deep convolutional neural network[J]. Sensors，2022，22（7）：2631.

[13] BARI H， GAVILOVA M. Artificial neural network based gait recognition using kinect sensor[J].IEEE Access，2019， 7（1）：162708-162722.

[14] JUN K，LEE Y，LEE S，et al." Pathological gait classification using kinect v2 and gated recurrent neural networks[J]. IEEE Access，2020，8（1）：139881-139891.

[15] DEJNABADI H，JOLLES B，AMINIAN K. A new approach for quantitative analysis of inter-joint coordination during gait[J].IEEE Transactions on Biomedical Engineering，2008， 55（2）：755-764.

[16] 熊启亮，谌颖，莫杰义，等.基于加速度信号的人体爬行与步行过程中多关节协同运动模式对比[J].中国医学物理学杂志，2023，40（7）：884-889.

基金项目：国家自然科学基金（32460238）；江西省自然科学基金（20232BAB206134）

第一作者简介：蒙新兴（1989-），男，助理工程师。研究方向为医疗信号检测与分析。

*通信作者：熊启亮（1989-），男，博士，副教授。研究方向为生物医学信号检测与处理。