基于LSTM和Conformer的下肢外骨骼步态预测方法＊

赵侦钧，王 涛，贝太学，宋涛涛

(1.山东建筑大学信息与电气工程学院，山东 济南 250000；2.山东建筑大学机电工程学院)

0 引言

下肢外骨骼是一种可穿戴的人体运动辅助和机能增强装置。近年来，随着军事和工业上对单兵负重、机动能力和防护能力的日益重视，以及脑卒中、脊髓损伤和老龄化引起的下肢活动障碍患者人数逐年增加，外骨骼、功能性电刺激(Functional Electrical Stimulation，FES)器等运动助力或康复设备均获得了迅速发展。在这些外骨骼系统中，人机协同问题一直是其一大挑战，解决这一挑战的关键在于提高步态预测的准确性。

国内外学者对步态预测、人机协同进行了大量研究。Wilcox 等基于肌电图(EMG)信号展开研究，利用肌电信号分析运动意图。李彩红基于人体表面肌电信号(Surface Electromyography,sEMG)深度探究sEMG 信号与下肢运动角度映射规律，进一步进行步态预测。上述两种方法易受人体表面皮肤状态如出汗、皮肤破损等干扰。龙亿等在使用力矩传感器测量人机交互信息的基础上，使用卡尔曼滤波进行预测弥补意图延时，该方法需进行复杂的参数优化且缺乏对空间特征的提取。丁峰等提出一种基于灰色理论的人体步态预测方法，通过视频捕捉设备(Kinect)捕捉踝关节空间位置坐标进而利用灰色预测系统进行预测，该方法所使用的视频捕捉设备不适用于下肢外骨骼。近年来，随着神经网络在各领域内广泛应用，基于神经网络模型的下肢外骨骼步态预测方法不断地被提出，但这些方法都未能同时考虑时间与空间上的步态特征信息。

本文通过对步态特征进行研究，引入在自然语言处理(Natural Language Processing,NLP)中表现优异的Conformer 网络，提出基于LSTM 和Conformer 神经网络结构的下肢外骨骼步态预测方法，深度提取步态特征时空特性。通过采集正常行走过程中人体下肢大小腿的运动加速度、姿态角度和角速度数据，组建数据集。利用Pytorch 搭建LSTM-Conformer 神经网络模型，并利用自建数据集对神经网络模型进行训练与验证。

1 LSTM-Conformer神经网络模型

1.1 LSTM-Conformer模型架构

下肢步态预测模型应具有足够的捕获时间和空间特征的能力来预测步态运动轨迹。目前存在许多具有上述特性的模型，例如长短期记忆神经网络(Long Short-term Memory,LSTM)，该模型在信息长期依赖方面具有强大的学习能力，被广泛使用在长序列数据训练中；Conformer模型，该模型在自然语言处理(NLP)领域内取得了较好成果，是一种结合卷积神经网络(CNN)和Transformer模型的Seq2Seq(序列到序列)模型，其利用CNN 有效提取局部特征的能力在弥补Transformer 模型提取局部特征能力较差问题的同时，保留了Transformer 模型善于捕捉基于内容的全局交互能力。

受到Conformer 模型启发，本文将处理后的下肢步态数据序列作为步态预测问题的输入，将下一步态所属类别标签矩阵作为输出。经过上述处理后，步态预测问题可视为是一种Seq2Seq 问题，可以将Conformer 模型引入来提高预测的准确率。一个步态周期内阶段划分如图1所示。

图1 步态周期划分示意图

以单侧为例对每个阶段行为功能做以下描述：支撑初期，右脚跟触地至左脚趾离地，该阶段包括首次触地与承重反应；支撑中期，左脚趾离地至前后腿交换再至左脚跟触地，该阶段是支撑脚全部触地阶段，此时对侧下肢处于摆动相；支撑后期，左脚跟触地至右脚趾离地，该阶段是脚部加速蹬离支撑面的阶段；摆动初期，右脚趾离地至双腿相间，该阶段是指脚趾离地到摆动腿到身体正下方的一瞬间，双侧大腿相邻；摆动中期，双腿相间至右小腿垂直，该阶段是指双腿相邻到继续向前摆动至该侧小腿与地面垂直阶段；摆动后期，小腿垂直至右脚跟触地，该阶段直至小腿垂直到脚跟再次着地。

本文结合LSTM 与Conformer 模型所搭建的网络架构如图2所示。

图2 LSTM-Conformer模型架构

在本文模型中，经预处理后的步态数据在每一特征维度上按时间轴进行展开输入至LSTM 单元内，由LSTM 网络初步捕捉每一维度内的时间特征。但步态数据中不仅包含时间信息同时也包含丰富的空间信息，如果只经过LSTM 单元进行特征提取，并不能充分利用时空信息进而不能达到理想的预测准确率。因此，本文将LSTM 初步提取后的特征数据经维度变换后输入至Conformer 块中。Conformer 层沿时间轴对所有维度做空间上的卷积，在提取空间信息的同时对时间信息做更深层的挖掘。最后Conformer 层的输出经过ReLU 激活层与一个全连接层来解码输出预测步态所属类别标签。拟议模型可以充分结合两种模型的优势，提高捕获隐式时空特征的能力，进而提高预测的准确率，为解决人机协同问题提供可靠依据。

1.2 LSTM-Conformer模型参数

LSTM-Conformer 神经网络模型结构参数设计如下。

⑴LSTM 输入层由36 个节点组成，输入分别为左右大腿、小腿三轴方向上的加速度、角速度、角度；隐藏层节点数为150个。

⑵ Conformer 块输入节点数为150个，输入为LSTM 神经网络最后一层隐含层信息；每层隐藏层选取神经元节点数目为256 个；输出神经元节点数目为150个。

⑶其他参数设置：全局节点不被dropout 的概率为0.5，时间步长为10，一个训练批次中训练数据个数为32，损失函数为交叉熵函数。交叉熵函数定义为：

其中，代表样本数量；代表类别数量；y代表符号函数，如果样本的真实类别等于取1，否则取0；p代表样本属于类别的预测概率。

⑷ReLU激活单元函数定义为：

2 实验验证

2.1 实验环境

实验软件平台采用Windows 10 20H2 系统、Python 3.7.11、Pytorch 1.9.1、Numpy1.21.2、Pandas 1.3.4，硬件环境为Intel(R) Core(TM) i7-9750H CPU@ 2.60GHz、16GB 内存、Ge Force GTX 1660Ti 显卡的计算机。

2.2 下肢步态数据的采集与预处理

本研究所采用的实验数据为自建数据集。测试人员(8 男2女，年龄分布在20 岁到30 岁之间)穿戴如图3所示的采集系统在室内平地平稳行走。采集系统由4个IMU传感器组成，每个传感器集成有陀螺仪、加速度计、地磁场传感器，采样频率设置为100Hz。传感器在绑带前需要绕三轴旋转进行磁场校准，使不同传感器可以做到三轴指向方向一致。传感器在绑带时，将其设置为垂直安装，Y轴指向垂直地面向上，X轴指向身体左侧，Z轴通过X、Y轴解算得出，指向传感器表面的法线方向。在实际测量之前，由于安装时无法保证安装位置水平一致，所以需对每个传感器的轴进行校准。本文采用正常站立姿态作为校准姿势进行静态轴的校准。校准结束后，继续保持校准姿势2-4秒，传感器同步采集数据后取平均值作为补偿偏差。后续测量值加上补偿偏差作为实际获取值以消除测量角度偏差。传感器输出为三轴方向上的加速度、角速度及角度。

图3 采集系统

对采集数据进行预处理操作去掉异常数据后，选取行进过程中段数据进行保存，共计获得21195 条样本数据。将样本数据按4：1 的比例划分为训练集、验证集两个部分，通过验证集来评价LSTM-Conformer神经网络模型的预测效果。图4为部分具有代表性的样本数据。

图4 部分代表性数据

2.3 Conformer-LSTM神经网络模型训练

在模型训练前，为加快训练速度，对数据进行归一化处理。训练过程中根据实际标签矩阵与预测标签矩阵计算交叉熵作为损失函数，采用自适应时刻估计算法(Adaptive Moment Estimation,Adam)对网络进行训练。损失函数随迭代次数变化如图5 所示，准确率随迭代次数变化如图6所示。

图5 损失函数曲线

图6 准确率曲线

由图5 可知拟议模型收敛性极佳，训练初期损失值急速下降，在迭代次数达到5000 次左右时，损失值收敛至全局最小值附近，收敛性不再明显提升。在迭代次数达到15000 次后损失值曲线基本平稳。由图6可以看出随着迭代次数增加、损失值急速下降，模型的预测准确率迅速提高至100%，并在15000 次迭代后趋于稳定。

2.4 实验结果与分析

图7 为训练后的LSTM-Conformer 神经网络在验证集上的混淆矩阵，该矩阵的每一行代表实际步态类别标签，每一列代表经LSTM-Conformer 网络模型输出预测的步态类别标签。图中颜色越深代表准确率越高，其中0 表示支撑初期，1 表示支撑中期，2 表示支撑后期，3 表示摆动初期，4 表示摆动摆动中期，5 表示摆动后期。由图可知对角线部分预测准确率0.9 以上。LSTM-Conformer 神经网络部分预测结果如图8所示。图中所示为一个步态周期内数据实际标签与预测标签结果。

图7 验证集混淆矩阵

图8 预测结果图

由图8可以看出预测错误全部集中在步态变换瞬间。主要原因可能在于，一是数据集标签为人工标注，在标注的过程中按标准划分阶段时，对临界状态的判定可能存在人为误差；二是传感器在测量时存在漂移等特殊情况产生的测量误差。同时由图7可以看出，拟议模型不存在跨一个及以上步态阶段预测错误问题，证明本文所提出模型性能优异。

为了验证LSTM-Conformer神经网络模型的有效性，针对该步态信息样本数据集，再分别采用LSTM 与RNN 进行十次预测做对比实验。对比结果如图9 所示，本文提出的模型准确率大大提升，平均准确率为0.9489，相比于LSTM 的平均准确率0.9172 提高了3.17 个百分点，相比于RNN 的平均准确率0.9033 提高了4.56 个百分点。由于RNN 模型与LSTM 模型对空间信息的提取能力较差，而本文的模型具有学习时空特征的能力，并且可以对人体运动序列的运动学进行建模，从而提高预测准确率，实验结果也验证了模型的有效性。

图9 各模型准确率箱型线

3 结论

针对外骨骼系统中人机协同问题，为了进一步提高步态预测的准确性，本文提出一种LSTM 与Conformer神经网络相结合的新颖下肢步态预测模型。拟议模型采用LSTM 初步提取步态数据的时间特性，然后利用Conformer 进一步挖掘下肢步态数据中的深度时间、空间特性，进一步提高预测准确率。实验结果表明，本文提出的方法优于传统的机器学习分类方法和经典的深度学习分类方法。在将来的工作中，将进一步探索优秀深度学习模型，进一步提升模型性能。