基于机器学习的人体虚拟惯性测量组件构建方法

钱伟行，祝燕华，谢 非，王云涛，张 研，宋天威

（1. 南京师范大学 电气与自动化工程学院，南京 210042；2. 东南大学 仪器科学与工程学院，南京 210096）

基于机器学习的人体虚拟惯性测量组件构建方法

钱伟行1，祝燕华2，谢 非1，王云涛1，张 研1，宋天威1

（1. 南京师范大学 电气与自动化工程学院，南京 210042；2. 东南大学 仪器科学与工程学院，南京 210096）

利用人体特征辅助行人导航与外骨骼机器人控制是近年来导航与机器人领域中的热点研究方向。针对惯性测量组件足部安装方式在过载较高时无法实现有效测量的问题，研究了一种基于机器学习的人体虚拟惯性测量组件构建方法。该方法以同步采集安装于足部与下肢其他部位的惯性测量组件的输出作为数据样本，通过遗传算法改进的误差反向传播（GA-BP）神经网络实现虚拟惯性测量组件的构建。为进一步改善训练效果，采用基于步态相位检测方法对训练样本进行筛选。基于Anybody与MATLAB的联合仿真结果表明，本文所研究的方法可实现采用安装于髋关节附近位置的惯性测量组件数据，有效模拟足部位置的惯性测量组件数据。该方法对未经训练的步态也有一定的适应性。本文所研究的方法可进一步应用于行人精确定位与外骨骼机器人控制等领域。

人体运动学模型；虚拟传感器；机器学习；步态检测；行人导航

微惯性测量组件应用在穿戴式智能设备（医疗康复外骨骼机器人、行人导航系统、智能穿戴式设备）中，可以实现对人体运动信息的监测功能，是近年来微惯性技术研究的热点之一。瑞典皇家理工学院、加拿大卡尔加里大学、芬兰坦佩雷大学、北京理工大学、东南大学等高校的研究人员采用微惯性技术设计并实现了多种基于人体运动特征的行人导航算法，如PDR（Pedestrian Dead-Reckoning）算法与基于零速更新（ZUPT）的SINS算法等[1-3]，美国加州大学、德国柏林科技大学、中国科学技术大学、上海交通大学、南京航空航天大学等高校已将微惯性技术运用于穿戴式机器人与人体运动模式识别领域[4-7]。目前采用微惯性传感器及其组件进行人体运动实时测量尚存在如下问题：

1）肢体末端（如足部、手掌）是人体运动精确监测的必要位置，但受到人体生理结构特征的影响，肢体末端的运动过载幅度较大，使传感器在选型与使用时难以兼顾测量精度与量程；

2）为实时监测人体的复杂运动，大量安装微惯性测量组件（如荷兰XSENS公司的人体运动捕捉系统）将大幅增加系统硬件的复杂性，从而影响其可靠性。

针对上述问题，本文提出了一种基于机器学习的人体虚拟惯性测量组件构建方法，该方法在人体运动学模型的基础上，采用基于运动模态识别的训练样本自适应提取方法，通过机器学习构建不同肢节之间加速度与角速度的非线性关系，实现虚拟惯性测量组件的构建。该方法旨在解决人体较大运动过载时的惯性测量超限等问题，同时减小硬件复杂性，为外骨骼机器人控制、行人导航、人体运动捕捉等相关功能系统的设计提供新的思路。

1 人体运动学中的惯性信息模型

本文以下肢典型运动在矢状面内的运动变化为例简要说明虚拟惯性传感器组件的构建机理。将Hanavan 15刚体人体模型简化为4关节5连杆的人体模型[5]，如图1所示。定义固定坐标系与广义坐标：固定坐标系以支撑腿的踝关节为原点，径向为X轴方向，可认为人体在沿着某一航向角运动时，竖直向上为Y方向，Z方向由右手定则确定；各个广义坐标θi（i=1～5）为各个连杆和竖直轴之间的绝对夹角，顺时针方向为正，人体的姿态可以由该固定坐标系原点和各广义坐标唯一确定[5-6]。

图1中(xh，yh)为人体髋关节在固定坐标系中的坐标，(xe，ye)为摆动小腿末端在固定坐标系中的坐标，(xb，yb)为以支撑腿的踝关节在广义坐标系中的坐标，l4与l5分别为摆动腿的小腿与大腿长度，θ4与θ5分别为摆动腿的小腿与大腿的广义坐标，其他变量定义参考文献[5]和[6]，本文不再赘述。根据正向运动学理论，可得如图1所示的摆动小腿末端与髋关节的相对位姿关系：

对公式(1)与(2)求时间的二阶导数，可得：

图1 典型运动中的人体下肢简化模型Fig.1 Simplified model of human lower limbs in typical movement

由公式(3)与(4)可知：(Xh,Yh)为大腿相对固定坐标系的运动加速度在固定坐标系上的投影，由相关基本定义可知，固定坐标系可视为自由方位导航坐标系的原点由人体质心平移到了支撑踝关节[7]，因此近似于加速度计的输出在自由方位导航坐标系中的投影；同时，在中低精度惯性系统中，可忽略地球自转角速度与人体运动速度的微小影响，在此前提下，可视为下肢运动的角速度在自由方位导航坐标系中的投影。上述人体运动学特性可推广到人体的三维运动中。

由此可知，人体运动模型是一类包含了惯性信息（加速度与角速度）微分、积分以及三角函数混合运算的强非线性方程，在工程应用中的实时解算是较为困难的。基于上述分析，本文研究了一种基于机器学习的下肢虚拟惯性测量组件的构建方法，旨在通过穿戴于人体下肢（如髋关节附近）的微惯性测量组件的量测信息，模拟出摆动腿足部的惯性测量组件信息，以辅助行人导航与穿戴式机器人有关技术的后续研究[8]。

2 基于Anybody-MATLAB的惯性测量组件信息协同仿真方法

AnyBody人体建模仿真系统是计算机辅助的人类工效学和生物力学分析软件，可用于模拟和分析完整的人体骨肌系统[9]。本文采用AnyBody软件对人体髋关节处肌肉与踝关节肌肉的运动信息进行仿真，从而提取该两位置加速度与角速度信息在固定坐标系中的三轴投影，以及下肢各肢节的实时姿态信息。AnyBody骨肌系统模型中用于提取数据的人体位置如图2所示，即髋关节附近股骨位置、髋关节附近股骨的肌肉表面位置，以及足部质心位置。其中：髋关节附近股骨位置下文简称Thigh_in位置；髋关节附近股骨的肌肉表面位置为实际惯性测量组件安装位置，下文简称Thigh_out位置；足部质心位置为虚拟惯性测量组件位置，下文简称Foot位置。

图2 骨肌模型中实际与虚拟惯性测量组件的位置Fig.2 Locations of real and virtual inertial sensor components in musculoskeletal model

在此特别说明，人体肌肉与皮肤等柔性组织在运动中将发生一定程度的形变，其运动特性可视为在人体骨骼运动的基础上叠加一项或多项周期性噪声信号，该信号频率与人体步态等因素有关，在本文的研究中暂不予考虑。在不考虑柔性组织形变的前提下，Thigh_out位置与Thigh_in位置过载信息的矢量和保持一致，与Foot位置的运动学关系都满足公式(3)和(4)，下文将重点论述由Thigh_out位置的实际惯性测量组件构建Foot位置的虚拟惯性测量组件的过程。

本文研究的人体典型运动包括水平行走、上下楼、下蹲与起立、匀速跑步、跳跃5类常规动作，通过Anybody骨肌系统模型同步仿真固定坐标系中Thigh_out位置与Foot位置的惯性信息的三轴投影，以及这两个位置的实时姿态信息，在MATLAB中通过固定坐标系与载体坐标系的矢量转换函数，模拟出两个位置上的理想六轴惯性传感器数据，并通过惯性器件仿真函数加入典型特征的随机误差（假设惯性测量组件的确定性误差已经标定，随机误差分别按MPU6050型低精度微惯性测量组件与XSENS MTi-300型中低精度微惯性测量组件设置[7,10]）。在此基础上，通过相同方法生成具有上述随机误差特性的上下楼、下蹲与起立等动作的惯性信息，构成综合步态惯性信息。匀速跑步与跳跃过程中的惯性信息构成方法也相同。

3 基于机器学习的虚拟惯性测量组件构建

3.1 基于GA-BP神经网络的训练模型构建

由本文第1节分析可知，人体运动学模型是一类强非线性方程，在工程应用中求解解析解存在一定困难。神经网络技术是机器学习中较为成熟的分支，对于描述或求解多元高次强非线性方程组具有优良的性能[11-12]。本文采用双隐层GA-BP神经网络[12]结构来描述式(3)与式(4)所述的强非线性方程，神经网络训练模型结构如图3所示。输入层设置7个节点，即Thigh_out位置的三轴陀螺仪、三轴加速度计的惯性信息以及步态相位标志信息。步态相位标志信息为0至16中的其中一个整数，分别表示下落、静止、抬起三个过程中的17个步态相位标志[10]；输出层也设置7个节点，即Foot位置的三轴陀螺仪、三轴加速度计的惯性信息以及步态相位标志。本文将隐层的数量选为双层，旨在加强对非线性方程描述的精确性。由于神经网络本质上是三个非线性方程，因此与输入层相邻的隐层节点数取值为3，与输出层相邻的隐层节点数取值范围可在8～12之间调整。

图3 神经网络模型结构Fig.3 Structure of neural network model

3.2 基于步态样本自适应性提取的神经网络训练

神经网络训练中采用的样本质量是影响网络训练效果的重要因素，合理选择训练样本是避免网络输出进人局部最小值的重要条件之一。本文在虚拟惯性测量组件构建过程中，采用人体运动时下肢不同部位的惯性测量组件输出信息作为训练样本。人体下肢运动同时具有复杂与单调两种特性，即下肢运动在不同条件（如环境、运动目的、心态等）下表现出明显的差别，但某一类步态在特定时间窗口内却具有较强的重复性。在不采用训练样本筛选的前提下，2.1节中所构建的神经网络结构在训练中将很快进入局部最优状态。

本文通过陀螺仪与加速度计信号进行步态相位的精确检测，从而对神经网络训练样本进行自适应提取。在误差收敛速度减缓时，该训练过程将只接受所设时间窗口内步态差异性超过一定阈值的惯性测量组件数据，如图4所示。步态相位采用足部惯性测量组件中加速度计与陀螺仪信息相结合的方法进行实时检测，具体检测方法详见参考文献[7]。

3.3 虚拟惯性测量组件的性能测试与分析

GA-BP神经网络对惯性传感器信息预测的准确性与泛化能力是决定虚拟惯性测量组件性能的两项关键因素。为分析该两项因素，在相同人体参数的Anybody骨肌系统模型中生成上述各步态以及综合步态下的惯性信息新样本，以及未经训练的跑步与跳跃步态下的惯性信息样本。在Thigh_out位置的惯性信息样本中分别叠加具有MPU6050与MTi-300误差特性的随机噪声，作为GA-BP神经网络的输入，并以未加入相应噪声的惯性信息作为泛化能力测试的基准。对比神经网络输出与基准惯性信息，结果分别如表1与表2所示。

图4 GA-BP神经网络训练流程示意图Fig.4 Flow chart of GA-BP neural network training

表1 神经网络模型对陀螺仪数据的准确性与泛化能力的测试统计Tab.1 Statistics of accuracy and generalization ability of neural network model for gyroscope data

表2 神经网络模型对加速度计数据的准确性与泛化能力的测试统计Tab.2 Statistics of accuracy and generalization ability of neural network model for accelerometer data

由表1～2可知，在GA-BP神经网络经过训练后，对人体运动中下肢的陀螺仪与加速度计信息均可得到一定精度的近似输出。对于两种不同误差特性的陀螺仪，单一步态的误差均值在4.2 (°)/s以内，误差标准差比误差均值小一个数量级，均在0.2 (°)/s以内；对于两种不同误差特性的加速度计，单一步态的误差均值基本在0.41 m/s2以内，误差标准差也比误差均值小一个数量级，均在0.06 m/s2以内；对于包含多种步态的综合步态数据，陀螺仪与加速度计近似输出的误差均值与标准差相对较大；对于相同运动模型及参数下仿真生成的未经训练的跑步与跳跃步态，由于跑步与跳跃中出现大过载与冲击信号的情况较频繁，神经网络训练后的误差均值与误差标准差相对其他步态均有明显增加。

由上述多种步态下的GA-BP神经网络预测输出可知，虚拟惯性测量组件数据可视为具有一定零位偏置（即表1与表2中的误差平均值），同时具有一定振荡特性（即表1与表2中的误差标准差）的数据。其中：虚拟惯性测量组件的零位偏置为其主要误差特性，且具有一定的稳定性，可通过惯性测量组件标定方法加以修正；虚拟加速度计的振荡性误差在量级上与MPU6050基本相当，相比MTi-300偏大；虚拟陀螺仪的振荡性误差在量级上与MPU6050和MTi-300均基本相当。由此可知，通过GA-BP神经网络输训练得到的虚拟惯性测量组件的信息，与中低精度微惯性测量组件的误差特性具有较强的相似性。

4 虚拟惯性测量组件构建技术在行人导航与机器人领域中的应用探讨

基于机器学习的惯性测量组件构建方法，可应用于行人导航系统与外骨骼机器人的运动测量与控制，以提高系统的定位与测量、控制精度。对于行人导航系统，安装于髋关节附近、大腿以及小腿等位置的微惯性测量组件可与安装于足部的微惯性测量组件构成分布式结构的导航系统。在足部组件受到冲击和高过载影响而无法有效实现信息测量与导航解算时，可通过故障检测隔离其惯性器件与系统导航信息，而通过构建虚拟足部惯性测量组件实现导航解算，从而提高整体系统的可靠性；在足部惯性组件正常工作时，可构成基于分布式惯性测量组件阵列的行人导航系统，采用联邦滤波提高系统整体导航性能。

在外骨骼机器人的运动测量与控制方面，本文所提出的方法可有效减少机器人各自由度上高过载导致的测量误差，同时对减少系统中惯性测量组件的数量，降低系统成本与功耗，提高系统可靠性等均有一定促进作用。

需要指出的是，通过机器学习预测的虚拟惯性传感器组件信息的实时性，与训练与预测模型的复杂性、计算机硬件性能等有关，一般时延在几十至几百毫秒。对于外骨骼机器人的精确控制，该时延将导致控制与决策环节的延迟，从而影响整体性能。解决该问题的思路是进一步构建具有运动预测功能的机器学习模型。

5 总 结

本文提出了一种基于机器学习的人体足部虚拟惯性测量组件构建方法，旨在降低人体运动过载对行人导航系统与外骨骼机器人性能影响。该方法在人体运动学模型的基础上，采用基于运动模态识别的训练样本自适应提取方法，通过GA-BP神经网络模拟下肢加速度与角速度的非线性运动学关系，从而实现足部虚拟惯性测量组件的构建。基于MATLAB与Anybody的联合仿真表明，该方法可有效构建中低精度的足部虚拟微惯性测量组件，满足人体较大运动过载时的惯性测量，为外骨骼机器人、行人导航系统等智能装备的设计与研发提供新的系统构架思路。

（References）：

[1] Xu Y, Chen X Y, Wang Y M, et al. Improved indoor pedestrian navigation method using low-cost foot-mounted AHRS and shoulder-mounted compass[J]. Journal of Chinese Inertial Technology, 2016, 24(3): 325-329.

[2] Norrdine A, Kasmi Z, Blankenbach J. Step detection for ZUPT-aided inertial pedestrian navigation system using foot-mounted permanent magnet[J]. IEEE Sensors Journal,2016, 16(17): 6766-6773.

[3] Perttula A, Leppäkoski H, Kirkko-Jaakkola M. Distributed indoor positioning system with inertial measurements and map matching[J]. IEEE Transactions on Instrumentation and Measurement, 2014, 63(11): 2682-2695.

[4] 路永乐, 张欣, 龚爽, 等. 基于MEMS 惯性传感器的人体多运动模式识别[J]. 中国惯性技术学报, 2016,24(5): 589-594.Lu Y L, Zhang X, Gong S, et al. Recognition of multiple human motion patterns based on MEMS inertial sensors[J]. Journal of Chinese Inertial Technology, 2016, 24(5):589-594.

[5] 范渊杰. 基于sEMG与交互力等多源信号融合的下肢外骨骼康复机器人及其临床实验研究[D]. 上海: 上海交通大学, 2014.Fan Y J. Study on lower llimb exoskeleton for rehabilitation based on multi-source information fusion including semg & interactive force and its clinical trail[D]. Shanghai: Shanghai Jiao Tong University, 2014.

[6] 方郁. 可穿戴下肢助力机器人动力学建模及其控制研究[D]. 合肥: 中国科学技术大学, 2009.Fang Y. Research on dynamic analysis and control of the wearable power assist robot[D]. Hefei: University of Science and Technology of China, 2009.

[7] Qian W X, Xiong Z, Xie F, et al. The key technologies of pedestrian navigation based on micro inertial system and biological kinematics[C]//IEEE/ION PLANS. 2016: 613-621.

[8] Ö zdemir A T, Barshan B. Detecting falls with wearable sensors using machine learning techniques[J]. Sensors,2014, 14(6): 10691-10708.

[9] 单丽君, 胡忠安. 基于AnyBody的髋关节康复训练肌肉力的分析[J]. 大连交通大学学报, 2014, 35(1): 50-52.Shan L J, Hu Z A. Muscle force analysis of hip rehabilitation training based on anybody[J]. Journal of Dalian Jiaotong University, 2014, 35(1): 50-52.

[10] Ruppelt J, Kronenwett N, Scholz Georg. High-precision and robust indoor localization based on foot-mounted inertial sensors[C]//IEEE/ION PLANS. 2016: 67-75.

[11] Le L, Gebre-Egziabher D. Constrained networked inertial navigation for human and humanoid robot feet pose estimation[C]//IEEE/ION PLANS. 2016: 76-84.

[12] 彭基伟, 吕文华, 行鸿彦, 等. 基于改进GA-BP神经网络的湿度传感器的温度补偿[J]. 仪器仪表学报, 2013,34(1): 153-160.Peng J W, Lv W H, Xing H Y, et al. Temperature compensation for humidity sensor based on improved GA-BP neural network[J]. Chinese Journal of Scientific Instrument, 2013, 34(1): 153-160.

Construction of human body virtual inertial measurement component based on machine learning

QIAN Wei-xing1, ZHU Yan-hua2, XIE Fei1, WANG Yun-tao1, ZHANG Yan1, SONG Tian-wei1
(1. School of Electrical and Automation Engineering, Nanjing Normal University, Nanjing 210042, China;2. School of Instrument Science and Engineering, Southeast University, Nanjing 210096, China)

In recent years, utilizing human characteristics to assist pedestrian navigation and exoskeleton robot control is one of the hot research directions in the navigation and robotic fields. Aiming at the problem that the foot mounting method of inertial measurement module cannot achieve effective measurement at high overload, a method for constructing virtual inertial measurement component of human-body based on machine learning is studied. With the data samples being taken from the simultaneous measurements of the inertial measurement components installed on the foot and the other parts of lower limbs, the construction of the virtual inertial measurement component is realized by the genetic algorithm improved error back propagation (GA-BP) neural network. In order to further improve the training effect, the training samples are screened based on gait phase detection. The joint simulation results based on Anybody and MATLAB show that the proposed method can be used to simulate the inertial measurement component’s output data of the foot position by using the inertial measurement component installed near the hip joint, and also has certain adaptability to the untrained gaits. The proposed method can also be applied in the fields of pedestrian precise positioning and exoskeleton robot control.

human kinematics model; virtual sensor; machine learning; gait detection; pedestrian navigation

U666.1

：A

1005-6734(2017)03-0289-05

10.13695/j.cnki.12-1222/o3.2017.03.002

2017-02-23；

：2017-05-20

国家自然科学基金（61304227，61503077，61601228）；江苏省自然科学基金（BK20141453，BK20161021）

钱伟行（1981—），男，副教授，博士，从事惯性与组合导航技术研究。E-mail: 61192@njnu.edu.cn