基于CNN-ENN的改进串行混合网络及多传感器信息融合的运动意图识别研究*

张 鹏，张峻霞*

(1.天津市轻工与食品工程机械装备集成设计与在线监控重点实验室，天津科技大学，天津 300222；2.天津科技大学机械工程学院，天津 300222)

随着智能化技术的不断发展，基于深度学习和机器学习的运动意图检测与识别方法被广泛应用到可穿戴式设备、智能制造系统、无人汽车驾驶等领域。许多学者利用机器学习模型已经建立了一些有助于人类活动分类或预测的计算模型[1-3]。但是传统的机器学习算法可能无法有效地提取多模态时间序列数据中复杂的非线性模式。为了克服这些问题，从信息中提取准确、鲁棒的特征，许多研究者开始关注深度学习方法[4-9]。在一些研究中，CNN被用来提取步态的特征，避免了手工提取特征的过程中重复操作而造成的人工失误。Yue等基于人体步态模式，通过多点布置获取了高密度sEMG信号，结合SVM和LDA方法完成了对人体运动意图的识别，其意图识别准确率可达91.17%±2.86[10]。

可穿戴式设备通过安装传感器获取人体运动状态数据，识别肢体的不同运动模式[11-12]。单功能的传感器获得的运动状态数据不足，且其性能也有局限。因此多传感器信息融合技术成为很多研究领域的热点。浙江大学杨金江等人提出一种基于变增益卡尔曼算法的数据融合姿态角度解算模型，具有通用性高、稳定性能优良和可靠的特点，并成功应用于助力型外骨骼机器人平台实现姿态识别[13]。

总之，虽然深度学习在运动意图识别方面已被广泛应用，但将其与多传感器信息融合相结合实现人体运动意图识别的研究较少。本文基于多层卷积神经网络CNN，加入埃尔曼神经网络ENN，设计一种新型串行混合网络模型，结合多传感器信息融合技术，实现对常见的5种步态模式的精准分类，通过实验测试验证了该算法模型的可行性与优越性。

1 模型原理与方法

1.1 卷积神经网络

卷积神经网络(CNN)的结构包括输入层、卷积层、池化层和全连接层。如图1所示为卷积神经网络模型，其中包含输入层，2个卷积层，1个池化层、1个全连接层和输出层。输入层为原始数据的入口。卷积层是CNN的主要组成部分，用于进行数据特征的提取，卷积层中的输入连接到各层的子区域，子区域的输入具有相同的权值，因此CNN的输入可以产生相关的输出。相较于传统的神经网络，每个输入都有各自的权值，因此只产生独立的输出，随着输入维数的增加，权值的数量会相应的增加，影响计算速度。池化层将沿着给定输入的空间维度向下采样，CNN通过权值共享和下采样减少神经元之相互连接的个数，简化计算量。全连通层试图从激活中产生预测，用于分类或回归。

图1 CNN模型图

1.2 埃尔曼神经网络

ENN最初是由Elman在1990年基于Jordan网络开发的[14]，其网络结构由输入层，隐藏层，连接层和输出层四部分组成，如图2所示。输入层可用于传输原始数据，通过隐藏层的传递函数，将导入的加权数据进行线性或非线性映射，最后，在输出层中利用线性加权方法对数据进行处理。但是，结构上与传统神经网络不同，ENN额外添加了连接层来存储前一刻的输出信息，并将其反馈到隐藏层的下一刻。因此，相较于传统网络，ENN不仅增强了对历史数据的敏感性，而且增加了动态信息存储能力。标准ENN结构的数学模型可以概括如下:

图2 ENN模型图

式中:x(t)，y(t)，xc(t)分别指隐藏层，输出层和连接层的第t次输出，u是输入层的输入向量，w1，w2和w3分别表示连接层单元到隐藏层，输入层到隐藏层和隐藏层到输出层的所占的连接权重，g(·)和f(·)分别代表输出层和隐藏层的传递函数。

2 模型构建

2.1 CNN-ENN串行混合模型构建

本文设计的多尺度卷积神经网络模型共有4层，其中:2个卷积层(Conv)，第1个卷积层有20个滤波器，第2个有50个滤波器，卷积核长度为3，步长为1，补零为1；1个池化层(Pooling)；1个全连接层(Full-Connected)。该模型中的卷积层以及全连接层均采用的激活函数是修正线性神经元(ReLU)，ReLU激活函数是一种非饱和函数，在训练中，相较于饱和函数，非饱和函数的训练速度更快，且ReLU除了拥有非线性的表达能力，而且还拥有线性运算的性质，当误差在反向传播时，不会由于非线性而导致网络局部最优的问题，有效缓解了梯度消失问题。为避免过拟合的问题，在网络模型的全连接层采用弃权(Dropout)操作，Dropout并不是通过修改代价函数实现的，而是在Dropout操作中改变网络模型本身参数。ENN网络的输入层、隐藏层和输出层的权重分别设为是30、12和10。

2.2 多传感器数据采集及预处理

有80名健康志愿者参加了数据采集工作，其中女性40名，男性40名，年龄为25±3岁，女性的身高分布在158 cm~170 cm之间，男性的身高在168 cm~185 cm之间。志愿者以自然速度在平地，上楼，下楼，10°上坡道和10°下坡道5种步态模式下正常行走。表1为所采集的步态样本数据，每个步态有20组，每组至少包含5个完整的步态周期，在每组步态试验中引入1 min间隔以减少肌肉疲劳。

表1 步态数据样本

2.2.1 步态周期划分

由于人体的步态特征就是具有周期性，因此在这里选用基于周期分割的方法对所获得的信息进行步态的周期划分。主要流程如下:

步骤1 对周期长度进行估算，本方案中采集的是单侧腿的数据，经测量，单腿运动的周期是0.8 s~1.2 s。将传感器采样频率设定为100 Hz，一个完整的运动周期对应80~120个数据点；

步骤2 利用局部最小值法对步态周期进行检测，将两个相邻的最小值点之间的数据视为一个周期；

步骤3 通过(1)(2)两步，获得划分出单个步态周期所对应的数据组，但是并不是所有的数据组都是适合用于特征提取的，所以要对上述步骤所获得的数据组进行筛选。本方案在筛选合适的周期时使用动态时间规整方法(DTW)计算相似距离，剔除那些距离相差过大的数据组[15]。

本研究中，利用足底压力传感器来判断脚跟和脚尖的着地离地情况，将其也作为一种特征，用于后续的信息融合。足底压力传感器分别安装在左、右脚的脚后跟和脚尖处，来判断脚的着地和离地情况。为了去除数据中的噪声和重复信号，选用巴特沃斯滤波器处理压力信号，低通截止频率wc设置为5 Hz。巴特沃思滤波器的传递函数可以表示为:

式中:w是当前频率，wc是截止频率，N是滤波器的阶数。

为了实现步态周期的划分，只需要区分脚跟和脚掌分别接触地面和离开地面，所以对足底压力数据进行二值化处理，实时压力值设为S，足底压力阈值Qt＝0.05*Smax。二值化公式可以表示为:

二值化后，如图3所示。由图可以得到，实线代表脚掌，虚线代表足跟，支撑相的着地的顺序是脚跟先着地，然后脚前掌再着地。当进入摆动相时，脚跟先离开地面，然后脚前掌离开地面，符合人体正常的行走状态。

图3 步态周期划分

2.2.2 数据降维

内核的尺度参数σ可以按照Rabin等人的描述进行设置[16]。

对内核W进行归一化，通过式(7)实现。

然后，对矩阵A进行二次归一化，得到一个马尔可夫转移矩阵P。

马尔可夫矩阵P表示在一个单步时间内从点xi移动到点xj的概率，最后，利用谱分解构造了DMs，谱分解如式(9)所示。

利用转移矩阵P及其谱分解来定义扩散距离。根据式(11)对扩散距离进行细化。

式中:分母表示每个节点的密度。当在点xi和xj之间，马尔科夫矩阵P中有大量路径连接时，则扩散距离较小。将式(9)代入表示扩散距离的式(11)中，得到用马尔可夫矩阵P的特征向量和特征值对距离的描述，如式(12)所示。

因此，由特征值和特征向量组成的DMs嵌入式能够保持高维数据集的几何特征。由于式(11)中定义的数据点之间的扩散距离对应于低维空间中两点之间的欧氏距离，在原始高维空间中彼此接近的点在DMs嵌入空间中将保持紧密。

2.2.3 特征提取

通过特征提取能够进一步减少数据维度，增加数据的可识别性，本文利用SIFT算法进行特征提取，每个波形转换成一个二维的时频矩阵，本文设置4个固定大小的分析窗口以处理支撑相的数据，窗口大小设置为135ms，信号采集板的采样频率设置为27 Hz，在每个分析窗口中采样点的个数为6个。对于每个步态周期中的四个分析窗口中的所有信号，提取三种类型的时域特征:平均值，标准偏差和方差，因此形成了具有72个维度的特征向量，该特征向量等于4(窗口数)×6(采样点)×3(时域特征)。

2.3 模型训练与验证

本文所介绍的基于集成学习的加权投票算法模型是本研究前期搭建的运动意图识别模型，经过训练获得了良好的运动意图识别效果，平均识别率是90.3%。为了验证本研究所提出的串行混合模型CNN-ENN的优越性，进行了同一样本数据集下，不同模型识别精度的对比分析，由于CNN模型训练步骤已在前人的研究中进行详细介绍[17-18]，这里就不再进行叙述，下面给出本研究所提出的两种模型训练测试时的步骤。

①基于集成学习的加权投票算法模型MFR的运动意图识别训练测试步骤如下:

输入 样本数据训练集D，总样本个数n，分类数m，分类样本nh，h＝1，2，…，m；最近邻参数K和整数阈值t；待分类样本array[]以及数组array_d[]。

输出:待分类样本的分类标签s，s取Ggnd，Guph，Gdwh，Gups和Gdws。

步骤1 计算待分类样本与每个训练样本的欧氏距离，找出K个距离最小的样本，存入K维数组N[]；

步骤2 将K个最小欧氏距离对应的样本存入K维数组d[]，将对应的类标签存入K维数组label[]；

步骤3 计算待分类样本与数组N[i]的距离d[i]和类平均距离array_ad[label[i]]的差值之比的绝对值ratio[i]；

步骤4 将数组ratio[]中的最大的t个元素设为0；

步骤5 计算权重weight[label[i]]]＝1＋b*ratio[i]，将数组weight中最大元素对应的分类标签作为待分类样本的分类结果s。

②CNN-ENN串行混合网络模型的运动意图识别训练测试步骤如下:

输入 经过CNN提取多传感器数据的空间局部相关特征，输入到ENN进行二次识别分类。输入的参数包括数据集D，多数样本Dmaj，最近邻数K，初始欠采样率M。

输出 待分类样本的分类标签s，s取Ggnd，Guph，Gdwh，Gups和Gdws。

步骤1 初始化欠采样倍数M，统计删除样本总数的值Mdel(M*Dmin)设置为0，遍历每个主要类样本Di_maj；

步骤2 将Cdel设置为0，计算K最近邻样本Di_maj，并且将其索引存储到Dmaj[]；

步骤3 根据

选取Dmaj[]中最接近Di_maj的三个样本作为相邻样本；

步骤4 将Di_maj的标签与其相邻的样本类进行比较。如果Di_maj的标签与其两个以上的相邻样本不同，则删除它；

步骤5Cdel＝Cdel＋1，如果Cdel

步骤6:删除的样本从数据集D中移除，以获得新的子数据集D′，以此迭代最终得到分类结果。

2.4 模型测试与评估

对于CNN-ENN串行混合网络模型而言，直接将模型训练过程中已收敛迭代次数为5 000次所得model文件作为测试样本，再次在训练集上对网络模型的泛化效果进行确认。从标准样本数据集的各个类别中随机选取成为测试样本，利用性能参数Precision(Pre)，F-measure(F-m)和Accuracy(Acc)表示模型在测试集上的实际分类情况测得值以及分类结果准确度。

式中:TP为分类正确的正例样本数，TN为分类正确的负例样本数，FN为正例样本中被误分为负例样本的数量，FP为负例样本中被误分为正例样本的数量。

实验结果如表3所示，用MFR算法对姿势数据训练时，得到的平均准确率为78.46%(F-m＝0.791)，但是单独对关节角度和足底压力数据训练，得到的平均准确率相对较低，尤其是足底压力，这是由于人体在不同步态模式下行走足底压力值的变化差异不大。对于多传感器融合数据，经过训练后，明显识别的准确率要高于单一传感器的，准确率达到90.32%(F-m＝0.902 8)。CNN-ENN串行混合网络模型在对单一传感器训练的得到性能指标上得到明显的提高，在足底压力方面得到的准确率是67.36%，比MFR算法提高了30.58%，比CNN提高了27.07%。对多传感器融合数据训练后，模型的平均准确率达到96.89%(F-m＝0.969)。因此，采用CNN-ENN串行混合网络模型结合多传感器融合技术更加能够精确地识别人体运动意图。

表3 性能指标分析

然后，随机选取5名受试者进行测试，三个模型对不同类型传感器数据识别精度如图4和图5所示。图5是验证各个运动意图识别模型分别对单一传感器类型信号和多传感器融合信号的识别结果，对任一运动意图识别模型，对5个受试者的多传感器融合信息的运动意图识别精度效果最好，其次是姿态传感器数据的识别精度，这是由于在不同步态模式下，人体腿部运动姿势在5种步态模式下的差异性最明显，而基于足底压力的意图分类得到的精度最低，这是由

图4 不同类型传感器信号的运动意图识别结果分析

于在不同步态模式下的步态基本都是按照足跟先着地然后足尖着地的运动模式，主要的区别点在足底压力的幅值大小，还有可能是足底压力数据采集设备采用的尺寸较小的薄膜压力传感器，导致足底压力数据特征不够，下一步打算将步长、步频和步宽考虑进来，以实现更加精确的步态识别。由图5所示的整体识别精度分析，相较于传统的运动意图分类算法模型，采用基于CNN和ENN的串行混合网络模型对5个受试者的多传感器融合信息的运动意图识别准确度最好，

图5 三种模型整体识别精度分布

平均准确率为95.86%，而MFR、CNN的平均识别准确度分别为79.49%和85.65%。因此，通过实验可以验证基于多传感器信息的融合得到更为全面的人体运动数据，识别精度高于单一传感器信号，也验证了所设计的基于CNN和ENN的串行混合网络模型用于人体运动意图识别的优越性。

3 结语

本研究将多传感器信息融合技术和深度学习技术应用于人体运动意图识别，通过实验测试证明了二者结合使用的优势，结果表明，相较于单一类型的传感器数据，多传感器融合数据能够包含更加全面的特征信息，对识别精度的提高有积极作用。基于CNN和ENN的新型串行混合网络模型能够有效地提取多传感器融合数据中的关键特征，并且考虑到运动数据的时间序列特性，获得了优于传统运动意图识别分类器的识别效果。在未来的工作中，将增加输入数据(生物电信号)的类型并进一步优化深度学习算法，以实现更高的识别准确性。同时，本研究所提出的人体意图识别方法也可以在工业智能制造、无人驾驶等领域进行应用，对推动产业智能化进程有积极作用。