改进随机森林及其在人体姿态识别中的应用

周博翔，李 平，李 莲

ZHOU Boxiang,LI Ping,LI Lian

长沙理工大学 计算机与通信工程学院，长沙410114

Institute of Computer and Communication Engineering, Changsha University of Science and Technology, Changsha 410114,China

1 引言

目前，研究人体姿态识别的方法有很多种，主要的两种识别方法是：基于图像分析的人体姿态识别和基于运动传感器的人体姿态识别。基于图像分析的识别方法能清晰看见人体运动姿态，准确性高，但对设备要求较高，应用场景特殊且不便携带。另一种方法是使用便携采集器获取人体运动时的加速度信号并加以识别。随着MEMS 技术和无线传感器网络技术的快速发展，运动传感器逐渐微型化、智能化，并与无线模块相结合，在人体姿态识别、跌倒检测、运动检测等方面得到广泛应用。

基于加速度传感器的人体姿态识别主要有两个步骤：特征提取和分类算法。提取的特征矢量的好坏影响着后续分类算法的性能。目前，特征提取主要从时域和频域两个方面进行分析。文献[1]统计了2004—2010 年间常用的时域和频域特征，统计结果表明：均值使用频率最高，方差次之。其中，时域特征有：均值[2-4]、信号幅值面积[5]、均方根[4]、两轴之间的相关系数[2-4]等；频域特征有：FFT 系数[4]、频域熵[2-4]等，文献[6]通过实验对比了多种特征对分类性能的影响，验证了FFT 系数具有最高的识别率。基于加速度传感器的人体姿态识别所使用的分类算法主要有：C4.5 决策树[2，7]、k近邻[3，7]、支持向量机[2，7]、朴素贝叶斯[8]和AdaBoost[5，9]等。文献[8]对比了C4.5 决策树、k近邻和朴素贝叶斯的分类效果，得出：C4.5 决策树识别精度最高，但容易出现过拟合现象。文献[10]中采用SVM 分类算法有效地识别了老年人的9种日常动作。文献[9]采用AdaBoost 算法集成多种分类器，提高了行为识别性能。

虽然FFT 具有最高的识别率[6]，但仍存在计算量较大的问题，而时域特征提取简单、计算复杂度低，有效解决了上述问题。鉴于此，本文采用了三种常用的时域特征：均值、均方根、信号幅值面积。为了更好地反映出加速度的变化速率，提取了近斜率和前后差两个新的时域特征矢量，并加入原始加速度值作为本文的特征矢量集。虽然AdaBoost 识别性能有所提高[5]，但它在训练过程中，分类器精确度随分类错误的权重加大不断下降。随机森林的泛化错误随数据个数增加而收敛，解决了决策树过度拟合问题，且相比AdaBoost，随机森林具有更优的分类性能，对错误和离群点更具鲁棒性。但随机森林仍存在静态性和容易陷入局部最优等问题。因此，本文提出了一种蜜蜂交配优化随机森林作为分类算法对人体姿态进行识别。通过实验证明：本文提取的特征矢量的非常有效，该算法能有效识别六种人体行为，且具有较高的准确率、稳定性和鲁棒性。

2 相关知识介绍

2.1 随机森林

随机森林是以K棵决策树{h(X，θk)，k=1，2，…，K}为基本分类器，通过集成学习后得到的一个组合分类器。输入的待分类样本的最终所属类别由森林中的每棵决策树投票决定[11]。这里的{h(θk，k=1，2，…，K}是一个相互独立且同分布随机变量，它是由随机森林的两大随机化思想决定的：

（1）Bagging 思想：从原始数据集X中有放回地随机抽取K个与其同样大小的训练样本集{X1，X2，…，XK}（每次约有37%的样本未被抽中），每个训练样本集Xi构造一个对应的决策树。

（2）随机属性选择思想：在对决策树每个节点进行分裂时，从全部属性中等概率随机抽取一个属性子集（取个属性，F为属性总数），再从这个子集中根据信息增益选择一个最优属性来分裂节点。

2.2 蜜蜂交配优化算法

蜜蜂交配优化算法是Abbass[12]于2001 年提出的模拟蜜蜂繁殖行为的蜂群算法。一个完整的蜂群由蜂王、雄蜂、工蜂、幼蜂组成。雄蜂负责与蜂王交配。工蜂负责照顾幼蜂、采蜜等工作。蜜蜂交配算法的步骤如下：

步骤1随机初始化一个蜂群，蜂群中适应度值最大的个体为蜂王，其余的为雄蜂。

步骤2（婚飞）初始化蜂王的能量和速度，判断受精囊是否满或者蜂王的能量是否达到预先设定的临界值，如果是，则转入步骤3；否则随机选择一个雄蜂，根据式（1）计算它的交配概率pi，如果pi＞r（随机数r∈[0，1]），则交配成功，将它的染色体加入受精囊S中。按式（2）、式（3）更新蜂王的速度和能量。

其中Δ(f)为雄蜂与蜂王的适应度之差，s(t)、E(t)为t时刻蜂王的速度和能量；μ∈(0，1)为衰减系数，θ∈(0，1)（式（4））为每次交配后能量的减少量，sC为受精囊容量，E(0)为初始能量，e=0.5。

步骤3（繁殖过程）从受精囊中随机选择一个染色体与蜂王的染色体交叉，产生幼蜂。

步骤4（饲养过程）工蜂代表不同的启发式算法，利用工蜂进一步提高幼蜂的性能。

步骤5如果适应度最大的幼蜂优于蜂王，则将其替代蜂王，否则蜂王不变，其余幼蜂为雄蜂。

步骤6判断是否达到最大婚飞次数，如果达到，则停止，否则转至步骤2。

3 蜜蜂交配优化随机森林算法

3.1 算法思想

随机森林算法因引入两大随机思想，避免了过度拟合问题，分类精度高于其基分离器，但同时使得算法稳定性不强。另一方面，由于随机森林算法是静态算法，分类模型一旦被训练就不能调整，因此，算法易陷入局部最优解，而达不得到全局最优解。鉴于此，本文提出了一种蜜蜂交配优化随机森林算法（Honey-Bee Mating Optimization Random Forest，HBMORF）。该算法引入蜜蜂交配智能优化算法来动态改变随机森林中的决策树，以增强随机森林的多样性，提高随机森林的分类能力与稳定性。

为了防止算法对数据集过度拟合，本文将原始数据集X分成三等份：训练集D、验证集M、测试集T。训练集D用于训练决策树形成随机森林（蜜蜂），进而生成初始蜂群；验证集M用于计算初始蜂群的适应度值，并且用于工蜂饲养幼蜂；测试集T用于计算蜜蜂交配过程中的适应度，以及测试每次迭代中蜂王（最优的随机森林）的性能。每次迭代，幼蜂继承了蜂王的优良基因，所以子代种群向最优解进化的可能性变大。另一方面，为了避免早熟，本文中采用变异算子代表工蜂，利用工蜂为每只幼蜂产生新解，以保持进化种群的多样性，加强算法的全局寻优能力。因引入多个随机森林，且每次迭代都会调整森林间的决策树以及引入新的决策树，新生的蜂王性能要优于或等于上代蜂王，所以经过mfN次迭代后将产生性能最优的蜂王，且算法的稳定性较强。本文算法具体的代进化过程如图1 所示。

图1 HBMORF 算法示意图

3.2 适应度函数

每只蜜蜂zi的适应度值主要由其代表的随机森林在验证集（或测试集）上能正确分类的样本数决定，如式（5）。

如果个体zi成功分类第j个样本，则c(zi，j)=1，否则c(zi，j)=0；如果对第j个样本，成功分类的决策树个数等于错误分类的决策树个数，则s(zi，j)=1，否则s(zi，j)=0；其中m为验证集M中样本数。

3.3 算法设计

（1）蜜蜂编码

本文采用间接编码方式，每一个染色体Zi代表一个随机森林，组成染色体的每个基因zik代表一个指向决策树根节点的指针。蜜蜂染色体编码如下：

Zi=(zi1，zi2，…，zik)

（2）算法步骤

步骤1蜂王与雄蜂初始化

从训练集D中有放回地随机抽取K个与其同样大小的训练样本集{D1，D2，…，DK}，每个训练样本集Di构造一棵决策树。以同样的方式训练得到K棵决策树组合起来，就可以得到一个随机森林即一个蜜蜂的染色体。反复执行SN次，生成SN个染色体{Z1，Z2，…，ZSN}。按式（5）计算每个染色体的适应度，适应度最大的染色体为蜂王q，其他的为雄蜂dri。

步骤2婚飞

步骤3繁殖过程

受精囊中每只雄蜂dri与蜂王按两点杂交法交配，产生两个幼蜂bri和bri'。

步骤4饲养过程

本文中将变异算子代表工蜂来饲养幼蜂：随机选择一个整数j∈[1，K]，利用验证集M随机抽取m个样本形成训练样本集Mb，训练出一棵决策树，替代原幼蜂的第j个基因，生成一只新幼蜂。

步骤5生成新种群

如果适应度最大的新幼蜂优于蜂王，则将其与蜂王交换，否则不变。从父亲相应的两只幼蜂中选择最优的一只替代已死亡的父亲（雄蜂）。

步骤6若当前迭代次数大于最大次数mfN，则停止迭代；否则转到步骤3，T=T+1。

4 人体姿态识别

本文提出的基于三轴加速度传感器与改进随机森林算法的人体姿态识别结构如图2 所示。从图中可以看出，人体姿态识别过程为：首先采集测试者运动时产生的加速度信号，标识行为标记，对采集到的数据进行检查，选择有效数据；然后将这些加速度信号进行特征提取，形成特征向量；最后使用这些特征向量训练模型和分类识别。

图2 人体姿态识别结构图

4.1 数据采集

（1）数据采集

数据采集系统主要由三部分组成：加速度信号采集模块、无线接收模块、PC 端控制软件，具体如图3 所示。加速度信号采集模块包括一个三轴加速度传感器和一个无线发送器。采集模块佩戴在测试者的腰部，用于采集测试者运动时的加速度信号。无线接收模块相当于一个网关，接收采集模块传送过来的无线数据，并通过串口将数据传输到PC 端控制软件。PC 端控制软件用于控制数据采集模块的启动和进行数据的存储。

图3 数据采集系统框图

（2）硬件设计

在硬件设计中，三轴加速度传感器采用Freescale 公司的MMA7260。该传感器采用了信号调理、单级低通滤波器和温度补偿技术，并且提供了4 个可选量程（1.5g/2g/4g/6g）。无线通信模块采用德州仪器公司的CC2430 节点。该芯片内置增强的8051 微控制器内核和适用于IEEE 802.15.4 标准的无线模块，通过ADC 转换器采集加速度信号，并及时传送到无线接收模块。其中，数据采集速度为40 Hz，无线比特率为250 kb/s。无线接收模块CC2430 节点，将接收到的数据信息通过RS232 串口实时转发给PC 端控制软件。

4.2 特征提取

4.2.1 通用特征矢量

常用的特征矢量有：均值（mean）、信号幅值面积（SMA）、均方根（RMS）、两轴之间的相关系数（corr）、能量（energy）和FFT 系数等。在本文中，引用了下面三种特征矢量：

（1）均值：滑动窗口内每个轴方向加速度值的平均值，如式（6）所示。

其中k表示滑动窗口的长度，A(j)为三轴方向之一的加速度值。

（2）均方根：某一条记录三轴方向加速度值平方和的根，如式（7）所示。

建设工程施工中要考虑影响安全管理的各个因素，并采取积极的应对措施进行严格的管理。在安全监管方面，应建立健全的监管体系，加强对施工人员及管理人员的管理，增强各部门之间的沟通交流。将各部门的岗位职责进行详细的分工，明确安全责任划分。根据工程性质和工程特点细化安全管理制度，提高管理制度的可操作性和合理性。从监管体系上对人员进行严格的要求，规范工作人员的行为。

（3）信号幅值面积：滑动窗内三轴方向加速度值之和的窗口长度归一化值。如式（8）所示。

其中xi，yi，zi表示XYZ轴的加速度值，w为滑动窗的大小。

4.2.2 新特征矢量

人体运动时，运动速度不同将导致加速度信号变化程度也不一样，不同的动作加速度的变化速率也不同。因此，本文提出了两种体现加速度变化速率的特征矢量。

（1）近斜率（Approximation Slope，APS），该特征矢量以贝塞尔曲线计算方法为参照求得。取临近的四个点（前后各两个点），求前后两部分的中值之差的三等分，其值近似于斜率，如公式（9）。如取（0，2）、（2，4.5）、（4，6）、（6，5）、（8，3）五个点，先求取其相邻两点的中值，再以首尾值之差除以三个单位获得近斜率值，近斜率直线则是以该值作为斜率的直线，如图4 所示。

（2）前后差（Front and Rear Subtract，FRS），该特征矢量为相邻时刻加速度值之差，代表相邻加速度的变化速率，如式（10）所示。

其中A(i)表示三轴方向之一的加速度值。

本文共提取了5类特征矢量，特征向量为：V(i)={AS(i)，MEANS(i)，RMS(i)，SMA(i)，APSS(i)，FRSS(i)}，其中AS(i)，MEANS(i)，APSS(i)，FRSS(i)分别包含XYZ轴的加速度值、均值、近斜率值和前后差值。

5 实验验证与分析

5.1 实验设计

为了验证本文算法和所提取的特征的有效性，实验中采集了五种日常行为和一种异常行为，其行为类型和行为产生规则如表1 所示。本实验选择了7 名测试者（5男2 女，平均身高1.7 m，平均年龄25 岁，身体无明显疾病）在自愿的情况下进行。

根据文献[8]的实验研究表明：测试者佩戴采集器的位置在很大程度上会影响实验结果，将传感器固定在大腿部位时识别率最高，其次是固定在腰部位置。在本文实验中，所有测试者的采集器都佩戴在腰部。实验中，每名测试者分别连贯地执行上述各类动作各5 次，并标记动作之间的转换过程。每个测试者分别间断地执行上述各类动作各5 次。

表1 行为类型和行为产生规则

5.2 实验结果与分析

为了描述“正常行走-坐下-静坐-起立-正常行走-摔倒-倒地躺下”这一系列连续动作的加速度信号值变化情况，本文绘制了x、y、z轴的加速度值变化情况波形图，如图5 所示。同时，根据式（8）、式（9）和式（5）分别计算了x、y、z轴的近斜率、前后差和均值，并绘制了与上述连续动作相对应的变化情况（为使图更清晰，在图中将y、z轴的值向上平移），如图6、图7 和图8 所示。由图5 可知连续动作过程中三轴加速度值的变化情况，且在行走过程中还存在噪声数据。图7 中的近斜率值反映了加速度值的变化快慢，在某一时刻加速度值波动比较大时，反应比较强烈，近斜率值变化比较大。与图8的均值相比较，近斜率更能反应加速度值的变化程度。图7 中的前后差反应了相邻时刻加速度值的变化程度。

图5 原始加速度值波形图

图6 近斜率值波形图

图7 前后差值波形图

图8 均值波形图

特征选择是利用一系列的规则，得到特征重要程度的相对关系[1]。随机森林通过对特征重要性进行度量的方式实现特征排名，常用的技术包括：（1）对特征作为分割特征的次数进行统计，并用特征作为分割特征的频度来表示它的重要程度；（2）构建决策树的时候，节点的分割效果度量采用基尼指数的方法，即通过计算特征的“Gini Importance”来表明特征的重要性程度等[13]。本文为了突显根节点在整个决策树中的重要性，选择特征时赋予权值，如式（11）。

其中c(t，s，i)表示权值，如果特征i被根节点选择为分割特征，则c(t，s，i)=2，如果特征被其他节点选择为分割特征，则c(t，s，i)=1，否则c(t，s，i)=0。其中，treeNum表示随机森林中决策树棵数，s表示分割序列。

经过特征选择，抽取了三个数据集，其类别数为6、属性维度数为14，其他特征如表2 所示。为了测试算法对噪声数据的容忍度，所采集的数据不对噪声数据进行处理。

表2 实验中所涉及的数据集

为了验证本文算法进行人体姿态识别的可行性、有效性和鲁棒性，本文进行了多种实验。实验过程中的参数设置为，RF 算法：决策树棵数treeNum=100；本文算法：蜂王数QN=1，雄蜂数DN=99，受精囊容量sC=50，决策树棵数treeNum=100，最大迭代次数mfN=1 000，E(0)=0.8，end_E=0.1，S(0)=0.8，μ=0.98。

（1）特征矢量使用频度分析

通过随机森林算法对数据集DataB 进行特征矢量使用频度实验，在保证准确率达到90%以上的情况下，随机森林属性的使用频度如图9 所示。从图中可以看出，APS 和FRS 所占比重比较大。经统计：所有属性总使用 频度为5 312 次，APS 和FRS 使用 频度为2 620 次，所占比重为49.3%。其中APSx 使用频度最高，APSz 次之，APS 和FRS 的使用频度都高于或者等于其他特征的使用频度。特征作为分割特征的次数越多，则该特征就越重要。因此，APS 和FRS 两组特征矢量对人体姿态识别的重要意义。

图9 属性使用频度图

（2）接收者操作特征曲线

接收者操作特征（ROC）曲线是一种比较两个分类模型的有效工具，曲线显示了给定模型的真正例率（TPR）和假正例率（FPR）之间的权衡[14]。RF 和本文算法在进行最优分类投票时计算类预测概率，模型给出每个检验元组的类预测概率(CP(i)=正确类票数/总票数)。从数据集DataA 中随机选择50 个检验元组（包含25 个正元组（falling）和25 个负元组（walking））进行分类之后，将检验元组按概率的递减排序，并计算元组的TPR和FPR，将所求数据进行5 阶多项式曲线拟合后得到的ROC 曲线，如图10 所示。

图10 RF 及本文算法的ROC 曲线

图10 给出了RF 和本文算法的ROC 曲线，对角线代表随机猜测。模型的ROC 曲线离对角线越近，模型的准确率就越低。由图10 可知，本文算法离对角线远于RF 算法，且本文算法曲线开始遇到真正例元组，随元组向高编号移动，曲线陡峭上升，后来，遇到的真正例元组越来越少，假正例元组越来越多，曲线平缓并变得更加水平。由此可见，相比RF 算法，本文算法更准确，分类预测效果更佳。

（3）人体姿态识别结果分析

为了进一步验证本文算法的性能，进行了如下两组实验。

实验1：使用数据集DataA 训练分类模型和测试分类模型。

实验2：使用数据集DataA 训练分类模型，选取数据集DataC 测试分类模型。

通过实验1 和实验2 得到本文算法的适应度随迭代次数增加的变化情况如图11 所示。

图11 实验1 和实验2 适应度变化情况

由图11 可知：因初始蜜蜂性质优良，适应度值变化范围较小，并在迭代过程中不断改变。每次迭代中，蜂王与优良的雄蜂交配产生的幼蜂继承了蜂王优良基因，所以子代种群向最优解进化的可能性变大，算法能快速收敛于局部最优。随着迭代次数的增加，不断引入随机蜜蜂，保持进化种群多样性，使算法能多次跳出局部最优，最终达到全局最优。虽然RF 因两大随机思想的引入，克服了单一分类器的过度拟合的缺点，但算法的稳定性仍然较差，本文算法引入蜜蜂交配优化算法，增强了RF 算法的稳定性。此可见，本文算法能有效地避免陷入局部极值，具有很强的全局搜索能力和稳定性。

为了进一步验证本文算法的性能，本文按照实验1和实验2 进行了10 次独立实验，每次以不同的随机种子来获取训练集Di以及属性子集，生成不同的初始蜂群。对10 次实验结果求得平均准确率，并将实验结果与RF、SVM 算法进行比较，如表3 所示。

表3 各分类算法分类准确率比较 %

通过表3 中的实验结果可知，改进后的随机森林算法在准确率方面有很大的提高，在实验1 中最大准确率达到96.579 6%，比RF 算法的最大准确率高出1.37%，比SVM 高出3.23%。在实验2 中本文算法的最大准确率比RF 算法高出7.36%。且与实验一的最大准确率相比，相差仅为3.17%，而RF 算法的最大准确率却相差8.27%。这说明了本文算法对人体姿态识别不仅准确率高，而且鲁棒性更强。在实验1 和实验2 中，本文算法的最低准确率远高于SVM、RF 算，且最小准确率和最大准确率相差甚小，说明了本文算法稳定性较强，对不同测试者的人体姿态识别有较强的适应性。

为进一步分析分类结果，获得每个类的识别率，分析了实验中RF 和本文算法获得最大准确率时相关的混淆矩阵，如表4～表7 所示。其中，行代表原始数据的类别，列代表预测的类别。

表4 实验1 RF 算法分类结果混淆矩阵

表5 实验1 本文算法分类结果混淆矩阵

表6 实验2 RF 算法分类结果混淆矩阵

表7 实验2 本文算法分类结果混淆矩阵

从表4 和表5、表6 和表7 的对比结果可以看出，对于六种行为的识别率，本文算法均高于RF 算法。实验1和实验2 用于测试模型的数据集来源不同，测试者之间身体差异等原因将导致所采集的加速度规律会有所区别。从表4 和表6 中可以看出，RF 算法对F 行为的识别率低于50%，而本文算法的识别率能达到60%左右；对SU 和SD 的识别率低于40%，而本文算法的识别率能达到50%左右。F 识别率低，主要是被错误地识别为W 和L 行为，因为数据采集过程中存在一些噪声数据而导致；SU 和SD 主要被错误的识别为W 和S 等行为，因为这些行为有些接近，但通过结果比较可知，本文算法对噪声数据具有更好的处理能力。

6 结束语

通过建立三轴加速度传感器MMA7260 和CC2430节点相结合的数据采集系统获取人体运动时的加速度信号，设计了两类特征矢量：近斜率和前后差，并结合均值、均方根和SMA 作为所选特征矢量集，以此作为判断标准，最后采用蜜蜂交配优化随机森林作为识别算法。本文算法通过动态调整蜜蜂间的基因，来提高了算法的最优解搜索的效率，并在迭代中不断地引入新基因，提高了蜂群的多样性，使算法能多次跳出局部最优解而达到全局最优解。通过对人体六种行为进行检测，证明了本算法的可行性、稳定性、鲁棒性和准确性。

[1] 薛洋.基于单个加速度传感器的人体运动模式识别[D].广州：华南理工大学，2011.

[2] Wang S，Yang J，Chen N，et al.Human activity recognition with user-free accelerometers in the sensor Networks[C]//IEEE Int Conf Neural Networks and Brain，2005，2：1212-1217.

[3] Wu J H，Pan G，Zhang D Q，et al.Gesture recognition with a 3-D accelerometer[J].Ubiquitous Intelligence and Computing，2009，5585（6）：25-38.

[4] Li M，Rozgic V，and Thatte G，et al.Multimodal physical activity recognition by fusing temporal and cepstral information[J].IEEE Trans on Neural Systems and Rehabilitation Engineering，2010，18（4）：1-10.

[5] Cheng W Ch，Jhan D M.Triaxial accelerometer based fall detection method using a self-constructing cascade-Ada-Boost-SVM Classifier[J].IEEE Journal of Biomedical and Health Informatics，2013，17（2）：411-419.

[6] Preece S J，Goulermas J Y，Kenney L P J，et al.A comparison of feature extraction methods for the classification of dynamic activities from accelerometer data[C]//IEEE Trans on Biomedical Engineering，2009，56：871-879.

[7] Yang J，Wang S Q，Chen N J，et al.Wearable accelerometer based extendable activity recognition system[C]//IEEE Int Conf on Robotics and Automation Anchorage Convention District，2010：3641-3647.

[8] Lin B，Intille S S.Activity recognition from user-annotated acceleration data[C]//Proc of the 2nd International Conference on Pervasive Computing.Berlin：Springer，2004：1-17.

[9] Van L K，Gellersen H W.Spine vs.porcupine：a study in distributed wearable activity recognition[C]//The Eighth IEEE International Symposium on Wearable Computers，Washington DC，USA，2004：142-149.

[10] Song S K，Jang J，Park S.An efficient method for activity recognition of the elderly using tilt signals of tri-axial acceleration sensor[C]//Proc of 6th Int Conf on Smart Homes and Health Telematics，2008：99-104.

[11] LEO B.Random forests[J].Machine Learning，2001，45：5-32.

[12] Abbass H A.MBO：marriage in honey bees optimization：a haplometrosis polygynous swarming approach[C]//Proc of IEEE Congress on Evolutionary Computation.[S.l.]：IEEE Service Center，2001：207-214.

[13] Menze B H，Kelm B M，Masuch R，et al.A comparison of random forest and its Gini importance with standard chemometric methods for the feature selection and classification of spectral data[J].BMC Bioinformaties，2009，10（213）.

[14] Han J W，Kamber M，Pei J.数据挖掘概率与技术[M].范明，孟小峰，译.北京：机械工业出版社，2012：211-254.