基于卷积神经网络的人体行为识别方法

林 峰

传统人体行为识别技术需要通过在待检测人员身体特定部位安装专用传感器获取依赖数据，该方式给待检测人员的工作和生活带来极大不便，存在较大的局限性［1-3］.伴随着移动互联网技术的迅猛发展，基于iOS 和Android 系统的智能手机已得到普及使用，如何利用内嵌在移动智能终端中的传感器，进行人体行为状态的实时精准识别，成为当前一项研究热点［4-5］.卷积神经网络是一种强大且流行的人工神经网络深度学习技术，该网络的神经元保存了问题的完整空间结构，在计算机视觉和自然语言处理领域有着出色的表现.通过利用智能手机加速度传感器数据，构建基于卷积神经网络的人体行为分类模型，已具备一定的可行性［6-8］.

本文针对智能手机内置的三轴加速度传感器数据，提出了一种基于卷积神经网络的人体行为识别方法.该方法针对三轴加速度传感器采集数据的特点，创新性地使用时间窗口，将连续采样数据切割成片，使得传感器数据能适用于卷积神经网络的模型结构.同时对卷积神经网络的卷积层、池化层、全连接层和输入层进行了必要改进，并对关键核心参数进行了优化，其交叉对比实验的平均准确率可达91.7%，较其他传统机器学习分类算法有了较大提升，具备良好的应用前景.

1 基于卷积神经网络的人体行为识别方法

1.1 人工神经网络总体结构

本文使用的人工神经网络总体结构包含了输入层、卷积层、池化层、Dropout 层、Flatten层、全连接层及输出层，用于人体行为特征的提取和分类器的构建.传统卷积神经网络技术通常应用于图像识别领域，未经处理的手机加速度传感器数据无法直接用于卷积神经网络模型的构建.本文将手机加速度传感器采集的连续数据，按固定时间窗口大小切割成片，转换为“类图像”数据，用于构建卷积神经网络.

1.2 卷积层和池化层设计

在卷积神经网络深度学习过程中，卷积层和池化层是卷积神经网络所特有的神经元分层，用于对图像数据的特征提取［9-11］.针对手机加速度传感器的数据采样方式及人体行为识别问题领域特点，将连续的传感器数据，按固定时间窗口大小切割成片，每个分片转换为一张尺寸为100×3 的静态图像，作为卷积神经网络第一层卷积层的输入，将传统数值型分类问题等价为图像视觉识别问题.

在卷积层设计中，构建可训练的卷积核对输入数据进行多次卷积操作，卷积操作公式为：

式中：为卷积层l的第j个特征映射的输出；为卷积层l的第j个特征未激活前的值；Mj为输入特征子集；k为卷积核矩阵；b为特征映射偏置值；关键函数f为激活函数，在本文中采用形如f(x) = max（0，x）的ReLU 函数.

在池化层设计中，采用最大池化（Max-Pooling）的方式，将每个输入的特征进行池化计算，其计算公式为：

式中：为池化层l的第j个特征池化后的输出；为池化层l激活之前的值，通过对上一层的输出特征xli-1进行池化后得到；β为池化权重系数；down() 为最大池化函数，计算方式为：down(x) = max(x[i,j+k][j,j+k])；f为激活函数ReLU.

1.3 全连接层和输出层设计

参考多层感知器网络，全连接层和输出层在本文中起到了“分类器”的作用.在全连接层中，将所有经过卷积和池化处理的特征进行重新学习，训练全连接层中各神经元权重系数及偏置值，其输出为公式：

式中：ul为神经网络层l未激活前的向量；ω为全连接层的权重系数；b为对应神经元的偏置值；f为激活函数ReLU.

考虑到人体行为识别问题域为机器学习多分类问题，输出层所用激活函数为Softmax，可针对六种人体行为特征，分别计算出可能的概率值，模型选取最高概率值对应的类别为最终的人体行为判定结果.Softmax 函数对应的公式为：

式中：n为类别数；xi为第i个输入值；Softmax函数将输出映射成区间在［0，1］的值，并作了归一化处理，使得所有输出值的和累加起来等于1，可直接将该输出值用于样本归属于对应类别的可能概率.

本文最终的卷积神经网络的结构如图1所示.

图1 用于人体行为识别的卷积神经网络结构

1.4 算法流程

本文针对Actitracker 数据集，对智能手机内嵌的三轴加速度数据进行“零-均值”规范化预处理，结合人体行为识别问题领域特点，以5 s 作为时间窗口（传感器采样频率为20 Hz，即窗口采样数为100），将传感器连续数值型数据（acc_x，acc_y，acc_z），变换为分辨率为100×3 像素的图片数据，构造卷积神经网络，并对样本数据进行分析，训练网络参数.

算法的具体流程为：

步骤1：手机三轴加速度数据作“零-均值”标准化预处理.

步骤2：对连续的传感器数据按窗口大小100 进行切片处理，每个切片当作一个全新学习样本，并按“多数决定少数”原则进行类别标记.

步骤3：按“卷积层-池化层-卷积层-池化层”顺序，进行特征提取，其中卷积层激活函数采用ReLU 函数，卷积核大小使用2×2；池化层采用最大池化方式.

步骤4：将步骤3 提取的特征输入Dropout层，防止算法过拟合，并进行Flatten 处理，将其压缩为一维扁平向量数据.

步骤5：构造神经元个数为512 的全连接层，激活函数使用ReLU 函数.

步骤6：构造神经元个数为6 的输出层，激活函数使用Softmax 函数.

步骤7：将样本数据按步骤3 到步骤6 进行循环，利用随机梯度下降算法Adam 更新各权重及偏置值，确保损失函数crossentropy 逐步缩小，并完全收敛.

2 实验分析

2.1 数据集

本文实验采用的数据集为Actitracker 数据集，来源于美国福特汉姆大学的WISDM（Wireless Sensor Data Mining）实验室，该数据集涉及36 名参与者，涵盖不同性别和年龄段人员，并预先定义了六种人体行为状态，分别为：Walking（行走）、Jogging（慢跑）、Upstairs（下楼）、Downstairs（上楼）、Sitting（静坐）及Standing（站立）.实验所涉及加速度传感器为BMA250 数字加速度传感器，关键参数为：温漂±0.5，功耗＜139 uA，灵敏度32～256 LBS/g，量程±2～±16 g，该类型传感器被广泛应用于智能手机中.在实验数据采集过程中，智能手机放置在参与者裤兜中，内嵌三轴加速度传感器采样频率为20 Hz，即每秒采样20 次.共采集样本103 万条，其具体分布情况见表1.

表1 数据集样本分布情况

实验所用加速度传感器为三轴加速度传感器，如图2 所示，每次采样均获取以下3 个数据：acc_x、acc_y及acc_z，分别表示人体运动加速度与重力加速度在手机坐标系统的X轴、Y轴和Z轴上的分量，其合成加速度为：

图2 手机三轴加速度坐标

需要注意的是，每次采集的样本数据（acc_x，acc_y，acc_z），仅对应活动状态集合{Walking，Jogging，Upstairs，Downstairs，Sitting，Standing}中的一项，为充分挖掘加速度传感器各方向的速度特征，实验不采用合成加速度，而是直接使用由3 个方向组成的分量加速度.

同时为了实现数据标准化，对3 个方向的加速度统一进行“零-均值”规范化处理，即标准差标准化，使得样本数据的均值为0，标准差为1，以规避3 个方向加速度数值范围的偏差影响数据分析的准确性.规范化公式如下：

式中：表示原始数据的均值，σ为原始数据的标准差.

2.2 实验结果

本文实验采用基于TensorFlow 的Keras 深度学习框架进行算法的开发实现，经过50 轮的轮询训练，模型已可逐步收敛，最终平均交叉准确率可达91.7%.训练过程中模型准确率收敛情况如图3 所示，损失函数收敛情况如图4 所示.

图3 准确率收敛情况

图4 损失函数收敛情况

2.3 方法比较

为证明本文所提出方法的优越性，利用基于Python 语言的scikit-learn 库，与传统机器学习算法进行比较，其中在经典分类算法中，KNN 近邻法、决策树算法、朴素贝叶斯准确率均未超过60%，并且受数据量及问题域的影响，支持向量机SVM 无法在实验中进行有效收敛；同时本文还对深度学习分类方法“多层感知器”进行了测试，其准确率为62.55%，较传统机器学习方法有所提升，但相较于本文所采用的卷积神经网络方法的准确率91.70%，仍具有较大的差距.各方法具体准确率对比数据如图5 所示.

图5 各类算法准确率比较

2.4 参数优化

为测试卷积神经网络关键参数对模型准确度的影响，针对初始参数随机数标准差及卷积池化大小进行交叉比较实验.其中初始参数随机数标准差在卷积神经网络中通常建议值为0.1、0.2 或0.5，如图6 所示，经测试取值为0.1 时模型具有较好的精确度（可达90%以上）；卷积池化大小针对常见值1×1、2×1、2×2 进行对比分析，如图7 所示，在损失函数值相差不大的情况下（控制在0.001 范围内），卷积池化大小为2×2 时实验结果较好.

图6 初始参数随机数标准差对比

图7 池化大小对比

3 结论

本文将手机三轴加速度传感器捕获的连续数据按时间窗口切割成分片，基于Keras 深度学习框架，构建卷积神经网络，设计并实现了卷积层、池化层、全连接层及输出层，并对关键参数进行了优化，应用于Actitracker 数据集，其平均交叉准确率高达91.7%，通过对比实验，较其他传统机器学习算法有了较大提升，具备一定的应用可行性.