基于AR动态图像的人体动作识别方法

魏丽芬

(福建信息职业技术学院 物联网与人工智能学院,福建 福州 350003)

人体动作识别主要包括目标检测、识别和操作分割等。在人体动作识别研究中，需要准确地将人体动作转换成能够运算和分析的数据，并设计程序让计算机处理这些数据，这需要大量的人体运动数据作为研究素材。传统的人体动作识别技术应用OI-LSTM神经网络分析算法、深度学习方法、CNN算法等建立模型[1]，但在建立人体模型和程序算法的过程中，运算准确率并不理想，错误率较高，关键原因在于未能将三维动作转换为二维数据。因此，为提高数据转换的准确率，将AR技术引入人体动作识别，建立了一个人体运动关键点存储数据库[2]，然后进行人体动作图像预处理。其中，最关键的步骤就是利用AR动态图像技术，将摄像数据导入计算机中，构建人体特征三维模型并进行动态跟踪识别，再根据三维模型的具体信息实现人体动作识别。

1 基于AR动态图像的人体动作图像预处理

采用AR动态图像技术进行三维动作模型分析和三维动态跟踪识别，能够直接用动作增强技术分割人物轮廓，构造人体动作三维影像，并对人体三维影像各节点进行像素捕捉，使人体的每个动作都能转换为数据并输入数据处理程序中。

1.1 人体信息采集

传统的人体信息采集是将人体动作的相关影像传输到计算机内，根据一定的算法识别出人体各部位的动作，但这种采集方式效率低且错误率较高，即使目标人物做出了相同的动作，但若人物的站立角度发生偏转，计算机程序得到的判断也会发生分歧[3]。为了采集到准确的人体信息，本研究直接以构建三维模型为目标，记录人体信息数据，结合数字图像技术，以骨骼数据为三维图像的骨架，结合边缘检测技术确定人体区域，完善人体三维模型的轮廓。然后，分别构建出头部、躯干、四肢等人体部位，得到人体特征与三维模型的质量概率，并通过位移的方式推断出人体关节，利用生物学知识对人体骨骼进行拟合构造，获得与人物动作相关的脊椎、脖子、头部、臀部、胸部、左手、左脚、左小臂、左大臂、左小腿、左大腿、左肩、右手、右脚、右小臂、右大臂、右小腿、右大腿、右肩共19个关节点[4]。对关节点的位置坐标分别进行标记，以便后续人体模型的构建。

1.2 人体特征三维模型构建

在获得完整的人体模型数据之后，就可以搭建人体特征三维模型。三维模型需要将人体上、下、前、后、左、右的数据全部完整地体现出来，并且以动态人物图像的方式构建三维模型的矢量坐标，自动匹配人体动作的特征识别坐标。具体的模型构建流程见图1。

图1 人体特征三维模型构建流程Fig.1 Flowchart of 3D modeling of human features

如图1所示，对人体动作特征进行识别，分别收集人体特征三维模型中左手前伸、左手高举、左手挥手、左手握拳、右手前伸、右手高举、右手挥手、右手握拳、左腿前踢、右腿前踢、跳起、下蹲等常见的人体动作特征数据[5]。使用分割的方法，用以上几组动作的特征数据分别确定其身体组成部位的特征分量，并计算相应的角分量和点分量。设人体动作的动态特征量为f(z)，得到人体动作变化重构的动态特征量计算公式：

f(z)′=Z-1exp(-U*Sgiv)，

(1)

式中：f(z)′表示人体动作变化重构的动态特征量；Z表示人体动作的特征分量；U表示动作变化的二值函数；Sgiv表示图像的均值灰度参数。

将AR技术应用在人体特征三维模型的构建中，可将人体特征三维模型引入二维空间，模拟现实场景，并计算该条件下的人体动作与理论意义上的人体动作之间的区别[6]，得到人体动作矩阵的衍射灰度直方图。采用灰度值分割法，得到基于AR动态图像的人体特征三维模型。

1.3 三维动态跟踪识别

采用三维动态跟踪识别方法对人物信息进行特征点定位，在公式(1)的约束条件下，对AR动态图像中的人物图像进行切割，分出人体动作的分向量，并在基于AR的人物变化下得到动作分向量的集合。每帧图像的变化都需要重新构建灰度像素系数，得到人体动作跟踪识别特征函数如下：

(2)

式中：G(x，y，z)表示人物动态变化下动作分向量的集合；ωi表示高斯函数的边缘函数集；P(x，y)iv和P(x，y)if是灰度像素(x，y)处的特征向量映射点[7]。如此，能够得到人体三维模型的各动作分量数据，将各动作分量连接起来就可得到人体动作的数据集合。

2 人体动作识别技术的实现

在构建人体动作数据集合的基础上，进行人体动作识别的算法优化。首先，计算动作概率，公式如下：

(3)

式中：P表示运动数据在人体特征三维模型中实现的概率，即拍摄的动作是人体特征三维模型数据集中某项动作的概率；N表示数据集中的样本容量；t表示与当前动作具备相同动作分量的数据样本数。然后，提取人体动作识别特征量：

(4)

3 实验设计

本实验旨在验证基于AR动态图像的人体动作识别方法是否能够确切地提高三维动作转换为二维数据的准确率，并与OI-LSTM神经网络分析算法、深度学习方法、CNN算法等进行比较，判断本方法与传统方法的优劣。

3.1 实验准备

搭建本实验的软件和硬件平台，具体实验环境如表1所示。

表1 实验环境Tab.1 Experimental platform

由表1可知，使用摄像机进行人体信息采集，然后将采集到的人体信息导入计算机，使用Unity 3D模拟软件进行人体特征三维模型的构建，并依据该软件计算出人体动作所需的特征分量数据，使用MATLAB软件对得到的数据进行分析。为了验证本方法在准确率和计算效率方面比传统方法更具优越性，通过动态成像仪，做出走路、抬起右手、踢左腿、握左拳、喝水、下蹲、起跳、弯腰、转圈、摇头共10个动作，每个动作由20人完成，每人分别做幅度不同的20次，分别计算使用这4种方法进行人体动作识别的准确率。

3.2 结果与分析

对使用这4种方法所得到的特征数据归纳整理，对比分析结果如表2所示。

表2 4种方法的识别准确率Tab.2 Recognition accuracy of four methods %

由表2可知，使用本方法的动作识别平均准确率达到了97.9%，而其他3种方法的平均准确率分别是94.0%、93.0%、93.2%，可以明显看出本方法在人体动作识别中的准确率高于OI-LSTM神经网络算法、深度学习方法和CNN算法，进而推断在同样的动态成像仪及动作分析软件中，动作识别准确率较高的AR动态图像方法在三维动作转换为二维数据的过程中正确率和计算效率更高，设计的动作识别方法达到了预期效果，更具优越性与实用性。

4 结语

随着科技的发展，人工智能将成为未来科技发展的主流，本研究提出了基于AR动态图像的人体动作识别方法并对其进行验证，证明该方法能够更好地识别人体动作，为人机交互技术的进一步发展提供了参考。