基于Alphapose的跑步动作标准化评估＊

贾亚光，刘 静，雷 森，辛海龙，闫志博

(哈尔滨商业大学管理学院，黑龙江 哈尔滨 150028)

0 引言

2021年8月国务院颁发了《全民健身计划（2021—2025年）》，次年5月国务院办公厅也提出了《“十四五”国民健康规划》，其中内容均对健身指导包括健身与互联网的融合做出支持与鼓励。对于运动的评估，目前可通过基于图像或基于传感器的方法采集数据。马敬奇等[1]通过建立Alphapose 优化模型进行实时的摔倒模型检测；许志豪等[2]通过Openpose 进行滑雪动作分析；张笑宇等[3]通过最新一代Azure Kinect无标记运动捕获系统提取步态参数；QIAO 等[4]提出一种基于单目图像的人体姿态分级系统，通过计算标准与实时姿势间的离散弗雷歇距离来进行动作相似度比较。基于硬件传感器的人体关节提取成本较高，且准确识别率较低。而Alphapose 基于计算机编程获取关节图像与关节位置的方式更加简便，快捷并且准确率已经达到较高水准。本文以跑步动作为例，通过算法结合得出欧式距离并进行跑步动作的对比分析。

1 基于Alphapose的关节点坐标处理

1.1 Alphapose网络整体结构

Alphapose 采用自顶向下的检测方法对人体各个关节点进行检测，但是，当前这种检测方法存在以下两个问题。①定位框不准确的问题，当我们使用Faster-RCNN（目标检测器）和SPPE（堆叠沙漏模型）进行人体姿态检测时若IoU>0.5（IoU 指检测边界框和真实框的重叠面积）则不能很好的检测出关节点的位置。②姿态冗余的问题，即每次人体检测框经过SPPE时都会产生人体姿态关节点，但最后只需保留一种结果即造成了人体姿态的冗余检测。

针对以上问题，Alphapose 添加了三个模块进行改进，分别是对称空间变换网络（Symmetric Space Transformer Networks，SSTN）、姿态非极大值抑制器（Parametric pose non-maximum suppression，PPNMS）与由姿态引导到样本生成器（Pose-Guided Proposal Generator，PGPG）[5]通过三个模块的添加可实现对人体关节点的精确提取。以下是Alphapose 网络整体结构如图1所示。

图1 alphapose网络整体结构

1.2 基于Alphapose的人体关节点获取

人体姿势估计属于计算机视觉的一个方向，目前其面对的困难主要有三个方面：一是人体的关节活动的自由性；二是穿衣对动作的遮挡，三是不同的障碍物可能遮挡人体关键信息。随着深度学习的发展，这些挑战已经慢慢的被突破，从何恺明提出的MASKR-CNN，CMN 的Openpose，到上海交大卢策吴提出的Alphapose，姿势识别的准确率已经达到了相当高的水准。人体姿态估计算法性能如表1所示[6]。

表1 各开源人体姿态估计算法性能

注：数据为各开源系统在COCO 数据集上的性能，时间在单卡1080ti 型号GPU 上测出本文基于Alphapose 进行目标识别并获取其骨架特征图如图2所示。

图2 基于Alphapose获取的人体骨架特征图

1.3 跑步过程中关节点坐标预处理

通过Alphapose可对图像上各个关节点提取，并以人体右上角为原点，建立平面直角坐标系，在MSCOCO数据集中对关键的17个人体节点进行标记，并获取其坐标定位，由于坐标不能直接进行对比，故通常我们会先通过建立各个坐标位置的高维向量形式，如对于视频中某一帧的动作A，可将预处理后的关键点坐标按顺序表示成一个高维向量A=[a1,a2,...,a17]。其中a1—a17 为17 个关键点位置坐标，那么某两帧视频中的动作A 与动作B 的相似度便可转化为两个向量A 和B之间的相似度。由于跑步过程中拍摄者对镜头的远近会发生变化，故首先对数据做L2 范数归一化处理，其方法如式⑴和式⑵所示。

2 基于DTW算法的跑步动作相似度评估

在对比时间序列时通常采用欧式距离的方法，但由于视频长度的不同导致难以形成一对一的对应关系，故采用DTW 算法进行时间序列上的相似度对比。DTW 算法可通过压缩或伸长时间序列的长度对齐时间序列并找出对齐情况下的最小距离。进而输出归一化后两条序列的欧式距离。

2.1 DTW算法在动作评估方面的应用

DTW算法是一种将时间规划与间距测量相结合的非线性规整技术，采用动态规划(dynamic programming,DP)的算法思想。若两视频帧数分别为m 和n 的标准动作A={a1，a2…am}测试动作B={b1，b2…bn}其中，m 和n 不一定相等。当m=n 时，直接计算两个序列的距离即可；当m≠n 时，不是通过简单的局部或全局缩放后计算距离，而是采用动态规划的办法，寻找一条最优路径对A,B 两个模板序列进行匹配。构造一个m×n的矩阵用来存储A 和B 各帧之间的距离，即矩阵中为(i,j)的元素表示的是A 的第i 帧与B 的第j 帧之间的距离，以dij来表示。求解这两个动作样本本的相似度问题就转变成在该矩阵中寻找一条使得A和B之间距离最小的规整路径，该路径起始于(1,1)终止于(m,n)[7]。具体原理如图3所示。

图3 DTW算法矩阵图

累加距离Dij即为当前格的距离dij与可以达到该点的最小的邻近元素的累加距离之和，表明为两条序列的距离。公式如下：

Dmn的距离则表示两序列最小的欧式距离。

2.2 动作相似度的评估流程

通常，在评估动作相似度时我们需要对其时间序列进行处理在时间序列数据中，一个常见的任务是比较两个序列的相似度，并以此作为分类或聚类任务的基础。通过Alphapose 我们可以获得每帧图像的17个关键关节点的坐标，将每帧图像的关节坐标点组成特征向量并将其视频长度作为时间序列，将标准序列与自测序列输入至DTW 算法可进行两条时间序列的相似度评估。具体过程如图4所示。

图4 人体动作相似度评估流程图

通过对相似度的评估我们可以识别出运动标准动作与自身所作动作的差异性从而规范自身动作使其避免运动损伤，规范运动动作等。

3 跑步过程中整体姿态的运动评估

3.1 跑步运动的损伤分析

以跑步为例，临床研究认为超过60%的跑步损伤可归因于训练错误[8]。当跑步姿势不正确时可能会给身体带来如下伤害：肌肉拉伤，膝关节受损，踝关节扭伤，颈椎损伤，胫骨损伤等。而常见的跑步错误如迈出步态距离过大导致落地点靠前会产生刹车效应，跑步过程中脚尖着地导致脚趾的磨损，摆臂幅度过大会导致跑步时较吃力，跑步时若身体前倾也会增加跑步的损伤概率，包括慢跑过程中若膝关节伸直与向内挤压也会增加膝关节的压力导致膝关节磨损，健康的跑步不仅仅要有一个好的热身准备也要取决于跑步时的跑姿、步态、步频，距离，落地点等因素在此基础上进行的合理运动有助于更好的规避跑步过程的运动风险从而达到强身健体的目的。

3.2 跑步动作的标准相似度分析

在本次跑步动作的相似度分析中选取一组标准跑步动作为实验组，一组自测动作，另一组标准跑步动作为对照组，视频长度均取前100 帧为实验数据。其坐标移动取跑步过程中较明显的关节点本文取左脚左膝右脚右膝的关节点的运动变化为对比，最后通过DTW 算法对三组跑步时间序列的整体动作的距离进行分析。测试模板如图5、图6、图7所示。

图5 基准动作模板

图6 标准动作模板

图7 对照动作模板

下列折线图分别为左脚，右脚，左腿，右腿的在移动过程中x轴的数据如图8所示。

图8 关节x轴变化折线图

从图8折线图中可分析出，两条标准跑步动作的x轴运动轨迹较相似则表明本实验中的算法有效性，而自身跑步过程中的x 轴轨迹与标准差距较大，则说明自身跑步的过程中步态过于随意且落地点不够标准（与标准有较大差异）。从本次实验x轴的关节变化中还可看出步频与标准跑步的不协调，以及跑步过程中前后摆动幅度的变化较大。运动过程中关节点DTW距离如表2所示。

表2 关节点相似度对比

通过分析可知，跑步运动过程中由于动作幅度的不相同，跑步动作会有较大差异。由于标准序列的DTW 距离都较为相似，进而也验证了此算法的有效性。此方式可以在运动规范领域进行改进和推广。

4 总结

本文提出了基于Alphapose 检测出的人体模型的关节点坐标归一化处理后再通过DTW 算法进行动作序列的相似度计算，创新点在于提出高精度多人姿态识别系统与相似度算法结合在运动领域展开的评估。以跑步过程中关节点的变化为主线，通过每帧跑步动作中四个关节坐标点的变化趋势，来判断自身动作的标准与否，并通过两条标准跑步动作序列验证了算法的有效性，最后得到两条动作序列的DTW 距离，以此为指标量化测试动作与标准动作的差异度，提供给健身者进行运动动作的相关改进，从而减少运动损伤。本文中Alphapose在精准度与识别速度上有较大优势，未来在相关健身运动方面有着较为广阔的应用前景。