运动捕捉人工智能系统在速滑项目中的应用

张马森， 曲毅， 崔婧， 刘卉

(1.北京体育大学运动人体科学学院， 北京 100084； 2.大连锐动科技有限公司， 大连 116033； 3.北京体育大学中国运动与健康研究院， 北京 100084)

速度滑冰是以技术为核心的竞速类项目。动作技术是决定速度滑冰运动员竞技能力和能否取得优异成绩的重要因素。科学合理的动作技术对提高输出功率、减小前进阻力至关重要。比较不同速度滑冰运动员动作技术的差异，确定动作技术特征规律对指导运动训练具有较大的理论和实践价值。使用录像与影像解析的方法，采集和解析速度滑冰运动员在训练或比赛时的动作特征数据，可以为分析速度滑冰运动员的动作技术提供科学定量的运动学数据。

人工解析影像是非实验室条件下，尤其是正式比赛中获得动作特征数据唯一可行的方法。获得人体运动过程中关节点的坐标，并计算运动学指标，是获得动作技术特征数据的基础。但摄像机拍到的是连续多帧画面，为了从画面中提取人体关节点的坐标信息，需要专业研究人员对影像进行逐帧、逐点的解析，任务重，反馈慢，严重制约了对运动员动作技术的分析诊断[1-2]。采用二维拍摄的方法虽然降低工作量，但平面数据对速度滑冰运动员的滑行技术、蹬冰技术描述不全面、不准确[3]。

近年来，基于计算机视觉的无标记人体运动捕捉系统使得在非实验室条件下的动作分析成为可能。但是传统的机器学习算法对原始运动学数据的处理能力有限，而深度学习的出现使得计算机视觉领域取得了突破性的进步[4-5]。基于深度学习在物体检测、识别领域的良好结果，有学者提出了基于跨层网络的危险品X射线图像自动识别方法，检测精度和效率更高[4]。在无人机识别领域，孙颢洋等通过深度卷积神经网络对空中无人机进行实时识别，利用长短期记忆网络对飞行映射轨迹进行检测，从而实现了对无人机的自动识别和轨迹预测[6]。针对高分辨图像下检测效果差、效率低等问题，朱雅乔等[7]提出了一种基于LDCF-ResNet50的深度学习模型检测方法，使得对行人检测的精度提高17.77%。除此之外，深度学习技术在人体行为识别[8]、机器人自定位[9]、废弃物分类[10]、目标检测[11]、影像密集匹配[12]等领域也具有广泛的应用。

为克服人工解析影像获取人体动作特征数据的局限性，北京体育大学联合大连锐动科技有限公司研发了一套基于计算机视觉深度学习技术的人体运动自动捕捉人工智能系统，通过摄像机获取比赛时的运动特征影像，依托深度学习算法建立的人体姿势的神经网络模型，确定人体关节点的位置。该系统使用4 000余套由专业研究人员人工解析的人体运动学数据集进行深度学习训练，使其能够自动识别解析运动时的人体关节点，获得每个关节点的二维像素坐标[13-14]。该系统已应用于标枪、铁饼运动员的动作技术分析[14-15]， 但拍摄速度滑冰运动员的完整步态周期所需要的拍摄范围要远大于投掷项目，至少需要覆盖14 m×8 m×2 m的空间范围[16]，随着拍摄范围的扩大，运动员在拍摄画面中的比例缩小，将降低解析获得的人体关节点三维坐标的精度，因此该系统应用于大范围运动场景的有效性还有待验证。

在速度滑冰项目中，中国极少数运动员不断在国际大赛滑出佳绩，但其他运动员却没有突破性的提高，运动员的动作技术差异可能导致其运动表现受到限制，而顶尖运动员可能不适合大样本的统计分析。对中国顶尖的速度滑冰运动员进行个性化分析，可能更有助于他们提升运动表现并在国际比赛中获得奖牌[17]。

本文研究的目的是比较人体运动自动捕捉人工智能系统在大范围运动场景下自动解析的人体关节点三维坐标-时间曲线与专业研究人员人工解析的人体关节点三维坐标-时间曲线的相似性和差异，以验证该系统快速、精确获得人体关节点三维坐标的有效性，并将其应用于速度滑冰项目中，对顶尖运动员的动作技术进行分析诊断，确定影响顶尖运动员运动表现的技术特征。本文研究拟验证以下假设：①人体运动自动捕捉人工智能系统自动解析的人体关节点三维坐标-时间曲线与人工解析的人体关节点三维坐标-时间曲线的多重相关系数大于0.90，差值的平均值小于0.025 m；②2020年全国速度滑冰锦标赛男子1 500 m项目的冠军和亚军均具有影响其运动表现的动作技术特征。

1 研究方法

1.1 测试对象

验证人体运动自动捕捉人工智能系统有效性的测试对象为10名国家一级以上水平的速度滑冰运动员，使用这些运动员在模拟比赛时的运动学数据。人体运动自动捕捉人工智能系统在速度滑冰项目中应用的测试对象为2020年全国速度滑冰锦标赛男子1 500 m项目的冠、亚军，比赛成绩及每圈时间如表1所示。

表1 冠、亚军的比赛成绩及每圈时间

1.2 人体运动自动捕捉人工智能系统

北京体育大学联合大连锐动科技有限公司研发的人体运动自动捕捉人工智能系统，是基于计算机视觉深度学习技术建立人体运动自动跟踪和姿势估计的神经网络模型[14,18]。该系统使用了光流跟踪技术，减小了运动造成的影像模糊和背景干扰等因素对计算机系统跟踪运动人体的干扰。在准确捕捉到运动人体后，该系统应用卷积神经网络方法，通过使用大量已解析好的训练数据集进行深度学习并训练生成估算人体姿势的神经网络模型，建立关节点在人体外轮廓内的位置概率分布图，使人体姿势估算神经网络模型能够识别不同运动中的人体关节点，自动读取关节点的像素坐标[14]。在采集到关节点三维坐标数据后，利用模型驱动的计算功能，自动计算人体运动学数据。

1.3 数据采集

采用三维定点拍摄的方法获取10名速度滑冰运动员模拟比赛时的运动特征影像。使用2台分辨率为1 920×1 080的高清晰度摄像机(SONY FDR-AX700，SONY 公司，日本)拍摄运动员在直道滑行时的动作技术。1台摄像机放置于直道前方外侧，另1台摄像机放置于直道前方内侧，2台摄像机主光轴的夹角约为90°，拍摄频率为60 Hz/s，快门速度为1/500 s，手动对焦。正式测试前，在跑道上放置4根标定杆，将每根标定杆上的6个小球作为标定小球，构成约14 m × 8 m × 2.5 m的标定空间(图1)，测量4串小球在地面投影点之间的距离。在标定空间中心处放置5个标志点(G0～G4)以建立大地坐标系，X轴指向前进方向，Y轴指向跑道左侧，Z轴指向上方。标定完成后，移除所有的标定设置。随后对每名运动员的滑跑动作进行拍摄。采用同样的方法拍摄2020年全国速度滑冰锦标赛男子1 500 m比赛中运动员的直道动作技术。使用国际滑冰联盟(International Skating Union)认可的电子计时系统记录运动员每圈的时间，精度为0.001 s。

图1 标定设置Fig.1 Calibration setting

1.4 数据处理及分析

使用人体运动自动捕捉人工智能系统对模拟比赛视频进行自动解析，获得2台摄像机中人体21个关节点的二维坐标，使用直接线性转换(direct linear transformation)方法将解析数据合成大地坐标系下的三维坐标，使用 Butterworth 低通滤波方法对解析的三维坐标-时间曲线进行滤波处理，截断频率为10 Hz。此外，由专业研究人员对获得的原始影像进行人工逐帧、逐点的解析，获得人体21个关节点的三维坐标-时间曲线。计算自动解析的人体关节点三维坐标-时间曲线和人工解析的人体关节点三维坐标-时间曲线的多重相关系数和差值的平均值。计算方法参考文献[19-20]。

使用人体运动自动捕捉人工智能系统对锦标赛视频进行自动解析，获得21个关节点的三维坐标，计算运动特征数据。其中，蹬冰角指的是右侧冰刀离地前一时刻右腿(髋-踝关节中心点连线)与地面的夹角，膝后角指的是右腿单支撑中期右侧髋、膝、踝关节中心点的夹角，躯干角指的右腿单支撑中期躯干(左、右肩中点与左、右髋中点连线)与水平面的夹角。

2 结果

2.1 人体运动自动捕捉人工智能系统有效性的验证

对训练环境下10名速度滑冰运动员的录像分别进行自动解析和人工解析，自动解析的人体关节点三维坐标-时间曲线与人工解析的人体关节点三维坐标-时间曲线的相关系数均大于0.90，90%的自动解析曲线与对应的人工解析曲线的相关系数大于0.95。除右肘X坐标、左腕XY坐标、左手XYZ坐标外，其他关节点的自动解析曲线与人工解析曲线的差值小于 0.025 m(表2)。

表2 自动解析与人工解析的人体关节点三维坐标- 时间曲线的相关系数与差值

2.2 人体运动自动捕捉人工智能系统在速度滑冰项目中的应用

对2020年全国速度滑冰锦标赛的两名顶尖运动员的录像进行自动解析。结果显示，冠军第1圈的速度慢于亚军。冠、亚军的速度差异主要发生在比赛中、后程，冠军降速的幅度较小。冠、亚军蹬冰角的差异主要发生在比赛中、后程，冠军的蹬冰角较小，蹬冰角差异的变化趋势与速度基本一致。滑行姿态方面，冠军的膝后角小于亚军，躯干角大于亚军，但整体上差异较小，并且差异的变化趋势与速度不一致(图2)。

图2 冠、亚军每圈的速度和动作特征Fig.2 Skating speed and kinematic characteristics of each circle of champion and runner-up

3 讨论

3.1 人体运动自动捕捉人工智能系统有效性的验证

研究结果部分支持第一个假设。人体运动自动捕捉人工智能系统自动解析的人体关节点三维坐标-时间曲线与专业研究人员人工解析的人体关节点三维坐标-时间曲线的相关系数均大0.90，90%的自动解析曲线与相应的人工解析曲线的相关系数大于0.95。人体关节点的自动解析曲线与人工解析曲线相似度越高，由此计算得到的速度-时间曲线及人体关节三维角度相似度越高。相关系数低于0.95的全部是人体关节点的Z坐标，这可能与运动员的蹲屈姿势有关。速度滑冰项目中，运动员在垂直方向上的运动幅度小于左右方向及前进方向，多重相关系数是2组数据的差异与数据变化量的比值[14]，2组数据差异相似的情况下，数据变化量越小，多重相关系数越低。

研究结果还显示，除右肘X坐标、左腕XY坐标、左手XYZ坐标外，其余人体关节点的自动解析曲线与人工解析曲线的差值小于0. 025 m，进一步支持了人体运动自动捕捉人工智能系统的有效性。检查数据发现，差异较大的是上肢关节点。9名运动员在滑行过程中左手背在身后，左臂运动幅度较小。此外，两台摄像机放置于运动员的侧前方，左侧前臂几乎被全程遮挡，右臂在摆臂时也会发生不同程度的遮挡，导致自动解析的坐标数据出现较大误差，这可能是本研究中自动解析的上肢关节点三维坐标-时间曲线与人工解析的上肢关节点三维坐标-时间曲线差异较大的原因，而基于实践和文献可知，在中、长距离速度滑冰项目中，运动员往往单摆臂或背手滑行，上肢运动不是中、长距离项目的核心技术[16]。综上可得，这些结果支持了人体运动自动捕捉人工智能系统在大范围运动场景下获得人体运动学数据的有效性。今后应增加摄像机数量及更新算法，进一步提高自动解析人体关节点三维坐标的精度。

3.2 人体运动自动捕捉人工智能系统在速度滑冰项目中的应用

研究结果部分支持第二个假设。冠、亚军的速度差异主要发生在比赛中、后程，亚军第1圈的速度较快，但后程降速明显，可能是因为出发节奏相对较快使得体能消耗过多、代谢产物堆积及内稳态紊乱[21]，导致比赛中、后程的速度与冠军差距较大，提示运动员应平稳出发，以推迟疲劳的产生或降低疲劳的影响，从而提高比赛成绩[22]。冠、亚军蹬冰角的差异也发生在比赛中、后程，冠军的蹬冰角较小，并且差异的变化趋势与速度基本一致。冠军依靠较强的身体素质和精湛的动作技术，始终维持较高的加速度，一定程度上避免了后程降速严重的问题，也进一步提示耐力素质和蹬冰动作对中、后程加速能力及提高比赛成绩的重要性[23]。速度滑冰运动员滑跑时的动力主要来源于强有力的蹬冰动作，更准确地讲来源于每次蹬冰时的输出功率[24]。有研究表明，在影响输出功率的因素中，蹬冰角的相关性最大(r=-0.963，p<0.01)[25]，蹬冰角每降低1°，速度增加0.011 m/s。Noordhof等[3]甚至提出在国际比赛中能够根据蹬冰角的大小区分运动员的竞技水平。本文研究中，冠军的蹬冰角小于世界级运动员[3]，进一步证实了蹬冰角的重要性。蹬冰角客观反映速度滑冰动作中蹬冰技术的细节和实效，在一定范围内，蹬冰角越小，蹬冰肌肉做功的动作幅度增加，使得蹬冰越充分，带动身体迅速提高速度，从而大幅度提高比赛成绩。

虽然冠军的蹬冰角较小，但自由滑行时的蹲屈姿势并未更低。传统观点认为，较小的蹬冰角和较低的蹲屈姿势有助于增大推进力，减少阻力。本文研究中，冠军的膝后角小于亚军，躯干角大于亚军，但整体上差异较小，并且差异的变化趋势与速度不一致。速度滑冰成绩取决于输出功率和克服阻力功率的差值。速度滑冰运动员的机械能除了产生向前推进的动力，主要用于克服阻力，其中空气阻力占80%[26]。空气阻力取决于身体正迎风面积和滑行速度，身体正迎风面积取决于运动员的滑行姿态，即运动员的下肢蹲屈程度和躯干前倾幅度。在自由滑行阶段，较小的膝后角既有利于降低空气阻力，又有利于增加蹬冰时的伸膝幅度，提高蹬冰效果[26]。保持躯干的平稳同样是维持身体平衡、减小空气阻力的关键，但也有研究认为躯干角的变化不是滑冰技术的核心问题[27]。本文研究认为，虽然自由滑行时较大的躯干角会增加空气阻力和能量消耗，但有利于呼吸系统、血液循环系统和内脏器官活动，同时蹬冰起始时刻躯干位置较高，有效增加蹬冰时间和幅度，从而提高推进力和蹬冰效果，可能弥补甚至超越对成绩的不利影响。Clap冰刀也是通过增加蹬冰幅度，从而提高蹬冰效果，使世界纪录频频被打破[25]。但从整体上看，冠军与亚军的膝后角、躯干角差异较小，并且差异的变化趋势与速度不一致，提示滑行姿态可能不是影响顶尖运动员成绩差异的主要原因。

综上可得，顶尖运动员的成绩差异主要来源于蹬冰动作。本文研究基于冠军的动作特征推测，采用下肢蹲屈姿势较低、躯干前倾幅度较小(膝后角较小，躯干角较大)的滑行姿态和强有力的蹬冰动作可能有助于提升运动表现。基于本文研究的结果，建议冠军应适度提高出发速度，建议亚军应适度降低出发速度，降低蹬冰角，但这些建议均需要干预效果的验证。今后应进一步探究降低蹬冰角所必备的身体机能、身体素质和技术特点，探究不同出发策略、不同蹬冰动作和滑行姿态对成绩的影响。

本文研究是对顶尖运动员的动作技术诊断，研究结果可能不适用于其他运动员。而真正的顶尖运动员是特殊的，他们在坚持技术标准的前提下，与个人特点结合形成个性化的技术风格，大样本的统计分析可能并不适合真正的冠军。在备战冬奥会精兵-冲刺的关键阶段，聚焦重点队员，在科技支撑、技术诊断等方面给予重点支持，有助于中国优势项目运动员在北京冬奥会上获得更多的金牌和奖牌[15,17,28]。

4 结论

人体运动自动捕捉人工智能系统能够在大范围运动场景下快速、精准地获得人体关节点三维坐标数据，提供速度滑冰运动员的生物力学参数和效果指标。该系统解决了非实验室条件下不在运动员身上粘贴反光点同样可获得运动学数据的问题，同时无需人工逐帧、逐点的识别解析，极大地降低了工作量，提高了动作技术分析的效率。将该系统应用于速度滑冰运动员的动作技术分析，得出顶尖运动员的成绩差异主要来自蹬冰效果的不同，提示运动员应着重改善蹬冰动作，提高蹬冰效率。

今后应不断更新算法，完善数据同步、数据精度、个性化指标计算等方面的功能，进一步提高针对大范围运动场景，或存在遮挡、阴影时的数据精度，从而实现动作技术信息的更快速、更精准的反馈；应大量测试和采集中国优秀速度滑冰运动员的动作技术特征，进行横向和纵向比较；应借助中国举办国际比赛的机会采集和借鉴国际顶尖运动员的动作技术特征，为制定科学有效的训练方案提供依据。