基于深度学习的多模态人体姿态诊断矫正系统

胡昌龙 李国浩 张雯雯

【摘要】当下，群众对于健康问题关注越来越多，但电子产品越来越多参与我们的生活，姿态问题及其引起的其他健康问题愈发显现出来，而私人教练的市场价格却十分昂贵，亟待一个更为高效的方案帮助大众改善体态问题，促进身体健康。本系统将人工智能姿态估计技术与姿态问题的诊断和矫正运动相结合，帮助用户在高效、安全和保证隐私的状态下完成自我的姿态问题诊断和矫正。

【关键词】姿态矫正 深度学习 姿态估计 多模态

1、概述

近来，全民健康问题越来越受到社会的关注。随着人们生活水平的提高以及生活质量的改善，越来越多的人开始关注自身的身体素质问题。电子设备和人们的生活与工作越来越紧密结合，长期保持不正确的姿势使人们的体态出现了状况，进而引发一系列健康问题。然而，个人盲目矫正不仅不能起到锻炼作用，反而还会导致身体损伤，而专业的拥有资质的姿态矫正教练价格昂贵不符合普通消费者的消费期望，需要一种新的锻炼模式，来帮助大众改善体态问题。人体姿态估计（Human pose estimation）是近几十年来计算机视觉领域广泛关注的一个热点问题，在2014年，第一次成功引入了深度学习来解决单人姿态估计的问题。之后更多高质量数据集的加入，使得人体姿态估计的研究快速发展。

多模态交互技术，就是基于接口技术，充分利用人的多种感知方式，以并行的、非精确的方式与计算机系统进行交互，旨在提高人机交互的自然性和高效性。多模态已在教育和身体机能恢复等领域得到了广泛应用，在未来多模态人机交互将成为主流，如何更好的将目前的多模态交互技术誕合并应用于各领域是一个研究热点，对于多模态交互系统的研究具有一定的现实意义和广泛的应用前景。故而，本文针对上述问题结合人体姿态估计和多模态技术，提出了一个完备的姿态矫正系统。

2、系统介绍

2.1 技术框架

本系统将人工智能应用于促进入体身体健康的场景，结合深度学习算法与《国家体育锻炼标准》实现了一套完整的智能体态矫正训练解决方案，为大众的体态检测、矫正与塑造带来科学化智能化的指导和管理。本系统主要包括：姿态数据的获取、姿态诊断二和报告的生成，矫正课程个性化推送、姿态矫正相关的辅助功能。

在姿态数据的获取的部分，后端平台接受来自用户注册或资料补充时填报的身体数据信息，并将其保存在用户信息数据库中，作为后面功能的参考数据留待备用。在姿态诊断二过程中，用户将拍摄的姿态照片上传至后端平台中，保存在用户姿态照片的图数据库中，作为姿态诊断模型的输入数据，是诊断用户姿态问题的关键。在姿态矫正课程的辅助功能中，用户在做矫正运动的过程中，手机摄像头会将运动的实时影像传至后端平台，将作为姿态矫正模型的一部分输入数据，用于辅助用户调整矫正运动动作。

在姿态诊断和报告生成的部分中，后端平台在获取到用户的姿态照片的基础上，辅助用户的身体数据，输入训练好的姿态诊断模型，将输出用户的姿态问题等信息，系统将信息可视化生成用户的姿态体检报告。

矫正课程个性化推送是在姿态体检报告的基础之上，针对用户具体的姿态问题和严重程度个性化推送合适的姿态矫正课程。

在姿态矫正相关的辅助功能中，基于多模态人机交互技术，在姿态追踪的基础之上，集成了智能语音辅助、视频中辅助线矫正功能，后端平台将运动的实时影像和标准姿态数据库的标准动作对比后，通过语音和视频的方式实时反馈用户纠正动作，以保证更专业的矫正运用，达到更好的效果。

2.2 方案功能

该系统的功能主要包括姿态诊断二和报告生成、矫正方案个性化推荐和矫正运动过程辅助三个功能。

（1）姿态诊断二和报告生成

用户按照预定的姿势，拍摄身体正面、侧面照片各一张并上传，系统将用户上传的照片输入模型，分别对颈部、肩部、腰部和膝盖等易出现姿态问题的身体部位进行诊断和严重程度的评估，并将诊断的结果可视化生成姿态体检报告，反馈给用户端，使用户能够通过阅读姿态体检报告清楚知晓自己的体态问题及其严重程度。

（2）姿态矫正方案个性化推荐

根据姿态诊断的结果，结合用户自己上传的身体数据和运动能力，智能抽取矫正运动库中已有的标准矫正教程，按照用户选择的运动时长和频率个性化生成矫正运动计划。结合推荐的计划，用户可以根据自身意愿再次进行手动调整。

（3）矫正运动过程辅助

再运动矫正过程中，在用户观看矫正视频或跳过之后，在配套课程的运动过程中，使用手機摄像头实时获取用户矫正运动的视频影像，系统利用视频数据，以获取用户运动过程情况，并将用户的运动过程进行实时跟踪，并且和标准的专业动作比对，发现用户矫正运动过程中的问题，使用智能语音和在用户手机屏幕的影像中增加可视的纠正虚线的方式提醒用户及时改变矫正运动的方式，提高动作的标准和专业程度，保证矫正运动的科学和高效。

3、总结

人体姿态诊断矫正系统主要面向需要姿态矫正却无时间或无过多财力进行正确矫正的人群。用户可以利用该系统（工具）能够有效的检测体态、矫正体态并塑造体态。首先系统将通过摄像头获取静态2D图像，结合姿态估计技术，初步鉴定体态问题，而后结合用户选择的兴趣方向，和专业的训练计划数据库中对应情况的数据相匹配，向用户智能提供个性化训练方案。而后在动态姿态跟踪技术的帮助下，用户可以即时、即处地进行姿态矫正运动。帮助用户在低经济成本的情况下高效识别不正确体态并进行矫正。与健身房私教相比，该系统可以在保证训练私密性和安全性的同时，大大降低所花费的时间和钱财，真正做到：便捷、隐私、安全、高效。

参考文献：

[1]Jaim A，Tompsom J，Amiriluka M，et al.LearningHuman Pose Estimation Features with CoavolutioaalNetworks[J].Computer ence，2013.

[2]卢思羽.基于多模态人机交互的虚拟乐器演奏系统研发[D].华中师范大学，2016.

项目编号：S201910500062

项目名称：基于深度学习的多姿态人体姿态诊断矫正系统。