基于改进卷积神经网络的单幅图像超分辨率重建方法

刘月峰 杨涵晰 蔡爽 张晨荣

摘 要：针对健身者在健身过程中因缺乏监督指导而导致姿势不正确甚至危及健康的问题，提出了一种深蹲姿势实时检测的新方法。通过Kinect摄像头提取人体关节三维信息，对健身中最常见的深蹲行为进行抽象与建模，解决了计算机视觉技术对于细微动作变化难以检测的问题。首先，通过Kinect摄像头捕获深度图像，实时获取人体关节点的三维坐标;然后，将深蹲姿势抽象为躯干角度、髋部角度、膝部角度和踝部角度，并进行数字化建模，逐帧记录下角度变化;最后，在深蹲完成后，采用阈值比较的方法，计算一定时间段内非标准帧比率。如计算比率大于所给定阈值，则判定此次深蹲为不标准;如低于阈值则为标准深蹲姿势。通过对六种不同类型的深蹲姿势进行实验，结果表明，该方法可检测出不同类型的非标准深蹲姿势，并且在六种不同类型的深蹲姿势中平均识别率在90%以上，能够对健身者起到提醒指导的作用。

关键词：深蹲检测;姿势检测;Kinect;深度图像;骨架信息

中图分类号：TP391.4

文献标志码：A

Abstract： Concerning the problem that the posture is not correct and even endangers the health of body builder caused by the lack of supervision and guidance in the process of bodybuilding， a new method of realtime detection of deep squat posture was proposed. The most common deep squat behavior in bodybuilding was abstracted and modeled by threedimensional information of human joints extracted through Kinect camera， solving the problem that computer vision technology is difficult to detect small movements. Firstly， Kinect camera was used to capture the depth images to obtain threedimensional coordinates of human body joints in real time. Then， the deep squat posture was abstracted as torso angle， hip angle， knee angle and ankle angle， and the digital modeling was carried out to record the angle changes frame by frame. Finally， after completing the deep squat， a threshold comparison method was used to calculate the nonstandard frame ratio in a certain period of time. If the calculated ratio was greater than the given threshold， the deep squat was judged as nonstandard， otherwise judged as standard. The experiment results of six different types of deep squat show that the proposed method can detect different types of nonstandard deep squat， and the average recognition rate is more than 90% of the six different types of deep squat， which can play a role in reminding and guiding bodybuilders.

英文關键词Key words： deep squat detection; posture detection; Kinect; depth image; skeleton information

0 引言

深蹲被称为力量训练之王，是增加腿部和臀部力量的基本练习动作。保持标准的深蹲姿势可以训练到臀部、大腿，并有利于下半身的骨骼、韧带和肌腱的锻炼。但是，长期使用不标准的深蹲姿势不仅浪费健身者的时间，而且还会增加韧带、半月板和膝盖受伤的风险。标准的深蹲姿势对于很多运动员都是较难掌握的[1]。人们通常通过自己的主观意识来判断深蹲姿势是否标准，此方法带有很强的个人色彩，难以客观准确地对深蹲姿势进行判断;同时，使用昂贵的费用聘请私人教练也使得健身成本增加，且大部分健身者都没有经济条件聘请私人教练，使得很多人对健身望而却步，因此对深蹲姿势进行自动检测具有重要的实际意义，能够使得这项最基本的练习动作被更多人掌握，同时又可减少锻炼者因长期使用错误姿势而导致的严重后果。

深蹲属于一种行为动作，而关于行为动作领域的研究近些年来越来越多。有关领域目前的研究方法通常是基于可穿戴传感器和计算机视觉技术[2]。这些研究方法大多用来完成手势识别[3-6] 、坐姿检测[7]、摔倒检测[8]、行为分类[9-12]等任务，且都能够取得较好的效果。

上述两类方法也有着不容忽视的缺点：首先，可穿戴传感器会给使用者造成不适;此外，由于受到挤压碰撞等外部因素，可穿戴设备会逐渐损坏，导致无法收集信息。而基于计算机视觉的方法大多需要经过训练，训练过程是极度耗时的，并且此类方法严重依赖于训练数据集，而且深蹲是一种顺时动作，且动作变化快，一般的计算机视觉技术对于这种细微动作的变化较难检测，因此很少有研究对运动姿势（如深蹲）是否标准，行为是否准确提出疑问。

Kinect深度传感器能够自动捕获人体的深度图像，并实时跟踪人体骨架，检测到细微的动作变化：一方面，Kinect获取的深度图像不同于彩色图像，可以提供更多的空间信息，同时又能保护个人隐私， 因此，通过分析深度图像来识别和检测姿势的方法一直以来都备受关注;另一方面， 人体的骨骼特征也为行为识别、姿势检测等任务提供了重要的行为特征。Kinect因上述功能和其具有的精确性与实用性等特点，已经使其成为一种多功能组件，进而可以集成到日常生活的各种应用中[13-17]。

本文利用Kinect深度传感器提出了一种基于骨架信息来检测非标准深蹲姿势的方法。首先， 针对深蹲姿势，提出了使用躯干角度、髋部角度、膝部角度和踝部角度作为深蹲期间的4个代表性特征; 然后，把深蹲过程分为4个阶段，并使用关键帧检测技术，对每一阶段的角度特征逐帧的计算和记录; 最后，采用阈值比较的方法，对深蹲姿势进行检测判断。该方法无需佩戴任何的可穿戴传感器，不会给锻炼者带来不便，且不需要使用训练数据集，能够做到实时准确的检测。

1 深蹲姿势检测方法

1.1 特征定义

在对所提方法进行建模之前，首先需要建立可用于区分标准深蹲姿势和非标准深蹲姿势的界限。本文中Winwood等[18]的研究结果被用来建模深蹲姿势。表1的数据显示了当健康个体深蹲时关节点应保持的角度范围（其中SD（Standard Deviation）为标准差）。

3 结语

本文提出了一种基于计算机视觉技术的非标准深蹲姿势的判断方法。首先，使用Kinect深度摄像头捕获深度图像并提取人体骨架关节点的三维坐标信息;然后，利用余弦定理计算深蹲姿势抽象化后的躯干角度、髋部角度、膝部角度和踝部角度四个代表性特征，并记录其变化值;最后，深蹲运动结束后计算非标准帧的比率，并与实验得出的阈值进行对比以判断姿势是否标准。实验结果表明，该方法可快速有效地检测出不同类型的非标准深蹲姿势，并具有计算量低、鲁棒性高和时效性好等特点。

参考文献 （References）

[1] CHIU L Z. Sitting back in the squat[J]. Strength and Conditioning Journal， 2009， 31（6）：25-27.

[2] YAO L Y， MING W D， Cui H. A new Kinect approach to judge unhealthy sitting posture based on neck angle and torso angle[C]// Proceedings of the 2017 International Conference on Image and Graphics， LNCS 10666. Berlin： SpringerVerlag， 2017：340-350.

[3] FANG B， SUN F C， LIU H P， et al. 3D human gesture capturing and recognition by the IMMUbased data glove[J]. Neurocomputing， 2017， 277：198-207.

[4] FERRONE A， JIANG X， MAIOLO L， et al. A fabricbased wearable band for hand gesture recognition based on filament strain sensors： A preliminary investigation[C]// Proceedings of the 2016 IEEE Healthcare Innovation PointofCare Technologies Conference. Piscataway， NJ： IEEE， 2016：113-116.

[5] WU D， SHAO L. Deep dynamic neural networks for gesture segmentation and recognition[C]// Proceedings of the 2014 European Conference on Computer Vision. Berlin： Springer， 2014：552-571.

[6] LI Y， WANG X G， LIU W Y， et al. Deep attention network for joint hand gesture localization and recognition using static RGBD images[J]. Information Sciences， 2018， 441：66-78.

[7] 曾星，孫备， 罗武胜， 等. 基于深度传感器的坐姿检测系统[J]. 计算机科学，2018， 45（7）：237-242. （ZENG X， SUN B， LUO W S， et al. Sitting posture detection system based on depth sensor[J]. Computer Science， 2018， 45（7）：237-242.）

[8] YAO L Y， MING W D， LU K Q. A new approach to fall detection based on the human torso motion model[J]. Applied Sciences， 2017， 7（10）：993.

[9] BACCOUCHE M， MAMALET F， WOLF C， et al. Sequential deep learning for human action recognition[C]// Proceedings of the 2011 International Workshop on Human Behavior Unterstanding， LNCS 7065. Berlin： SpringerVerlag， 2011：29-39.

[10] NG J Y， HAUSKNECHT M， VIJAYANARASIMHAN S， et al. Beyond short snippets： deep networks for video classification[C]// Proceedings of the 2015 IEEE Conference on Computer Vision and Pattern Recognition. Piscataway， NJ： IEEE， 2015：4694-4702.

[11] 吴亮， 何毅， 梅雪，等. 基于时空兴趣点和概率潜动态条件随机场模型的在线行为识别方法[J]. 计算机应用， 2018， 38（6）： 1760-1764. （WU L， HE Y， MEI X， et al. Online behavior recognition using spacetime interest points and probabilistic latentdynamic conditional random field model[J]. Journal of Computer Applications， 2018， 38（6）： 1760-1764.）

[12] 姬晓飞， 左鑫孟. 基于关键帧特征库统计特征的双人交互行为识别[J]. 计算机应用， 2016， 36（8）：2287-2291. （JI X F， ZUO X M. Human interaction recognition based on statistical features of key frame feature library[J]. Journal of Computer Applications， 2016， 36（8）： 2287-2291.）

[13] KALIATAKIS G， STERGIOY A， VIDAKIS N. Conceiving human interaction by visualising depth data of head pose changes and emotion recognition via facial expressions[J]. Computers， 2017， 6（3）：25-37.

[14] MAITI S， REDDY S， RAHEJA J L. View invariant realtime gesture recognition[J]. Optik—International Journal for Light and Electron Optics， 2015， 126（23）：3737-3742.

[15] 张全贵， 蔡丰， 李志强. 基于耦合多隐马尔可夫模型和深度图像数据的人体动作识别[J]. 计算机应用， 2018， 38（2）： 454-457. （ZHANG Q G， CAI F， LI Z Q. Human action recognition based on coupled multihidden Markov model and depth image data[J]. Journal of Computer Applications， 2018， 38（2）： 454-457.）

[16] 談家谱， 徐文胜. 基于Kinect的指尖检测与手势识别方法[J]. 计算机应用， 2015， 35（6）： 1795-1800. （TAN J P， XU W S. Fingertip detection and gesture recognition method based on Kinect[J]. Journal of Computer Applications， 2015， 35（6）： 1795-1800.）

[17] CHOUBIK Y， MAHMOUDI A. Machine learning for real time poses classification using Kinect skeleton data[C]// Proceedings of the 2016 International Conference on Computer Graphics， Imaging and Visualization. Piscataway， NJ： IEEE， 2016：307-311.

[18] WINWOOD P W， CRONIN J B， BROWN S R， et al. A biomechanical analysis of the heavy sprintstyle sled pull and comparison with the back squat[J]. International Journal of Sports Science and Coaching， 2015， 10（5）： 851-868.

[19] STEVENS W R Jr， KOKOSZKA A Y， ANDEERSON A M， et al. Automated event detection algorithm for two squatting protocols[J]. Gait and Posture， 2018， 59：253-257.