基于Kinect三维行动重建应用于传统武术教学训练研究

刘坚斌，黄敏敏，刘志锋

在传统武术教学训练中，运动技能学习可以通过视频观察玩家在目标运动中的行为来促进运动技能学习。视频观察动作的最佳视角取决于学习的目的。例如，当学习者想要学习球员在足球比赛中如何移动时，鸟瞰视角对观察最有效，而当学习者想要知道球员的球控制技术时，从球员前面的正面角度观察是更好的。因此，通过视频观察来学习需要一个视点变化函数。

近年来，电视体育节目采用了多视点摄像头系统［1］，促进了电视节目中视点的平滑切换。另一方面，将多个摄像机带到运动场上进行私人拍摄是困难的。因此，大多数私人视频都是用一个摄像机从一个固定的点拍摄的。本研究的目的是开发一种方法，从单个图像中生成玩家（即虚拟玩家）的3D人体模型，从而能够从任何角度观察虚拟玩家的行为。使用此方法时，可以产生以下效果：

1）通过使用的单视图视频图像，从最佳角度观察示范动作的可能性。

2）学习者可以从不同的角度来检查学习者自己的行为。自我观察对运动技能学习也是有用的。［2］，因此该方法必须通过自我观察来促进学习。

3）学习者可以从视频档案中创建虚拟的3D内容运动。这意味着，例如，他们可以从穆罕默德面前的一个角度观看穆罕默德·阿里的射门。一些使用虚拟人类的研究已经在计算机支持系统上进行。用于控制虚拟播放器的方法在这些系统中很重要。在［3］中提出的虚拟教育环境中，虚拟教练由运动路径规划算法和反向运动学控制。在［4］中提出的系统显示虚拟玩家玩橄榄球，以协助橄榄球的决策学习。球员是由使用光学运动捕捉系统从专业橄榄球运动员那里预先捕获的运动数据来控制。虽然大多数研究对虚拟人使用了特定的运动捕捉系统或运动生成方法，但本研究采用了一个普通的单个摄像机，并估计了玩家在二维图像中的三维位置。

最近推出的RGB－D相机（如微软公司的Kinect），价格更便宜，也更容易获得，促进了从单一视图出发的3D重建应用程序。然而，RGB－D相机中的深度传感器对距离测量有严格的限制。因此，人们对利用二维图像的三维重建进行了许多研究。为了从二维图像中生成三维人体模型，需要对二维图像进行联合检测，并从关节的二维坐标中进行三维坐标估计。大多数关于人体重建的研究都是通过将三维人体模型拟合到二维图像［5］［6］上的人体区域来检测关节和估计三维姿态。然而，拟合方法生成的人体模型无法观察玩家之间的三维位置，因为该方法无法获得玩家之间的互动。在［7］中，利用从摄像机到真实关节的视线上的几何约束，解决了三维关节坐标估计的反问题。但是，如果不指定关节之间的实际距离，就不可能计算出位置。因此，本研究提出了一种基于图像射影几何形状的计算关节与位置之间距离的方法。

作为第一步，本研究以传统武术对打作为重建的目标，从而开发了一种三维联合坐标估计方法，利用传统武术对打的先验信息（例如，传统武术演奏的垫子是方形的）。在第一步中，将手动指定二维图像上的关节。近年来的联合检测研究提出了一种基于机器学习［8］［9］的检测方法。本研究的第二步是利用了该检测方法。本文描述了在第一步中使用的方法。

1 基于Kinect三维行动重建应用步骤

1.1 三维行动重建基础设备

我们提出的方法使用拍摄图像校准用于拍摄传统武术的相机。练习传统武术的垫子是一个正方形。每边的长度都是已知的。焦距f是由正方形的两对平行边的两个消失点计算出来的。在这里，使用偏斜0和比例因子1进行校准。为了简化解释，本文采用了摄像机坐标系进行了三维计算。

图一 传统武术垫子上的方形面积

1.2 三维行动重建比赛场地平面方程

该方法采用垫面方程计算传统武术运动员的三维坐标。因此，利用边［10］的长度计算了正方形的三个顶点的三维坐标。该方法从坐标中找到方程。

1.3 三维行动重建人体模型

图二（左）为该方法中采用的人体模型。该模型有15个关节、面部、右脚趾和左脚趾。总共有18个点是要用三维方法计算出来的点。设（xi、yi、zi）（ui、vi）分别为点的三维坐标和图像上投影的pi的二维坐标。在图像上手动获得二维坐标。坐标之间的关系由

图二 （左）人体模型和（右）图像进行计算

有17对具有固定距离的点（例如，胸肩－右肩）。让我们把这两点之间的线段称为线段。一般来说，直接测量每个玩家的片段是困难的。因此，该方法计算每个点pi的三维坐标作为特定的三维平面和由公式（1）得到的点pi的三维视线的交集（见图。2（right））。穿过脚底两侧并垂直于垫子平面的平面（见图。作为具体的2（右）平面计算点，脚趾除外。对于脚趾，垫子平面被用作特定的三维平面。该段的长度（sk，k＝1，...，17）从这些点的三维坐标中获得2.43D重建点与线段长度之间的关系方程由

当关节不发生闭塞时，k的值为17。用脚趾在垫子平面上的z坐标的方程给出了计算除脚趾以外的点的z坐标的递推公式：

其中pi，pj表示sk的端点，是穆尔彭罗斯逆矩阵。脚趾的z坐标计算为垫子平面与脚趾的三维视线的交点。对于脚趾位于垫子平面上方的图像帧，脚趾的z坐标由前者和后者的脚趾的两个z坐标估计。采用两种约束条件，（1）关节的可移动范围和（2）所有关节必须存在于垫面上或以上，从多个解中选择正确的解。最后，围绕相应的部分设置身体部件模型。

2 实验评价

在大学传统武术俱乐部的帮助下，拍摄了一场传统武术拳击比赛，并进行了3D重建简单的实验（见图三），据传统武术教练说，重建工作的质量很好。

图三 （左）原始传统武术拳击图像，（中间）从侧面的3D场景，（右）从左侧的观点的相同的模拟环境

3 结论

本研究提出了一种传统武术拳击的半自动三维重建方法。关节检测、脚趾与垫面之间的接触测定以及被遮挡关节的位置估计将有待进一步研究。