单目视频图像序列中的运动目标的三维姿态重建

◆余光亮 余 静



单目视频图像序列中的运动目标的三维姿态重建

◆余光亮1余 静2

（1.重庆市公安局巴南区分局科技信息化科 重庆 401320；2.遵义医学院医学信息工程系 贵州 563003）

本文提出了至少存在一个深度值已知点的约束条件下，基于单视频图像序列重建人体三维姿态的方法，利用已知间距的平面点阵来标定获得摄像机参数，在透视投影模型下，根据单视频图像序列中人体关节点的二维数据，重建其三维信息，并将人体运动序列按照运动突变点划分为若干子序列，有效消除了二义性的干扰，较为精确的实现了人体三维姿态的重建。给出了该方法的实验过程及计算结果，验证了该算法的可行性和精确度。

计算机视觉；摄像机标定；三维姿态重建；数字化人体模型

0 引言

人体三维姿态重建是实现虚拟设计的重要基础。将数字化的人体模型与虚拟样机结合，完成可视化仿真，使设计人员在设计早期就能对人因工程学的因素进行合理评估，减少设计返工和实物原型的制作能够缩短从设计到制造的周期和成本。近年来，人体三维姿态重建的方法主要采用多摄像机成像，完成人体运动跟踪并恢复三维空间信息。对于多摄像机人体运动跟踪系统而言，需要确定在每个时刻使用哪一个（几个）摄像机或哪一幅（几幅）图像。

为了拓展计算机视觉功能的应用，可以只采用单个摄像机视频采集，与电脑软硬件一起组成一个综合分析平台。因单摄像机系统不具备“视觉差”，根据成像原理无法实现三维信息恢复，但在基本场景中深度已知点的约束条件下，即在三维人体姿态重建过程中，每一帧人体二维图像中至少存在一个人体关节点的深度值是已知的，并结合人体这一特殊的研究对象，运用本文提出的算法可以简单快捷的重建人体运动的三维信息。

1 算法概述

首先获得二维图像序列中人体的各个关节点位置信息，从已知的二维点图像坐标（U,V）出发，求出与该关节点对应的三维空间坐标（X,Y,Z）。首先引入一个人体模型，并且该模型的人体骨架比例与进行运动分析的对象（即模特）一致；然后从该模型中选取特殊点（深度值已知点）作为起点，根据人体骨骼长度为定值从深度值已知点向四肢扩展求出各个关节点的深度值。再利用相机透视投影规律求出人体各个关节点的三维空间坐标。

1.1建立人体模型

建立合适的动作捕获模型是实现人体三维姿态重建的基础。下面我们建立动作捕获的人体模型：人体可看做是由身体不同部位的肌体相互连接而成的一个整体，其中的各个部位肌体可近视看做刚体，之间通过关节点相连。不失一般性，将人体看成是由14个关节点连接而成的刚体集合，从而使人体运动简化为人体骨架的运动。当只着重考虑人体的各种动作姿态而对其体积纹理不关心的时候，三维骨架模型可以充分反映人体姿态的空间信息。于是，将恢复人体的三维姿态简化为恢复这些空间线段的姿态，只要能求解出这些线段端点的三维坐标，那么就可以重建人体的空间位姿。

1.2成像模型

为了适应人体运动分析的需要，我们采用了能精确反映成像物理过程的摄像机模型——Pin-hole，即透视投影模型。Pin-hole模型是在计算机视觉中广泛应用的一类模型，对应于物理上的小孔成像原理，该模型的最大优点是成像关系是线性的，便于问题的线性求解。Pin-hole模型如图1所示。

根据小孔成像原理，摄像机定标的目的就是计算出空间坐标系与图像坐标系之间的关系，以及求得摄像机的内部参数。三维重建是根据摄像机定标结果和图像中的特征跟踪结果，计算物体的三维坐标。下面对图像位置坐标三维重建方法及过程加以详述。

图1 摄像机的理想模型 Pin-hole

Pin- hole模型下的透视投影变换：

这样，只需已知两个特征点的世界坐标，结合两者在图像上的坐标即可得到，然后根据投影方程即可求得。

摄像机的有效焦距f(单位为cm，实验中规定摄像机的有效焦距f为已知)。计算机图像的中心点坐标(cx，cy)(单位为像素，可由计算机图像的长宽来确定)。图像平面单位距离上的像素数(sx，sy)(单位为像素/cm，可由图像采集卡的分辨率确定)。

当人体二维图像中某一关节点的坐标为已知。实际上，在很多人体运动情况下，人体上总有一个或多个关节点的坐标是可以预知的。例如，人行走、站立或蹲姿时的支撑脚；坐姿时的髋关节；健身运动时，附着在器械上手或其它部位等。只需事先测量得这一类点（既在某个运动区间内，这一点的深度坐标是没有变化的，或者变化微小可以被忽略）的坐标值，便可以依次求得图像序列由人体其它相邻关节点的三维坐标。

1.3人体关节点三维坐标的求解

根据上节内容，已经求得摄像机的透视投影参数。下面将在这个设定的摄像机模型的基础上，通过一定的算法，由空间点的二维像坐标得到空间点的三维坐标。即三维空间重构。

根据图1所示的人体骨骼模型。人体骨骼模型中三维关节点坐标都不可知。下一步就是从已知的一个二维关节点坐标()出发，求出与该点对应的人体模型上三维关节点的空间坐标。

从透视投影的Pin-hole模型可以看到，连接摄像机光心和成像点得到一条投影直线，该投影直线上的所有点在投影平面上都成像于同一点。为了在这条投影直线上找到三维关节点，需要利用人体骨骼长度知识。因为人体的骨骼近似刚体，因而连接骨骼两端的人体关节点间距离近似不变，这就是关节点间的距离约束。可以从一个与所求点相邻的已知三维关节点出发，寻找投影直线上的一个点，使得该点到已知三维关节点的距离等于两点间相应骨骼长度。举例说明如下。

即为：

其中系数A，B，C分别为：

利用迭代法求解一元二次方程，得到z。将z代入投影公式。最终求得右肘部关节点P的坐标(x，y，z)。

2 实验结果及分析

需要说明一下的是：本文的算法均在Intel®Core™2 1.86GHz，1GB内存，Windows Xp SP2，VC++6.0 OpenGL和OpenCV为开发平台下实现，在跟踪过程中采用椭圆形来标记跟踪目标，目标检测均采用Adaptive background mixture models。

为了验证方法的有效性，我们采用一系列普通行走、体操等视频进行了相关实验。这里给出几段实验结果视频的若干帧。

图2给出一段手和脚行为相对较明显的视频片段的重建结果，从结果视频可以看到，此方法能较好地获取这些动作的三维运动。动画片中行走人体视频片段：

图2 行走姿态重建结果(上：棍棒模型重建结果 下：骷髅模型重建结果)

根据以上实验结果可知，本文所利用的特征点自动标注方法和从视频中获取人体三维运动估计方法的有效性。对体操、舞蹈、武术等视频的实验结果表明新方法估计人体相对三维运动简单有效，能较好地重建复杂、快变的人体运动。

骨架模型和骷髅模型的实验结果比较：

从实验结果可以看出，两种模型都能够重建人体三维运动，骷髅模型看起来比棍状模型更加立体和形象。

从实验可以看出，三维骨架结构能够很好的描述人体运动的不同状态。

[1]李魁.基于特征跟踪的视频运动捕获技术研究[J].浙江大学学报，2004.

[2]皮文凯，刘宏，查红彬.基于自适应背景模型的全方位视觉[J].北京大学学报，2004.

[3]张广军.机器视觉[M].北京:科学出版社，2005.

[4]Kahol K,Tripathi P,panchanathan S.Automated ges- ture segmentation from dance sequences[C].In:Proceedin- gs of the Sixth IEEE International Conference on Automatic Face and Gesture Recognition,2004.