基于Kinect的人体作业仿真方法研究

王朝增，王海燕，李仁旺，万昌江，孙永剑

（浙江理工大学先进制造研究所，杭州310018）

基于Kinect的人体作业仿真方法研究

王朝增，王海燕，李仁旺，万昌江，孙永剑

（浙江理工大学先进制造研究所，杭州310018）

为了提高生产企业作业分析的效率和改善作业，提出了一种基于非介入式运动捕捉设备Kinect的人体作业仿真方法。首先利用Kinect对真实的人体作业动作进行捕获，获取所需的人体运动数据，接着在Kinect人体模型和人机工效软件DELMIA的人体模型之间建立映射，并在此基础上对DELMIA软件进行二次开发，最终实现由Kinect获取的人体运动数据驱动DELMIA里的虚拟人体进行仿真作业。仿真结果表明：基于Kinect的作业仿真方法在运动捕捉的适用环境、精确性和响应速度等方面都能很好地满足企业应用的要求。

运动捕捉；作业仿真；人机工效；Kinect

0 引 言

随着经济全球化的持续发展，制造型企业之间的竞争日趋激烈，如何减少人力成本，有效地提高作业人员的作业效率，对于人工成本占很大比例的我国制造业来说意义重大。提高工人生产率最为直接有效的方法是作业分析方法。作业现场数据的收集是进行作业分析的第一步。近年来，随着运动捕捉技术、虚拟仿真技术的发展，作业现场人体形态特征的获取由传统的手工活体测量转变为用运动捕捉的方式来进行，其数据采集速度和准确度都有了明显的改善［1-2］。

运动捕捉主要有基于机械、电磁、声学、光学和图像设备等几种方式［3］。机械式运动捕捉成本低，精度也较高，但由于机械设备有尺寸大以及重量重等问题，使用起来非常不方便。电磁式运动捕捉可以得到空间位置及方向的信息，速度快、实时性好，但缺点是对环境要求严格，表演范围较小且不适合高速的运动。声学式运动捕捉有较大的延时和滞后，精度较差。被动光学式运动捕捉优点是使用方便，采样速率较高，但系统价格昂贵，后处理（包括标志点的识别、跟踪、空间坐标的计算等）时间长。近年来兴起的基于视频的运动捕捉方式能够很好地解决上述传统方式存在的问题。但是目前国内外在基于视频的运动捕捉方面的研究主要采用的是基于标记的视频跟踪方法［4-6］，在实际的生产作业环境中会受到一定限制，而且现有的基于视频的人体运动捕捉系统一般都只限于简单场景，不能满足真实作业场景的需要［7］。而采用微软出品的体感摄影机Kinect进行运动捕捉则不需要对人体进行标记，在运动捕捉的精确性和响应速度等方面也能很好地满足真实作业场景的要求。

针对上述情况，本文提出了一种基于Kinect的人体作业仿真解决方案。

1 基于Kinect的人体作业动作捕捉

人体运动捕捉是指从一个或多个视角已同步的图像序列中恢复出人体姿态参数（关节点位置或关节角度）的过程，姿态主要指头、躯干和四肢的运动（不包括表情和手语等小尺度的动作）［8］。通过对人体运动的捕捉可以实时获得作业者的真实运动数据，为人体作业仿真提供有效的数据来源。

Kinect是微软出品的一款具有即时动作捕捉、影像辨识功能的3D体感摄影机。Kinect的视觉感应器系统包括一个彩色摄像头、一个红外投影机和一个红外摄像头，其中彩色摄像头用来提供彩色图像，剩余两个元件通过发射和接收红外线提供深度数据［9］。

本文以3D摄影机Kinect作为信号捕捉设备，通过USB数据线将人体作业数据传输到计算机里的作业仿真系统，利用Kinect的软件开发套件（Kinect SDK）获取所需要的人体运动数据，并进行仿真作业。通过Kinect的软件开发套件（Kinect SDK）所提供的骨骼跟踪功能可以获取人体骨骼模型的20个关节点的三维坐标信息，这将为基于Kinect的DELMIA虚拟人驱动程序的开发提供数据来源。

2 DELMlA虚拟人驱动程序开发

2.1 两种人体模型之间的映射

Kinect的骨骼跟踪功能所建立的人体模型如图1所示，共包含20个关节点。其中头部、手部、脚部都只有一个点，这意味着通过Kinect的骨骼跟踪功能无法区分手指的动作，也无法判断人脸部的朝向。DELMIA的人体模型如图2所示（图中只标出了部分部位），其人体主干关节与Kinect人体模型基本相同，此外还包含了28个手指关节和2个脚趾关节。

图1 Kinect人体模型

如果我们忽略掉手指、脚趾等细微运动，则在DELMIA人体模型中大部分部位绕某关节点的旋转运动能够与Kinect人体模型中某球关节的转动对应起来，对应关系如表1所示。

在Kinect人体模型中，左手、右手、头部、左脚、右脚这些末端关节只发生位置的变化而没有发生转动，它们与其父节点的位置坐标数据可用来计算两关节点之间部位的旋转角度。相应的，Kinect人体模型中的右肩和双肩中央两个关节点的坐标数据可用来计算DELMIA人体模型中的右锁骨的旋转角度，Kinect人体模型中的左肩和双肩中央两个关节点的坐标数据可用来计算DELMIA人体模型中左锁骨的旋转角度。在Kinect人体模型中左臀部、臀部中央、右臀部三个关节点可以发生单独的位置移动，而在DELMIA人体模型中，臀部作为一个整体进行移动。

图2 DELMIA人体模型

表1 Kinect人体模型和DELMlA人体模型的对应关系

2.2 DELMIA虚拟人驱动程序开发

在Kinect的骨骼空间坐标系中，人体位置由X、Y、Z三个坐标确定。其中Z轴表示红外摄像头光轴，与图像平面垂直向外，光轴与图像平面的交点即为坐标系的原点，用坐标系的右手定则即可得到Y轴和X轴的延伸方向。假设在运动捕捉过程中Kinect摄影机是静止的，则称这个坐标系为参考坐标系，如图3所示。

图3 参考坐标系

对于人体的各部位，我们以目视的正前方为z轴，以人体的重心为原点，以坐标系的右手定则可得到y轴和x轴的延伸方向，以此设定人体各部位运动坐标系的初始方位。

在DELMIA中，人体模型姿态的改变是通过改变相关部位的自由度来实现的，根据身体部位的不同，每个部位可以有2～3个自由度可以设置。自由度共有以下三种类型：a）（弯曲/伸长）（flexion/extension）；b）（展开/内收）（abduction/adduction）；c）（中心转动/侧面转动）（medial rotation/lateral rotation）。这三种自由度的变化分别对应于身体部位绕横向、径向、纵向轴的旋转，可以用该部位绕自身运动坐标系的转动来表示如下：先绕轴（运动坐标系的z轴）逆时针旋转φa度；接着绕轴（运动坐标系的y轴）逆时针旋转φo度；最后再绕轴（运动坐标系的x轴）逆时针旋转φn度。用矩阵表示姿态变化如下（其中C代表余弦Cos，S代表正弦Sin，下同）：

用Rot（a，φa）的逆左乘式（1）方程两边，得：

式（3）进行矩阵相乘后得：

在式（4）中让两边矩阵对应元素相等可求得：

式（5）、（6）、（7）中出现的ATAN2（x，y）形式表示返回给定的x及y坐标值的反正切值，结果以弧度表示并介于-pi到pi之间（不包括-pi），结果为正表示绕轴逆时针旋转的角度，结果为负表示绕轴顺时针旋转的角度。

通过以上计算过程，在人体部位的运动坐标系和参考坐标系最初为平行状态的情况下，可以由人体关节点在参考坐标系中的位置坐标得到人体部位绕运动坐标轴的旋转角度。

通过DELMIA的虚拟人体姿势接口类将这些旋转角度值赋给相应的虚拟人体部位，即可实现DELMIA中虚拟人体模仿真实的人体进行作业。

3 人体作业仿真的实现

3.1 作业仿真系统的实现

以Microsoft Visual Studio 2010为开发环境，使用C++语言，以.NET 4.0框架作为平台在2.66 GHz的Intel（R）Core2.2 GB内存PC机上构造了基于Kinect的人体作业仿真&作业分析系统的程序框架。系统的实现用到了Kinect的软件开发套件（Kinect for Windows SDK）所提供的一些接口，并借助于CAA（component application architecture，组件应用架构）对DELMIA进行了必要的二次开发。CAA的实现是通过提供的快速应用开发环境RADE（rapid application development environment）和不同的API接口程序来完成的［10］。RADE在Visual Studio环境中增加了CAA的开发工具，它提供完整的编程工具组。API则提供了操作各种对象的方法、工具和接口。Kinect for Windows SDK具有骨架追踪功能，能够追踪Kinect视野内一位或二位用户的骨架影像，并获取骨骼模型中关节点的三维坐标数据，对没有给出具体数据的关节点参数将采用默认数值。系统界面如图4所示。

图4 基于Kinect的人体作业仿真&作业分析系统界面

3.2 仿真实验结果

仿照物流车间的布置，在DELMIA中建立零件柜模型和虚拟人体模型，在物流车间放置好Kinect，并与计算机相连接，运行系统。当人体进行搬运作业时，可以看到DELMIA软件中的虚拟人体仿照人体进行相关作业动作，失真度很小，且延迟在200～500 ms以内，达到了作业仿真的要求。动作对比效果如图5和图6所示。

图5 DELMIA仿真效果

图6 真实人体作业场景

3.3 DELMIA分析结论

对上图5中的作业动作进行快速上肢评估（RULA分析）后发现，当以静态方式保持该姿态作业时RULA分析所得分数为4，若保持此姿势较长时间将导致人体疲劳损伤，建议更改物料的摆放位置。对该动作进行可达性分析后发现，需搬运的物体在人员上肢可达范围之内。

4 总结与展望

本文主要介绍了一种基于Kinect的人体作业仿真方法，设备使用方便且对使用环境没有较大限制，后处理时间短，对企业加强人体作业数据的采集、分析、处理能力，提高作业分析的效率具有重要意义。研究的成果与人机工效软件相结合还可以应用于“人因工效驱动的产品设计理论与方法创新”、“虚拟仿真”、“客户化定制”、“故障诊断和维修”等方面，在多个领域具有重要的理论研究价值。

［1］Wu T H，Tian R R，Vincent G D.On simulating human reach motions for ergonomics analyses［J］.Human Factors and Ergonomics in Manufacturing&Service Industries，2011，13（1）：1-13.

［2］Vincent G D.Modified virtual build methodology for computer-aided ergonomics and safety［J］.Human Factors and Ergonomics in Manufacturing，2007，17（5）：413-422.

［3］李晓丹，肖 明，曾 莉.人体动作捕捉技术综述以及一种新的动作捕捉方案陈述［J］.中国西部科技，2011，10（15）：35-37.

［4］罗忠祥，庄挺越，刘 丰，等.基于视频的人体动画［J］.计算机研究与发展，2007，40（2）：269-276.

［5］张 伟，马 靓，傅焕章，等.基于运动跟踪和交互仿真的工作设计［J］.系统仿真学报，2011，22（4）：1047-1050.

［6］Ma L，Zhang W，Fu H，et al.A framework for interactive work design based on digital work analysis and simulation［J］.Human Factors and Ergonomics in Manufacturing，2010，20（4）：339-352.

［7］李豪杰，林守勋，张勇东.基于视频的人体动作捕捉技术综述［J］.计算机辅助设计与图形学学报，2006，18（11）：1645-1650.

［8］Ringer M，Lasenby J.A procedure for automatically estimating model parameters in optical motion capture［J］. Image and Vision Computing，2004，22（10）：843-850.

［9］黄康泉，陈壁金，郑 博，等.Kinect在视频会议系统中的应用［J］.广西大学学报，2011，36（增刊1）：308-313.

［10］梁岱春，张为民，隋立江.浅析基于CAA的CATIA二次开发［J］.航空制造技术，2012，（10）：65-68.

Research on Human Operation Simulation Method Based on Kinect

WANG Chao-zeng，WANG Hai-yan，LI Ren-wang，WAN Chang-jiang，SUN Yong-jian
（Institute of Advanced Manufacturing Technology，Zhejiang Sci-Tech University，Hangzhou 310018，China）

To improve the efficiency of operation analysis of manufacturing enterprises and improve operation，this paper puts forward a human operation simulation method based on non-intrusive motion capture equipment Kinect.It first uses Kinect to capture real human operation and obtains human motion data required；then，establishes mapping between Kinect human model and human-machine ergonomics software DELMIA and conducts secondary development on DELMIA software on this basis；finally realizes simulation operation by virtual human in human motion data driven DELMIA obtained by Kinect.The simulation result shows that the operation simulation method based on Kinect can well meet application requirements of enterprises in the applicable environment of motion capture，accuracy and response speed etc.

motion capture；operation simulation；human-machine ergonomics；Kinect

TP311

A

（责任编辑：张祖尧）

1673-3851（2014）01-0035-05

2013-06-17

浙江省教育厅课题（1103125-F）；浙江省自然科学基金项目（LY12G01009）

王朝增（1988-），男，河南安阳人，硕士研究生，主要从事企业信息化方面的研究。