Kinect在PC端的应用与研究*

杨　帆，薛　军，董龙龙，赵建伟

(德州学院 机电工程学院，山东 德州 253023)



Kinect在PC端的应用与研究*

杨帆，薛军，董龙龙，赵建伟

(德州学院 机电工程学院，山东 德州 253023)

Kinect是由微软开发，应用于Xbox 360游戏主机的周边设备。在游戏中可以实现对人体动作的跟踪与识别。而在电脑端则一直难以实现准确的人体动作识别。本文通过微软Kinect摄像头和电脑的结合，加以软件对景深图像的分析以及骨骼跟踪算法的计算，在PC端实现对人体动作的识别，来达到更高层次的人机交互。

kinect；动作识别；骨骼跟踪；人机交互

近年来人机交互是计算机科学发展的一个重要的领域，怎样实现人与计算机的更高层次的交流与沟通一直是发展的重点。本文以传统PC机为例通过kinect作为新的人机交互的方式，通过新型景深成像原理以及通过深度图像区域特征值获得骨骼坐标信息方法。然后由Kinect实现了景深图像的采集和骨骼跟踪算法的实现，并完成了一套控制系统。

1　设计方案

将Kinect与电脑相连接，借助微软官方的SDK采集到人体的动作的基本数据流信息，然后上位机通过骨骼识别技术和景深图像处理技术，对人体动作信息进一步的处理，通过对人体手臂不同位置的分析与判断来实现特定动作的识别，当到达特定动作后，触发计算机特定键位信息，来实现对特定键位的替代。而鼠标的移动则是通过对人体手部的特定识别，实现鼠标随着人手部的移动而移动。

1.1软件开发环境

可以使用C#与.NETFramework 4.0来进行开发。SDK主要是针对Windows7设计，内含Kinect电脑端驱动程序以及参考例程。SDK可以使用的语言为C++、C#或VisualBasic语言并搭配Microsoft Visual Studio2010工具。

1.2景深数据处理与应用

Kinect能够产生三维数据，通过这些数据我们能够得到物体距Kinect的距离。Kinect红外传感器能够探测人体以及非人体对象。

本文提供的思路是利用Kinect的感知距离的功能应用在体检上，由于Kinect能够感知距离并在距离的基础上准确的判断出高度，那么在检测人的身高时，只要人站在Kinect的基础的视野范围内，便能够在短时间内准确的得到人体的身高信息，这算是Kinect单单在景深质疑功能上的基本应用。

1.3骨骼跟踪原理

由上一段可知Kinect产生的深度数据只能起到有限作用，要利用Kinect创建更深层次的人机交互，还需要其他数据。这就是骨骼追踪技术，也是人机交互中潜力最大的地方。骨骼追踪技术通过处理深度数据来建立人体各个关节的点，骨骼追踪能够确定人体的各个部分，如哪部分是手，哪部分是头部，哪部分是身体，还能确定他们所在的位置。在Kinect里面，是通过20个关节点来表示一个人体的骨架，具体由图1可以看到。当进入Kinect的视野范围的时候，Kinect就可以准确的把20个关节点找到，位置通过(x,y,z)坐标来表示。那么展现在我们面前的便是如图1一样接近完美的人体骨骼数据，在这个骨骼基础上进行数据分析时无疑是直观并且相当方便的。当我们成功地得到这些数据时我们能进行的处理无疑是天马行空般的，在这个基础上进行的人机交互也必然是最有潜力的。那么我们便可以实现上文中说的控制特别键位的目的，比如当我们的左手保持水平，右手高举时我们便可以通过在z轴上数据比较相当简单地实现一个条件的触发，也就自然的实现了控制特别键位这一功能。而通过手部控制鼠标的移动也是同样的方法，只是在跟踪手部数据的同时通过比例的放大或者缩小体现在鼠标的移动上。

图1　识别骨骼点示意图

2　应用前景

通过Kinect在电脑端实现高效准确的人体识别，使人机交互技术智能系统的开发更加便利。 随着生活质量的提高以及智能家居的发展，人们对人机交互的要求越来越高，而这种全新的人机交互方式，实现了人和计算机之间的无缝连接，最大限度地缩小了人类和计算机系统对任务的认知模式和理解方式之间的差异，而Kinect的应用使我们有了更好的人机交互体验。这种交互界面更具智能化和人性化，而使用的动作识别和语音识别，使人和计算机系统以更加舒服、更加自然、更加有效率的方式交互，便于人们接受。

[1]Garcia J,Valencia E S,Zalevsky Z,et al.Range Mapping Using Speckle Decorrelation[P].US.2007216894.

[2]贾永红.数字图像处理[M].武汉：武汉大学出版社,2003.

[3]Marr D,Hildreth E.Theory of Edge Detection[J/OL].Proceedings of the Royal.www.cs.ubc.ca/2013-10-03.

[4]吴国斌.Kinect人机交互开发实践[M].北京： 人民邮电出版社，2012.

The Application and Research on Kinect in Computer End

Yang Fan, Xue Jun, Dong Longlong, Zhao Jianwei

(MechanicalandElectricalEngineering,DezhouUniversity,DezhouShandong253023,China)

Kinect is developed by Microsoft, and applied to the Xbox 360 console peripheral devices which can be implemented in host game for human motion tracking and identification, but in computer terminal, it is difficult to achieve the accurate human motion recognition. In this paper, through the combination of Microsoft camera and computer, then adding the depth of field image analysis and calculation of the skeletal tracking algorithm with software, the PC realizes the recognition of human actions to achieve a higher level of human-computer interaction.

device; gesture recognition; skeletal tracking; the human-computer interaction

2016-03-26

国家级大学生创新创业训练计划项目(201510448053)

杨帆(1995- )，男，山东泰安人，本科在校，研究方向：机械电子。

1674- 4578(2016)04- 0079- 02

TP 391.41

A