基于Kinect控制技术的旋转阵列LED裸眼3D显示系统概述*

罗琳元 农旭安 尤文圣 陈文程

广东理工学院 广东 肇庆 526100

引言

“模型展示”是科技馆、博物馆等场所展示的重要内容之一。目前在投影显示和手势交互过程中，市场上大多采用3D动画与2D图片，通过鼠标调整x、y、z轴的坐标来实现动画及图片的控制。该方法在图像显示上缺乏真实与立体感，在控制上缺乏自然的人机交互，且在传统的图像显示可能会存在图像不清晰、图像显示不流畅、卡顿等问题；存在技术不成熟，成本较为昂贵，操作不便等问题。但近年来，裸眼3D显示已广泛存在于新兴的数字博物馆、文物复原系统、科技厅、娱乐厅、主题乐园等。裸眼3D技术在当代的兴起，使得其技术水平也在逐步提高，在市面上出现了各式各样裸眼3D的运用，给使用者带来了视觉上的冲击与震撼。且该技术具有成本低、成像真实立体的特点，非常适合于三维模型展示。

Kinect是微软公司开放的一款人体控制设备。该设备可以快速捕捉与识别人体，感应手掌和手指详细的运动坐标轨迹的数据信息，分析人体的肢体动作，从而满足使用者的交互需求、理解和表达人体所作出的肢体动作。Kinect也是通过骨骼点数据分析，从而捕捉和识别人体的肢体动作，完成一系列的人机交互操作。将其结合旋转阵列LED裸眼3D显示技术，能让观众真实感受到物体就在手中，进行操控随意化的三维模型，投影展示与操控效果更加真实、简便。

Unity 3D是能够实现虚拟引擎开发的软件，它对场景具有呈现功能和高效的渲染能力且性能强大。与3Dsmax、Maya等软件相比，Unity 3D兼容性更强，能够有效支持Kinect控制设备的运行，且方便后续的系统调整和更改程序。

在此基础上，本文提出了一种基于Kinect控制技术的旋转阵列LED裸眼3D显示系统，解决了科技馆、博物馆等场所三维模型展示真实感与互动性的问题，以及外界环境因素也考虑到设计中，能够让人机交互更加顺利。旋转阵列LED显示屏，在视差原理下通过快速旋转LED风扇阵列，从而在阵列中形成一个真实的、立体的三维模型，是利用旋转阵列LED显示屏风扇叶片中500像素点的LED发光条，在以一端为圆心进行高速旋转根据像素点的大小，能够清晰地把三维模型投影呈现到屏幕中；计算机通过程序控制着这些LED发光条，进行发光和对图像信息的显示和变换。Kinect对人体手势运动轨迹进行捕捉与追踪，实现对投影出的模型进行变换大小、旋转等互动操作。该系统具有便捷性、互动性，有利于推广，对Kinect的运用起到了重要的推动作用[1]。

1 系统硬件设计

系统的硬件主要包括机柜、设置在机柜内的计算机、Kinect体感控制器、旋转阵列LED显示屏。所述机柜包括置于地面上的固定板、设于固定板上的框架、用于安装旋转阵列LED显示屏的固定支架。所述旋转阵列LED显示屏包括旋转风扇、电机和安装于风扇叶片上的LED。旋转阵列LED显示屏通过固定支架安装在框架中，Kinect体感控制器安装在机柜的前面且与计算机电性相连，如图1所示。旋转阵列LED显示屏通过计算机处理将三维模型投影成像区域。

图1 硬件设计图

旋转阵列LED显示屏：显示三维模型的影像。由长方体的边框和10组风扇组合而成，成直立摆放。为了保证成像的呈现效果，可以不受边框的大小限制展示出三维模型，三维模型是在距离显示屏10cm的空间进行呈现，立体感和真实感强[2]。

旋转LED风扇：显示投影的片源。风扇由两根500像素点LED发光条组合而成，在每组风扇中就有两条LED发光条能够让投影出的三维模型清晰，通过旋转进行三维模型的成像，再通过计算机程序控制着LED发光条的发光，以及对图像信息的加载、显示与变化，从而会有更好的立体感和视觉效果。

Kinect体感控制器：Kinect负责追踪手掌和手指，实现体感交互控制。Kinect是一种三维立体视觉体感控制，即利用红外摄像头和深度摄像头从不同视觉角度捕捉图像，可有效减少不同环境背景和照明变化以及肤色上差异等对识别造成的误差。利用红外摄像头追踪手掌和手指，使得在实际手势运动操作中更加容易识别与重构手的运动信息。将手放置于距离Kinect体感控制器25～500cm前方，进行手势操作；即距离设备越近，手势交互的空间范围将越宽；且不会受到外界环境的影响导致交互失败，确保了能够精准地对投影出的三维模型进行交互。

计算机：计算机与Kinect电性相连，对Kinect捕捉和追踪的数据进行处理。可以选用装有最新的Win7系统等甚至更高的系统能够有效支持Kinect完成高图形处理的计算机。Kinect通过算法程序来对手势进行交互的重要步骤，同时也需要对一定量的处理器和内存储量资源进行运行[3]。

2 系统软件设计

2.1 系统软件架构

系统的主要功能是实现三维模型的人机交互与立体显示，因此在设计上需要实现这两个功能。一方面，手势动作可以从不同角度观看三维模型，即通过Kinect传感器对手势运动轨迹进行捕捉和追踪，控制立体虚拟场景中三维模型的旋转、切换和变换大小等交互控制；另一方面，手势操作模型切换是指通过手势动作进行控制加载虚拟场景中的各种三维模型。这需要定义关键类的手势信息，才能精准捕捉到手势轨迹动作实现上述的手势动作操作。

系统为每个三维模型设置了资源路径、资源位置、模型大小切换等txt数据文件，使运行时能够准确读取和加载出模型。在运行系统时，Revolving Gamera首先寻找到Game Object“Kinectdata Manager”和“Kinectdata Manager.cs”，使得脚本实现Kinect初始化，检测手指和手掌的动作轨迹数据，根据手势动作将获取的信息转换成Unity 3D场景中对应的数据，并通过Kinect传感器对投影显示出的三维模型进行旋转、切换模型场景等操作[4]。

2.2 Kinect到Unity环境的坐标变换

当运行Kinect时，以设备中心为坐标原点的右边将成为坐标系，但Unity3D场景则基于左手坐标系。因此，需要将kinect人机交互的右手坐标系转换为Unity 3D环境中的左手坐标系。在将Kinect捕捉得到的手势数据位置信息坐标(x,y,z)转换为Unity 3D场景中的数据坐标时，应该先转换z轴。如果Unity 3D中需要使用负坐标，则应设置KinectY方向的移动数据。同时Kinect所捕捉的手势运动数据单位是“毫米”，而Unity 3D则是“米”，所以需要按照比例设置kinect与Unity 3D单位变换关系，使Kinect所检测到1mm的手势运动数据在Unity 3D中都会相应地变换为1sm。

2.3 手势交互控制的实现

Kinect体感控制器在运行后会向识别范围内捕捉并检测手掌、手指的轨迹信息或工具的运动信息数据。所检测到的数据信息标定为一个框架，它包含手掌、手指和工具等属性数据。当Kinect捕捉和追踪到手势运动时，设备自动将该手掌或者手指标记一个ID。只要手掌或手指不离开Kinect的识别范围，ID标记保持不变。而离开识别范围后，Kinect捕捉不到手势运动数据时会默认为丢失，之后出现的新的手掌或手指将被标记一个新的ID，在不同的使用者使用中会根据系统数据，分析手掌和手指并标记ID，且在下一个使用者使用时会对上一位使用者标记的ID进行删除，以防止存储数据过多对计算机内存的过量使用，导致投影出的三维模型出现卡顿等情况。为了识别被绑定后手势的数据信息、位置信息和手势运动方法，Kinect提供手势数据的对象包含了这些重要的数据特征[5]。

3 系统的实现与运行

在此基础上，手势交互系统实现的关键在于三维场景的设置和驱动，其主要在Unity 3D引擎中实现。KinectDeveloperKit是专门为Unity 3D开发者提供的插件，Unity Asset是可以导入文件夹中的数据，实现Unity 3D对Kinect数据的调用。通过3Dsmax或Rhino软件进行三维建模，形成三维模型为FBX的通用格式文件，再将模型导入Unity 3D中搭建3D场景，最后调节和设置场景的灯光和材质，调整相机的位置可以实现不同角度3D场景的展示。通过使用Unity 3D将自带的Mono Develop程序进行脚本编程的编写，将其绑定到相应的Game Object，从而进行对三维场景的程序驱动。编辑系统完成后，可以通过Unity 3D发布到Windows平台，并连接裸眼3D显示系统进行人机交互，再通过旋转阵列LED显示屏，风扇转动形成的三维模型，根据使用者的肢体动作对其进行人机交互，实现对三维模型的放大、缩小、切换模型等功能[6]。

4 结束语

在传统的市面上售卖的Kinect传感控制器中，可能会存在投影出的三维模型模糊不清晰等情况，且操作复杂，甚至可能会受到周围环境的影响导致没办法正常运作。而文中设计的系统是利用Kinect体感控制技术结合旋转阵列LED裸眼3D显示成像技术，在Unity 3D引擎的开发下设计了三维模型与手势交互的裸眼3D显示终端；设计并构建了系统的硬件结构和软件结构，实现了系统坐标变换、手势交互控制等关键技术。与传统的基于平面和鼠标的显示控制模式相比，该系统具有更真实的立体感，更简单的手势操作，大大提高了展览中模型展示的效果，也是对Kinect传感控制器能够近距离进行手势交互技术和手捕捉追踪技术的进一步探索和运用，同时展现了Kinect传感控制器的强大，更好地呈现三维模型投影能精准地与使用者实施交互，并对未来科技的发展以及在运用中更好地展示Kinect传感控制器的便利之处。