基于Kinect手势识别技术的数字沙盘开发应用研究

李 昕 徐芳棋（中国美术学院，浙江 杭州 310012）

从2010年微软正式发布Kinect v1到2019年4月更新至Kinect Azure，九年期间，从Kinect v1仅能对肢体识别20个关节点，到将手势识别技术的精确度提高至25个关节点（包括手指和指尖关节），其硬件的升级，大幅提升了对颜色、深度、人物姿势、检测直径、角度的精确度，其中对手部动作识别的感应精确度和空间范围的宽容度有了显著提升。在交互展示领域，三维数字沙盘因其以展示内容广、设计手法精湛、展示手段先进、科技含量高等特点，受观众青睐，但Kinect手势识别技术在三维数字沙盘领域内至今仍未得到广泛应用。

一、Kinect手势交互信息处理技术的特点

1.即时体验

在当代电子技术媒介的影响下，即时体验成为普遍的审美需求，尤其在展览、游戏体验中，即时体验高可以说是用户和开发者最重要的需求。在互联网时代下，线上的过于虚拟化往往使得体验者无法获得真实、即时的体验，而线下体验则需要大量人力物力财力，成本较高。

图1 Minimaforms “宠物动物园”展览

尤其在手势交互中，电脑程序捕捉精细数据时运算量大，往往会导致无法即时体验，甚至时常有延时现象产生。为了解决这个问题，Leap motion公司于2013年发布了Leap motion，但Leap motion只能关注在手势识别部分，开发力度不大，无法做到全身的肢体识别。但开发不久后，新上市的Kinect 2不仅解决了这个问题，其大量的程序库不仅可以调用几乎所有的手势，更可以搭载不同的体验设备，比Leap motion更开源。Kinect的即时体验主要由于其承载数据量少，有丰富的数据资源，可以快速调用其他输出程序。

例如，伦敦建筑工作室Minimaforms推出的“宠物动物园”展览，参观的游客可以直接进入该动物农场，不同的是该动物园没有动物，都是有人造触角的机器人。且每个机器人都配有Kinect感应器，根据游客的动作和态度会实时做出相应的动作。其内在原理正是Kinect感应器感应到了人体手部的范围和姿势，然后转化成相应的电子信号传输给机械部分，从而形成实时的互动，像真的“动物”一样。

2.消解界“面”技术研发与设备运用的衔接

在目前众多交互媒介中，手势交互被应用于最多的就是界面交互，而界面交互中最常见的是智能移动终端的手势交互。智能移动终端最初的手势交互代替了鼠标的点击，随着手势交互的迅速发展，智能移动终端的手势交互早已不局限于起初的“点击”按钮，滑动、下拉、捏合甚至多点触控等手势极大地丰富了手机手势的多样化需求。但现如今，界面交互已经远不能满足人们的需要，且界面交互技术研发过程复杂，为了使界面屏幕变轻便，各大智能移动终端的厂商不断研发更小的芯片和更薄的屏幕，耗时耗力，十分复杂。

图2 交互式灯光装置New Angle

人机交互越过屏幕触碰向非接触式的手势识别方向大踏步发展，极富图像化和具备行动性的手势操作将会越来越与人们的生活相关。Kinect不需交互中间这层“隔膜”，其手势信息交互处理技术不但可以识别用户的手势动作、运动姿势以及轨迹状态，并能将识别信息及时转化为指令信息，将交互体验二维空间扩展到三维空间，消解了界“面”技术研发与设备运用的衔接，用户不需要任何中间设备的过渡即能享受交互的乐趣。

例如，上海设计工作室的超自然交互式灯光装置New Angle，该装置六角形物体具有结晶表面，会形成多种颜色。其主题旨在装置能与观众建立实时互动的视觉对话，有时模仿并反映前方人物动作，参观者可以通过肢体操控其LED的亮暗，无须通过界面等方式进行间接操控。其操作原理也正是感应到了参观者的手势后，相应对应内部的机械，当人手势识别到后，即感应器转化为电信号传达给主控板，之后导出相应信号点亮互动灯。

3.提升受众参与度

传统展览展示中，受众以接收方为主，展览品与受众之间基本没有互动连接关系，参观者需要借助展览中所呈现出的文字、视频，在短时间迅速了解展品内容，这一过程十分枯味乏躁。其次，由于展品和参观者距离过大，往往受众参与度会降低。近两年来，随着媒体技术的发展，展览中多会运用一些触控屏幕交互的方式，虽然提升了部分参与度，但还是以参与者被动接受为主，较为枯燥。

图3 TeamLab Universe of Water Particles on a Rock where People Gather

但如果使用了Kinect手势交互，交互简单易懂却效果震撼，参与者必须带动自己的肢体动作才能够看到展览效果，参与者的“被动接受”变成了“主动探索”，这种心理上的迅速转变能极大地提高受众参与度，在短时间内不必消化理解所呈现的文字信息，而直接转化为视觉信息。如日本TeamLab在东京的展览中利用Kinect手势技术做的Universe of Water Particles on a Rock where People Gather这件作品，当人站在作品上，当参观者触摸这件作品时，参与者会变为能够改变水流流动的岩石，即观赏者自身变成了障碍物，可改变水流的流动方向，该作品受到观赏者的行为举动不断持续变化，效果都是即时产生的，故参与者往往为了眼前一瞬间的画面，需要极大地提高专注度，因为错过就无法看到第二次，这也说明在手的互动参与中，使用Kinect手势交互可以大大提高受众参与度。

4.实现瓶颈

Kinect手势交互技术虽然优点众多，却只有少数大型展览才会使用。这一技术实现的瓶颈主要有两点。其一，在于科技技术和设计兼存的设计师极为短缺。尤其在国内，设计与技术脱节明显，人才赶不上市场需要的变化。其二，由于Kinect被收购，现在市场上不再售卖Kinect设备（2019年4月更新的Kinect Azure未开售），原先两版的开源硬件停售，导致市场上使用的人越来越少。

二、Kinect手势交互信息处理技术在数字沙盘设计中的实践运用

1. 数字沙盘设计说明

本实践作品《人类世——生态地理数据可视化交互展示系统设计》。我们着重分析新陈代谢派建筑在缓解人类世进程中将可起到的积极作用。科技手段以艺术的形式来表达，旨在引起大众对于人类世的关注以及提高对新陈代谢派建筑的接受度。

在表达不同阶级时，本作品以数字沙盘的形式呈现。根据不同的手势会对应不同的图案。数字沙盘内的方块代表着不同的社会区域，而每个区域对应着不同的阶层社会。一个区域的壮大是指该区域的人口数量多，产生的经济效应累计高。且每个区域是根据观众的实时变化而不断在变化着的。颜色红、亮，代表着该区域的社会压力增加。社会压力是指人口背负的精神压力，来源于金钱、地位等因素。相对应地，社会压力会带来权力压力，在越高峰的地方权力带来的压力会更大。颜色蓝、暗，则代表着社会压力降低，但也同样带来淘汰的风险。层数高、流速快是指该地区流动人口高。如果一个地区的流速高代表着它频繁地在调整使用，活跃性高。而一个地区低凹代表着该地区活跃度低，面临被淘汰的风险。该装置意在以上帝的视觉操控着人类的命运，在这些交互中，其实已经手中掌握着成千上万甚至上亿的“人类世”末期的人的命运和归宿。

2.方案设计与媒介实验

图4 虚拟计算的实验过程

选择虚拟计算手段进行实验。在试验方案中，依然以Kinect手势识别作为主信息输入，但换Processing作为搭建基础的虚拟输出平台，通过平台的虚拟计算后，输出实时投影进行手势交互，投影范围在数字沙盘上。在输出中，运用了索尼EX291投影设备3D投影在数字沙盘上，将投影覆盖在数字沙盘上，从而达到预期展览效果。

3.交互实现

在交互实现阶段，因最新款Kinect Azure还未进行发售，我们分别使用Kinect v1和Kinect v2设备测试，并进行了实验对比。实验对比发现，Kinect v2的精确度有了明显上升，能很大地提高设备运算流畅度和观众互动率，故选择Kinect v2设备作为展示设备。

Kinect开发环境下，对手势识别有一些基础样本库，通过在开源网站的截取，即可获得手势识别的基础程序。在交互实现中，为避免过多的程序切换带来的运算，我们加载了Processing中的开源库Open Kinect for Processing 1.0，加载后可以在Processing中直接调取Kinect数据。由于开源的特性，此开源库中有很多已经编好的手势数据库，例如“挥手”，调用好所需的手势程序后，即可对接Processing。Kinect在手势识别后，将手势识别转化成为电信号到Processing中，且实时显示投影设备。

三维数字沙盘中，通过多次3D打印、ABS 材料制作、硅胶翻模、精雕切割亚克力，最终选取材料为内部圆形磁铁外部塑料材质的磁力方块，每个方块的长宽高均为2.5cm。磁力方块的磁力拼搭更生动有趣，观众体验性强。为校正Kinect和投影仪的距离误差，我们把它们悬空至2.05m左右，通过对比屏幕的显示范围和数字沙盘的实际大小，逐渐校正屏幕误差。最后根据方案的改动，逐步编写Processing程序，最终实现设计中的数字沙盘部分。

图5 “人类世”数字沙盘

三、结论与展望

根据理论论证和多次实验证明，随着Kinect手势识别技术的进步和其版本更迭精准度的提高，尤其在较小的展示空间内，能实现识别更复杂且精密的手势。在信息数据的加载量和运算量方面，相较于触屏交互来说，手势识别的加载运算量比触屏交互负载更轻，能够在较小的展示空间内获得更流畅的交互体验。三维数字沙盘增加了Kinect手势识别技术后，使展示互动效果多维化。

在展示成本方面，随着硬件成本的大幅降低，以及软件开发程序的不断完善，展览的展示成本能大大缩减，能带来更客观的效益。在展示需求方面，Kinect手势识别技术同时支持虚拟计算和物理计算，能满足不同展览需求。近期，2019年4月更新的Kinect Azure更是将多款业界领先的人工智能传感器集于一身，虽然至今还未发售，但其硬件配置已给人无限幻想。电子沙盘有展示内容广、设计新颖、展示手段先进、科技含量高等特点。多媒体触控沙盘将静态模型与多媒体触摸屏互动的结合起来[4]。当融合了Kinect的技术后，在原有基础上增加了互动效果。基于本文中Kinect手势识别技术在数字沙盘应用的优势，可以预测将来其将在数字媒体展示领域有更广阔的发展推广的意义，并鼓励倡导同行业人员大力发展此应用。