基于数据手套的动态手势识别嵌入式平台

2016-09-22吴焕斌张文山

中国科技信息 2016年11期

吴焕斌张文山俞政

基于数据手套的动态手势识别嵌入式平台

吴焕斌张文山俞政

本文论述了嵌入式环境下的动态手势平台搭建方法以及基于数据手套的动态手势识别方案框架，分析了需要采用的关键技术。

近年来，虚拟现实领域发展迅速，虚拟现实领域的发展为现代社会提供了全新的人机交互方式，用户可以利用人类本能的方式与计算机信息打交道。正是由于虚拟现实技术的发展，基于鼠标、键盘的交互工具和传统的交互界面已不能适应在虚拟环境中进行交互的需要，而手势、立体显示等更自然的交互通道极大地提高了人机交互的自然性和高效性，逐渐成为国内外研究的热点。手势识别技术是虚拟现实领域中十分重要的研究方向，目前在手势识别软件的研究上有基于视觉的手势识别和数据手套手势识别软件，但是都是基于通用电脑来实现，其设备庞大，应用不方便。当前手势识别技术在嵌入式软件的应用仅停留在动作感知技术，主要应用是在手机上的动作感知，用户通过挥动、摇动、滚动手机来实现浏览图片、播放音乐和进行游戏操作，无法真正实现手部动作的手势识别。

本文提出了一种面向动态手势识别数据手套产品嵌入式系统，通过对数据手套的扩展应用、运行于嵌入式系统以实现动态手势识别，可实时的识别手部动作并通过图像、文字或声音的方式展示出来，应用于嵌入式系统中。本项目的研究和应用可有力促进动态手势识别技术在嵌入式系统上的应用和发展，成果可以广泛应用于人机交互科普展项设计、聋哑人群与正常人之间的交流等场合。

系统架构方案

本文提出了一种基于数据手套的动态手势识别嵌入式平台，该平台由传感器、ZigBee终端节点、ZigBee协调器、室内嵌入式平台组成室内局域网络，并通过智能网关、路由器将初步采集处理的数据经由互联网发送到云端服务器进行融合分析处理，远端嵌入式平台进行也可随时接收数据。具体的系统构图如图1所示。

如系统结构图所示，数据手套各个节点的数据通过控制器与zigbee节点进行数据传输。智能网关连接ZigBee协调器和室内嵌入式平台，采用ENC28J60以太网模块编程实现，用于将ZigBee局域网中的数据转化成可以在以太网传输。通过路由器的转发，可以将传感器的数据传输至云端的服务器。云端服务器相比较于本地服务器而言，维护成本较低，并且只要用户可以访问互联网，就能通过Android控制终端在任何地点访问获取云服务器中的数据。云端服务器采用阿里云的云服务器架构，并对其进行二次开发。用于接收传感器数据，并进行处理分析。室内和远端的嵌入式平台可以采用Android平台，室内直接采集智能网关中的数据，远端的接收云端服务器传输的数据，用户可以在上面查看数据手套的数据模型。

平台搭建关键技术

本文提出的嵌入式平台主要采用基于linux内核的Android平台，搭建该平台的关键技术如下。

（1）Android嵌入式环境下的Java虚拟机（Dalvik）性能优化技术

Java虚拟机（Dalvik）由于对平台无关性的要求，采用执行字节码（bytecode）的方式一般说来会导致其执行速度会稍慢。从最底层对虚拟机的实现进行深入研究，使JVM可基于应用程序本身的运行条件和底层环境自动调整它自己的行为，从而交付贯穿应用程序生存期的最佳性能、可伸缩性和可靠性。其中自适应优化的技术难点是：如何建立执行方式的自适应调度模型，通过监视代理机制，根据代码的执行情况，智能动态地选择按解释技术或本地代码执行方式。

（2）Android嵌入式环境下3D动态手势还原虚拟技术

图1　系统架构图

Android嵌入式环境下3D动态手势还原虚拟技术就是建立Android嵌入式环境下的OpenGL ES 3D游戏引擎，利用android.opengl的API来实现。通过OpenGL 的 API ， Android 能够提供高性能的 3D 图像。OpenGL 的 EGL 接口，是 OpenGL ES 和底层 Native平台视窗系统之间的接口。

（3）嵌入式环境3D建模运动控制技术

整个建模技术操作系统平台建立在嵌入式操作系统的基础上，如Android操作系统（内核为Linux操作系统）进行Opengl3维模型，有的嵌入式终端硬件平台直接支持Opengl平台，为3D模型构建好了平台。以高效，快速的开发工具迅速构建高度逼真的3D手部模型为基础，采用科学的数据以及主流的编程语言为结构为手段，搭建以智能嵌入式终端为载体，拥有自主知识产权和专利的手语识别的算法的核心技术产品。