面向LED显示屏的手势互动系统的研究与实现

张伟

摘要：随着显示技术的迅猛发展，传统的LED显示方式被应用于多种领域，它们可以有超大画面的视频显示、高质量的显示效果以及内容丰富的图像信息，为了能够调动参观者的极大兴趣，采用人机互动的LED显示系统成为今后发展的方向和潮流，本文提出了面向LED显示屏的手势互动系统的相关研究和实现过程，即是以视频处理计算机、摄像头、视频采集卡等硬件为基础，开发出一套具有画面采集、手势判断、画面实时渲染等功能的互动系统，该系统根据用户不同的手势做出不同的响应，实现计算机画面与用户的互动。

关键词：人机互动 视觉识别 手势识别 中值算法 实时渲染

一、概述

处于信息技术时代，网络多媒体技术的普遍应用，使人们提高了视觉感受要求。目前的大屏幕多媒体显示系统主要采用的显示技术为大屏幕投影技术和LED显示技术，LED显示技术在亮度、对比度、色彩饱和度等方面远超投影技术，仅仅显示广告、直播、公告等内容已不能满足用户的需求，因此为了能够调动参观者的极大兴趣，采用人机互动的LED展示系统成为今后发展的方向和潮流，本文提出的面向LED显示屏的手势互动系统，是一套具有软件和硬件的完整的综合应用平台系统，应采用当今世界最高端的设备和动作捕捉算法;系统应提供一种不同寻常并激动人心的动画和特效交相辉映的效果系统，适用于多种公共场合，特别是商业中心、广场、展厅等场合使用。

二、系统整体设计

1、系统介绍

面向LED显示屏的手势互动系统是一个专用型互动平台系统。该系统具备特有的手势捕捉及运动趋势判断功能，该系统是用户和LED大屏上的影像进行真实互动的一套系统，使用户融入场景中，用户的手势动作通过相关采集设备，配合相关的场景和特效达到互动和娱乐的效果。同时，相关场景和特效是可以后台切换的，可根据实际情况提供具有创意内容的企业用户品牌广告和互动展示效果。

系统运行流程包含系统开始、画面采集、图像处理、手势判断、动画实时渲染转换、画面显示、系统结束等步骤，如图1。

该系统包含了动作捕捉模块、场景切换模块、数据处理模块、特效展示模块。系统开发及实施过程中，着重研究动作捕捉模块，该模块在软件中所占比重相当大并非常重要，直接关系到互动画面的连续性和有效性。如图2。

动作捕捉模块：主要是通过动作捕捉器捕捉用户的动作的过程，要求连续、平滑等。

数据处理模块：主要是对采集的动作进行相应算法的解析和封装。

特效展示模块：是针对用户的不同的动作展示不同的效果。

场景切换模块：支持后台实时切换用户喜欢的场景。

2、技术要求

2.1功能指标

互动模式：单人捕捉，帧率60 FPS。 检测算法：自由设置平滑及降噪算法，识别准确无误点，可自由设置灵敏度以适应多数硬件环境。

效果模块：每个效果可独立设置播放时间，提供控制接口，可独立对效果点播。

互动内容分辨率：兼容1920*1080及以下的常用分辨率。

SDK接口：C/C++，.NET，Direct3D，Unity3D， Flash 的 ActionScript 2 /ActionScript 3。

模板界面：可方便快捷的更換互动元素。

显示支持：支持分辨率支持下的LED大屏幕。

动作捕捉设备安装：系统可设置图像水平、垂直翻转，自由设置捉捕范围，使其正好匹配投影画面。

2.2性能指标 响应时间：<15毫秒的光量校正，互动校准无漂移。

摄像头启动延时：0.1S

图像采集延时：0.1S

图像传输延时：0.1S

图像显示延时：IS

3、总体研究思路

面向LED显示屏的手势互动系统主要实现用户和LED大屏之间的智能交互。软件使用动作捕捉模块对采集到的人体动作参数进行运算，把大屏前的人体作为一个区位目标，进行跟踪识别。采集的动作信号提交给数据处理模块对动作信号进行精密的运算，动作捕捉算法目前采用较多的为图像采集，图像处理的算法，我们采用人体行对偏移所得的动作参数进行动作捕捉运算。人体具有一定的宽度和高度，如果作为点目标具有很大的误差，因此人体高度及宽度的拟合算法也是一个关键算法。动作捕捉器上有一个功能强大的感觉阵列，能从事捕捉图片到识别颜色等多项工作。经过前期项目经验的积累，对大屏前的人体动作和位置等信息数据以彩色影像、3D深度影像等形式进行建模分析，可以稳定地准确计算出人体动作，通过四边形近似算法，考虑人体宽度，取人体中心部分作为点目标进行处理。经过处理后的数据反馈给特效展示模块进行特效的显示。另外，用户可通过软件选择不同的场景，使用更多特效。

三、关键技术介绍

动作捕捉技术：从运动学的角度模拟动作捕捉后的参数，并优化了运动学标记算法支持补偿被遮挡的物体，捕捉精度高达1cm，另外我们优化了动作捕捉器的可控范围，使得捕捉的距离更远，范围更广，实时数据的处理延迟低于lOOms。

延迟平滑及噪声处理：普通的动作捕捉摄像设备精度较低，导致模糊、拖影的现象出现，我们选用了高精度的设备解决模糊、拖影问题。另一方面，在软件相关算法开发的时候使用了毫秒级的位移过渡算法进一步解决平滑的问题。在噪声处理方面，由于系统在使用中会有多种噪声的干扰，比如被捕捉人周围有很多物品和其他人，就会对捕捉结果造成影响，这就需要我们采用人像定位技术，把人的每个部位在系统中进行识别，让系统定位住被捕捉人，消除外界不必要干扰，让系统顺利运行。

手势识别算法：通过摄像采集设备捕捉每秒若干帧画面，将画面分割成有限的网格（目前支持8、16、32、64四种网格），分析相邻画面的差异，识别出差异的网格，通过网格判断出运动的目标（目前设置为最多2个目标），将目标运动的轨迹（坐标序列）发送到FLASH动画，产生手势响应。

中值计算算法：基于手势识别算法，在网格中需确定手势移动在平面目标下的基础位置，采用模糊的中值计算的方法可定位手势移动的起始位置及结束位置，为后续计算运动轨迹打下基础。运算效果如图3所示，有色方块代表手势的模糊位置，圈代表运算后的相对位置。

本文对面向LED显示屏的手势互动系统进行了基本的介绍。针对系统中使用到的关键技术进行了介绍。在系统研究与开发中，提出了动作捕捉技术、动作延迟平滑及噪声处理、手势识别算法、中值计算算法。本系统具有先进性、可靠性、稳定性等特点，互动方式上方便易用、直观、新颖。系统已广泛应用于各类项目中，得到用户的一致好评。