幻影成像装置的自然手势识别系统设计

2020-10-29张蒙蒙杨鹏程

西安工程大学学报 2020年5期

张蒙蒙,代阳,杨鹏程,张敏,肖旭

(西安工程大学机电工程学院,陕西西安710048)

0 引言

幻影成像因其成像逼真、极具立体感、色彩绚丽等优点,被广泛地应用于各个领域。在博物馆的展陈中幻影成像技术的应用,实现了新媒体技术由二维向三维的转变,使公众可以在物理空间感知到虚拟影像的空间尺度。目前博物馆幻影成像平台以播放固定影像这一展示形式为主,公众易感到无趣或乏味。将趣味十足的交互体验应用于幻影成像系统中,能够将博物馆展示艺术拓展到与视觉、触觉以及时间、空间等方面构成的新型艺术,从而多角度、多层面地诠释文化艺术。其中自然、直观和符合认知习惯的人性化交互方式无疑给公众带来较好的交互体验。

目前博物馆中幻影成像装置交互方式主要是基于电容触摸屏的多点触控、鼠标、键盘,以及各种实体按键等。传统的触摸式和按键式的人机交互不仅不自然，而且多人触摸易引起疾病传播[1-2]。手势因其自然直观的特点可以优化人机交互的过程。基于传感器的手势识别,可分为接触式和非接触式[3-4]。接触式的手势识别有基于数据手套的手势识别[5]、基于惯性传感器的手势识别[6]等,非接触式手势识别有基于视觉的手势识别[7-9]、基于红外传感器的手势识别[10]、基于超声波的手势识别[11]和基于电磁信号的手势识别[12-14]。接触式的手势识别方案精度高、稳定性好，但对手部的自然运动有一定的阻碍[15]。博物馆中参观人数众多,使用同一接触式交互设备易引发拥挤且增加疾病传染风险,故接触式手势识别方案不适用于博物馆。非接触式的手势识别以基于视觉的手势识别研究最为广泛，但容易受到光照遮挡、相机放置等环境因素的影响[16]。博物馆中幻影成像装置受限于光学技术,只有在暗室环境中成像色彩绚丽,亮度饱满。基于超声波、电磁信号手势识别技术能够在一定程度上克服环境光照的影响并扩大手势操控的范围,但由于其鲁棒性较弱等问题还有待进一步研究和解决,所以将其应用于实际生活仍有一段距离[17]。

然而，基于红外传感器的手势识别系统因其低成本,受环境光影响小等诸多优点可用于博物馆中大多数幻影成像装置的交互需求。博物馆中大多数幻影成像装置展示的3D展品不仅需要旋转缩放,还需要旋转至合适的角度才能够准确传达展品信息。目前基于红外传感器的手势识别仅能识别出手势方向[18-20],控制模型旋转时,只能实现三维模型绕坐标轴转动至固定角度,无法自由转动,影响公众观览体验。本系统采用红外传感器阵列对手势方向、手势速度数据信息进行采集与处理,实现立体三维模型绕坐标轴自由转动。

1 总体方案设计

幻影成像三维展示系统方案设计如图1所示。鉴于下位机数据处理量小,选用低成本的STM32微处理器作为下位机采集并处理手势特征信息,同时下位机与上位机中选用方便易行、应用广泛的串口通信方式进行数据传输。上位机中选用独立于窗口系统和操作系统、易于移植的OpenGL三维图形库，在VS平台构建三维模型。依据正常人站立高度和观览角度,确定成像四面锥体的高度位置。选择相较于玻璃更为轻便、硬度高的透明亚克力板拼接四面锥体。考虑到自由调节三维影像在四面锥体上的位置,摒弃传统的显示屏投影方式,选用投影仪投射三维影像至四面锥体上,依据佩珀尔幻像原理实现虚拟三维模型的空中显像。

图 1 幻影成像三维展示系统方案设计Fig.1 Design of phantom imaging 3D display system

2 系统设计

2.1 硬件设计

下位机采用意法半导体公司生产的STM32F103ZET6内核芯片作为传感器信号的处理器。 STM32F103具有最高72 MHz的工作频率,内置高达512 K 字节的闪存程序存储器和64 K字节的SRAM,载有2个基本定时器,4个通用定时器和2个高级定时器,能够满足系统下位机要求。

手势识别传感器阵列包括手势方向和手势速度采集模块。在图2中,为增加系统手势识别方向的种类,在传感器阵列中央布置原相科技生产的PAJ7620手势识别传感器。 PAJ7620手势识别传感器,可识别9种手势,能满足系统方案手势识别方向采集模块设计要求。 PAJ7620传感器只能识别手势方向信息,无法提取手势速度信息,为此增加手势速度采集模块,在手势传感器周围以正方形等距排布4组漫反射式红外光电传感器作为手势速度采集模块,根据在手势传感器同侧的2个漫反射式红外光电传感器距离、响应时间差值获取手势速度信息。漫反射式红外光电传感器选用E18-D80NK光电模块,其发射光经过调制后发出,接收头对反射光进行解调输出,可有效避免可见光的干扰。测试障碍物距离可通过尾部的电位器旋钮进行调节。依据三维虚拟模型在四面锥体模型上成像位置高度范围和亮度要求,投影距离应在成像位置高度范围内,投影距离L=fl/φ。式中:f为投影仪镜头焦距,l为投影屏幕对角线尺寸,φ为液晶片尺寸。依据投影仪投影距离公式,光通量为2 700 Lm的索尼VPL-DX220型号投影仪符合系统要求。幻影成像硬件系统接线图如图3所示。

图 2 传感器阵列排布图Fig.2 Sensor array arrangement

图 3 硬件系统接线图Fig.3 Wiring diagram of hardware system

2.2 软件设计

系统在软件设计时尽量保证逻辑的严密性和功能模块之间的协同性,确保系统健壮性。借助于MDK的KEIL5平台编写程序,实现手势识别传感器与漫反射式红外光电传感器数据融合。系统以轮询的方式查验手势方向。以右挥手势为例,手势识别流程如图4所示。

图 4 手势识别判定流程图Fig.4 Flow chart of gesture recognition decision

当PAJ7620传感器检测到右挥手势,则对应的寄存器手势标志会置1,系统读取标志清除对应的中断标志位, PAJ7620传感器右侧的D3-1红外光电传感器触发响应,开启TIM3更新中断,直至右侧的D3-2红外光电传感器触发响应,停止更新中断,取出TIM3内部计数值,通过串口向VS平台输入手势方向和相邻2个光电开关响应时间差值。

为了防止TIM3在计数时产生溢出中断,根据人手挥舞速度和相邻红外光电传感器距离,设置合理的溢出时间。溢出时间为

Tout=(a+1)(p+1)/Tclk

式中：Tout为溢出时间;Tclk为定时器输入时钟频率;a为自动重装载寄存器周期的值;p为预分频值;定时器3的时钟频率为72 MHz。根据ν=L/t,求得手势速度。图像旋转角速度β=kν(k>0),则图像旋转角度X=βt1。其中v为手势速度;L为在手势识别传感器同侧相邻2个红外光电传感器距离;t为获取的同侧相邻2个红外光电传感器被手遮挡的时间差值;k为常数;t1为PC机接收一次串口数据后虚拟三维模型旋转的固定时长。依据手势方向、速度信息实现实时控制虚拟三维模型缩放和绕坐标轴自由转动。

3 结果与分析

为了验证本文设计的自然手势识别系统实时交互的有效性,利用搭建好的硬件和软件平台,对系统进行测试,在上位机建立地球三维模型,控制地球三维模型旋转合适的角度,如图5(a)所示。由于搭建的幻影成像四面锥体表面未覆盖全息膜,导致成像模糊,因此将电脑中虚拟三维模型投影在覆盖有全息膜的小型四面锥体进行成像效果展示,如图5(b)所示。

(a) 手势识别硬件系统

(b) 成像效果展示图 5 交互式幻影成像装置Fig.5 Imaging device of interactive phantom

以手势右挥为例,在手势速度恒定情况下分析手势距离对识别精度的影响。表1是手势右挥在相同手势速度不同距离情况下手势识别结果,从表1可以得出:相同手势速度情况下手势与传感器识别距离为5～20 cm内,识别精度较高；当手势距离超过20 cm, 手势识别距离受限于系统传感器感知距离, 手势识别精度呈现大幅下降。同时针对旋转手势识别情况,进行了100次顺时针旋转手势识别测试,其手势识别精度为85%,手势顺时针旋转时,手绕手腕运动,系统判定不精确,导致识别精度低。