基于智能手机的三维交互技术探究

2014-01-03王象刚

电子测试 2014年8期

王象刚

（东营职业学院，山东东营，257091）

1 智能手机三维交互框架

智能手机，尤其是像苹果，三星等配有高像素摄像头、大尺寸多点触摸屏幕、丰富传感器的手机，给大屏幕交互带来了新的希望.相比于鼠标等传统设备，智能手机具有明显优势。智能手机有着不同于传统交互设备特点：传统交互设备专用性较强，如鼠标的发明是为了用于WIMP 界面交互，而智能手机的主要用途是通讯；鼠标输入通道单一，其移动与按键构成全部输入而智能手机集成了多个输入通道，如摄像头视频输入通道、话筒语音输入通道、惯性传感器运动输入道、触摸屏输入通道等；传统鼠标交互需要支撑面，因此其交互范围受到限制，而智能手机采用无线方式在三维空间中进行交互.通过分析智能手机与大屏幕交互过程中的数据流动。

所示，它采用客户端服务器架构，客户端运行于手机上，服务器端运行于公共大屏幕等后端服务器，客户端用Wi-Fi 或者蓝牙与服务器进行通信客户端按数据流动的方向划分为交互层、应用逻辑层、网络层.交互层监听用户的交互操作，将捕获的触屏输入与传感器输入传递给应用逻辑层.应用逻辑层含触屏输入处理模块、空间姿态解算模块以及消息合成模块.触屏数据输入模块处理交互层发送过来的手指手势信息并将其解释成触屏消息；空间姿态解算模块处理交互层发送过来的传感器原始数据并计算出设备的空间姿态；消息合成模块将屏消息与空间姿态通过定义的交互消息格式合成为交互消息，交由网络层负责发出.服务器端按数据流动的方向划分为网络层、交互映射层、界面层。

2 三维人际交互分类

2.1 基本交互任务

所谓的基本交互任务就是我们平常所使用的漫游技术，或则是系统控制任务，使用者操作技术时三维用户界面的基础，通常也是交互技术的基本组成部分，比如在系统控制技术中必须用到选择技术来判定三维物体，而对于离散点的漫游技术中，同样需要连续的选择多个点组成运动轨迹来实现。

2.2 双手交互技术

所谓的双手交互技术凭借其在行为学上的优势而受到较为广泛的推广，双手交互技术不仅仅能够提高工作效率和网速，还能将用户在日常生活中的技能自然的反映到人机对话中，从而有效的降低用户的学习压力和使用难度，比如虚拟制造就是双手交互技术比较典型的应用。

2.3 多通道交互技术

多通道交互技术时基于人具有多通道感知能力来发明的，为用户提供形象逼真的感官体验是虚拟环境研究的关键，从这个角度来说，虚拟环境就是研究多通道交互技术的最佳环境，比如语音、手势都可以作为输入通道，不难理解，各个通道之间的融合和用户使用意图的敏锐捕捉是多通道交互技术的关键。

2.4 二维设备的交互技术

基于二维设备的三维交互技术可以说是从CAD 领域发展而来的，现阶段主流的CAD 软件都支持鼠标进行二维变化，但是二维设备应用不够灵活，三维界面中的自由度往往需要转化为鼠标的操作序列，这就会降低用户的操作效率和交互自然性，二维设备中最为合适的交互技术就是指点选择。目前的三维交互设备还处于探索阶段，还没有一种比较完善的输入装置能够像二维图形界面一样广泛的流行开来，但是三维设备的发展特别快，目前已经由的三维交互设备主要有立体显示、3D位置跟踪设备等，立体显示设备比如我们日常使用的可移动的显示器等，立体眼镜是一种特殊的眼镜，使用者能够从眼镜上看到显示器上的立体图像，三维的显示器能够根据人眼的区别显示两种图像。

3 基于惯性传感器的姿态解算

对物体空间姿态与位置的研究主要来源于捷联惯导系统，军用系统中借助GPS、全站仪来辅助计算.由于设备的限制，本文只关注设备姿态的计算，而对于位置计算则不做过多探讨.物体的空间姿态解算的经典算法有龙格－库塔法以及卡尔曼滤波.龙格－库塔法通过对陀螺仪的三轴角速度值进行积分，可以得出任一时刻的空间姿态；其缺点在于陀螺仪精度有限，长时间积分会发生误差积累，使计算结果随时间发生漂移.尔曼滤波用加速度计测量值作为观测值去校正前一状态通过陀螺仪积分计算出来的预测值，通过迭代过程预测值被更新并且逼近真实值；其缺点在于在运动比较平稳的情况下其预测效果很好，但是当运动较快等受惯性力情况下，因受加速度计值快速变化的影响，会出现抖动严重以及收敛较慢等情况，并且迭代过程计算量也较大，算法复杂度较高.针对上述问题，本文提出了一种轻量级、实时准确的多传感器融合空间姿态解算算法.由于手机运动过程总是快速运动状态与准静止状态（手机运动速度非常小，接近于静止状态）的相互转换，当手机快速运动时运动幅度较大，加速度计值，因为无法消除重力分量而不可信，在此状态下弃用加速度计值，用四阶龙格－库塔法对陀螺仪数值进行积分求得运动状态下的空间姿态；而当手机在准静止状态时，即三轴加速度模值接近重力加速度g时，加速度计值结合磁力计值用重力分解法解算空间姿态，可达到消除当前姿态漂移误差的目的.整个计算过程是基于四元数运算的，四元数相比于欧拉角来说，可以避免“万向死锁节”，并且相对于旋转矩阵来说，四元数只需4 个数表示可以简化计算过程。整个姿态解算过程步骤如图1：

带有惯性传感器、触摸屏、摄像头智能手机，如目前出现的苹果、安卓系统的手机，它们在具备通讯功能的同时，可以很方便地用于远距离、大幕的交互.本文基于传感器与触屏信息融合的思想，提出2 种交互技术，分别用于二维交互场景与三维交互场景，达到用手机代替传统二维交互设备在这些场景下交互的目的.本文进行了相关应用实例的开发与评估，从实验的结果可以看出，在二维交互应用场景中，手机通过合适的交互映射技术，几乎可以代替传统的鼠标与键盘进行交互；而在三维应用场景中，在交互效率、自然性、易学习性以及用户偏好方面，手机相比于鼠标键盘都有着不可比拟的优越性.开发者若基于智能手机的三维交互框架，能快速地开发出适应用户需求的应用；整个框架可扩展性强，通过添加相应的模块即可用于特定的交互场景.智能手持设备除了具有移动通讯功能外，也是一类具有输入、输出集成的多通道交互设备，在虚拟现实和普适计算等领域具有广泛的应用前景。

4 三维交互映射

三维交互映射是将获取的输入信息映射成三维交互操作的技术三维交互技术可以分为虚拟手（virtual hand）与虚拟射线（virtual pointer）2 种，在“虚拟手”中，用户主要通过“虚拟手”来触摸与拾取物体；而在“虚拟射线”中，用户主要通过指向物体来进行交互.本文中可以获得手机的空间姿态［φ，θ，ψ］，但是手机空间运动的位移与位置由于传感器的限制无法精确计算，而“虚拟射线”中的第九射线技术用指点设备的空间姿态就可以对物体进行控制，所以本文选择用第九射线实现三维交互.经典第九射线通过空间姿态的映射达到对物体3DOF 的控制.具体来说，用ψ 角映射为三维空间x轴上移动物体，θ 角映射为y轴上移动物体，而φ 角映射z轴上旋转物体.本文通过把空间姿态与触屏信息相结合，对第九射线算法进行了改进，在实现了在x，y轴上移动物体以及z轴旋转物体的同时，增加了对物体在z轴上移动以及放大缩小的控制。

图形菜单的转变是三维交互映射中的主要内容，将二维的图形菜单变为三维的，是当下最为受欢迎的系统控制技术，这些菜单的原始功能与桌面环境下的基本相同，通常情况下，二维的菜单具有下拉式、浮动式以及弹出式菜单，将二维的菜单转为三维技术，其中最为关键的就是将菜单选项对准相机，这样的话用户不管向哪看，都可以看到菜单显示，这种三维的菜单最大的优势就是对于交互技术能够灵活的应用，并且便于用户理解和使用，基本上所有的用户都能立刻识别这些菜单的元素。智能手机的空间坐标分布（如图2）：

菜单的位置直接影响着用户对设计结果的接受程度，从这个角度来说，菜单最好是能够便于用户操作。任何操作技术都是由一定的适用范围的，比如医学中的操作技术不能够在城市规划中使用，因此在研究交互技术之前，我们必须要明确交互任务，要根据不同的操作华宁，采用不同的操纵方式，从而实现不同的交互技术应用。

5 结语

三维交互技术将是未来智能手机发展的一个重要方向，我们要基于现有的技术水平，不断的改进和创新三维交互技术与智能手机的结合技术，不断提升智能手机的性能和质量，更好的满足用户的日常需求，进一步丰富智能手机的功能，实现更为广泛的应用和推广。三维交互技术将是未来手机的一个重要的发展方向，因此我们要不断的丰富和完善智能手机的三维交互技术，不断的创新三维交互设备，充分利用二者的优势和长处，彻底的实现优势互补和资源共享。