APP下载

基于手部行为捕捉的人机交互方式

2011-05-10何明霞宁福星

关键词:手部手套鼠标

何明霞,宁福星,李 萌

(天津大学精密测试技术及仪器国家重点实验室,天津 300072)

受主流显示设备和应用软件的限制,传统的人机交互方式是一种限于二维平面内的操作.随着立体视觉、虚拟现实和增强现实技术的出现,用户喜欢以更自然的方式,在更富于想象力的虚拟环境中,与操作对象进行交互作用与相互影响,从而产生“沉浸”于等同真实环境中的感受和体验[1].数据手套是一种能够跟踪使用者灵活多变的手势及其空间方位,使操作者自然而然地将自己的意识传递给计算机[2].国内外对数据手套技术的研究不断得到发展,已有一些数据手套产品出现在军事、制造业和教育等领域.

需要佩戴在手部使用的数据手套本体材料多为价格昂贵的弹性纤维.采用精密传感器实现数据测量,所用传感器决定测量精度和最大采样频率这2项技术指标.数据手套操作与计算机之间采用通信线连接,通讯接口多为 RS232.目前,数据手套产品因价格昂贵而多用于科研[3].

针对上述数据手套的不足,笔者开发了一种采用普通视频摄像头作为传感器,在操作者手背部和指端粘贴特定标记,实现非接触式获取手部三维信息的新型人机交互技术.摆脱了手套与通信线的束缚,提高了操作者手部的舒适度和自由度.整个系统简单、成本低,适合民用商业化.

1 手部标记点捕捉原理

根据针孔成像模型,建立标记坐标系 Omxmymzm、摄像机坐标系 Oc-xcyczc和摄像机理想屏幕坐标系Ou-xuyu,坐标系之间的相互关系如图1所示.手部标记点在标记坐标系和摄像机坐标系中的坐标分别为(xm,ym,zm)和(xc,yc,zc).标记坐标系与摄像机坐标系之间的变换关系[4]为

图1 标记坐标系和摄像机坐标系间的关系Fig.1 Model of coordinate system

式中:V3×3为正交单位旋转矩阵;W为平移向量;Tcm为转换矩阵.由图 1及透视投影基本原理可知,标记坐标系中某点(xm,ym,zm)与其在理想屏幕坐标系中的投影(xu,yu)之间的关系为

其中λ为比例因子,透视投影矩阵 C为摄像头内部参数,通过摄像机标定获得.矩阵 Tcm为三维待求变换矩阵,包含3个旋转分量和1个平移分量.当尺寸已知的黑色正方形标记投影成像之后,可以得到标记的一组平行边在屏幕坐标系中投影方程为

利用关系式(2),将式(3)中的 xu和 yu分别用 xc和 yc代替,可以得到

方程组(4)中 2个投影方程的单位矢量分别用n1和 n2表示,则正方形边框的一组平行边的方向矢量可表示为二者的外积n1×n2.假设正方形2组平行边的方向矢量分别为u1和u2,理论上u1和u2应相互垂直.由于成像畸变的影响,u1和 u2并非绝对垂直.为了消除不垂直带来的影响,采用 v1和 v2代替u1和 u2.垂直于 v1和 v2的单位方向矢量记做 v3,转换矩阵Tcm中的旋转矩阵表示为[v1,v2,v3].由正交单位旋转矩阵 V3×3,利用针孔成像模型和透视投影模型所建立的式(1)和式(2),标记4个顶点的屏幕坐标为(xc,i,yc,i,1),标记坐标系中的坐标为(xm,i,ym,i,zm,i)(i=1,2,3,4).从而列出包含 Wx、Wy、Wz的 8 个等式并求得平移矩阵和转换矩阵Tcm.

2 系统构成

2.1 系统硬件

表1列出了几种典型数据手套本体材料、传感器以及技术指标.图 2所示为该系统组成,由一个普通视频摄像头、固定支架、图像数据传输线和计算机 4部分组成,采用普通数据传输线连接摄像头与计算机.与市场现有数据手套产品相比,该系统硬件少、组装简便.

表1 几种典型数据手套产品主要技术指标对比Tab.1 Comparison of performance indexes of datagloves

图2 系统装置示意Fig.2 Image of installation of system

2.2 软件部分

ARToolKit软件是由美国华盛顿人机接口实验室的 HirokazoKato博士,用 C语言编写设计开发的增强现实系统的二次开发包.它具有实时、精确的三维注册功能,支持基于视觉或视频的增强现实应用系统,使用方便、快捷.为了缩短研发周期,本研究利用ARToolKit所提供的标记跟踪算法,计算摄像机和标记之间的相对空间位置,获得标记在标记坐标系中的三维坐标.本系统所采用的是大小一定的黑色正方形边框类标记,并以标记符中心图案的不同来区分.

特征标记符的探测程序,即标记跟踪算法主要实现2个功能.探测图像中具有所选用标记符特征的区域,并对其进行识别.另一功能是计算标记与相机之间的空间关系,求取标记点的坐标.探测程序的流程[5]如图3所示.

图3 标记符探测程序流程Fig.3 Flow chart of marker detection

1)初始化的功能

包括初始化视频配置参数,读取标记样本参数和摄像头特征参数.初始化视频配置包括摄像机拍摄图像的尺寸、采样帧频和颜色空间.标记样本参数包括标记的边长尺寸和中心图案的几何特征;摄像头特征参数为通过相机标定获取并存储的数据文件.

2)主循环的功能

主循环的目的为探测并识别出特征标记,计算各标记中心点的三维坐标.具体执行包括 3步:获取视频图像,探测并识别视频输入图像帧中的特征标记和标记位置信息的计算.探测和识别特征标记的处理过程如下.

(1)利用单摄像头获取包含全部标记的图像输入到系统中,采用合理阈值将采集到的彩色图像转换成二值图像.

(2)对该二值图像作连通域分析,搜索并识别所有具有矩形边缘特征的图像区域.通过对二值图像进行连通域分析标记、特征提取(区域,位置)、轮廓提取和对正方形区域4条直线的匹配,找出匹配误差小于设定阈值的区域,即认探测到正方形区域.

(3)利用模板匹配算法,将提取出的图像区域与标记样本库中的标记进行比对,找出匹配度高于设定参数的区域即认定为识别出系统所用标记(归一化).

(4)通过计算,求得被探测到的标记三维坐标.通过系统建立的针孔成像模型、标记中心点的理想屏幕坐标(xu,yu)调用相机内部参数和转换矩阵 Tcm,解算出不同标记中心点在标记坐标系中的三维坐标(xm,ym,zm).

3)关闭的功能

程序结束,关闭视频采集和视频的输出显示,停止对图像的处理.

标记跟踪算法的有效性取决于矩形区域探测和模板匹配.矩形区域提取采用连通域分析和 4条直线匹配来实现,方法简单,运行速度较快.模板匹配包括归一化、模板匹配 2步.由于需要分辨率转换,导致识别的精度和速度与标记尺寸关系密切,标记尺寸越大,其识别精度越高,但处理较复杂,速度较慢.相反,标记尺寸越小,其识别精度越低,处理速度越快.

本研究中采用2个标记实现了鼠标的基本功能.基于手部行为捕捉的三维虚拟鼠标的构建示意图如图4所示.将标记A和B分别贴于操作者的手背和指端,按习惯通常贴在食指端.根据标记A在标记坐标系中 xm轴和 ym轴方向的坐标变化量,调用Windows API函数库中的 SetCursorPos(xvalue,yvalue)函数,控制鼠标在当前位置的基础上的移动方向和移动像素点数.利用标记B在标记坐标系中zm轴方向和xm-ym平面上的坐标变化量,调用Windows API函数库中的 mouse_event函数,控制鼠标产生各按键操作.操作者只需挪动相应标记就能实现鼠标的操作功能,完成对计算机的常规操作,如文件操作、浏览网页等.

图4 基于手部行为捕捉的人机交互方式示意Fig.4 Sketch map of man-machine interactive mode based on capture of hand’s behavior

3 手部标记点捕捉交互实验

3.1 标记跟踪算法有效性实验

本人机交互方式对手部标记点的捕捉能力,即是标记跟踪算法的有效性,与标记尺寸的大小关系紧密.通过实验获得了标记尺寸参数大小与循迹有效范围(即可以捕获标记情况下摄像机与标记所在平面的最大距离)之间的关系.采用边长为 1,cm、2,cm、3,cm、4,cm、5,cm、6,cm 和 7,cm 7种不同尺寸的正方形标记,分别获得其有效范围和二者间的关系,如图5所示.

图5 循迹有效范围与标记尺寸关系Fig.5 Relationship between tracking range and marker Fig.草 size

通过实验发现:标记尺寸越大,循迹有效范围越大,二者呈近似线性变化.实验结果与前述标记跟踪算法有效性的理论分析相符合.

根据标记跟踪算法有效性的理论与实验研究结果,以及一般操作者手部大小,标记符 A尺寸选为5,cm×5,cm,指端 B 标记 1.5,cm×1.5,cm,二者均可在25,cm的循迹范围内有效地被捕获.由此确定固定支架的高度为 30,cm,摄像头距标记所在平面距离为25,cm.

3.2 性能指标测量实验

基于手部行为捕捉的人机交互方式已实现了鼠标的基本功能,为了量化这实际操作的效果,通过实验测量其主要技术参数,包括最大采样频率、光标的控制精度和按键控制的准确性.

通过测试 1,min内该人机交互方式的有效数据输出个数,计算得到采样频率为15.6,Hz.摄像头的最高采样帧率为 30帧/s,理论上本技术的采样频率不高于 30,Hz,由于程序运行耗费一定时间,实际运行的采样频率比理论值偏低.摄像头所获取图像的大小为 640×480像素,由标记中心点的理想屏幕坐标(xc,yc)求取其在标记坐标系中的坐标(xm,ym,zm).本研究采用手部标记 A的 xm-ym平面移动来实现光标在普通视频显示设备(1,024×768像素)的位置控制.采用相对坐标控制方式,测试在人手指平动灵敏度 2.2,mm 时的光标移动量,获得该操作方式在观测屏幕坐标系中xd和yd轴方向的光标控制精度分别为2个像素和 1.6个像素.在人机交互方式性能评测中,出错率常被用于衡量按键控制准确度.出错率定义为每100次按键操作中,未识别和误识别按键操作发生的次数.通过实验测试了单击、双击和右击操作,得到采用这种人机交互方式代替实现鼠标基本操作的平均出错率为4%,即按键功能识别率为96%.

4 结 语

所研究开发的这种基于手部行为捕捉的人机交互方式,采用ARToolKit软件平台提供的标记跟踪算法,只需利用一个摄像头和手部2个标记点,获得摄像头和标记之间的相对空间位置,以及手部标记 A和标记B在标记坐标系中的三维坐标(xm,ym,zm),实现传统鼠标的基本功能—— 光标的移动和按键功能.实验测试了这种人机交互方式的最高采样频率为15.6,Hz,光标移动的控制精度可以达到 2个像素,按键控制的识别率为96%.不同于传统人机交互方式,采用了三维信息实现交互操作.与精密数据手套相比,组成设备简单、成本低.采用非接触测量,摆脱手套与通讯线的束缚,操作者手部自由舒适.这种人机交互与控制模式技术,可以用于立体视觉、虚拟现实和增强现实系统[6]中,适合作为民用级产品的开发.

[1]韩晓玲. 虚拟现实技术发展趋向浅析[J]. 多媒体技术及其应用,2007,2(10):549-550.

Han Xiaoling. Present situation and development about VR[J].Multimedia Technology and Application,2007,2(10):549-550(in Chinese).

[2]张文龙,贺 申. 虚拟现实与数据手套的研究[J]. 常州工学院学报,2005,18(5):26-31.

Zhang Wenlong,He Shen. Research on virtual reality and data glove[J]. Journal of Changzhou Institute of Tech-nology,2005,18(5):26-31(in Chinese).

[3]Dipietro L,Sabatini A M,Dario P. A survey of glovebased systems and their applications [J].IEEE Transactions on Systems,Man,and Cybernetics(Part C):Applications and Reviews,2008,38(4):461-482.

[4]Kato Hirokazu,Billinghurst Mark. Marker tracking and HMD calibration for a video-based augmented reality conferencing system[C]//Proceedings of the 2nd International Workshop on Augmented Reality(IWAR 99). San Francisco,USA,1999:85-94.

[5]管 涛,李利军,王 乘. 利用单应性矩阵改进ARTOOLKIT三维注册性能[J]. 微电子学与计算机,2007,24(1):82-84.

Guan Tao,Li Lijun,Wang Cheng. Using homography to improve the registration performance of ARTOOLKIT[J].Microelectronics and Computer,2007,24(1):82-84(in Chinese).

[6]苏建明,张续红,胡庆夕. 展望虚拟现实技术[J]. 计算机仿真,2004,21(1):18- 21.

Su Jianming,Zhang Xuhong,Hu Qingxi. The prospect of virtual reality[J].Computer Simulation,2004,21(1):18-21(in Chinese).

[7]Lepetit V,Plier J,Fua P. Point matching as a classification problem for fast and robust object pose estimation[C]// Proceedings of the 2004IEEE Computer Society Conference on Computer Vision and Pattern Recognition. Lausam1e,Switzerland,2004:244-250.

[8]Placidi G. A smart virtual glove for the hand telerehabilitation[J].Computers in Biology and Medicine,2007,37(8):1100-1107.

[9]ARToolKit [EB/OL]. http://www.hitl.washington.edu/artoolkit/,2003-02.

[10]Inside ARToolKit[EB/OL]. http://at.in.turn.de/twiki/pub/,Hiroshiima City University,2001.

猜你喜欢

手部手套鼠标
手部皮肤软组织缺损修复的皮瓣选择
棉手套
做只手套好过冬
神秘的白手套
棉手套
皮瓣修复手部皮肤软组织缺损的临床应用
发生于手部的硬下疳一例
复明胶囊疑致手部肿痛1例
鼠标折叠笔
45岁的鼠标