基于手部行为捕捉的人机交互方式

何明霞，宁福星，李 萌

(天津大学精密测试技术及仪器国家重点实验室，天津 300072)

受主流显示设备和应用软件的限制，传统的人机交互方式是一种限于二维平面内的操作．随着立体视觉、虚拟现实和增强现实技术的出现，用户喜欢以更自然的方式，在更富于想象力的虚拟环境中，与操作对象进行交互作用与相互影响，从而产生“沉浸”于等同真实环境中的感受和体验[1]．数据手套是一种能够跟踪使用者灵活多变的手势及其空间方位，使操作者自然而然地将自己的意识传递给计算机[2]．国内外对数据手套技术的研究不断得到发展，已有一些数据手套产品出现在军事、制造业和教育等领域．

需要佩戴在手部使用的数据手套本体材料多为价格昂贵的弹性纤维．采用精密传感器实现数据测量，所用传感器决定测量精度和最大采样频率这2项技术指标．数据手套操作与计算机之间采用通信线连接，通讯接口多为 RS232．目前，数据手套产品因价格昂贵而多用于科研[3]．

针对上述数据手套的不足，笔者开发了一种采用普通视频摄像头作为传感器，在操作者手背部和指端粘贴特定标记，实现非接触式获取手部三维信息的新型人机交互技术．摆脱了手套与通信线的束缚，提高了操作者手部的舒适度和自由度．整个系统简单、成本低，适合民用商业化．

1 手部标记点捕捉原理

根据针孔成像模型，建立标记坐标系 Omxmymzm、摄像机坐标系 Oc-xcyczc和摄像机理想屏幕坐标系Ou-xuyu，坐标系之间的相互关系如图1所示．手部标记点在标记坐标系和摄像机坐标系中的坐标分别为(xm，ym，zm)和(xc，yc，zc)．标记坐标系与摄像机坐标系之间的变换关系[4]为

图1 标记坐标系和摄像机坐标系间的关系Fig.1 Model of coordinate system

式中：V3×3为正交单位旋转矩阵；W为平移向量；Tcm为转换矩阵．由图 1及透视投影基本原理可知，标记坐标系中某点(xm，ym，zm)与其在理想屏幕坐标系中的投影(xu，yu)之间的关系为

其中λ为比例因子，透视投影矩阵 C为摄像头内部参数，通过摄像机标定获得．矩阵 Tcm为三维待求变换矩阵，包含3个旋转分量和1个平移分量．当尺寸已知的黑色正方形标记投影成像之后，可以得到标记的一组平行边在屏幕坐标系中投影方程为

利用关系式(2)，将式(3)中的 xu和 yu分别用 xc和 yc代替，可以得到

方程组(4)中 2个投影方程的单位矢量分别用n1和 n2表示，则正方形边框的一组平行边的方向矢量可表示为二者的外积n1×n2．假设正方形2组平行边的方向矢量分别为u1和u2，理论上u1和u2应相互垂直．由于成像畸变的影响，u1和 u2并非绝对垂直．为了消除不垂直带来的影响，采用 v1和 v2代替u1和 u2．垂直于 v1和 v2的单位方向矢量记做 v3，转换矩阵Tcm中的旋转矩阵表示为[v1，v2，v3]．由正交单位旋转矩阵 V3×3，利用针孔成像模型和透视投影模型所建立的式(1)和式(2)，标记4个顶点的屏幕坐标为(xc,i，yc,i，1)，标记坐标系中的坐标为(xm,i，ym,i，zm,i)(i＝1，2，3，4)．从而列出包含 Wx、Wy、Wz的 8 个等式并求得平移矩阵和转换矩阵Tcm．

2 系统构成

2.1 系统硬件

表1列出了几种典型数据手套本体材料、传感器以及技术指标．图 2所示为该系统组成，由一个普通视频摄像头、固定支架、图像数据传输线和计算机 4部分组成，采用普通数据传输线连接摄像头与计算机．与市场现有数据手套产品相比，该系统硬件少、组装简便．

表1 几种典型数据手套产品主要技术指标对比Tab.1 Comparison of performance indexes of datagloves

图2 系统装置示意Fig.2 Image of installation of system

2.2 软件部分

ARToolKit软件是由美国华盛顿人机接口实验室的 HirokazoKato博士，用 C语言编写设计开发的增强现实系统的二次开发包．它具有实时、精确的三维注册功能，支持基于视觉或视频的增强现实应用系统，使用方便、快捷．为了缩短研发周期，本研究利用ARToolKit所提供的标记跟踪算法，计算摄像机和标记之间的相对空间位置，获得标记在标记坐标系中的三维坐标．本系统所采用的是大小一定的黑色正方形边框类标记，并以标记符中心图案的不同来区分．

特征标记符的探测程序，即标记跟踪算法主要实现2个功能．探测图像中具有所选用标记符特征的区域，并对其进行识别．另一功能是计算标记与相机之间的空间关系，求取标记点的坐标．探测程序的流程[5]如图3所示．

图3 标记符探测程序流程Fig.3 Flow chart of marker detection

1)初始化的功能

包括初始化视频配置参数，读取标记样本参数和摄像头特征参数．初始化视频配置包括摄像机拍摄图像的尺寸、采样帧频和颜色空间．标记样本参数包括标记的边长尺寸和中心图案的几何特征；摄像头特征参数为通过相机标定获取并存储的数据文件．

2)主循环的功能

主循环的目的为探测并识别出特征标记，计算各标记中心点的三维坐标．具体执行包括 3步：获取视频图像，探测并识别视频输入图像帧中的特征标记和标记位置信息的计算．探测和识别特征标记的处理过程如下．

(1)利用单摄像头获取包含全部标记的图像输入到系统中，采用合理阈值将采集到的彩色图像转换成二值图像．

(2)对该二值图像作连通域分析，搜索并识别所有具有矩形边缘特征的图像区域．通过对二值图像进行连通域分析标记、特征提取(区域，位置)、轮廓提取和对正方形区域4条直线的匹配，找出匹配误差小于设定阈值的区域，即认探测到正方形区域．

(3)利用模板匹配算法，将提取出的图像区域与标记样本库中的标记进行比对，找出匹配度高于设定参数的区域即认定为识别出系统所用标记(归一化)．

(4)通过计算，求得被探测到的标记三维坐标．通过系统建立的针孔成像模型、标记中心点的理想屏幕坐标(xu，yu)调用相机内部参数和转换矩阵 Tcm，解算出不同标记中心点在标记坐标系中的三维坐标(xm，ym，zm)．

3)关闭的功能

程序结束，关闭视频采集和视频的输出显示，停止对图像的处理．

标记跟踪算法的有效性取决于矩形区域探测和模板匹配．矩形区域提取采用连通域分析和 4条直线匹配来实现，方法简单，运行速度较快．模板匹配包括归一化、模板匹配 2步．由于需要分辨率转换，导致识别的精度和速度与标记尺寸关系密切，标记尺寸越大，其识别精度越高，但处理较复杂，速度较慢．相反，标记尺寸越小，其识别精度越低，处理速度越快．

本研究中采用2个标记实现了鼠标的基本功能．基于手部行为捕捉的三维虚拟鼠标的构建示意图如图4所示．将标记A和B分别贴于操作者的手背和指端，按习惯通常贴在食指端．根据标记A在标记坐标系中 xm轴和 ym轴方向的坐标变化量，调用Windows API函数库中的 SetCursorPos(xvalue，yvalue)函数，控制鼠标在当前位置的基础上的移动方向和移动像素点数．利用标记B在标记坐标系中zm轴方向和xm-ym平面上的坐标变化量，调用Windows API函数库中的 mouse_event函数，控制鼠标产生各按键操作．操作者只需挪动相应标记就能实现鼠标的操作功能，完成对计算机的常规操作，如文件操作、浏览网页等．

图4 基于手部行为捕捉的人机交互方式示意Fig.4 Sketch map of man-machine interactive mode based on capture of hand’s behavior

3 手部标记点捕捉交互实验

3.1 标记跟踪算法有效性实验

本人机交互方式对手部标记点的捕捉能力，即是标记跟踪算法的有效性，与标记尺寸的大小关系紧密．通过实验获得了标记尺寸参数大小与循迹有效范围(即可以捕获标记情况下摄像机与标记所在平面的最大距离)之间的关系．采用边长为 1,cm、2,cm、3,cm、4,cm、5,cm、6,cm 和 7,cm 7种不同尺寸的正方形标记，分别获得其有效范围和二者间的关系，如图5所示．

图5 循迹有效范围与标记尺寸关系Fig.5 Relationship between tracking range and marker Fig.草 size

通过实验发现：标记尺寸越大，循迹有效范围越大，二者呈近似线性变化．实验结果与前述标记跟踪算法有效性的理论分析相符合．

根据标记跟踪算法有效性的理论与实验研究结果，以及一般操作者手部大小，标记符 A尺寸选为5,cm×5,cm，指端 B 标记 1.5,cm×1.5,cm，二者均可在25,cm的循迹范围内有效地被捕获．由此确定固定支架的高度为 30,cm，摄像头距标记所在平面距离为25,cm．

3.2 性能指标测量实验

基于手部行为捕捉的人机交互方式已实现了鼠标的基本功能，为了量化这实际操作的效果，通过实验测量其主要技术参数，包括最大采样频率、光标的控制精度和按键控制的准确性．

通过测试 1,min内该人机交互方式的有效数据输出个数，计算得到采样频率为15.6,Hz．摄像头的最高采样帧率为 30帧/s，理论上本技术的采样频率不高于 30,Hz，由于程序运行耗费一定时间，实际运行的采样频率比理论值偏低．摄像头所获取图像的大小为 640×480像素，由标记中心点的理想屏幕坐标(xc，yc)求取其在标记坐标系中的坐标(xm，ym，zm)．本研究采用手部标记 A的 xm-ym平面移动来实现光标在普通视频显示设备(1,024×768像素)的位置控制．采用相对坐标控制方式，测试在人手指平动灵敏度 2.2,mm 时的光标移动量，获得该操作方式在观测屏幕坐标系中xd和yd轴方向的光标控制精度分别为2个像素和 1.6个像素．在人机交互方式性能评测中，出错率常被用于衡量按键控制准确度．出错率定义为每100次按键操作中，未识别和误识别按键操作发生的次数．通过实验测试了单击、双击和右击操作，得到采用这种人机交互方式代替实现鼠标基本操作的平均出错率为4%，即按键功能识别率为96%．

4 结 语

所研究开发的这种基于手部行为捕捉的人机交互方式，采用ARToolKit软件平台提供的标记跟踪算法，只需利用一个摄像头和手部2个标记点，获得摄像头和标记之间的相对空间位置，以及手部标记 A和标记B在标记坐标系中的三维坐标(xm，ym，zm)，实现传统鼠标的基本功能—— 光标的移动和按键功能．实验测试了这种人机交互方式的最高采样频率为15.6,Hz，光标移动的控制精度可以达到 2个像素，按键控制的识别率为96%．不同于传统人机交互方式，采用了三维信息实现交互操作．与精密数据手套相比，组成设备简单、成本低．采用非接触测量，摆脱手套与通讯线的束缚，操作者手部自由舒适．这种人机交互与控制模式技术，可以用于立体视觉、虚拟现实和增强现实系统[6]中，适合作为民用级产品的开发．

［1］韩晓玲. 虚拟现实技术发展趋向浅析[J]. 多媒体技术及其应用，2007，2(10)：549-550.

Han Xiaoling. Present situation and development about VR[J].Multimedia Technology and Application，2007，2(10)：549-550(in Chinese).

［2］张文龙，贺 申. 虚拟现实与数据手套的研究[J]. 常州工学院学报，2005，18(5)：26-31.

Zhang Wenlong，He Shen. Research on virtual reality and data glove[J]. Journal of Changzhou Institute of Tech-nology，2005，18(5)：26-31(in Chinese).

［3］Dipietro L，Sabatini A M，Dario P. A survey of glovebased systems and their applications [J].IEEE Transactions on Systems，Man，and Cybernetics(Part C)：Applications and Reviews，2008，38(4)：461-482.

［4］Kato Hirokazu，Billinghurst Mark. Marker tracking and HMD calibration for a video-based augmented reality conferencing system[C]//Proceedings of the 2nd International Workshop on Augmented Reality(IWAR 99). San Francisco，USA，1999：85-94.

［5］管 涛，李利军，王 乘. 利用单应性矩阵改进ARTOOLKIT三维注册性能[J]. 微电子学与计算机，2007，24(1)：82-84.

Guan Tao，Li Lijun，Wang Cheng. Using homography to improve the registration performance of ARTOOLKIT[J].Microelectronics and Computer，2007，24(1)：82-84(in Chinese).

［6］苏建明，张续红，胡庆夕. 展望虚拟现实技术[J]. 计算机仿真，2004，21(1)：18- 21.

Su Jianming，Zhang Xuhong，Hu Qingxi. The prospect of virtual reality[J].Computer Simulation，2004，21(1)：18-21(in Chinese).

［7］Lepetit V，Plier J，Fua P. Point matching as a classification problem for fast and robust object pose estimation[C]// Proceedings of the 2004IEEE Computer Society Conference on Computer Vision and Pattern Recognition. Lausam1e，Switzerland，2004：244-250.

［8］Placidi G. A smart virtual glove for the hand telerehabilitation[J].Computers in Biology and Medicine，2007，37(8)：1100-1107.

［9］ARToolKit [EB/OL]. http：//www.hitl.washington.edu/artoolkit/，2003-02.

［10］Inside ARToolKit[EB/OL]. http：//at.in.turn.de/twiki/pub/，Hiroshiima City University，2001.