基于投影仪摄像机系统的人机交互关键技术研究

吕 昊 张成元*

（山东科技大学泰安校区，山东 泰安271000）

1 投影仪摄像机系统分析

同时使用投影仪和摄像机，然后再借助特殊处理设备进行二者之间的运算，建立二者之间联系。这样的系统就可以称之为投影仪摄像机系统。投影仪摄像机系统的应用在以下四大领域有着极为广泛的应用：第一增强现实与虚拟现实领域，第二自校正显示领域，第三3D 结构获取领域，第四自然人机交互领域。

最初的增强现实系统经常使用头盔式或者眼镜式显示方式，通过控制整个视野的景象来增强用户的浸入式体验。但是，这种显示器需要随着头部的转动而转动，所以就存在着笨重、不方便佩戴的缺陷，而且还需要结合用户的体型特点进行针对性定制。而用户体验也不是很理想，普遍反应有头晕等不适症状。之后，环形银幕的诞生使得现实设备与用户身体进行了分离。与传统的显示设备相比，投影的应用优势非常突出。例如，调整尺寸可以与实际情况更贴合；投射内容已经不再局限于平面，非平面也可以实现内容的投射；多部投影的协同有效消除了用户被侵入的感觉。近几年来，基于投影仪的增强现实系统也成为相关技术领域的研究热点。同时，个人电脑硬件成本越来越低、投影成本越来越低、性能越来越稳定，基于投影仪的增强现实系统的应用也越来越广泛，例如博物馆的互动投影、军事领域的投影模拟作战系统等。投影仪相对单一，只具备显示功能，功能略显单一，与智能人机交互还有很大的区别。将投影仪和摄像头、计算机融合在一起，进行投影仪摄像机系统的构建，就可以提升其对环境的主动适应能力，增强其对人体动作以及指令的响应能力。

摄像头在投影仪摄像机系统中的应用，可以达到投影仪自校正显示的目的，即不仅可以进行单台投影仪的失真自动校正，还可以进行多台投影仪的自动拼接显示。因为针对投影面来说，要想获取纹理信息和几何信息，摄像头发挥着重要的辅助作用，可以保证投影显示系统中必要注册技术的实现。针对多投影拼接显示，最重要的就是各投影仪之间的协调与管理，重叠区域的几何校正以及光度校正。只有做好以上几点，才能够合理的处理投影图像与摄像机平面之间的几何映射建立等问题，实现近似于单台大型投影投射效果的无缝拼接。

另外，投影仪摄像机系统的应用，还体现在自然人机交互系统的构成方面。近几年来，数字摄像机投影仪成本日益减小、尺寸日益缩小，人机交互领域的研究也开始向投影仪摄像机系统转移。投影仪可以作为可控输出的光源，进行反馈图像的输出。而摄像机则发挥着传感器的作用，即第一，对用户需求进行获取，第二，对场景当前状态进行获取。而这正是实现用户与系统多形式互动的基础。

2 手势交互系统中手的检测分割

近几年来，人们将研究重点集中到了以手势为基础的自然人机交互系统方面。学术界和工业界也研发出了很多与自然人机交互系统有关的应用。现阶段，以手势为基础的人机交互系统主要涉及以下几方面的技术：第一，手的检测分割技术，第二，动态和静态手势分划与识别技术，第三，反馈和自我学习技术。

对于基于手势的人机交互系统来说，手的检测分割发挥着基础性作用。尤其是获得用良好用户体验的裸手检测，得到了相关领域的广泛关注。但是，因为人手形态具有一定的不确定性，投影仪摄像机系统具有一定的特殊性，所以裸手检测非常复杂。投影仪不仅可以将相对极端的光线投射出来，还可以保证投影内容色彩的丰富性。但是大多数的投影内容都是不断运动的，所以以运动检测为基础的方法能够发挥的作用就比较有限，甚至以机器学习为基础的检测器也无法适应手形态以及颜色的多变性。

目前，国内在已经提出了一种连续变形手势的跟踪方法，且无需人工干预，专门用于实时交互中变形手势的跟踪。首先，针对原本复杂的三维模型，使用低维度的二维模型替代，之后针对所提取的图像特征，利用轮廓提取和图像分割，与识别后的手势模型进行匹配，达到跟踪模型自动初始化的目的。之后，再借助Camshift 算法来进行手的跟踪，通过聚类算法与粒子滤波的结合，实现多个手指尖的同时跟踪，然后结合跟踪结果确定跟踪模板更新的必要性。

3 指尖提取

为了提升手势操作的精细性，尤其是涉及到选取模拟鼠标、多点触摸等操作单时候，必须要精准的提取指尖信息。常用的之间信息提取技术路线主要有两种：一种是依赖于标记的技术，另一种是通过手指形态来进行裸手指尖提取的技术。首先，标记法，指的是提前在操作手指或其指尖上做出记号，然后借助最简单的方式进行指尖位置的获取。例如，在“Magic Table”系统的应用中，操作者可以通过指尖推动色块的方法来进行指尖的检测与跟踪。另外，还可以让操作者带上颜色标记，也可以直接对手指进行染色，然后对指尖实施定位跟踪。例如，在“Six Sense”交互系统的应用中，使用的是颜色标记法，即让使用者对指尖进行标记，然后利用摄像头直接对各个指尖进行捕捉和识别。这样，在手势识别与摄像头输出的共同作用下，就可以获得良好的交互体验。

虽然标记的方法不必对手进行分割检测，提升了手指定位与跟踪的便捷性。但是因为侵入性和不便性太高，而影响了用户体验。如果背景中出现与标记相近的颜色，手指定位误差还会升高。在这种情况下，裸手的手势识别则表现出了非常明显的优势：第一易用性好、第二自然度高、第三可以获得良好的用户体验。所以，无论是在国内，还是在国外，都有着良好的用户体验。

现阶段，无标记的指尖检测可以通过手指的形态特点，在已经大概提取出手的轮廓的基础上，进行指尖检测。即通过Camshift 进行手的轮廓的大概获取，然后再对多个指尖进行跟踪。然后先前景分割，再在颜色与边缘信息的作用下进行指尖信息的获取，然后通过小范围内的搜索进行指尖的跟踪。但是，需要注意的是，这种手的提取方法代表着其对于相关背景的依赖性非常高，而现阶段的系统只能进行一个指尖的跟踪。由于这种技术的局限，所以只能在某种特定的工作环境中使用。

4 指尖检测分析

4.1 指尖检测的意义

一般情况下，手势是基于视觉的自然人机交互系统最佳的输入方式。人类可以通过手势来表达自己的意愿，所以也可以通过相应的手语系统来进行任何语句的表达。手势识别系统主要涉及以下两种：一种是静态手势识别，另一种是动态手势识别。所谓静态手势，指的是通过单个手的形态来进行相关语义的表达，然后识别系统再将手的形态特加以采集，并将其与已知库中注册样本进行匹配，最终给出手势所要表达的语义。而动态手势则包含一系列手的轨迹，所以要想明白动态手势的含义，就必须要识别其空间特点以及时间特点，例如速度、方向等。只有这样，才能够对一个动态手势的含义进行描述。对于人手来说，指尖中蕴含着十分丰富的信息。所以对于桌面式的人机交互系统来说，指尖的检测与提取具有十分重要的作用。在桌面式系统中，我们通过摄像机可以发现人手中的很多细节，但是如果将整个手掌都出现在摄像机视野中，那么将会因为占据区域过多而不利于各种精细化手势的操作。所以，利用指尖来完成类似触摸屏的操作，更加受到桌面式系统的认可，例如手指书写系统、虚拟键盘等系统就对手指上对应特征点的运动信息进行了充分的应用，并实现了后续更加精准的识别与交互。当检测到手指之后，还需要对手指位置和手势的运动信息进行跟踪获得，为后续的手势识别打好基础，从而通过验证识别多个指尖的相对位置来开展相应的交互操作。近几年来，国内外的科研人员在指尖检测以及基于手指的交互系统方面取得了十分丰富的研究成果，但是在裸手指尖检测方面的研究，依然面临着巨大的挑战。究其原因，与其他目标检测跟踪问题相比，指尖检测还有以下几方面的问题始终没有攻克。

（1）在利用手部区域冗余信息方面，还有很多技术难题。例如，对于基于指尖的交互系统来说，空间会被手掌或者手背占据。而这就会对基于肤色的检测系统产生影响，增大指尖部位的检测难度。

（2）为了确保手势操作可以顺利的完成，通过会在三维空间中进行整个手动作的操作。这样，我们不仅要获取指尖的位置，还要获取更加深度的信息。在这种情况下，常规的立体视觉或者结构光方法因为以下几方面的限制，并不适用：第一模型相对复杂，会产生较大的计算开销，且达不到实时交互的相关要求；第二对于设备有着特殊的要求，所以在硬件方面的投入成本较大，且使用方面不够便捷。如果让整个手在二维空间中运动，那么就会出现手指互相遮挡的现象，再加上观察角度不同，指尖检测结果也就得不到保证。

（3）在真实交互当中，部分用户还会出现一些无意识的手指动作。在这种情况下，要想准确的了解用户的真正意图，还需要有效的区分手指的随机动作以及有效操作。而这就需要对手指的运动历史进行持续性的记录，最大限度的排斥用户产生的无意识动作。另外，手指检测还受到环境因素的影响，如果检测背景存在着较多的不确定因素，光照变化较大，手指阴影较为严重，那么手指检测系统的通用性就会受到影响。

4.2 常见的指尖检测算法

目前，基于计算机视觉指尖检测的人机交互系统已经被研发出来。例如，"Finger Mouse"，"Finger Paint"等都是可以在普通表面上，通过指尖检测来进行触摸屏操作的模拟。而且与传统的触摸屏幕相比，表现出来很大的不同：第一可以利用图像采集设备进行相应场景中手指运动信息的直接获取，然后再利用计算机对用户的真实意图进行明确；第二，无需利用红外设备和触觉传感设备，整体适应性较强，任何表面都可以进行触摸操作，系统成本较低。

所谓手指基元，指的是通过Calar MB 和Lobo N 进行单个手指的建模，对手指进行描述时，只需使用一组平行线和一段弧线。针对已经完成检测的手指基元，还需要利用决策树进行分组，将决策树进行合并输出，就获得了最终的手指检测结果。但是这种方法的应用缺点是计算太过复杂，在实时系统中的应用存在较大难度。在这种情况下，基于单目视觉的Visual Panel系统被Zhang 研发出来。这种系统可以在任何一块矩形面板上进行输入设备的模拟，并与计算机进行交互，而在矩形面板上移动手指，就是鼠标行为的模拟。Visual Panel 系统的应用正是借助于矩形板的作用，才使得背景的复杂程度得到了大大的降低，提升了之间检测跟踪的便捷性与高效性。但是这种系统的应用缺点也非常明显，即系统的应用范围被局限在矩形板上。“Visual Touchpad”是被Malik 研发出来的，这种系统可以对指尖能否在矩形纸板表面上停留进行了准确的判断，这样就可以对鼠标点击效果进行模拟。而要想获取更加深入的信息，则需要加强双摄像头的应用。

在运动过程中，虽然无法固定整个手的形态，但是并不影响手指性状特点的稳定性。所以，针对各种指尖检测问题的解决，可以从指尖形态方面入手。但是，要想分析指尖形态，还需要先将其从整个手区域中进行分割提取。所以，在攻克指尖检测难题的时候，还需要先解决以下两方面的难题。第一采用何种方法才能将手指区域的轮廓进行准确的分割，第二检测指尖的时候应当选择什么样的形状特点。

4.3 基于径向对称的指尖检测方法

在平面上，手指运动的形状特点是基本不变的，所以可以将整个指尖视为平行线与圆形基元的组合。如果将二值化得到的目标区域设置为1，背景区域设置成0，那么指尖区域则表现出了两大特点：第一指尖末端与圆形非常接近，且直径与手指宽度相同；第二将指尖外接圆圆心视为中心点，在一定搜索范围内，绝大多数的非1 像素和绝少数的非0 像素构成了一个闭合区域，将指尖仅仅的包围住。

以这种形态特点为灵感，可以研发出一种快速的指尖检测方法。首先，二值化图中存在着区域都可能成为圆形，可以通过快速原型检测算法对这些区域进行获取；其次，对获取到的圆形区域进行筛选，找出符合要求的圆形中心，而这就是最终检测的之间位置。但是，指尖知识近似于圆形，并不是完整的圆形，所以常规的圆形检测算法无法有效解决这一问题。因为指尖是近似于半圆和矩形的结合，所以对其进行进一步观察，我们可以发现半圆中的指尖有着径向对称的特点，版员外的手指部分也有一定的对称特点。在这种情况下，完善适合通过指尖的对称性来展开相应的检测工作。之后再通过实验对比和径向对称方法，就可以将指尖径向累计梯度计算出来。针对已经分割好的手前景区域，还需要进行一定的预处理，获取相应的梯度图，再以变换径向对称的方式获取指尖位置。然后再通过指尖颜色信息的差异性进行逐一排除。

5 结论

本文首先对投影仪摄像机系统、手势交互系统中手的检测分割、指尖提取的研究进展与应用进行了详细的分析，其次对几种常见的指尖检测方法进行了描述。最后重点描述了径向对称与指尖检测将结合的方法，并提出了一种全新的候选点排除方法。这种方法的应用，只需要合理的把握手指的形状特点，就可以有效排除手掌上类似指尖的可疑点。指尖检测方法更加简单、适用，有着广阔的发展前景。