一种移动教学交互平台的设计与实现

周 影，孙慧慧，2，李 敏①（.淮北师范大学 计算机科学与技术学院，安徽 淮北 235000；2.华中师范大学 国家数字化学习工程技术研究中心，湖北 武汉 430079）

一种移动教学交互平台的设计与实现

周 影1，孙慧慧1，2，李 敏1①
（1.淮北师范大学 计算机科学与技术学院，安徽 淮北 235000；2.华中师范大学 国家数字化学习工程技术研究中心，湖北 武汉 430079）

为了使人机交互技术在数字化学习中得到更好的交互式体验，设计一种移动教学互动平台，通过人手直接同投影仪交互，实现友好的教学交互，从而达到更加自然和人性化的教学交互体验.该平台通过常用设备组装成新教学辅助设备，并设计出具有特定功能的教学互动界面，使得主动搜索投影平面成为可能.实验结果表明，新移动教学交互平台具有可行性和高效性，其教学效果明显.

移动教学平台；人机交互；教学互动；区域生长算法

0 引言

人机交互技术领域出现许多新兴交互方式，如体感交互、眼动跟踪、语音交互等方式，为我们带来全新的体验.逐渐兴起的交互式教学设备（电子白板、液晶屏书写）代表着科技的未来发展方向，但由于设备成本高昂，使得此类新兴设备具有适用性差、成本高、普及率低的特点.具有简单易用、用户友好特点的触摸屏技术在近些年来发展迅速，为人们带来前所未有的操作控制体验.

常见的教学设备——投影仪具有展示功能，最常用的交互方式是通过鼠标、键盘、激光笔实现的，操作方式往往受输入设备位置限制，使用中会影响教学体验效果.如果增设摄像机，可将投影仪连同摄像机组成Procam（projector-camera）系统［1］，组成一个独立的人机交互系统，此系统摆脱输入设备的限制，通过人手直接互动实现与计算机的直接交互.

人机交互系统成为国内外的研究热点之一.文献［2］制作一个特殊的笔，允许多个指针同时在白板上交互，为我们展现更多交互选择.一些研究团队尝试使用将日常物体演变成无需连接任何线路却能提供丰富信息的交互方式来完成交互，例如在手掌上绘制描边手势［3］，郭星等［4］利用双目立体视觉实现大屏幕的人机交互系统，提出一种简单并相似的指尖空间定位方法.罗信［5］提出基于摄像机和投影仪的交互系统下对手势的特征进行提取和识别，实现包含主要功能的手势识别系统.本文提出并设计出移动交互系统来模拟触摸屏的效果，通过移动平台，完成移动投影.移动投影可以在任何需要投影显示的位置，在相应墙壁平面中完成各种显示和交互功能.

1 移动教学平台设计

对未来教育的探索，智能移动平台可作为其关键技术，提供更多服务的可能，并在各类移动平台做出不同的应用开发.对于移动教学交互平台，本文提出以下3种视觉功能的设计.

1.1 移动交互投影

投影仪作为一种常见的演示设备，不仅仅局限于课堂上，还可广泛用在各种教学场地，如教室、办公室、实验室、走廊等.但由于特定教学设备固定，使得实际教学交流场地不能任意选择，仅能够在指定区域完成演示需求.因此，设计将视觉摄像机安装在移动平台上满足多种教学环境的需要.投影仪和摄像机固定在移动平台上，使其具有移动和旋转的功能，如图1所示.

图1 移动实验平台

为了避免在教学交互过程中使用各种手持或可穿戴设备，目标是将任意平面转换为具有基本交互功能的触摸屏.移动交互系统主要由4部分组成：

（1）自动选择投影平面.提出一种自动搜索投影平面的方法，结合自动选择投影平面的设计，可以突破固定位置的限制，满足各种即兴教学互动的需要.

（2）校准投影仪相机.投影仪相机系统是由可控的光学装置和数码相机的感光器件组成，设备使用前需要校准系统里内部参数和外部参数，然后建立投影仪和摄像机的图像之间的位置对应关系.

（3）通过匹配手指模板定位交互区域.经过上述过程，可以得到投影机摄像机系统前后的图像变换.超过估计的部分将被锁定，并被认为是可疑的用户交互区域，将被重复执行.

（4）分析和响应交互命令.在交互过程中，用户身体的某些部位的遮挡可能会破坏交互区域的判断，因此，提出匹配手指模板与候选交互区域.对于教学演示需求，最常见的互动交互方式是翻页、划线、放大和缩小.

1.2 互联网下的分布互联数据库

把智能平台连接到互联网，建立一个分布式数据库，网络的共享资源可支持所有的移动平台，如电脑、手机和其他手持智能设备，它将根据教学进度有效管理各种文档.考虑到智能平台可能分布在不同的位置，可以设计一个集成端口，用于统一管理和高效利用这些智能平台获得分散的知识.

1.3 通过反馈自动学习

通过多次升级硬件和软件资源，移动平台最终将被创建为一个智能教育服务机器人.因此，教育服务机器人应该具有识别用户和环境的能力.为了增强用户体验，经过训练的机器人可以通过视觉系统学习用户的面部表情，根据用户的行为和路径分析，做出相应的反馈行为.

2 教学互动的实现

本文利用移动平台作为接口，使用户能够与教学平台互动.教学交互系统的过程是：计算机通过数据线将投影内容传输给投影仪，由投影仪将投影内容投影在投影屏幕上，用户在投影屏幕上用手指发出翻页等指令实现自然交互.其中，摄像机主要用于捕获采集图像信息，将其传输到设计的系统中进行处理，并将处理结果发送给计算机.

2.1 区域生长算法

选择适合投影的平面时，可通过算法自动判定.通过选定阈值范围T1内的种子点s作为中心，利用区域增长算法选定适宜投影的平面.使用图像分割的方法完成区域生长算法，将具有相似属性的所有邻近像素聚类成一个区域［6］，其过程如下：

（1）选择原始图像中的种子点S(x0,y0)作为生长的初始点，种子点需满足阈值条件T1.

（2）连续延伸到种子的8个相邻像素，选择符合阈值条件的新像素S(x,y)，然后将它们合并到更大的区域中，并将它们用作后续迭代过程的新种子.

（3）当没有更多的像素满足标准时，该区域增长停止，它将到达具有所有连接要求点的区域就是生长的区域，同时建立该区域的边界.

（4）获取所有符合适宜投影像素要求的区域，存储和提供该区域边界的信息.

2.2 照相机和投影仪的校准

投影相机系统包括投影机、摄像机和投影平面，Procam系统包含可控光器件和感光器件，为了准确地定位交互区域，移动交互平台应当在其位置发生改变时完成一次校准.因此，有必要解决以下两个问题：一是系统校准，对投影之前和投影之后采集的图像之间建立对应关系；二是检测显著超过自然背景对比值的色块区域，并将它们处理成为手指交互候选区域.

系统中投影仪和摄像机的联系，主要依靠摄像机连续捕获投影图像获得的光照效果，并将关系量化，利用辐照度光照模型来完成.投影仪图像平面上任意一点IP与相对应的摄像机捕获图像上的位置IC可通过H矩阵描述.

几何标定后，投影图像和摄像机捕获图片上的每一个像素点在几何上有一一对应的关系，但在像素值上存在较大的差异，影响这些差异的因素包括相机的亮度响应函数、投影仪的亮度响应函数、相机和投影仪两个通道间的颜色混合、投影面的反射率等.矩阵A表示物体表面的反射率，向量F表示环境光的贡献，投影仪即使在投影黑色图像时也会出现漏光现象.矩阵V称为颜色混合矩阵，用于描述投影仪摄像机系统中各个颜色通道之间的相互作用.P是图像中的原点，C是经过Procam系统后得到的与P对应的点.AR、AG、AB是物体表面分别对红绿蓝三色的反射率.

图2 投影机与相机的点映射关系

本文研究基于环境的相机和投影仪内的响应方案以获得结构映射函数.具体地，由捕获图像的坐标与原始图像的对应点位置之间的系统成像关系的几何模型确定.如图2所示，给定投影平面中的采样点P(x1,y1)，投影到投影壁W(x2,y2)，然后由相机捕获C(x3,y3).根据透视投影的理论，在P和C之间的匹配对应关系如式（1）.

其中α是比例因子，其可以通过跟随的转换步骤消除，并且是包含8个位置参数的变换矩阵.为进一步直观地显示，公式（1）被转换为式（2）.

2.3 投影仪相机系统颜色标定

由于投影机和相机具有不同光谱响应特性，相机和投影机上显示的颜色不同.此外，由于投影仪存在着亮度差异，并且经常受到环境光的影响，所以，在投影仪不同位置，相同的颜色将被改变为不同的像素值，如图3所示.因此需要研究系统的内部颜色变换，然后锁定异常区域.

图3 投影前后色彩样本对照效果

投影机和相机通常包含RGB彩色图像的3个颜色通道，该系统中的颜色转换表示如下：C和P对应点位于不同的平面上，并且P为已知点.其余参数表示颜色发生变化的3个因素，分别为环境光、系统照明和表面反射.A是投影仪表面的反射率.参数V表示环境光的贡献，矩阵F称为颜色混合矩阵，用于描述该系统中不同颜色通道之间的相互作用.这3个参数可以通过投影定制图像来估计，包括红色、绿色、蓝色、白色和黑色的图像.然后在对应于像素值的投影之后计算未知点P.投影仪和摄像机的内部参数是固定的，仅需一次标定即可.

2.4 手指模板匹配

手指识别使用手指输入图像信息，完成人与计算机的智能交互功能，不受距离和显示设备尺寸的限制.人手形态结构各异，分辨出投影图像中的人手，排除手掌和手臂的干扰，在交互时属于干扰信息，需去除.这样一来能够满足直观、直接、全面地捕捉到人的交互需求［7］.

人手的检测与分割是投影交互系统的基础，为了在交互区域中定位手指位置，采用手指模板匹配方法.由于人手的形态可以呈现出多种不同的状态，所以根据形状寻找人手较困难.这里以手指的形状作为基本特征，因为手指具有本身的特性，手指指端呈半圆形，指节处则近乎为平行线.手指同投影平面实现交互的前提是判断是否发生手指交互请求以及交互区域准确位置的确定.本文使用单个手指的形状信息确定发生交互区域，见图4（a）所示.

图4 处理和获取用户遮挡区域

本文通过手指模板匹配来锁定交互区块的方法可以消除手掌和手臂的干扰，且准确地判断用户的交互意图.通过该方法准确地检测到指尖触碰位置，并发出指令，给出响应，达到互动的效果.

3 实验结果及分析

考虑到投影系统的教育功能广泛应用，要求系统能够自主选择适合投影的平面，文中通过区域生长算法为投影仪选择适合投影的平面，使得系统更具主动性.充分采集各类室内教学场景环境（如教室、实验室、廊道等）图片，按照不同时间段分别进行（分5个教学时间段），共计120幅.环境结构光动态范围大，经过实地投影实验，获取适合投影图像的颜色统计信息.设定阈值T，由于投影平面对颜色纹理有需求外，其平面大小应超过Tarea.

应用区域生长算法来搜索投影平面，区域生长算法的效果取决于初始点的选择、生长的标准和终端条件.生长区域种子的初始化可尝试捕获图像的中心点，当中心点不满足范围时，算法将移动到左上角的方向，搜索适当的起点，并且搜索步设置为10.

为获得适当的终止条件，需根据不同的教学时间段，充分收集室内环境教学现场的图片，这些领域中的投影实验用于统计适合于教学投影的可接受的颜色范围，将范围设置为92到146，当生长区域大于投影区域满足上述阈值条件时，认为用于呈现投影的合适平面已经找到，效果如图5所示.

图5 互动投影位置选定实例

设备的平台是可移动和旋转的，有助于调整位置和找到投影平面.当由相机捕获的平面图像满足请求的大小时，该位置被确定为适合于投影.否则，它将返回调整移动平台的位置，继续搜索.投影机和相机之间的颜色通道的混合不会受环境的影响，根据几何和颜色的校准，它可以预测原始图像的投影结果.示例如图4所示，根据公式（3）计算对应于原点（在图4（a）中）的RGB值，然后构成图4（b）中的预测投影图像.图4（c）显示的是由相机捕获的真实投影图像，当差异值超过阈值时，计算出预测图像和实际拍摄的投影图像之间的差作为候选区域.对比（b）和（c）观察后发现，图4（d）R差异区块绝大部分区域来自用户的交互遮挡，这里仅给出候选区域R，没有准确的交互位置.

经过分析设计后，选择普通手指作为模板，并在候选区域中搜索以解决上述未提供准确交互位置的问题.模型如图6（a）、6（b）所示.

图6 正常手指示例图和搜索区块

最后，完成基于手指位置的基本交互的指令，图7显示实现的效果，因此该方法可用于开发各类交互式演示系统.可以完成基于手指位置的各种预定义的交互指令，这意味着可以使用该系统，实现手指控制下的交互式教学演示.

图7 指尖区块表明发生交互的准确位置

4 结论

人机交互的发展必将朝着2个方向进行，即语音交互和手势交互.语音的发展受到语言类型众多、语义丰富等影响，使得语音目前受限于标准发音的简单指令.而手势交互不存在此类问题，可提供自由空间的人机交互.文中利用现有多媒体设备，采用计算机视觉技术，将投影平面变换成已交互使用的触摸屏，分析人手姿势实现缩放、单击、双击、选中、翻页等交互指令识别.本文提出在移动平台上建立人机交互系统，用户可以直接用手指与计算机进行交互.在今后的更多教育应用中，势必将为教师和学生提供更好的使用体验.

［1］王鼎元.基于摄像与投影的人机交互系统设计［D］.成都：电子科技大学，2010.

［2］BRANDL P，HALLER M，HURNAUS M，et al.A n adaptable rear-projection screen using digital pens and hand gestures ［C］∥International Conference on Artificial Reality and Telexistence，IEEE，2007：49-54.

［3］WANG C Y，HSIU M C，CHIU P T，et al.Palmgesture：Using palms as gesture interfaces for eyes-free input［C］∥Proceed⁃ings of the 17th International Conference on Human-Computer Interaction with Mobile Devices and Services，2015：217-226.

［4］郭星，刘政怡，李炜，等.一种大屏幕人机交互系统的实现方法［J］.计算机工程与应用，2012，48（1）：176-179.

［5］罗信.基于Procam交互系统的自然手势识别方法研究［D］.广州：广东工业大学，2014.

［6］柳佳雯，梁光明，刘任任.融合色调统计特征的自适应区域增长算法［J］.计算机应用研究，2012，29（8）：3176-3178.

［7］韩君佩.一种具有手指识别功能交互平台的研究与设计［D］.武汉：华中科技大学，2015.

Design and Implementation of a Mobile Teaching Interactive Platform

ZHOU Ying1，SUN Huihui1，2，LI Min1
（1.School of Computer Science and Technology,Huaibei Normal University，235000，Huaibei，Anhui，China；2.National Engineering Research Center for E-learning China,Central Normal University，430079，Wuhan，Hubei，China）

In order to make the human-computer interaction technology get a better interactive experience in digital learning，this paper designs and implements a interactive platform of mobile teaching，which can achieve friendly teaching interaction by interacting directly with the projector，so as to achieve more natural and Humanized teaching interaction experience.The platform is assembled into a new teaching aids through common equipment，and a teaching interface with a specific function is designed to make it possible to active⁃ly search the projection plane.Experiments show that the new mobile teaching interactive platform is feasible and efficient，and its teaching effect is obvious.

mobile teaching platform；human-computer interaction；teaching interaction；regional growth algo⁃rithm

G 434

A

2095-0691（2017）02-0049-06

2017-01-13

安徽省自然科学基金资助项目（KJ2017A849）

周 影（1981— ），女，安徽淮北人，讲师，硕士生，研究方向：信息安全、图像处理.