基于普通纸笔的投影交互方法研究

郭俊修，柳有权，王松雪

基于普通纸笔的投影交互方法研究

郭俊修，柳有权，王松雪

(长安大学信息工程学院 陕西 西安 710064)

投影交互使交互空间不再局限于屏幕，与其他方式相比具有更好的用眼舒适度，能够实现丰富的交互效果，而笔式书写交互则有着与生俱来的自然性和高效性。结合二者优点，提出了一种基于普通纸笔的投影交互方法，通过普通纸笔与计算机进行交互，摄像头用于采集手写内容，投影仪则用于识别效果呈现。另外，通过卷积神经网络(CNN)和KNN结合使系统可自动适应用户的手写风格，提高了针对不同用户的手写体识别率。在此基础上，针对教育领域设计了单词拼写和算式计算2个典型应用。经实验和用户调查，该交互方法与其他交互方法相比，更舒适自然，具有较强的实用性。

普通纸笔；投影交互；手写体识别；笔式交互

人机交互是实现用户与计算机之间进行信息交换的通路[1]。广泛应用的基于鼠标键盘的交互借助了鼠标键盘完成了信息从用户到计算机的流动，然而给用户带来了学习鼠标键盘使用的负担；其次，在交互过程中形成了显示器向用户、用户向鼠标键盘以及鼠标键盘向显示器的信息流通冗余环路，大大影响了交互过程的直观性和主动性。基于触屏的交互较好地解决了上述问题，但存在着“胖手指”问题，即由于用户手指相对于UI控件臃肿而导致的误触、遮挡等问题，且将交互过程局限在屏幕上，一定程度上限制了人机交互的自由性。

随着投影仪的尺寸越来越小、价格越来越低，越来越多的研究人员对投影交互进行探索。投影交互的优点在于投影平面大、投影位置灵活，且经过漫反射后光线变得柔和，比LED 显示屏对人眼的舒适度影响更小[2]。除此之外，投影交互可以直接在实物上投影内容，实现增强现实的效果。在教育和娱乐领域，投影交互得到了广泛地应用，但目前投影交互仍以内容显示为主，用户与计算机的交互不足且方式单一，多以模拟触控交互为表现。

笔式交互是Post-WIMP时代人机交互的研究重点。笔式交互基于传统的纸笔隐喻，有着与生俱来的自然性和舒适性[3]。笔尖比手指更加精细，可解决触屏交互中的“胖手指”问题。笔式交互还可实现多维度的信息输入，为更高的输入带宽和更准确的交互体验提供了可能。但其需要数位板及配套的电子笔作为硬件，且价格较昂贵，使用体验与普通纸笔有一定差距。同时，作为笔式交互中最常用交互手段的笔手势存在着难以记忆、表达的交互内容有限等问题。

本文提出了一种基于普通纸笔的投影交互方法。该方法降低了笔式交互对硬件的要求，仅需要普通纸笔就可以与计算机进行交互，交互信息的采集及效果的呈现分别由摄像头和投影仪完成。同时借助深度学习技术，该交互方式能够自动适应用户的手写体风格，随着用户的使用，对手写体的识别精度不断提高，使交互过程不再是用户单向适应计算机，而是用户与计算机相互适应。本文交互方式通过增加交互命令字能够实现更复杂、更丰富的交互行为；与现有的笔式交互相比，本交互方式使用的是普通纸笔而非数位板和电子笔，硬件成本低廉且能够提供更自然舒适的交互体验。经实验和用户调查，本文方法在几乎不增加学习成本的情况下，能够为用户提供自然、舒适、高效的交互体验。

1 相关研究

随着投影仪的广泛使用，基于投影交互的研究也越来越多。HATANAKA等[4]提出了基于手写识别的Dream Board系统，在用户圈选白板上的单词后，系统会在其上方投影与单词匹配的图像，通过图文结合的方式让用户快速了解单词的含义从而帮助用户学习单词。WELLNER[5]提出了DigitalDesk系统，其利用计算机视觉完成纸张识别、定位，然后将图像投影到纸张上，用户通过笔或手指在纸张上与计算机交互。受文献[5]的启发，ROBINSON和ROBERTSON[6]利用LivePaper系统跟踪普通纸张上的手写字符来定位纸张，然后在纸张上投影多媒体内容，并通过手指完成一系列操作。WILSON[7]提出了基于计算机视觉的PlayAnywhere系统，其由相机和投影仪组成，通过计算机视觉实现了指尖悬停、点击的检测以及纸张定位和基于光流法的动作检测，最终实现了一种紧凑的交互桌面投影交互系统。王修晖等[8]探索了投影模式下的手势交互，设计并实现了基于计算机视觉和数据手套的手势交互系统。LU等[9]从中国皮影戏中获得灵感，通过手持定向传感器操控投影的虚拟角色，启发人们用硬件来实现更加丰富、复杂的投影交互。上述基于投影交互的系统大多数是通过定位投影平面来投影内容，难以灵活完成复杂的交互行为。

笔式交互凭借着符合人的认知习惯、以及人对纸笔的偏好，成为未来用户界面的一种重要发展方向[10]。陈若轻等[11]提出了手写谱曲系统Prelude，通过手绘音符识别同时引入纸带放大镜和自由书写2套模式，最大限度地还原了执笔创作的自然度和流畅度。孟珊等[12]提出了面向学习者的笔式几何学习系统，其通过几何属性动态展示帮助学习者学习几何知识，并通过笔手势来完成删除、选择、拖动等交互行为。徐礼爽等[13]提出了在线双向适应的笔手势界面框架，当笔手势需要进行纠错和模糊消解时，用户既可以选择学习系统也可以选择适应用户，从而实现了系统与用户的双向学习。冯海波等[14]利用基于手势的手写公式编辑系统实现了手写公式字符的识别，并加入选择、取消、删除等笔手势方便用户对手写公式进行修改。CABRAL和CORREIA[15]实现了基于笔式用户界面的视频编辑技术，对视频帧的圈选、涂抹、裁剪、压力感应缩放等功能。上述基于笔式交互的系统依赖数位板及电子笔，使用体验与普通纸笔还有一定差距。随着计算机硬件的发展和高质量数据的积累，深度学习在很多领域得到了广泛的应用[16-18]。借助深度学习，只需通过视觉技术就可完成光学字符的定位识别等任务。

综上，投影交互和笔式交互是Post-WIMP用户界面的研究热点。相比现有工作，本文将投影交互与笔式交互结合，提出的基于普通纸笔的投影交互方法结合了投影交互和笔式交互的优点，交互方式有很大不同，既保留了投影的用眼舒适度特性，又有笔式交互的灵活性。

2 基于普通纸笔的投影交互方法

本文提出的基于普通纸笔的投影交互方法框架如图1所示，实际交互效果如图2所示。首先，计算机投影初始界面，用户使用普通纸笔书写交互命令字(如#menu、#exit等)，摄像头采集用户在纸张上的手写体，经手写检测传递给交互决策模块，并依据当前状态和用户输入做出决策后将响应结果(场景切换及3D模型等)通过投影仪反馈给用户，用户根据响应结果再做出进一步的交互命令。整个交互过程在一个平面(即投影面和纸张所在的平面)内完成，用户几乎不需要预先学习如何使用该用户界面，只需要依据计算机投影内容书写相应的交互命令字即可。

图1 系统框架

图2 用户交互示意图

如图2所示，投影区域位于操作平台的上方，这样可以减少用户在手写时遮挡投影内容；用户手写区域位于操作平台下方，也允许手写区域与投影区域重合，从而方便用户依据的投影内容书写需要的交互命令字。

为了实现该用户界面，需要完成4方面的工作：①硬件系统；②自适应的手写体检测及识别；③交互命令字的设计；④交互内容的设计。

2.1 硬件系统

根据需要，自制硬件系统如图3所示，由高清摄像头和微型投影仪组成，通过支架安装在操作平台上方且光轴垂直于操作平台，通过数据线与计算机相连。微型投影仪采用DLP技术，具备自动梯形矫正功能，减少了矫正投影仪的工作。微型投影仪与高清摄像头紧密连接，分别负责投影区域和用户书写区域。

图3 自制投影系统硬件

2.2 自适应手写体检测及识别

要检测和识别纸张上的手写体，首先要定位纸张，以方便进行手写体字符分割并识别。考虑到纸张检测的鲁棒性和实时性，本文通过检测预先打印的位置探测标识来定位纸张。为了实现手写体识别能够自动适应不同用户的手写风格，本文采用了卷积神经网络(convolutional neural networks, CNN)+ KNN (K-NearestNeighbor)的识别算法，既利用了CNN强大的自动提取特征的能力，也利用了KNN不需要训练的特点，较好地实现了自适应用户的手写风格。

2.2.1 基于位置探测标识的纸张定位及字符分割

对于缺少显著纹理细节的空白纸张的定位和跟踪一直是计算机视觉领域的难题，主要原因在于空白纸张包含的特征(如颜色、边界、角点)等容易受到背景、光照、遮挡等因素的影响。为了保证系统的鲁棒性与实时性，本文在空白纸张的左下角、右上角和右下角各添加了一个位置探测标识用以纸张定位，如图4所示。所用位置探测标识具有以下约束条件：

(1) 3个同心镶嵌的正方形；

(2) 3个正方形的面积比为25﹕16﹕9。

图4 位置探测标识

通过在图像中寻找满足以上约束条件的轮廓确定3个位置探测标识的位置，即纸张左下角、右上角和右下角的位置，从而完成纸张定位。右下角标识同时用来根据手的遮挡情况触发手写过程的状态切换，以避免重复识别降低了程序效率。

得到的纸张区域图像进行裁剪并透视变换后，使用投影法进行字符分割：首先对图像纵向投影，统计横向方向上黑色像素个数，得到字符横向位置；然后对图像进行横向投影，统计纵向方向上黑色像素个数，得到字符纵向位置。最终得到用户书写的字符串。

如图5所示，经过纸张定位、透视变换、图像二值化及投影法分割后，最终得到每个字符图像。

图5 中间结果

2.2.2 基于CNN+KNN的手写体分类

CNN[19]强大的自动提取特征的能力使其成为解决手写体识别问题的主流方法。

考虑到交互命令字所使用的小写英文字母的类别较少、字符的结构相对简单、不含高级的语义特征等，本文借鉴结构简单、运算量小的经典CNN——VGG-16[20]的设计构建了CNN。本文使用NIST SD 19[21]中的小写英文字符类训练的测试CNN。在经过12 epochs训练后，本文CNN在训练集上取得了99.36%的准确率，可完美拟合训练集；此外，在测试集上取得了99.15%的准确率，说明该神经网络具备良好的泛化能力。

虽然CNN已能精准识别手写体，但却无法及时适应用户风格迥异的手写风格。这是因为即便已经得到了带有用户风格的手写体，CNN只有重新训练才能学习其特征，而该过程十分耗时，这是由Softmax分类层决定的。Softmax分类层的计算为

其中，(i)为第个样本；(i)为第个样本的类别，共有种类别；为用于计算类别的参数；((i)=|(i);)为在参数为时，将(i)的类别预测为的概率。

从式(1)可以看出，当新样本出现时，需要重新训练CNN来更新参数，从而才能对新样本进行正确分类，但这一过程需要大量的时间和计算资源。同时，当需要增加新的类别时，需要对CNN重新训练，以使CNN获得识别新类别的能力。

使用KNN取代Softmax层可以很好地解决上述2个问题，因为KNN完成分类不需要任何训练，也不需要学习任何参数。当出现新样本时，只需要将新样本的特征加入到特征库中即可。当需要加入新类别时，只需要在特征数据库中加入该新类别即可。

KNN的使用需要决定3个要素：值的选取、距离度量的选择、分类决策依据。值通过交叉验证得到；分类决策采用少数服从多数的原则。距离度量采用余弦距离，即

其中，和为2个维向量，D(,)的取值范围为[0,1]，2个向量越接近，表示其余弦距离越小，反之越大。与欧氏距离相比，余弦距离受维数的影响更小，更适合用于相似度的衡量。

采用CNN提取特征、KNN进行分类构架使手写体识别有更好的拓展性和用户自适应性，其识别算法流程如图6所示。

图6 基于CNN+KNN手写体识别算法

2.3 笔式用户界面交互命令字的设计

相关笔式用户界面[10-14]的研究中均使用了笔手势作为与计算机交互的重要手段，例如用“○”表示放大界面，“∧”表示向上翻页，“∨”表示向下翻页，“η”表示批注等[12]。

通过笔手势可以简单地完成与计算机的交互，但是笔手势也存在一些问题。首先，在与计算机进行交互前，用户需要学习系统定义的笔手势，给用户带来了额外的学习成本和负担。其次，笔手势难于记忆和容易混淆的问题，如用“η”表示批注操作，会让用户在记忆时感到疑惑和不解，增加了记忆的困难。除此之外，笔手势能够表达的交互指令很有限，当笔手势过多时，用户难以记忆和正确书写笔手势。

为了解决以上问题和补充笔式自然书写的交互手段，本文提出了基于交互命令字的笔式自然书写交互手段。一个交互命令字由一个“#”和一个表明操作的英文单词组成，“#”表明后面的英文单词是一个交互指令，与一般的英文单词区别。用户在纸张上书写的交互命令字经识别后，被交互决策模块执行并响应结果以投影的方式呈现给用户，完成了一次基于交互命令字的交互。本文目前设计的交互命令字见表1，该模式可以通过增加命令字来扩展交互能力。同时还可以将命令字写在卡片上，交互时放置需要的命令卡片即可完成交互，以实现更加自然、高效的交互。

表1 交互命令字及其含义

2.4 交互内容的设计

在手写体识别的基础上，针对儿童幼教学习领域，本文设计了2个场景，即单词拼写和算式计算场景，分别帮助用户记忆单词和学习算式计算。在该类场景下手写内容被识别后，直接作为输入字符串传递给相应的处理单元，如单词比较以判断拼写是否正确；算式计算以判断计算结果是否正确。

这部分具有良好的可扩展性，可根据需要设计相应的内容。由于采用投影模式，将改善用眼舒适度，在目前电子产品泛滥的情况下，需更好地保护儿童视力。

3 实验分析

整个实验环境基于本文自制硬件系统，操作系统为Windows 10，程序使用C++/C#和Python编写，深度学习框架采用Tensorflow，呈现采用Unity平台，使用普通记号笔和印有位置探测标识的普通纸张进行实验。

实验首先验证了基于CNN+KNN的手写体识别算法的自适应性，然后在本文提出的基于普通纸笔的投影交互方法的基础上，实现了2个学习场景:单词拼写场景和算式计算场景，用以验证交互方式的自然性、舒适性和趣味性。

3.1 基于CNN+KNN的手写体识别

一共有20名实验者(13名男性，7名女性)被邀请参加实验，平均年龄24.6岁(标准偏差0.7岁)，平均受教育17.3年。所有实验者均有触摸设备使用经验，均没有笔式设备使用经验。实验者的手写风格有较大差异，其中比较有代表性的5位实验者的手写风格如图7所示。

图7 实验者的手写风格(每行对应一个实验者)

每个实验者需要连续完成15轮次单词拼写，每轮拼写包含5个英文单词。实验者每完成一次单词拼写后，记录当前轮拼写字符的平均余弦距离，并由程序将本轮拼写的手写体特征加入到该实验者的数据特征库中。最后，取20名实验者的每轮拼写平均余弦距离的平均值，得到本文识别算法余弦距离随拼写轮数的关系曲线如图8所示。

图8 余弦距离与拼写轮数的关系

从图8可以看出，随着拼写轮数的增加，平均余弦距离先迅速减小，然后稳定在一个较小的数值附近，表明本文基于CNN+KNN的手写体识别算法随着用户的拼写而越来越准确，具有较好的自适应性。

同时，将CNN+KNN和CNN+Softmax的识别准确率进行对比(图9)。从图9可以看出，随着拼写轮数的增加，CNN+KNN的识别准确率有小幅增加；而CNN+Softmax有所下降。

图9 CNN+KNN与CNN+Softmax识别结果

3.2 基于投影交互的学习场景

本文实现了一个原型系统用以验证本文交互系统的有效性，同时设计了2个学习场景进一步评估提出的用户界面。

当系统启动时，界面如图10(a)所示。用户在纸张上书写“#word”后进入单词拼写场景如图10(b)所示，拼写“#math”后进入算式计算场景，如图10(c)所示。

进入单词拼写场景后，计算机将生动形象的3D模型投影在投影区域，用户根据投影内容拼写对应的单词。如果拼写正确，则展示相应代表成功的动画效果同时响起胜利的音效(图11(a))；如果拼写错误，则将触发代表失败的动画效果同时响起失败的音效(图11(b))。用户在这种自然、有趣的交互下学习、记忆单词。

图10 主要用户界面((a)初始界面；(b)单词拼写模式；(c)算式计算模式)

图11 单词拼写场景((a)拼写正确；(b)拼写错误)

进入算式计算场景后，计算机将拟计算的算式任务投影到投影区域，用户将计算结果手写到纸张上。如果用户计算正确，则将出现对号提示同时响起胜利的音效(图12(a))；如果用户计算错误，则将触发爆炸效果同时响起失败的音效(图12(b))。

图12 算式计算场景((a)计算正确；(b)计算错误)

为了对比本文方法与现有交互方式，20名实验者被要求使用如图13所示的常见的单词测试作为对比(本文采用金山词霸的“爱词吧”程序)。对于“爱词吧”，实验者需要用键盘输入释义对应的单词，然后用鼠标点击提交。

图13 鼠标键盘输入的单词测试

在完成实验后，实验者对使用鼠标键盘和本文投影下的纸笔交互完成单词拼写的容易度、舒适度、可靠性、趣味性以及满意度按照7级李克特量表进行了评价(1为最消极，7为最积极)。结果见表2。

表2 交互方式的主观评价

从表2可知，本文交互方式在容易度、舒适度、趣味性及满意度方面明显优于鼠标键盘的交互方式，但在可靠性方面仍与鼠标键盘的交互方式存在差距。从表3可以看出，本文提出的交互命令字在便捷性方面不及笔手势，但在记忆难度和可拓展性得分明显高于笔手势。本文以调查问卷的形式进一步调查了投影交互的趣味性，问卷中的相关问题如下：

Q1：你认为投影交互有趣吗?

Q2：与键盘鼠标相比，投影交互更有趣吗?

Q3：你是否希望再次使用投影交互?

表3 笔手势与交互命令字主观评价

图14为问卷中有关趣味性问题的统计结果。趣味性相关3个问题的平均分为6.65(=0.47)，6.55(=0.58)，6.30(=0.78)。统计结果表明，问卷结果显著高于问卷中值，说明用户认为本文方式有很强的趣味性。

图14 趣味性用户体验统计

4 结 论

本文提出了一种基于普通纸笔的投影交互方法。利用CNN+KNN实现了手写体识别，在几乎不损失识别准确率的情况下可自动适应用户的手写风格，用户手写体的识别误差随着使用次数的增加逐渐减小。结合了投影交互和自然书写，实现了一种自然、舒适、高效的交互方式，使用交互命令字完成了常用的交互任务；并实现了2个学习场景验证交互方式有效性和可用性。

本文所提的手写体识别算法仍存在不足，如当用户的手写风格与训练样本差别很大时，算法可能会识别错误。为了解决该问题，一种可行的做法是设计一个错误消解界面，由用户来告知系统正确结果，帮助算法学习新的书写风格。

未来将进一步优化手写体识别，提高准确度和响应效率，完善交互内容的设计，针对儿童教育设计更多具有针对性的交互内容。

[1] 张凤军, 戴国忠, 彭晓兰. 虚拟现实的人机交互综述[J]. 中国科学: 信息科学, 2016, 46(12): 1711-1736.

ZHANG F J, DAI G Z, PENG X L. A survey of human computer interaction in virtual reality[J]. Scientia Sinica: Informationis, 2016, 46(12): 1711-1736 (in Chinese).

[2] 蔡建奇, 杨帆, 杜鹏, 等. 不同亮度大尺寸显示屏对视觉健康舒适度的影响——以LED与DLP显示屏比较研究为例[J]. 照明工程学报, 2015, 26(1): 94-98.

CAI J Q, YANG F, DU P, et al. Effect of visual comfort by large size displays in different iuminance—example for comparative research on LED and DLP displays[J]. China Illuminating Engineering Journal, 2015, 26(1): 94-98 (in Chinese).

[3] 田丰. Post WIMP软件界面研究[D]. 北京: 中国科学院软件研究所, 2003.

TIAN F. Research on Post-WIMP software interface[D]. Beijing: Institude of Software Chinese Academy of Sciences, 2003 (in Chinese).

[4] HATANAKA T, HAYASHI T, SUZUKI K, et al. Dream board: a visualization system by handwriting recognition[M]. SIGGRAPH Asia 2013 Posters. New York: ACM Press, 2013: 1-1.

[5] WELLNER P. Interacting with paper on the DigitalDesk[J]. Communications of the ACM, 1993, 36(7): 87-96.

[6] ROBINSON J A, ROBERTSON C. The LivePaper system: augmenting paper on an enhanced tabletop[J]. Computers & Graphics, 2001, 25(5): 731-743.

[7] WILSON A D. PlayAnywhere: a compact interactive tabletop projection-vision system[C]//The 18th annual ACM symposium on User interface software and technology. New York: ACM Press, 2005: 83-92.

[8] 王修晖, 华炜, 鲍虎军. 面向多投影显示墙的手势交互系统设计与实现[J]. 计算机辅助设计与图形学学报, 2007(3): 318-322, 328.

WANG X H, HUA W, BAO H J. Design and development of a gesture-based interaction system for multi-projector tiled display wall[J]. Journal of Computer-Aided Design & Computer Graphics, 2007(3): 318-322, 328 (in Chinese).

[9] LU F, TIAN F, JIANG Y Y, et al. ShadowStory: creative and collaborative digital storytelling inspired by cultural heritage[C]//The SIGCHI Conference on Human Factors in Computing Systems. New York: ACM Press, 2011: 1919-1928.

[10] 戴国忠, 田丰. 笔式用户界面[M]. 合肥: 中国科学技术大学出版社, 2014: 16-17.

DAI G Z, TIAN F. Pen based interaction in- terface[M]. Hefei: University of Science and Techmology of China Press, 2014: 16-17 (in Chinese).

[11] 陈若轻, 陈泉, 宋笑寒, 等. Prelude: 手写谱曲系统的交互方法[J]. 计算机辅助设计与图形学学报, 2016, 28(8): 1358-1364.

CHEN R Q, CHEN Q, SONG X H, et al. Prel ude: interaction approach of a handwriting composing system[J]. Journal of Computer-Aided Design & Computer Graphics, 2016, 28(8): 1358-1364 (in Chinese).

[12] 孟珊, 姜映映, 田丰, 等. 笔式几何学习系统的设计与实现[J]. 计算机工程与设计, 2009, 30(16): 3846-3867 (in Chinese).

MENG S, JIANG Y Y, TIAN F, et al. Pen-based geometry learning system[J]. Computer Engineering and Design, 2009, 30(16): 3846-3867 (in Chinese).

[13] 徐礼爽, 田丰, 吕菲, 等. 在线双向适应的笔手势界面框架研究[J]. 计算机学报, 2010, 33(6): 1100-1109.

XU L S, TIAN F, LV F, et a1. Research on on-line two-way adaptive pen gesture interface framework[J]. Chinese Journal of Computers, 2009, 30(16): 3846-3867 (in Chinese).

[14] 冯海波, 李昭阳, 戴国忠. 基于手势的手写公式编辑系统[J]. 计算机工程与应用, 2003, 40(35): 97-99.

FENG H B, LI Z Y, DAI G Z. Gesture-based handwriting mathematics editing system[J]. Computer Engineering and Applications, 2003, 40(35): 97-99 (in Chinese).

[15] CABRAL D, CORREIA N. Video editing with pen-based technology[J]. Multimedia Tools and Applications. 2017, 76(5): 6889-6914.

[16] KRIZHEVSKY A, SUTSKEVER I, HINTON G E. Imagenet classification with deep convolutional neural networks[C]//The 25th International Conference on Neural Information Processing Systems. Cambridge: MIT Press, 2012: 1097-1105.

[17] SZEGEDY C, LIU W, JIA Y Q, et al. Going deeper with convolutions[C]//2017 IEEE Conference on Computer Vision and Pattern Recognition. Washington DC: IEEE Computer Society Press, 2015: 1-9.

[18] HUANG G, LIU Z, VAN DER Maaten L, et al. Densely connected convolutional networks[C]//2017 IEEE Conference on Computer Vision and Pattern Recognition. Washington DC: IEEE Computer Society Press, 2017: 2261-2269.

[19] LECUN Y, BOTTOU L, BENGIO Y, et al. Gradient-based learning applied to document recognition[J]. Proceedings of the IEEE, 1998, 86(11): 2278-2324.

[20] SIMONYAN K, ZISSERMAN A. Very deep convolutional networks for large-scale image recognition[EB/OL]. [2018-07-30]. https://arxiv.org/abs/1409.1556.

[21] GROTHER P, HANAOKA K. Nist special database 19 handprinted forms and characters 2nd edition[EB/OL]. [2020-01-15]. https://www.nist.gov/srd/nist-special-database-19.

Research on projector interaction method with common pen and paper

GUO Jun-xiu, LIU You-quan, WANG Song-xue

(School of Information Engineering, Chang’an University, Xi’an Shaanxi 710064, China)

Projector interaction has freed the interaction space from the electronic screen, which is more eye-friendly than other display modes and can produce abundant interesting interaction effects. In addition,the interaction with pen-writing is inherently natural and efficient. With the integration of the advantages of both, a projection interactive method was proposed based on common pen and paper. Users can interact with the computer through common paper and pen, while the camera was employed to collect the handwriting images, and projector was utilized to present recognition result. Moreover, with the integration of CNN and KNN, the present method can automatically adapt to users’ handwriting style,so as to increase the recognition accuracy. Based on this, two typical applications are designed, including English-word remembering and simple mathematical calculation. The experiments and user surveys verified that the proposed interaction method is more natural, convenient and practical than other interaction methods.

common pen and paper; projector interaction; handwriting recognition; pen based user interface

TP 391.41

10.11996/JG.j.2095-302X.2021030470

A

2095-302X(2021)03-0470-08

2020-12-10；

2021-01-20

10 December，2020；

20 January，2021

载人航天预研项目(030101)

Advance Research Program of Space (030101)

郭俊修(1995-)，男，山东潍坊人，硕士研究生。主要研究方向为虚拟现实与人机交互技术。E-mail：2018124055@chd.edu.cn

GUO Jun-xiu (1995-), male, master student. His main research interests cover virtual reality and human-computer Interaction. E-mail：2018124055@chd.edu.cn

柳有权(1976-)，男，湖北宜昌人，教授，博士。主要研究方向为计算机图形学、虚拟现实。E-mail：youquan@chd.edu.cn

LIU You-quan (1976-), male, professor, Ph.D. His main research interests cover computer graphics and virtual reality. E-mail：youquan@chd.edu.cn