基于Hololens的书法实践课程设计

张越　赵露

摘要：本文利用unity3d引擎，实现手势、语音、凝视等交互，让使用者在“枯燥”的书法实践中体验到科技感，提高对国学类传统技艺的兴趣。此实践还可应用于其他科目的教学设计中。

关键词：Hololens;混合现实;MR教育;书法实践

中图分类号：TP391.9 文献标识码：A 文章编号：1007-9416（2019）02-0130-02

0 引言

近年来，HTC、Oculus（现已被Facebook收购）等互联网巨头公司先后发布基于增强现实技术、虚拟现实技术的系列产品，引发了医疗、教育、游戏等传统领域与高新科技技术交叉应用的新浪潮。“混合现实技术”试图将人与虚拟世界和现实世界三者同时联结起来[1]，使用者会在不同的角度获得沉浸式的深度交互。微软公司生产的Hololens是目前技术较为成熟的可穿戴式头盔。基于该设备的前沿应用大多投入于医疗、军事等领域。技术受限及高额预算使其普及度大大降低。将其应用于教育方面的开发与实践探索，在国内尚属起步阶段[2]。

1 实践特点

书法，作为我国极为重要的优良传统文化，它的教育意义可以说是毋庸置疑[3]。如何在课堂上实现书法教学，让学生通过书法感受到中国古代文化的博大精深，并得到思想与意识的陶冶？这一话题始终存在，但可实现的解决方案却受限于地点、教资、学生可支配时间等各项因素。书法在实践前期是极其枯燥的，并且无法在较短的时间内得到书写水平的迅速提高。由此导致了青少年过早的兴趣缺失，转而投入其他课外领域。而基于混合现实情景下的书法教学会使高新科技与传统国学擦出火花。使用者将沉浸式感受电子教学，并在触手可得的区域进行书法练习。这种教学模式可以避免学生的消极态度，并降低了来往于培训机构、学校场地的时间成本。

2 前期开发准备

2.1 计算机开发环境

硬件配置：64位Windows10专业版，16GB内存，4核CPU，微软Hololens可穿戴头盔。

编译环境：Visual Studio2017， Unity 5.6.3p2。

2.2 注意事项

在BIOS中进行设置，确保PC机虚拟化（virtualization），并启用 Hyper-V。安装VS2017时添加Win10 SDK（10.0.14393.0）组件。将PC机与Hololens更改为开发者模式，并确保两者的网络连接所属同一局域网。

3 内容设计

3.1 npc引导

利用3dsMax建模书童人物，当使用者进入应用后，播放开场提示。手势对准npc张合后，其产生高亮状态，说明进入学习模式。人物四周设置附加功能的UI面板，通过凝视射线进入/移出区域控制UI面板显示。在进入书写动画主面板前，npc将一直存在，“陪伴”使用者熟悉使用流程。

3.2 书写动画控制及附加功能

书写动画控制：用户语音“Show Me The Detail”，卷軸显示并启动书法学习模式。扇形模型显示进度。加载完成后显示主面板，字体动画主面板如图1所示。此处包含凝视功能，实现移至某一字体小面板，其自动更改颜色以提示用户的实现实况。

用户可选择上下页切换以及返回功能。手势控制打开每个面板，对单个字体进行选中后，主面板自动进行隐藏。根据用户手册，可查询每个字体动画播放的语音。以戈字为例，若用户语音说出“The First Video”，即可打开动画播放界面。并以手势控制字体的动画的关闭。

附加功能：

（1）唐诗朗诵 增设真人朗读功能，下同。若使用者选取《中秋月二首》，用户语音说出：“Ask the moon”。其他诗词对应参见手册，后台根据语音自动切换音频。

（2）小故事 此处选取柳公权的故事进行四部分节选，语音控制为“The First One”，剩下的为second，third，fourth，后台可自动切换音频。

包含上述两项的附加功能面板如图2所示。

4 核心算法

4.1 空间定位

增加空间映射让Hololens扫描并读取空间网格数据。在可移动物体上 放置TapToPlace脚本，使用Raycast视线检测，实时对其进行定位，选中时显示空间网格，反之隐藏网格，优化用户体验。建立一个空物体绑定用来管理全息空间的物体锚点，优化物体反应速度。

4.2 语音

首先打开microphone权限，使用关键词管理器keyword Manager组件定义语音内容并实现具体函数。如调用字体书法主面板，即使用ShowPlane（）方法，将npc绑定的object设置为false，字体面板绑定的object设置为true。

4.3 凝视

凝视（Gaze）可以帮助我们确定视线的具体位置，其具体意义可类比为pc端的光标。相机位置为起始点，raycast射线“击中”绑定碰撞体的物体后，产生不同反应，此处为脚本具体实现。

4.4 手势交互

Hololens提供的底层API获取手的位置、速度、姿态（开张合、平移）信息。如平移操作：在三维坐标系环境中，获取用户手势的起始和终止位置，对相应物体添加平移remove（）脚本，根据rotate的在x、y、z轴移动的不同角度与时间进行相关运算来控制其平移事件，其他交互动作根据不同脚本实现。

5 结语

本文探索的基于Hololens的书法实践课程，以微软混合现实头戴设备为用户体验终端，在配置好windows环境后，成功实现pc端与设备端的连接。再利用unity引擎实现具体功能脚本。该项目可使佩戴者在任意的地点观看书法视频字体教学，并可根据习惯调整位置再进行写字练习。后续将着重于开发字体展示效果及补充其他国学类相关内容。

参考文献

[1] 陈宝权，秦学英.混合现实中的虚实融合与人机智能交融[J].中国科学：信息科学，2016，46（12）：1737-1747.

[2] 毕盈盈.混合现实技术在数字化产品展示设计中的应用[D].中国美术学院，2012.

[3] 曲诏菁彦.中小学美术课书法教学研究[D].鲁东大学，2018.

Design of Calligraphy Practice Course Based on Hololens

ZHANG Yue，ZHAO Lu

（Chongqing University of Posts and Telecommunications，Chongqing  400065）

Abstract：This article uses the unity3d engine to realize gestures， voices， gaze and other interactions， allowing users to experience the sense of science and technology in the "boring" calligraphy practice and improve their interest in traditional Chinese art. This practice can also be applied to instructional design in other subjects.

Key words：Hololens; mixed reality;MR education;calligraphy practice