基于移动增强现实技术的手语学习系统设计与实现

程鸿芳，唐贤传

(芜湖职业技术学院，安徽芜湖 241000)

据统计，我国现有聋哑人2057万，按每个聋哑人有直系亲属四人计算,使用手语的人口应该在一亿人左右。此外，特殊教育工作者、服务行业、政府职能部门以及手语爱好者也是一个很大的使用手语的群体。而目前手语学习主要依托于聋哑学校，学生在课堂上接受教育，但是由于受传统特殊教育手段的限制，学生在接受方面存在着诸多障碍。在“老少边穷”地区，上网困难的聋哑人无法学习手语。针对这一现象，本文开发一款基于移动增强现实技术的手语学习系统，帮助聋哑人学习手语，使他们更好地融入社会，与健全人进行无障碍交流。

1 增强现实技术概述

增强现实技术(Augmented Reality，AR)，是一个非常有发展潜力的新技术，它能够实现虚拟信息和真实世界的无缝融合，呈现给用户一个视觉感官效果真实的新环境。随着移动终端的迅速发展，多种传感器的广泛应用，为实现移动增强现实技术提供了强有力的保障。

2 基于移动增强现实技术手语学习系统的设计

2.1 系统整体设计

整个手语学习辅助系统包含移动APP、AR学习手册、云端服务器。

2.1.1 移动“守望”聋哑人手语学习无障碍辅助APP

“守望”APP如图1所示，目前只包含AR识字、AR手语教学、语音识别三个模块。

2.1.2 AR学习手册

该手册包含聋哑人日常用语，包含常识主题、出行需求、人际交往、社会往来。收录手语词汇上千个，具有浏览、查询等功能，图文并茂，可以添加修改词库，是学习手语的好工具，如图2所示。

图1 移动“守望”聋哑人手语学习无障碍辅助APP

图2 手语AR学习手册

2.1.3 云端服务器

“守望”APP由于包含了大量的3D手语动画以及可识别图片，占用存储较大。针对此我们将推出两款产品：第一款APP将把资源存储到云端，本地存储占用低，在云端进行图片识别后，服务器会把对应的3D手语动画推送到客户端；第二款APP将包含所有资源，针对的用户是“老少边穷”地区上网困难的聋哑人，所有的图片识别都是在本地，可以更好地缩短发达地区与欠发达地区的差距，帮助更多的聋哑人了解科技技术，融入社会。

2.2 手势模型设计

2.2.1 模型阶段

在最初的模型阶段，通过人物手部的骨骼来判断手部的大小以及人物手部的关节位置，只有对关节位置有一个正确的把握，才能对手部的动作有正确的调整基础。同时，在建模初期需将手部全部平展开来，达到五指张开、平伸直的状态，以便后面步骤的操作，如图3所示。

2.2.2 贴图及渲染阶段

在建立好模型以后需要对模型加上手部的纹理以及手部的颜色。首先将模型UV展开，单独将UV渲染出来，存为TIF格式。再将渲染好的UV图放进Substance printer软件中进行人物手部的纹理及贴图绘制。在绘制好贴图和纹理后，将其贴入3DMAX中的手部模型上，然后在自带的灯光中渲染即可，如图4所示。

图4 贴图及渲染阶段设计

2.2.3 动画调整阶段

在调整动作之前，需要经过繁琐又复杂的权重阶段。权重意味着骨骼所带动的皮肤变化位置及多少。在完成骨骼的权重调整之后，开始做动画部分。先将手部五根手指的基础动作做成控制盘，这里需要利用动画反映控制器和IK解算器。完成反应器制作以后，再对照手语文本进行逐帧的动画制作，如图5所示。

图5 动画调整阶段

2.3 手势动作的识别

通过Unity 3d调用DefaultTrackableEventHandler类，对识别图进行识别，识别出不同的图片、出现的不同模型以及匹配相应的动作。

2.4 移动端实现

在Unity3d中导入Vuforia的SDK，制作AR，最后导出成Android APP。

第一步：环境搭建。把Unity3d的项目以Gradle方式导出；将导出的项目中lib文件夹下的jar包拷贝到Android工程的libs目录下；然后把Unity3d导出项目下的assets和jniLibs文件夹拷贝到Android工程的main目录下。此时开发环境搭建完毕，如图6所示。

图6 第一步设计界面图

第二步：继承UnityActivity的类(此类为Unity3d中的classes.jar包下的类，并继承activity类)，使其场景显示在activity组件中。此后就是在Android中的开发了。(Unity3d中场景的脚本与Android中通信交互方式是通过UnityPlayer.UnitySendMessage()API函数通信的)，如图7所示。

图7 第二步设计界面图

2.5 移动增强现实技术手语学习系统

手语学习教学平台(图8)的手势模型，提供了大量的手势动作(图9、图10)。该平台具备查看历史记录、中英文输入识别、语音识别、AR识别等功能。

图8 手语学习教学平台

图9 字母C手语展示

图10 字母A手语展示

3 结语

增强现实作为近年来快速发展的一种新技术，为手语学习提供了新的教学方法，同时解决了传统教学中的弊端。采用3DMAX、Unity3d、Vuforia、Andriod等技术，开发一款基于移动增强现实技术手语学习系统。该系统利用3DMAX实现手的模型，内贴皮肤，制作手的骨骼，通过控制骨骼节点制作骨骼动画，运用Unity3d脚本实现模型的控制与动画的播放，在Unity3d中导入Vuforia的SDK，制作AR，最后导出为Android APP。系统界面简单，操作方便，实时性高，给聋哑人以身临其境的感觉，帮助他们更好地融入到健全人的社会生活中。同时，本系统还可以帮助与残疾人接触的民政、社工、康复等工作者，提高他们学习手语的效果。

[参考文献]

[1]张林鍹,辛献杰,崔冰,等.面向汽车产品设计的虚拟现实服务平台研究[J].系统仿真学报,2014(10):2407-2411.

[2]周灵,张舒予,朱金付,等.增强现实教科书的设计研究与开发实践[J].现代教育技术,2014(9):107-113.

[3]徐剑坤.增强现实技术在采矿工程实验教学中的应用[J].实验室研究与探索,2013(2):136-139.

[4]沈克.基于增强现实的大学计算机基础课程教学研究[J].电脑知识与技术,2010(15):4079-4080.

[5]申玉斌,蔡勇.基于增强现实技术中虚拟物体投影的应用研究[J].微计算机应用,2008(5):73-77.

[6]刘遹菡.基于增强现实技术的手机应用研究[J].湘潭大学学报:哲学社会科学版,2015(3):127-130.

[7]孟昭睿.基于快速响应码的移动增强现实系统的研究[J].韶关学院学报,2015(2):19-24.