基于自然交互的教学辅助系统研究与设计

周　屹，辛　壮，方志民，戴洋洋

(黑龙江工程学院 计算机科学与技术学院，黑龙江 哈尔滨 150050)



基于自然交互的教学辅助系统研究与设计

周屹，辛壮，方志民，戴洋洋

(黑龙江工程学院 计算机科学与技术学院，黑龙江 哈尔滨 150050)

摘要：介绍基于自然交互的教学辅助系统的实现方法。将基于Kinect的体感技术引入到课堂教学中，设计一种适用广大高等学校课堂教学的教学辅助系统。通过建立骨骼系统、手势识别等实现教学辅助功能。这种方法进行教学具有形式新颖、方法灵活、成本低的特点，弥补传统教学方式的不足，能够有效地提高教学质量。

关键词：教学辅助系统;体感技术;骨骼系统;手势识别

随着现代教育技术的不断发展，多媒体课堂已经普遍进入高等院校。在现有的多媒体教学系统中，教师虽然避免了单一依赖板书的问题，却还要通过不断地点击鼠标、键盘或者一些其它的手持设备来完成教学辅助系统的应用。教师和学生之间仍存在着教与被教的单一关系，学生与教师之间互动较少。在教学过程中，学生不能积极主动参与，教师在教学过程中也难以得到同学的反馈，无法发现学生的不足，忽略了学生的主体地位。为了营造轻松、愉快的学习氛围，提高学生学习积极性，本文将体感技术应用到辅助教学中，设计了一种基于自然交互的教学辅助系统。

目前，教学辅助系统在国内外高校早已被广泛使用。主要包括应用于实验室的教学辅助系统、基于Internet的虚拟教学辅助系统以及计算机类课程的实验支持学习系统等[1-7]。例如BestSoft的实验室管理系统，这是国内的一个基于实验室的教学辅助系统。国内的一些知名高校也研制了一些实验教学辅助系统[8-11]。较为常见的教学辅助系统如基于Internent的虚拟教学辅助系统、新加坡国立大学建立的远程控制实验室、北京大学建立的网上交互式虚拟实验室等。这一类系统主要针对远程教育中的实验教学，运用虚拟现实技术，模拟出实验所需的各种硬件条件，满足实验的苛刻要求，尽量为实验者提供最真实的感受。目前，国内各高校基于web的学习系统是计算机类课程的实验支持学习系统的最好体现。

1基于自然交互的教学辅助系统

1.1　基本结构

如图1所示，基于自然交互的教学辅助系统其软硬件可分为三层，各层的基本功能如下：

1)底层硬件设备采用Kinect、麦克风等，开发工具选用C++，通过调用开放式自然交互接口OpenNI完成系统设计。

2)中间层为开放式自然交互接口(OpenNI)。

3)顶层为教学辅助系统软件层。系统通过OpenNI接口，调用底层Kinect设备等，获得教师姿态与手势信息，通过识别来调用对应辅助功能模块，实现辅助教学。

图1　系统基本结构

1.2　系统流程

系统流程如图2所示。

图2　系统流程

对于教学辅助系统的实现,主要包括以下步骤：

1)初始化系统软硬件，完成对软硬件的初始化设置。包括对Kinect的驱动、底层OpenNI的配置等。

2)利用Kinect摄像头捕捉教师/学生图像，获得RGB-D图像。

3)调用对应函数，完成提取骨骼与手势数据。

4)计算相似度，判断手势是否匹配，若匹配则调用对应系统模块功能，否则返回。

2系统关键技术

2.1　骨骼系统的建立

Kinect体感操作的基础是骨骼追踪。它可以同时对多人进行动作追踪，包括四肢以及手势等。Kinect具有RGB及红外传感器，通过它们来感知环境，形成周围环境的RGB-D图像。RGB-D传感器以30帧/s的速度获得深度图像，系统通过调用OpenNI在背景环境中分割出的人体获得骨骼图。人体的深度图像与骨骼结构的对应关系如图3所示。

图3　骨骼形成

2.2　基于Kinect的手势识别算法

系统通过手势识别完成内容选择与翻页等功能，通过调用底层OpenNI接口以及OpenCV函数来实现。

基于Kinect的手势识别原理如图4所示。

图4　基于Kinect的手势识别原理

一组手势捕捉效果如图5所示。

图5　一组捕捉的手势

2.3　基于Kinect的语音识别实现

采用MS speech sdk5.1作为语音识别开发引擎，开发kinect语音识别模块，包括文语转化和语音识别。通过调用Voice Text API 完成语音合成。通过voice Dictation API进行语音识别。

部分代码如下：

将语音引擎加入头文件：

JHJinclude "sapi.h"

…

初始化：

ISpVoice *pSpVoice;

::CoInitialize(NULL);

…

3结束语

本文介绍了一种基于Kinect的教学辅助系统，可以应用于课堂教学，具有辅助教师完成课堂教学、学生互动的功能。随着计算机技术的不断发展与完善，基于Kinect教学辅助系统也将日渐成熟，并逐步普及到各大中小院校。这种方法进行教学具有形式新颖、方法灵活、成本低的特点，弥补了传统教学方式的不足，能有效地提高教学质量，有较为广泛的应用前景。

参考文献

[1]毛麾民. 高校计算机实验室教学辅助系统的设计与实现[D].成都：西南交通大学, 2013.

[2]黄鑫. 基于VR技术的虚拟教学应用研究[D]. 武汉：华中师范大学, 2005.

[3]桂芳, 沈华平, 吴杰,等. 基于WEB的虚拟教学系统综述[J]. 计算机工程与应用, 2001, 37(11):60-62.

[4]何益明. 基于自然交互的体验式教学系统设计研究[D]. 杭州：浙江工业大学, 2013.

[5]樊妍妍. 基于数据挖掘的个性化在线教学辅助系统的研究与设计[D]. 安徽：安徽大学, 2011.

[6]王建伟, 王鑫，许宪东. 改进的ID3算法在远程教学系统中的应用[J]. 黑龙江工程学院学报, 2014, 28(1):67-70.

[7]张伟. 高校计算机实验教学辅助系统的研究与实现[J]. 信息与电脑(理论版), 2012(1)：180-181.

[8]高杨, 李小遐. 计算机辅助教学实践及其思考[J]. 时代教育, 2015(5).

[9]张晶. 网络虚拟大学物理实验系统辅助教学的探索[J]. 承德石油高等专科学校学报, 2007, 9(4):62-65.

[10] 牛学真. 开放式虚拟实验教学平台集成技术研究[D]. 北京：北京邮电大学, 2014.

[11] 潘锦锋. 基于WPF技术的虚拟教学系统的研究与实现[J]. 消费电子, 2014, (18):177-178.

[责任编辑：郝丽英]

Research and design of a teaching assistant system based on natural interaction

ZHOU Yi,XIN Zhuang,ZHENG Lei,Fang Zhi-min

(College of Computer Science and Technology, Heilongjiang Institute of Technology,Harbin 150010, China)

Abstract：It presents the realization of a teaching assistant system based on natural interaction method. Techniques of body feeling based on Kinect are introduced into classroom teaching, and a teaching assistant system is designed for classroom teaching in colleges. By establishing the skeletal and gesture recognition system, it can realize the teaching auxiliary functions.This new approach of classroom teaching has some advantages such as novel form,more flexible and low cost, which can make up for the deficiency of the traditional teaching method and effectively improve the quality of teaching.

Key words：teaching assistant system; somatosensory technology; skeleton system; gesture recognition

作者简介：周屹(1971-)，女，教授，研究方向：计算机应用.

基金项目：2014年黑龙江省教育教学改革工程项目(JG2014010979)；黑龙江省大学生创新训练项目(201411802015)；黑龙江工程学院大学生创新训练项目(201411802058)

收稿日期：2015-07-25

中图分类号：TP399

文献标识码：A

文章编号：1671-4679(2015)06-0038-03