智慧教室声音处理研究

岳恩妮，周伟杰，朱守业

(1.江苏师范大学 智慧教育学院；2.江苏师范大学 数学与统计学院，江苏 徐州 221000)

1 智慧教室概念

国外学者认为智慧教室是运用计算机对信息进行传输和处理，并提供即时反馈给教师和学生，促进个性化教学活动开展的教学环境。国内关于智慧教室的代表性说法为：智慧教室是一种优化教学内容呈现、便利学习资源获取、促进课堂交互开展、具有情境感知和环境管理功能的新型教室[1]。笔者认为智慧教室应该至少有以下特点：

(1)技术先进。智慧教室需要综合应用物联网、云计算、大数据、数据挖掘、虚拟现实、人工智能等先进技术手段，提高教学效果。

(2)资源丰富。能提供并便捷利用多元化数字资源和智能的学科专用工具，个性化地推送和共享资源，增进学生对学习内容的深度认知加工。

(3)智能交互。在学生与学生、学生与教师、师生与环境、师生与资源的交互中，学生多感官融入环境，思维得到显性化，将知识同化入原有认知结构，认知结构得到改变。

(4)类型多样。不同学科、课程、课型有不同教学需求，所以智慧教室应该根据不同教学模式及其需求变换多种类型与形式。

(5)人本关怀。教育培养目标应该是“知情合一”的人，即既会运用理性思考，同时也善于感性思考。因此在教学过程中更要注重情感作用，营造良好课堂气氛。

(6)虚实融合。在先进技术和丰富资源支持下，云端一体化的智慧学习空间架构已经成为现实，虚拟仿真实验平台、MOOC平台、教学管理系统等多种虚拟学习空间和智慧教室融为一体，更加系统地为教学提供支持和服务。

2 系统架构

智慧教室中声音处理系统主要由物理环境模块、语音处理系统、数据分析模块、移动端与云平台等模块组成，系统整体构成如图1所示。

图1 智慧教室系统架构

2.1 物理环境

智慧教室在选择材质、空间布局、安放设备和色彩搭配等方面，应力求整洁舒适、让人赏心悦目；在环境管理方面，要做到实时监测教室环境，智能设备根据状况数据自动调整；在人机交互方面，学生可以通过简便、友好的操作获取到有价值的信息，促进学生与老师、学生与学生间的交流，构建和谐平等的教学环境。

系统特别强调在声音处理方面，墙纸和顶面均需采用吸音材料，例如墙面与顶面可采用防火型聚酯纤维绵或矿棉吸音板，尽可能提高降噪系数。并且，教室每个角落设置悬置麦克风，一个教室一般设置4～6个麦克风，这种悬置麦克风的方式可最大限度实现对上课过程的零干预，保证声音的全方位采集并提高声音处理的准确性[2]。

2.2 语音处理系统

该语音处理系统主要是基于三个语音处理技术：声纹识别技术、语音内容识别技术、语音情感识别技术。对采集的声音数据进行处理，识别说话人、说话内容及说话情绪，对整个课堂进行全程跟踪。

(1)声纹识别。声纹其实就是对语音中所蕴含的、能表征和标识说话人的语音特征，以及基于这些特征(参数)所建立的语音模型的总称，而声纹识别是根据待识别语音的声纹特征识别该段语音所对应的说话人的过程[3]。因为每个人的发声器官，例如舌头、牙齿、口腔、声带、肺、鼻腔等在大小和形状等方面都有所不同，以及个人年龄、性格、语言习惯等方面的不同，加之发音容量大小和发音频率差异，因而每个人发出的声音必然有着各自特点，每个人声纹图谱都不同。因此，声纹识别技术又称说话人识别技术，它是一种实现说话人检测和识别的生物特征识别技术。声纹识别主要任务包括：语音信号处理、声纹特征提取、声纹建模、声纹比对、判别决策等[4]。

(2)语音内容识别。在生活中，语音信号不仅是人们传递信息的最直接、便捷、高效的方式，也是人类思想和情感交流的最主要途径。但是传统的人机交互只是让机器根据人类操纵鼠标和键盘指令去执行命令，这种人机交互相比于人类的语音交互不自然且不方便。所以人们一直希望将人与人之间的语音交互推广到人与机器的智能语音交互。语音识别一般有3种方法：①基于信道模型和语音知识的方法；②基于模板匹配的方法；③基于人工神经网络的语音识别方法。目前语音识别技术应用非常广泛，例如语音输入、语音拨号、智能家电、语音翻译等。

(3)语音情感识别。语音情感识别是指计算机自动识别输入语音的情感状态。不同人表达的语言信号不同，即使是同一人，不同时间表达的声音信号在时间结构、振幅结构、基频结构和共振峰结构等方面也有不同结构特征和分布规律。因此，只要测量、计算和分析各种具体模式的语言声调表情在时间构造、振幅构造、基频构造和共振峰构造等特征方面的构造特点和分布规律，并以此为基础或模板，就可以识别出所有语言声调中所隐含的情感内容[5]。

2.3 数据分析系统

数据分析系统是在声纹识别、语音识别、语音情感识别基础上，统计记录学生每次上课发言次数、发言时间、发言内容概要、发音情况、发言时情绪等信息，为每个学生生成课堂报告与建立数字档案，并为教师推送班级学生的学习情况及情绪状态，为实现精确的个性化培养提供支撑。教师和学生虽然接收的分析结果源于同一份数据，但是分析角度及提供建议有所不同。

(1)学生需要通过课堂报告了解自己发音及知识体系的薄弱之处，在课后针对性练习。所以学生收到的课堂学习报告有以下内容：上课发言次数的频次变化；错误读音及矫正；发言内容分析结果并对发言内容从知识正确性、回答条理性、自信程度、新颖程度进行评价；将上课发言情况结合每个学生的基本信息、学习风格、学习情况推荐必要的课后资源。

(2)教师需要通过课堂报告掌握学生上课的积极程度及回答问题或研讨时的情绪状态，及时调整课堂活动并且在课后为易感焦虑的学生进行鼓励和引导。教师收到的课堂教学报告有以下内容：学生上课发言次数的频次变化；不同教学内容学生讨论及发言频次的统计；上课过程有异常情绪的学生及其情绪随上课进程的变化情况。

这些分析结果对教学过程起着重要支持作用：①可以实时反馈给上课的教师和学生，实现对课堂全过程的智能检测；②可以利用统计分析、数据挖掘等技术，研究不同教学模式对学生上课积极性的影响，帮助教师调整教学方式；③可以丰富教学系统中每位学生的画像，为学情预警和教学干预提供数据来源。

2.4 移动端

移动端不仅是学生与教师的交互媒介，也是教师与整个教学环境、学生与整个教学环境的交互媒介。有研究表明移动端的使用能增强教学的情境性，可以更好地实现个性化教学。本文所强调的移动端的功能主要包括以下方面：

(1)作为课堂发言和讨论数据分析结果实时反馈的呈现载体，在课堂互动过程中，实时将数据分析结果反馈给上课教师和学生，反馈内容包括发言时长、发言内容概要、读音问题以及发言内容的知识正确性、回答条理性、自信程度、新颖程度等评价。通过对课堂上课情况全过程智能检测，有利于对学生发言及时反馈并且帮助教师根据学生回答及情绪状态掌控与调整课堂进展，营造良好课堂气氛。

(2)作为课内课外打通、线上线下融合的平台，课后师生可以在此平台讨论没有完成的或者讨论过程中引出的新问题，课后查看自己的课堂生成报告进行针对性的个性化学习。

(3)作为实时获取各类资源、工具与模拟教学情境的媒介，学生可通过移动端查找与接收各类资源，进行线上讨论、视频点播、在线测试等，帮助师生尝试并适应多形态的课堂教学。

2.5 云平台

整个智慧教室教学系统直接通过云课堂平台自动获取学生的基础信息、课程信息，并将行为记录等信息与之关联；课后的课堂发言与讨论文本可以上传至云平台，供学生在复习时在线查看，不断地实现教学资源的丰富和充分共享；云平台中存储的学生画像和个人数据中心会自动根据智慧教室中采集的大数据更新，为教学管理、教学指导、教育监测评估和智能决策等提供支持。

3 结语

智慧教室在建设的过程中应该强调以学生为主体、追求个性化的有意义学习，彰显以人为本的教育理念。本文基于声纹识别技术、自动语音识别技术、语音情感识别技术建构的智慧教室声音处理系统，借助物理设备、移动端、云平台实现了教学过程的实时监测和个性化教学，体现了智慧教室虚实融合、智能交互、人本关怀的特点。本文提出的基于声音处理技术的智慧教室系统架构具有以下优势：

(1)借助语音处理技术，不需要学生与硬件设备直接接触，即可实现零干预采集教学活动过程的声音数据，促进师生在智慧学习空间中协作与交流。

(2)利用语音识别技术，有利于在语文与英语课堂对学生读音进行及时反馈与针对性指导。

(3)利用语音情感识别技术，对学生发言时的情绪状态进行检测，特别是有无焦虑情绪，教师可在教学活动或策略上进行改变以营造良好课堂氛围。

(4)相关数据分析结果会实时反馈给教师和学生，教师可以动态调整教学进程。

(5)多角度、多层次的统计分析可以更清晰展现出学生现有的知识结构并且丰富学生画像，为不同学生提供有针对性的预习资料、课后作业与资源等，实现个性化教学。