“和声学”智能交互式教学软件的技术实现

朱媛媛

(江苏师范大学 音乐学院，江苏 徐州 221116)

当前，“新型冠状肺炎”疫情仍然存在不确定性，网络远程教学依然是高校重要的教学手段之一.虽然国家免费开放了很多优质在线课程和虚拟仿真实验教学资源，但高校音乐专业理论的课程资源却较少，根本无法满足部分音乐理论课程的教学需要.同时，国内也没有针对高校音乐理论课程的智能教学软件和系统平台.

“和声学”是音乐专业的基础主干理论课程.根据互联网数据，截至2020年底，开设音乐学专业的高校有402所，其中开设音乐教育专业的有 258 所(含大专)，这些高校均设立了与“和声学”相关的理论课程.“乐理”“复调”“作曲”都涉及“和声(和弦)”的写作.当前，“和声学”教学通常是由教师结合课件在黑板上进行和声写作演示，并讲解演算方法，难以在学生大脑中形成和声音响的听觉联想.因此，大多数学生并没有音乐记忆和感受，也无法形成和声思维习惯.“和声学”作业的批改耗时耗力，教师不可能对每名学生的作业逐一检查，从而导致学生书面练习的效果不佳.由于缺少针对性的教学软件，在远程教学模式下，教学过程也十分困难.

智能教学系统的研究国内起步较晚，相关成果多涉及常规学科课程[1-5].人工智能技术在音乐教育中的研究大多限于概念层面[6-8]和以多媒体数据库为基础的教学系统研究[9]，针对高校“和声学”课程的智能教学系统仍是空白.由于缺乏专业的教学系统，教师只能用从国外引进的五线谱打谱软件，如Sibelius、Overture和Finale等，为学生进行教学演示，但这些软件不具备对和声(和弦)进行分析检测的功能，无法对和声功能(和弦)标记，也没有针对和声写作结果进行判定的功能.

为解决音乐专业“和声学”课程远程教学中存在的问题，本文基于自有专利技术[10]和自主研发的仿真和声写作技术、写作结果智能判定技术，对智能交互式“和声学”教学软件的技术实现进行阐述.

1 “和声学”智能交互式教学软件

1.1 技术路线

1)在“和声学”课程的远程教学中，利用仿真和声写作技术在屏幕上模拟书写和声进行的五线谱.在教学演示和学生端的习题写作时，教师端利用音频播放技术将和声写作过程和实际音响效果同步展示，加强学生的音乐感受，并获得完整的音乐记忆.

2)和声智能分析检测判定技术根据软件中各技术模块的智能演算，对学生写作的和弦进行智能分析检测及判定，并选择性地根据指令对错误进行提示说明.

3)在教师端口对学生的写作成绩进行数据统计，以便教师及时调整教学方案，实现教学效果数据化管理，从而有效提高“和声学”课程的远程教学质量，实现良好的教学效果.

1.2 技术原理

智能交互式教学软件的关键技术是对和声进行智能分析检测判定，它是基于自有的发明专利技术创建，通过深度学习算法对和弦中可能出现的声部交叉和弦排列问题进行判断和分类，针对出现密度排列问题的和弦进行错误信息标注，并给出修正意见.具体步骤如下：

第1步使用卷积神经网络对和弦音进行特征提取，使用主成分分析法对神经元网络提取的特征维度信息进行压缩.最后，通过支持向量机(support vector machine,SVM)对压缩后的和弦音特征进行分类，从而对和弦是否出现错误以及错误类型进行分类和判定.

损失函数由检测边框坐标误差、每个子图的滑动窗口置信度误差以及分类误差来决定，检测边框坐标误差函数Lcoord、置信度误差函数Lconf、分类误差函数Lclass及总误差函数Ltotal分别定义为

Ltotal=Lcoord+Lconf+Lclass,

第4步基于和弦的排列法规则计算出上方3个相邻声部之间的像素间距，并换算为音程度数，进而对已书写和弦的排列进行检测判定，判断乐谱中和弦上方3个声部的排列是否正确.

第5步对不符合规则的和弦给予标注，并对其错误的原因以及如何修改给出指示说明.

1.3 人机交互界面

智能交互式教学软件分为教师端软件和学生端软件.教师端软件安装至教学一体机、智能手机或平板电脑(安卓系统);学生端软件安装至智能手机或平板电脑(安卓系统).软件包括控制器、人机交互界面和本地教学资源库.控制器根据使用者在手写输入屏、人机交互界面中的选择进行相应操作,人机交互界面共3个.

第1个界面的教师端和学生端不同：教师端界面包含“开始上课”“查看学生作业”及“载入课程”3个入口；学生端界面包含“新建作业”“提交作业”及“载入作业”3个入口.第2个界面是用户操作区域，该区域用于填写课程题目、学生或教师姓名，设定五线谱即将使用的拍号、调号、是否弱起等.第3个界面是四部和声写作界面(图1).通过左侧操作面板可以对写作声部以及各种时值的音符和休止符进行选择；点击和弦下方的字母或罗马数字，出现蓝、红色和弦名称面板，可对和弦功能名称进行标记；单个音符可通过拖动实现改变音高或删除；拖动乐谱上方的指针可选定音乐播放的起始点;操作面板中还含有“连线”、“音值组合”、播放写作内容以及切换音符和休止符等按键;小节线上方的灰点用来设置小节线的类型.

图1 四部和声写作界面Fig.1 Writing interface of four part harmony

五线谱写作页面左侧的菜单区域可以窗口化，并且可以拖动到任意位置，以减少教师在线下教学时来回走动.点击“菜单”键，导出交互式教学软件中的“课堂互动”功能，教师与学生、学生与学生之间可以交流和互动，教师还可以查看学生的提问，并可以发送文字、图片或五线谱写作的页面.“菜单”键可以导出设置乐谱每行的小节数、乐谱页面的缩放、清空所有写作内容等.写作的内容会被自动保存，在写作的同时，使用者可以回到初始界面，点击“载入课程”或“载入作业”访问本地教学资源库，方便且快捷地调看之前书写的内容，从而有利于学生进行复习.写作完成后，点击“检查”按钮，可对已写作的和弦音、和弦名称、符干的方向，以及斯波索宾《和声学教程》中的写作规则——和弦重复音、和弦排列、“和声进行”的公式、“声部进行”[11]等进行智能分析检测，并对检测结果进行智能判定.如判定为全部正确,则页面下方出现“恭喜全对”字样，可点击“播”按钮播放全部写作内容.如判定为写作错误，则错误的和弦上方会出现“红色圆点”，点击“红色圆点”，可查看文字说明.学生可根据提示，对和声进行修改并检测.学生端口可将写作结果上传至自适应评价系统，由教师端口审核.

1.4 技术模块

相关技术及模块见图2.

1)和声写作技术

音符写作基础素材模块:包含可设定拍号、调号、谱号及各种谱表的五线谱界面，可设定音符的音高、时值、符干的音符元素,可设定休止符、变音记号、连音线、小节线等写作元素.利用基础写作元素可在五线谱页面上书写和弦、旋律、“和声进行”等乐谱.

a.和声写作技术 b.和声智能分析检测判定技术图2 “和声学”智能交互式教学软件技术模块Fig.2 Technical module of the intelligent interactive teaching software of "harmonics"

和弦排列模块：使已写作的单个和弦纵向对齐，小节内和弦均匀分布，各声部音符时值对应排放，并根据各和弦音纵向关系建立音程数据库.

和弦名称写作模块:由英文字母、阿拉伯数字和罗马数字组成的和弦名称数据库，对每个和弦进行名称标示.

公式模块:对大于或等于两个连续的和弦名称形成公式，建立“和声进行”公式、“终止乐句”公式等所有正确和禁止使用的和声公式数据库.

“声部进行”写作模块：对四部和声的4个声部选择、设定，从而确定声部的种类、音符符干的方向.

2)和声智能分析检测判定技术

和弦音、和弦名称检测模块：根据设定的拍号、调号、谱号，对已书写和弦中各音符的音高、时值、符干方向进行检测，并对和弦的重复音以及每个和弦标注的名称进行检测.

和弦排列法检测模块：根据和声写作技术中和声排列模块的音程数据库，对已书写和弦的排列法进行检测.

公式检测模块：根据和声写作技术中公式模块的和声公式数据库，对已写作“和声进行”的公式进行检测.

“声部进行”检测模块：对四部和声中每个单声部的运动(保持不动、级进、平稳的进行、跳进)进行检测,并对4个声部进行方向,如同向进行、反向进行、斜向进行等的相互关系检测,以及检测是否存在声部交叉、四部同向、平行五度、平行八度等禁止使用的“声部进行”.

和声写作智能判定与标注模块：对上述4个子模块的检测进行智能判定，判定为写作错误的和弦上方标注“红色圆点”.

3)音频播放技术：在写作和声的过程中，利用音符传感器对写出的每一个和弦音进行钢琴音色的同步演奏播放，并且在完成一个和弦后，对全部和弦音进行混声播放.

4)和声写作结果分析说明技术：对标注“红色圆点”错误的和弦进行分析说明.

2 教学软件关键技术实施

智能交互式教学软件学生端口的技术实现可分为3大步骤.

1)转换步骤S1:接收乐谱序列数据，并将其转换为四部和声和弦进行数据，具体包括：

a)接收乐谱序列数据，通过时值比对的方法，遍历出4个时值相等的音符数据，构成1个四部和声和弦数据；

b)继续遍历直到构成多个四部和声和弦数据；

c)将四部和声和弦数据按构成顺序排列，获取四部和声和弦进行数据.

2)判定步骤S2:基于四部和声和弦进行数据，进行至少1个或多个判定，包括和弦完整性判定、和弦原位判定、和弦重复音判定、和弦功能名称判定、和弦排列法判定、声部交叉判定、和弦进行功能判定、和弦进行声部超越判定以及和弦进行方向判定.例如，和弦排列法的判定可以为遍历四部和声和弦进行数据，对每个和弦中相邻声部的和弦音数据进行判定.上方三声部(高音、中音及次中音声部)中，相邻声部音符的音高距离是3度或4度，属于密集排列，相邻声部音符的音高距离是5度、6度或8度，属于开放排列.

3)显示步骤S3：基于判定结果，通过对应关系确定乐谱序列数据中对应的音符数据，并将判定结果附加给音符数据，供乐谱显示模块在显示音符的同时显示对应的错误.

教学软件教师端口增加了步骤S4：基于判定结果，获取学生的“和声学”成绩.

3 教学软件评价

“和声学”智能交互式教学软件使用Kotlin语言开发，在Android平台上运行.该软件可应用于高校音乐专业“和声学”课程教学，具有初始界面入口、设置、乐谱页面缩放、五线谱小节数设置、四部和声仿真写作、智能分析检测与判定、课堂互动、音乐播放、保存与载入等功能.本教学软件2021年通过了中国赛宝实验室在功能性、信息安全性、可靠性、易用性、可移植性等方面的测试[12].

该教学软件的优点在于：1)易学易用.在手机或平板电脑安装后，经过教师10 min左右的讲解，学生就能学会.2)有很强的实用性.在写作过程中，学生可以利用音符传感器对完成的每一个和弦音进行钢琴音色同步演奏播放，并可以对指定的乐谱进行混声播放，从而感受自己写作的音乐和每个和弦的音响听觉效果.3)对学习效果和学习兴趣有很大帮助.在和声智能分析检测判定功能的辅助下，学生能够高效地完成和声习题.

对该教学软件进行了两个学期的试用和教学实验，实验对象为江苏师范大学2019、2020级音乐教育和音乐表演专业的学生，共计230人，与2018级学生的期末考试成绩对比发现，学生的卷面平均分提高了14.12分.

4 结语

为解决高校音乐专业基础理论课程“和声学”在远程教学中存在的问题，笔者基于自有专利技术和自主研发的仿真和声写作技术、写作智能判定技术，设计和开发了“和声学”智能交互式教学软件.该软件将和声写作过程和音响效果同步展示，使学生获得完整的音乐记忆，能够培养学生的音乐感受能力，从而使学生形成良好的和声思维习惯，提升学生学习音乐理论过程中的情境性;建立了智能交互式“和声学”教学及自适应评价系统，通过交互式的教师端口和学生端口实现教学效果数据化管理，使“和声学”课程远程教学更加完善.利用该软件还可实现教学效果数据化管理，解决远程教学中存在的问题，提高教学质量和学生的学习效果.通过与江苏省软件企业开展产学研合作，本文的主要技术已开发完成，于2020年9月在江苏师范大学音乐学院建立了“音乐智能教学实验中心”，并搭建“和声学”智能交互式教学系统平台.

远程智能交互式教学软件的基础框架和相关技术不仅可以应用于“和声学”远程教学中，还可以应用在其他音乐专业理论课程，如“乐理”“复调”“作曲”“即兴伴奏”等的教学中，并可以针对这些课程的特点进行更深入的研究.