语音识别技术在聋人大学生课堂教学中的应用研究

董雪燕　徐娟　贾京鹏

[摘 要]为实现聋人大学生的无障碍学习，语音识别工具被陆续引入特殊教育院校。为调查语音识别工具在聋人课堂的教学有效性，选取北京联合大学特殊教育学院的208名在读聋人学生作为调查对象，调查其对语音转文字教学方式的认同程度，以及语音识别工具引入课堂的优点与缺点。结果显示，聋人学生普遍认可语音转文字方式的授课，且认为其能弥补手语对大学专业词汇表达的不足。关于语音识别工具在课堂中的应用，调查对象认为能提高其文字阅读能力和对专业知识的理解能力，但也指出软件本身仍存在一些缺陷，因此教师不能完全依赖它授课。基于调查结果，作者建议大学教师可以采用语音识别工具作为教学手段用于辅助聋人课堂教学，但需要对识别后的文字进行再加工，并将其与手语有机结合，才能真正地促进聋生对专业知识的理解。

[关键词]语音识别;专业知识;课堂教学;聋人学生

[中图分类号]G 762[文献标志码]A[文章编号]1005-0310（2020）03-0063-07

0 引言

随着社会的发展，越来越多的聋人学生有机会进入大学接受高等教育。受听力损伤的影响，聋生无法听到或者听清教师所讲授的知识。为此，国内外面向听障学生的高等院校往往采用提供视觉信息来辅助听觉信息的方法帮助学生学习。由于聋人学生依靠手语生活和思考[1]，并且有研究表明手语有助于促进聋人的大脑语言区域活动的刺激[2]，特殊学校的教师常常采用“双语教学”，即手语和口语两种教学方式[3]，且以手语为主，因此要求教师自身掌握手语或配备手语翻译教辅人员，增加板书或提供有详细文本的课件资料，以及依靠学生读唇学习等[4]。这些方法和手段对聋生的学习都有不同程度的帮助，但也存在一定的局限性。如手语词汇有限，无法涵盖课程内容所需的全部词汇，特别是专业性极强的术语往往没有合适的手语相对应，硬生生的直译会导致学生无法理解专业词汇的真正含义;并且受到某些教师手语水平的限制，手语翻译很有可能产生错译、漏译及多译的现象，从而向学生传递错误信息;而板书或详细文本则需要耗费教师大量的时间和精力;另外，能读懂唇语的聋生其实非常有限。

基于以上困难，研究者致力探索一种有可能辅助手语教学的技术，即语音识别技术。语音识别技术是指让机器通过识别和理解，把语音信号转变为相应文本或命令的技术[5]。1981年，Stuckless首次提到将语音转换为文本的技术应用在听障教育中。随后，国外开始探索计算机的语音识别技术在听障生课堂中的应用[6-8]。随着计算机技术的迅速发展，语音识别技术的识别率不断提高，文本可读性不断增强。于是，自20世纪90年代起，语音识别技术便开始在听障教育中得到推广，其标志是1998年加拿大圣玛丽大学和IBM公司组建的无障碍教学联盟。他们通过以圣玛丽大学牵头的世界各国十余所大学的教学实践，IBM公司提供强大的技术支持，使语音识别技术在聋人课堂中得以广泛应用[9-10]。

北京联合大学于2005年引进IBM公司研发的ViaScribe语音识别工具，尝试在聋人大学生课堂上使用语音识别技术进行教学辅助。尽管该语音识别工具在英语语言上已经得到认可，但对中文的识别和同步效果却并不令人满意。另外，教师也反映该系统自带的专业词汇的数量非常有限，无法满足翻译最新的专业词汇和英文词汇[11]。随着大数据技术的发展，近年来，语音识别技术取得了长足的进步。科大讯飞公司开发的讯飞听见智能会议系统，能够将语音实时转成文字，转写准确率可高达95%以上。2017年，北京联合大学引进讯飞听见智能会议系统，再次将语音识别技术运用于聋人大学生的课堂教学，助力听人教师和聋人学生的有效沟通。虽然该系统已经引入两年，但是并未对其在教学中的应用效果进行深入研究与分析。因此，本研究便是以科大讯飞的语音识别工具为基础，对将其引入聋人课堂的应用效果展开研究。本研究的出发点在于试图回答以下问题：语音识别工具的引入是否能被聋人大学生所接纳？语音识别工具能否替代教师的手语教学？不同听力残疾学生对于语音识别工具的使用是否有不同的偏好？为了回答上述问题，本研究对北京联合大学特殊教育学院的聋人大学生进行了小组访谈和问卷调查，从聋人学生的第一视角探索语音识别工具的引入對于聋人大学生的课堂教学带来的利与弊，从而为该工具的使用提供参考建议。

1 研究设计

1.1 研究对象

本次调查采用无记名方式，选取北京联合大学特殊教育学院在读的聋人大学生作为调查对象，采用网络分发问卷的形式，共回收有效问卷208份。本次调查对象的基本情况见表1。

从表1可以看出，调查对象的男女比例基本持平，各年级的基本样本数均在30以上，具备方差分析的基础。参与调查的学生听力残疾程度为一级到四级不等，其中，严重听力残疾的学生高达93%（一级和二级总和）。

1.2 研究方法

本研究采用自编问卷进行调研。问卷共包括30道问题，第1～7题是被试者的基本情况;第8～16题是对手语和文字教学情况的调查;其余问题则是对语音识别工具优点和缺点的认可度，优点和缺点的描述各7道，该部分采用李克特5点计分方式：1为完全不同意，2为不同意，3为不确定，4为同意，5为完全同意，分数越高表明被试者对该优点或缺点的认可度越高。对这些优点和缺点的描述是通过对聋人大学生的小组焦点访谈整理得来，具体描述详见表2。

为了深入分析引入语音识别工具的必要性，本研究首先考察了教师的手语水平是否能真正满足聋人学生的学习需求。调查中，首先对大学教师的手语水平进行了摸排，关于“你认为大学课堂上手语娴熟的老师占所有专业课老师的比例为”一题中，设置的4个选项分别是A：0～25%，B：26%～50%，C：51～75%，D：76%～100%。数据分析显示，52%的学生认为专业课教师中手语娴熟的比例不超过一半，即多数教师的手语水平仍未达到理想状态。通过访谈得知，由于地方手语的差异，学生无法完全理解教师的手语。这一数据说明，专业教师的手语水平是参差不齐的，大部分教师的手语水平有待提升或通用手语急需推广。然而，教师的手语水平绝非一朝一夕就能提升到令人满意的程度，因此采用语音识别工具作为辅助教学手段是一个选择，主要用于提高教师和聋人学生之间的课堂沟通和理解效率，并弥补部分教师因手语水平的不足所带来的问题。

关于“课堂上教师是否使用过语音转文字的工具”一题，75%的学生反映老师上课用过，25%的学生反映老师没用过，说明语音转文字工具在特殊教育学院的课堂上已经比较常见。此外，由于学院在开学典礼等涉及全院学生的大型活动上多次使用讯飞听见系统，因此学院所有的学生对于将语音转换为文字这一技术都不陌生，特教学院的聋生均具备评价该技术优缺点的前提条件。

关于“哪一种教学方式更容易理解老师讲课内容”这一问题中，问卷设置了5个选项，分别是A：全程手语;B：手语为主，文字为辅;C：手语一半，文字一半;D：文字为主，手语为辅;E：全程文字。被试者对5个选项的选择比例分别为4%，34%，42%，19%和1%，集中在B、C和D，这反映出聋生更倾向接受手语和文字教学相结合的教学方式，而且在手语和文字的看重度上，更注重手语的重要性。

关于语音识别工具在不同课程的适用度是否存在差异，问卷就理论课、实践课、基础课和专业课4种类型进行了比较。数据分析见图1，其中纵坐标表示课程适用度的平均值（），横坐标表示各类课程。选项分值范围是1～5，4类课程的分值均在3以上，可以看出被试者对4类课程使用语音识别工具有一定的认可度。其中，相对最被认可的是理论课（=3.45），因为理论课的内容往往比较抽象，因此，语音识别工具在这方面的优势比较明显。4类课程相较来说，比较不被认可的课程类型是实践课（=3.32），因为实践课主要是考察学生的动手实践，教师通过手语给予辅助指导比通过语音转文字的方式更有效。

2 研究结果

2.1 语音识别工具在不同课程类型中的差异分析

由调查结果可知，在理论课和实践课一组中，语音识别工具更适合应用于理论课;而在基础课和专业课一组中，两者差别不大。为了进一步确认理论课和实践课两者之间的差异，采用线性回归分析，得出显著性为0.00，小于0.05（见表3），说明两组的数据存在显著差异。

2.2 对语音识别工具的优点和缺点的认同情况分析

由于调查对象中有25%的学生并未在课堂上见到教师使用语音转文字的工具，因此对于该项工具用于课堂教学的优缺点，重点选择另外75%的被试数据进行分析。对问卷中的每条优点及缺点的平均数和标准差的描述统计数据见表4。由数据结果可知，调查对象对语音识别工具的优点和缺点的认同度的均值都在3.5以上，但都没有达到4，说明被试对相关的优点和缺点均持认同态度，但认同度并不突出。

就优点而言，平均值分值较高的三项依次是Ad5、Ad1和Ad6。其中，Ad5不仅平均分最高且波动小，表明学生普遍认为使用该工具能够提高自己的文字阅读水平;除此之外，学生对于语音识别工具可以帮助手语不熟练的老师，以及语音转化后的文字可以方便课后复习这两个优点的认可度比较高。相比之下，被试者关于Ad3语音识别工具能降低错过老师讲课内容的风险一项的平均分最低，即3.65，说明对这个优点的认可度没有其他几个高，但其值又大于3.5，可以认为具有一定的赞同度。

就缺点而言，平均值最高的三项依次是Dis7、Dis3和Dis6，其中两项都是关于软件自身的功能缺陷问题。对Dis7的认同度最高，说明学生普遍认为当前软件的识别率仍然是不能让人满意的，尤其是不常见的英文词汇，可能会错误比较多。另外，受说话者语速和吐字的清晰度影响，会造成不同程度的断句识别错误，尤其是口语中的一些语气词，由于没有过滤作用，而造成学生理解起来很困难。Dis6则是关于软件的延迟问题。令学生不满的另一个突出缺点是使用语音识别工具后，教师的语言被转化成文字呈现到电子屏幕上，学生需要长时间注视屏幕，因此视觉疲劳的问题比较严重。平均值最低的是Dis5，因为绝大多数老师在使用语音识别工具的同时也使用了手语、PPT等教学手段，因此语音识别工具对师生之间的互动影响并不突出。

结合表4中最后一行对所有优点和缺点的数据来看，被试者对于优点的认可度（3.77）稍高于对缺点的认可度（3.67）。由此可知，被試者对语音工具引入课堂教学的优点是略显更认可的。

2.3 不同人群对语音识别工具优缺点的差异分析

2.3.1 课堂使用者和未使用者的数据比较

语音识别工具作为教学辅助手段，学校倡导教师根据需求选择使用，并未强制使用。将被试区分为在课堂上频繁接触和使用以及未在课堂使用仅在开学典礼等大型活动接触过这一工具的两类群体，对这两类群体的调查数据进行独立样本t检验。数据参见表5，可见两类人群对于语音识别工具的缺点的认同度上没有显著差异，但在优点上的认同度边缘显著，频繁接触者对其优点的认同度更高。

2.3.2 课堂使用者的数据比较

为了进一步考察课堂上使用过语音识别工具的学生（n=156）的年级、性别、专业和听力残疾程度对语音识别工具认可度的影响，对分别属于优点类和缺点类的7道题目的分值做了均值化处理，并得到相关数据。

1） 不同年级使用者的数据比较

由于年级包括4个组别，所以采用ANOVA单因素方差分析。表6中，大三年级学生在优点方面更加认同，大二年级学生在缺点方面更加认同，根据课程设置可知，在大二和大三年级的课程中，专业课较多，语音识别工具被更多的使用。而大一年级基础课占多数，配备手语翻译的课较多，语音识别使用较少，且由于刚接触的原因，认识还不够深刻。而大四年级的课程则大部分为实习和毕业设计，上课较少，一般只是凭借过去的经验给出的评价。总体来看，由于显著性值（P）都大于0.05，4个年级组之间的差异并不明显。

2） 不同性别使用者的数据比较

由于性别只有2个值，故采用独立样本t检验，分析结果见表7。

对于语音识别工具的优点，男生认可的均值是3.85，而女生则是3.69，说明男生比女生对软件工具的优点是更加认可的，男生可能会更愿意接受新技术和工具。而对于缺点来说，男生和女生对缺点的看法则不存在显著差异。

为了进一步查看关于语音识别工具优点的题目中男女生的具体差异，做了t检验分析，发现对于Ad3和Ad6，男女生的看法差异非常明显（见表8）。Ad3是“可以降低錯过老师讲课内容的风险”，说明男生更在意这一点，女生就比较不敏感，Ad6说明男生比女生更加认可“语音转文字便于课下复习”。可见，男生更善于利用语音识别的软件工具进行学习。

3） 不同专业使用者的数据比较

为了考察专业的单一因素对语音识别工具优点和缺点的差异性，由于其他类专业人数只有8人，没有达到最低样本数30的要求，所以排除该专业，只考察计算机和艺术类两个专业，采用独立样本t检验。由表9发现，计算机专业的学生普遍比艺术类学生更认可语音识别工具的优点和缺点。当设置P<0.1时，可知计算机专业相比艺术类专业的学生对优点更认可，两个专业之间存在显著差异，说明计算机专业学生对软件的优点和缺点的体会更加深刻。

4） 不同听力残疾等级使用者的数据比较

关于调查对象的听力残疾等级，大部分学生的听力等级都比较严重（一级和二级的总数为146），只有极少数同学（10名）属于三级和四级。由于三级和四级学生总数未达到30，故只对残疾等级

为一级和二级学生的数据进行t检验分析，由表10可知两个组别不存在显著差异。

3 讨论

3.1 语音识别工具融入聋生课堂的必要性和可行性

通过对调查问卷结果分析和访谈记录的整理，可知聋人学生对于课堂引入语音识别技术是可以接受的。尤其是在以理论知识为主的课程中，学生对于语音识别技术的接受度是很高的。更重要的是，大部分聋人学生能够认可这一技术对于理解专业知识有一些益处，主要包括教师向学生解释计算机抽象的术语时，教师可以通过大量的文字弥补手语无法精确表达的问题，以及通过密集性的文字用于课堂交流和课下复习，也可以提高其文字的阅读水平。因此，本研究认为将语音识别技术引入聋生课堂有一定的必要性。但是考虑到手语仍然是聋生学习和交流的第一青睐方式，因此，建议将语音识别工具作为课堂教学和交流的辅助工具使用。

另外，由于我国语音识别技术的不断进步，已经诞生了大量的语音识别工具，可以被利用到聋人教学的课堂。这些语音识别工具包括以微信和语音输入法为代表的通信工具，以及讯飞语音识别系统等。无论是从成本还是环境来看，将语音识别工具引入聋人课堂都是可行的。只是在使用这些工具时必须同时考虑聋人的特殊需求，不断完善，才能解决其注意力分配和眼睛容易疲劳的问题。

3.2 语音识别工具的优点和缺点的认同情况分析

总体来看，聋生对语音识别工具的优点是普遍认可的，并重点认可它可以提高其文字阅读水平，且弥补了部分教师手语不熟练的不足，以及语音转文字的记录可以用于课下复习。关于语音识别工具的缺点方面，突出的问题就是软件自身的缺陷，包括英语专业词汇的识别率低，对语气词没有过滤，长句的断句不理想，受说话人语速和吐字不清楚的影响容易产生识别错误，以及偶尔会有实时识别的延迟问题。其中，女生特别指出对屏幕的注视时间较长，课程结束后，常常会感觉到眼睛十分疲劳。

为了充分发挥语音识别工具的优点，建议聋人院校在引入该工具的时候，可将识别文本善加利用，为学生课下复习提供第一手资料。由于软件识别英文词汇的不足，建议主要用于中文词汇较多的专业课程，不建议用于英文词汇量多的专业英语和基础英语课程。在不同课程类型方面，建议计算机和艺术专业的理论课更适合采用语音识别技术，而实践类课程适用度较低。同时，为了解决软件自身的缺陷，可以向软件开发商继续提出要求，要能够满足专业词汇的实时更新，提供过滤语气词和停顿词，并实现更加智能化的断句功能，这样才能提高识别文本的利用率。同时，对于语音识别工具带来的新问题，即如何降低学生眼睛注意力成本，建议教师采用理论知识讲授与教学活动和实践练习相结合，避免学生长期注视屏幕带来的疲劳感。

3.3 不同人群对语音识别工具优缺点的差异分析

在考察课堂使用者和未使用者对语音识别工具的优缺点的认同度方面，未发现二者的差异，因为部分被试学生虽然并未在课堂上使用，但却在各类学术报告和讲座中经常见到，故两组的差异非常小。不同年级的差异表现也比较低，只能隐约看出使用频繁的大二和大三年级学生对语音识别工具的优缺点有更高的认可。让人意外的结果是，本研究一开始所假设的听力残疾等级会对差异结果产生影响，但是实际并未发生，一方面是因为三级和四级样本严重不足，另一方面是因为残疾等级为一级和二级的学生也并没有表现出特别大的差别，说明听力损失级别体现的认可度差异不明显。

存在差异性的变量是性别和专业。男生比女生对于语音识别工具的优点更加认可，并且两组存在显著性差异，尤其是关于将语音转出文本用于课下复习的优点，男生更加认可，说明了男生更善于利用技术带来的好处。而在专业方面，表现明显差异的是计算机类专业的学生比艺术类的学生对语音识别工具的优点更加认可。然而在缺点的认可度方面，性别和专业都未体现出显著差异。

另外，根据访谈数据的分析显示，现有的语音识别技术仍然无法完全满足不同聋人的需求，主要原因在于语音识别的文字和PPT课件在不同的屏幕显示，会导致学生的注意力负担。问卷调查的结果也对这一点给出了证实，这是对未来发展和使用语音识别工具的一个改进方向。

4 结束语

语音识别技术的发展为聋人和健听人的交流提供了一个无障碍的技术支撑，以该技术实现的语音识别工具已被广泛地应用于聋人学生的教学实践中。本研究试图分析语音识别工具的应用能在多大程度上帮助聋人学生提高对知识的理解，并重点针对聋人学生对语音识别工具引入课堂的认可情况进行摸底调查。调查结果发现，被试者对于语音识别工具引入课堂是接受的，并认可其优势，该工具能够提高课堂效率，尤其对相关专业知识的理解方面有很大帮助，因此可以将其作为一种面向聋生的课堂教学辅助手段。但是，考虑到软件存在的一些缺陷以及带来的新问题，特殊教育者们应该充分考虑聋生的学习特点，进一步研究如何将语音识别工具作为辅助教学手段，与手语教学相结合，从而便于学生的理解。基于对讨论结果的思考，笔者认为，未来类似的语音识别工具，应该从独立的文字显示屏，转变为将语音识别后的文字与教师的课件显示在同一个终端上，以减少由于既要看PPT课件又要兼顾语音识别文字所造成的注意力分配困难的问题。同时，根据访谈数据的分析可知，聋人学生更容易接受的仍然是教师以手语交流为主的教学方式。因此，语音识别工具只能作为一个辅助的教学手段，用于教师与聋人学生之间的基本的无障碍交流。对于更深入的知识理解层面，仍然需要在建立全国通用手语统一规范的前提下，提高聋人学生的文字阅读能力以及教师的手语水平。总之，有效学习的前提是沟通顺畅和理解无误，而技术和工具目前只能作为教学的辅助手段，未来还需要继续探索传统教学方式与技术结合的可能性，从而进一步提升聋人学生的教学效果。

[参考文献]

[1]梅芙生.谈聋人手语与聋人教师的作用[J].现代特殊教育，2001（3）：26-27.

[2]方俊明，何大芳.中国聋人手语脑功能成像的研究[J].中国特殊教育，2003（2）：52-59.

[3]崔英楠.聋人高等教育中的手语教学[J].科技信息（科学教研），2007（31）：384.

[4]徐静.语音识别技术在高校听障生课堂教学中的信息传递效果及影响因素研究[D].重庆： 重庆师范大学，2007.

[5]富钢，史俊，赵伟强.语音识别技术在机床控制方面的应用[J].机械设计与制造，2005（10）：148-150.

[6]STINSON M S， ELLIOT L B， KELLY R R， et al. Deaf and hard-of-hearing students memory of lectures with speech-to-text and interpreting/note taking services[J]. Journal of Special Education， 2009， 43（1）：52-64.

[7]LATHIRE B， ARCHAMBAULT D. Improving accessibility of lectures for deaf and hard-of-hearing students using a speech recognition system and a real-time collaborative editor[C]//International Conference on Computers for Handicapped Persons. Paris： ICCHP，2014：490-497.

[8]KUSHALNAGAR R S， KUSHALNAGAR P， HADDAD F. SingleScreenFocus for deaf and hard of hearing students[C]//International Conference on Computers Helping People with Special Needs. Springer International Publishing， 2016：433-437.

[9]覃育梅.科技创新推进构建和谐社会：IBM与北京联合大学特殊教育学院合作开展“无障碍教学”項目[J].互联网天地，2005（S1）：52-53.

[10]姚登峰， 李启隆， 覃育梅. 精品课程无障碍建设的实践与启示[J].计算机教育，2009（20）： 93-96.

[11]梁玮.变革从方案开始：信息无障碍解决方案解读[J].互联网天地，2006（1）：76-77.

（责任编辑 白丽媛）