计算机辅助听觉言语评估及康复系统的研究与进展*

欧熊综述　陈兵审校

计算机辅助听觉言语评估及康复系统的研究与进展*

欧熊1综述陈兵1审校

1复旦大学附属眼耳鼻喉科医院(上海200031)

网络出版时间:2015-10-27 11: 28

网络出版地址: http://www.cnki.net/kcms/detail/42.1391.R.20151027.1128.008.html

*卫生行业科研专项基金项目资助(201202005)

据第二次全国残疾人抽样调查，全国听力言语残疾人口达2 780万人，占全部残疾人的27%［1］。耳聋严重影响人的认知发育、言语交流、教育、就业及心理状态。人工耳蜗植入(cochlear implant，CI)能将环境中的声信号转换为电信号直接刺激听神经产生听觉，是目前唯一有效帮助重度或极重度聋患者恢复听力及言语能力的方法;但CI使用者通过人工耳蜗装置获得的听觉信息是有限的模拟信号，要学习和掌握这种新的言语刺激模式对于CI使用者是很难的，而且存在着很大的个体差异。CI使用者的听力重塑效果受多重因素的影响，如耳聋的持续时间、CI植入的时间、术前的言语水平、电极插入数量及位置、人工耳蜗的言语编码策略等，也与术后的听力康复训练密切相关;既往不少研究证实听力康复训练能有效提高CI使用者术后的听力与言语交流能力［2～4］。听力康复的发展由来已久，在第二次世界大战之后，听力康复训练需求增大，使其得到快速发展。最初，听力学家以助听器为基础，充分运用各种听力和言语训练方法，比如通过系统的言语学习、提高唇读能力、练习视觉辅助技巧等，起到了一定效果，也正是在这个阶段，为听力康复的理论研究和实际运用奠定了基础。从20世纪90年代起，随着电子技术快速发展，数字助听器、人工耳蜗技术的成熟，听力康复正式进入了第二个阶段;由于数字化助听器、人工耳蜗技术的改进，如:压缩线路、降噪技术、方向性麦克风、声反馈处理等技术的应用，使CI或使用助听器的重度或极重度聋患者听力康复的效果显著提高［5］;进入21世纪后，随着计算机多媒体技术的发展，听力康复又有了进一步的发展，在继承以往的听力康复的理论研究和技术基础的同时，越来越多的研究将计算机软件程序与言语感知训练相结合，使听觉言语评估及康复训练更为便捷实用［6］。近年来，计算机辅助听觉言语评估及康复系统被广泛应用于临床及科研，现对国内外计算机辅助听觉言语评估及康复系统的研究发展综述如下。

1　国外计算机辅助听觉言语评估及康复系统研发简介

自20世纪90年代起，国外计算机辅助听觉言语评估及康复系统的研究及应用逐步发展，目前针对人工耳蜗、助听器等人工辅助听觉设备应用设计的言语听觉评估训练软件有:计算机言语感知测试和训练(computer-assisted speech-perception testing and training，CASPERsent)［7］、计算机跟踪模拟培训软件(computer-assisted tracking simulation，CATS)［8］、聆听交流强化软件(listening and communication enhancement，neurotone，LACE)［9］、计算机辅助言语训练(computer assisted speech training，CAST)［10］等。这些软件的设计主要考虑以下几个原则:①交互性，要求患者或者训练者能主动参与学习过程;②实用性和便捷性，采用家庭式自主学习，不仅使得CI患者减少了反复到医院就诊的时间和金钱，而且使CI患者能在熟悉和轻松的环境中学习;③训练材料难易度适中，种类多样，训练方案结合分析策略和综合策略(即bottom-up与top-down策略)，训练结果需要及时反馈等［6］。

CASPERsent软件基于言语感知模式的四个主要部分设置，可用于言语训练、言语研究、教学。测试材料由60套纽约城市大学句表组成，代表了12种场景和3种句式(陈述句、疑问句和祈使句)，可通过唇读、聆听和两者相结合的方式测试;句子长度在3～14个字之间，系统自动记录12个句子的正确分数，用于之后的数据分析，并控制测试的形式、播放声音、视角、反馈形式和主题知识。

CATS是一种受试者与测试者面对面的言语跟踪训练软件。软件对跟踪模拟训练过程作了严格的规定，如限制和预先设定了纠正策略，控制训练材料的难易度，电脑监控和分析训练者的表现等。此方法的关键之处是保持交流过程中的互动性，受试者与测试者之间有真实的交流，适用于成人人工耳蜗植入术后的训练。

LACE软件是一款个体化的计算机听力训练软件，可供患者在家使用，同样也可应用于临床机构。该软件的言语训练内容可划分为三个主要类别:受损言语和竞争性言语的识别、认知技巧和交流策略。在受损言语和竞争性言语训练中，背景噪声包括多人言语噪声、单一竞争性言语噪声和时域压缩，训练时，测试的难度根据前一次回答的正确与否调节，若上次播放的句子回答正确，下一个测试项的难度将增加，反之，则减小。此外，该软件还可提供认知技巧训练和交流策略训练，其中认知技巧包括听觉工作记忆训练和言语处理。

CAST是针对人工耳蜗植入者研发设计的一款软件，其中训练的材料包括纯音、环境音、辅音、单音节、字词、句子和音乐轮廓(五个音符的旋律序列)和音乐旋律等。该软件开发有适用于汉语普通话的中文版本，具有汉语声调、字词、短句识别训练等功能;训练方案中要求训练者每周训练5天，每次30～60分钟，至少持续一个月;训练时可根据患者的表现自动调节训练难度，如:增加选择项、减小选择项之间的声学差异。CAST也设置有复杂环境下的言语训练，如:加入噪声、多人言语噪声等。

以上几款软件功能大致相同却又各有特点，首先，训练材料不同，CATS软件中可使用句子或更长的短语，LACE和CASPERSent中使用的是短句; CAST软件中训练材料则包括纯音、无意义音节、字词、短句和音乐旋律。其次训练方式也有差异，有的软件更多使用从下往上的训练方式，所选测试内容为音节和单个字;而有的软件倾向于结合从上往下(top-down)和从下往上(bottom-up)两种方式，训练内容包括句子、感知技巧和交流策略。此外，有的软件可以用于训练和测试，有的软件仅用于训练。

2　国内计算机辅助听觉言语评估及康复系统简介

近年来，在我国听力学家、临床医师的共同努力下，国内听力康复事业得到了快速发展，计算机辅助言语测听及听力康复的相关研究逐渐增多。

孙喜斌等［11］于2003年开发了计算机导航-聋儿听觉言语评估学习系统，是一种儿童专用的听力测试、助听器验配、听觉康复评估及听觉言语学习系统，其具有听觉数量评估(指使用频率及强度明确的测试音进行测听)、听觉功能评估(测试音为言语声、自然环境声、滤波复合音)及听觉言语学习三大功能。听觉数量评估的测试音设有纯音、啭音、窄带噪音及滤波复合音多种选择;听觉功能评估的测试音为言语声，内容包括自然环境声响识别及声母识别、韵母识别、声调识别及单音节、双音节、三音节、短句识别等15个儿童言语测听词表［12］;听觉言语学习是以聋幼儿为主体，通过自身的游戏、活动达到听觉言语学习的目的。该软件针对儿童设计，配合动画、游戏的表现形式.符合幼儿的心理特点，引发儿童兴趣，增加其训练配合度。

2007年陈雪清等开发的儿童听力言语训练及评估康复汉语视听系统［13］可实现练习、测试、训练等项目，测试者可根据患儿的现有听觉能力水平为其选择相应难度的康复训练模式。该软件的筛选、测试和训练模块分别提供了字词长短、声调辨别、元音辨别和辅音辨别四个选项，根据患者听力水平和训练程度的不同，训练者可以选择不同的训练条件，如听觉、听觉结合视觉和视觉条件。陈雪清等［14］在2001年也曾开发一套成人听力康复汉语计算机化训练及评价系统，这套系统包括五个训练项:字词长短、整句辨别、声调辨别、元音辨别、辅音辨别，每项训练内容包括练习、筛选测试及单项训练三部分。各训练内容按由易到难的顺序设计了不同的筛选测试及单项训练。

2003年，段家德［15］开发了汉语言语听力测试系统，其测试言语材料由两组儿童单音节词、两组成人单音节词、两组双音节词和一组简单句组成。测试时调节临床听力计的声强输出为某一测试听力级，输出所选测试词汇组的每一个词汇，评估受试者复诵正确与否;最后，以声强级为横坐标、各声强级词汇组总得分为纵坐标绘出言语听力曲线图。此软件能够有效评估受试者的言语接受和理解能力。

2010年解放军总医院郗昕联合清华大学黄高扬等开发了计算机辅助中文言语测听平台［16］，用于汉语普通话的言语测听。该系统可进行单音节识别率、扬扬格词识别率及识别阈、安静下语句识别率及识别阈、噪声下的语句识别率及识别阈等测试，测试材料为其课题组编制并验证的普通话言语测听材料，包括单音节词表22张，扬扬格词表9张，噪声下句表18张，安静下句表12张和若干张练习用表［17，18］。

2013年，张华等［19］开发了普通话言语测听系统(MSTMs)，该系统包括言语识别率测试、言语识别阈和可接受噪声级测试，其中言语识别率测试又包含单音节词、双音节词和语句测试，言语识别阈测试又包含听力计测试和系统音量测试两种方法，分别适用于连接听力计与不连接听力计的两种使用方式。测试词表包括其课题组开发的普通话言语测听材料单音节词表7张，双音节词表9张，句表15张［20，21］。

上述几款软件各具特点:首先是软件功能设置的差别，如计算机导航-聋儿听觉言语评估学习系统、儿童听力言语训练及评估康复汉语视听系统、成人听力康复汉语计算机化及评价系统三款软件侧重于人工耳蜗植入后、助听器佩戴者的听力康复训练，而计算机辅助中文言语测听平台和普通话言语测听系统(MSTMs)主要用于普通话的言语测听，不适用于人工耳蜗植入术后、助听器佩戴后患者的听觉言语康复训练。其次，适用人群有差别，孙喜斌及陈雪清开发的软件针对儿童设计，段家德开发的系统可用于成人和儿童，而张华和郗昕则主要针对成人设计软件，此外陈雪清也开发了针对成人的听力康复汉语计算机化及评价系统。在测试材料方面，有的采用经过等价性验证的汉语普通话材料，如:张华和郗昕所开发的测试软件，也有结合文字、图片、动画等的测试材料(孙喜斌、陈雪清开发的软件)。在使用方法上，有的软件需连接听力计在声场内使用(郗昕开发的中文言语测听平台)，而有的在个人电脑上即可使用，如孙喜斌及陈雪清开发的软件;而张华的普通话言语测听系统(MSTMs)可选择连接听力计和不连接听力计两种不同测试方式。

3　问题及展望

目前国内计算机辅助言语测听技术虽然已在科研及临床中使用，但都未能得到很好的普及和推广应用。究其原因是多方面的，从言语识别评估系统来看，国内言语评估及康复软件大多注重于软件系统的开发与功能检测，主要适应于听力康复机构及听力师使用，较少考虑听障者的依从性、互动性及时间、经济成本;同时也有言语识别评估系统数据库单一、言语测听材料未标准化、使用操作不方便实用、行业内不能相互认可、方言的存在等因素影响。从CI患者角度来分析，绝大部分CI患者的术后康复依赖于从生活环境中被动的接受而不是主动学习，听力康复训练的主动性和依从性低; Sweetow发现在使用LACE软件的3 000名听力康复训练者中，其依从性低于30%［22］;在国内，人工耳蜗植入术后患者听力康复的效果与家庭教育及经济条件具有很大的相关性，经济条件与家庭康复教育越好的CI患者听力和言语康复效果越好［23，24］;因此，开发便捷实用、经济的听觉言语康复系统可使更多的CI患者真正受益。此外，有研究指出，在美国少于10%的临床医生和听力师会给听损患者推荐和提供综合性的听力训练方案［25］，提示听力师和耳科医生的重视及推荐使用也很重要。

传统听力康复理念通过现代科技技术来实现，极大提升了听力康复的效果和效率;但计算机辅助的听觉及言语康复训练发展仍有许多问题需要进一步的研究和解决，如:听力康复策略如何制定(训练材料的选择、训练时间和频率等)，最佳的训练效果如何评定等问题仍不清楚;这些问题的研究和解决将使CI及助听器佩戴者从人工听觉技术中获取最大益处，更好的回归和融入主流社会。

4参考文献

1第二次残疾人抽样调查办公室.全国第二次残疾人抽样调查主要数据手册［M］.北京:华夏出版社，2007.2～38.

2Russo NM，Nicol TG，Zecker SG，et al.Auditory training improves neural timing in the human brainstem［J］.Behav Brain Res，2005，156: 95.

3 Fu QJ，Galvin J，Wang X，et al.Effects of auditory training on adult cochlear implant patients: a preliminary report［J］.Cochlear Implants Int，2004，5(Suppl 1) : 84.

4Murphy CF，Schochat E.Effects of different types of auditory temporal training on language skills: a systematic review［J］.Clinics (Sao Paulo)，2013，68: 1364.

5蒋涛.国外听力康复现状和新进展［J］.听力学及言语疾病杂志，2009，17: : 389.

6 Sweetow RW，Sabes JH.Technologic advances in aural rehabilitation: applications and innovative methods of service delivery［J］.Trends in Amplification，2007，11: 101.

7Boothroyd A.CasperSent: a program for computer-assisted speech perception testing and training at the sentence level［J］.Journal of The Academy of Rehabilitative Audiology，2008，41: 31.

8Dempsey JJ，Levitt H，Josephson J，et al.Computer-assisted tracking simulation (CATS)［J］.J Acoust Soc Am，1992，92(2 Pt 1) : 701.

9 Sweetow RW，Sabes JH.The need for and development of an adaptive Listening and Communication Enhancement (LACE) Program［J］.J Am Acad Audiol，2006，17: 538.

10 Fu Q，Galvin J.Computer-assisted speech training for cochlear implant patients: feasibility，outcomes，and future directions［J］.Seminars in Hearing，2007，28: 142.

11孙喜斌，梁巍，晁欣，等.计算机导航-聋儿听觉评估学习系统应用［J］.中国临床康复，2002，6: 3180.

12孙喜斌，张蕾，刘巧云，等.计算机导航-听觉言语评估系统中儿童汉语言语识别词表［J］.中国耳鼻咽喉头颈外科，2007，14: 244.

13刘海红，陈雪清，陈安宇，等.儿童听力言语康复分类训练及评估的汉语视听系统软件开发［J］.听力学及言语疾病杂志，2007，15: 223.

14陈雪清，王树峰，孔颖，等.成人听力康复汉语计算机化训练及评价系统［J］.听力学及言语疾病杂志，2001，9: 106.

15段家德.一种实用的汉语言语听力测试系统及临床应用［J］.北京生物医学工程，2005，24: 42.

16郗昕，黄高扬，冀飞，等.计算机辅助的中文言语测听平台的建立［J］.中国听力语言康复科学杂志，2010(4) : 31.

17 Ji F，Xi X，Chen AT，et al.Development of a Mandarin monosyllable test material with homogenous items (I) : homogeneity selection［J］.Acta Otolaryngol，2011，131: 962.

18 Xi X，Ching TY，Ji F，et al.Development of a corpus of Mandarin sentences in babble with homogeneity optimized via psychometric evaluation［J］.Int J Audiol，2012，51: 399.

19 Wu W，Zhang H，Chen J，et al.Development and evaluation of a computerized Mandarin speech test system in China［J］.Comput Biol Med，2011，41: 131.

20 Wang S，Mannell R，Newall P，et al.Development and evaluation of Mandarin disyllabic materials for speech audiometry in China［J］.Int J Audiol，2007，46: 719.

21张华，王靓，王硕，等.普通话言语测听单音节词表的编辑与初步等价性评估［J］.中华耳鼻咽喉头颈外科杂志，2006，42: 341.

22 Sweetow RW，Henderson Sabes J.Auditory training and challenges associated with participation and compliance［J］.Journal of the American Academy of Audiology，2010，21: 586.

23陈益青，龙墨，韩睿.人工耳蜗植入后听力康复效果相关因素的研究［J］.中国康复理论与实践，2006，7: 593.

24李东梅，许安廷，程想，等.人工耳蜗植入术后听力及言语康复效果相关因素的初步研究［J］.山东大学耳鼻喉眼学报，2010，24: 16.

25 Bloom S.Technologic advances raise prospects for a resurgence in use of auditory training［J］.The Hearing Journal，2004，57: 19.

(2015-06-11收稿)

(本文编辑周涛)

·病例报告·

【中图分类号】R764.04

【文献标识码】A

【文章编号】1006-7299(2015) 06-0665-04

DOI:10.3969/j.issn.1006-7299.2015.06.025