成年人工耳蜗植入者对音乐音色感知的特点与分析△

古鑫 刘博 刘子夜 亓贝尔 董瑞娟 王硕



·听力康复·

成年人工耳蜗植入者对音乐音色感知的特点与分析△

古鑫1刘博1刘子夜2亓贝尔1董瑞娟1王硕1

目的 评价语后聋成年人工耳蜗植入者对音乐音色的识别能力，探讨人工耳蜗植入者与听力正常者在音乐音色感知中的差异及可能的机制。 方法 实验组为人工耳蜗植入时间≥0.5年的成年语后聋患者30例，对照组为30例听力正常成人。使用人工耳蜗音乐评估软件(Mu.S.I.C)对两组受试者进行不同音色(包括来自不同乐器家族且具有代表性的六种乐器以及男高音、女高音)识别能力的测试，记录并比较两组的识别正确率。结果 ①实验组音色识别正确率49.23%±18.93%，对照组90.23%±12.28%，后者高于前者(P<0.001)；实验组识别正确率：男高音(76.7%)最高、钢琴(73.3%)次之，吉他(23.3%)最低。②实验组对每种音色的错选率均高于对照组，且选择更为分散，其中将吉他误选为钢琴的错选率最高(66.7%)；其次为长笛错选为小号(33.3%)。结论 人工耳蜗植入者对音乐音色的识别能力低于听力正常者，并且容易造成弦乐器之间、管乐器之间的混淆。

人工耳蜗植入； 音乐； 音色感知

人工耳蜗植入(cochlear implant, CI)已帮助众多重度、极重度听力损失患者重回有声世界[1]，并获得了令人满意的言语交流效果，尤其表现为在安静环境下良好的言语识别；然而由于音乐具有比言语声更复杂和丰富的特征，其感知能力与欣赏水平仍与理想水平有一定差距[2～4]。音乐是文化和情感的外延，具有明显的生理和心理学以及社会适应等多方面的作用，因此，对音乐的感知是评估CI患者术后康复效果的一个指标，也是评价生活质量的一个重要方面。研究证明[2～4]，音乐中的音调、节奏、旋律和音色是理解和欣赏音乐至关重要的基本要素，音色是其中内涵最为丰富的元素，所谓音色，就是令聆听者能够在音调、节奏、响度和时长相同的情况下分辨出两个相似声音的听觉感知属性[5]。既往研究发现[6]讲话者言语的韵律感、语气和情感等可以通过语调、响度、节律成分等表达，言语的音色用于区分不同个体的发声特征而不影响言语交流的本质；而音乐音色则不同，该属性的存在对音乐的理解和欣赏起到至关重要的作用。音色是最难掌握和研究的，在此领域，评价音色感知能力的方法较多，本研究选用Fitzgerald等[7]开发的人工耳蜗音乐评估软件(Musical sounds in cochlear implant,Mu.S.I.C)中的乐器识别测试(Instrument Identification)评价受试者的音色感知能力，重点探讨人工耳蜗植入者对音乐音色的感知特征。

1 资料与方法

1.1 研究对象及分组 实验组：30例语后聋成年人工耳蜗植入者(表1)，男15例，女15例，年龄20～68岁，平均34.2±13.3岁，均为单耳植入人工耳蜗，实验过程中对侧未佩戴助听器，人工耳蜗使用时间均≥0.5年，平均使用时间为2.14±2.78年，无特殊的人工耳蜗品牌要求，无其他医学及心理禁忌症，并且可以配合完成实验过程和问卷填写。

对照组：听力正常者30例，男15例，女15例，年龄18～57岁，平均33.6±11.1岁，250～8 000 Hz每倍频程频率听阈值均≤20 dB HL，无耳科疾病病史。

两组受试者均无专业音乐培训经验，均自愿参加本研究。本课题已获得北京市耳鼻咽喉科研究所与首都医科大学附属北京同仁医院的伦理审批。

1.2 音乐音色感知评估方法

1.2.1 慕尼黑音乐问卷(Munich music questionnaire，MUMU)评估音乐经验 该问卷用于了解成年人工耳蜗植入者在人工耳蜗术前及术后聆听音乐的行为和经验[6]。问卷共包括25个问题，其中针对人工耳蜗植入者音乐经验的问题主要包括“是否经常听音乐？”，“是否经常唱歌？”和“是否演奏乐器？”，选用此3个问题从3个方面评价人工耳蜗植入者音乐经验。为使实验组与对照组的音乐经验相匹配，针对听力正常受试者，将MUMU问卷中与人工耳蜗和听力损失相关的问题与选项删除，保留21个问题，含上述3个关于音乐经验的问题，选取此3个问题评估其音乐经验。每个问题得分标准分为1(很少)至10(经常)10个得分等级。

MUMU问卷中针对受试者音色感知能力方面的问题主要包括“您对哪些乐器的感知较好？”和“您喜欢听哪些乐器演奏的声音？”两个问题，本研究选用此2个问题用于统计实验组与对照组对不同乐器音色的主观感受，由于答案选项中仅有小提琴、长笛、钢琴、小号、大提琴、吉他六种乐器的音色是本研究选取的乐器识别测试音色，其他选项在乐器识别测试中未选用，因此，本研究仅选择问卷选项中这六种乐器音色进行统计和比较。

1.2.2 人工耳蜗音乐评估软件(Mu.S.I.C)[7]评估音色感知能力 应用Mu.S.I.C软件中的乐器识别测试评价受试者的音色感知能力。乐器识别测试(instrument identification)：选取男高音、女高音和不同乐器家族的6种乐器(键盘乐器钢琴，弦乐器吉他、小提琴、大提琴，管乐器小号、长笛)分别表演两条音乐曲目(“Baa Baa Black Sheep”和自然音阶“Scale”)，测试共16个条目。测试在经校准的、本底噪声<20 dB A的标准隔声室内进行，扬声器置于受试者前方1 m处，其中心位置与受试者坐姿时耳部高度保持一致，以零度角正面给声，在最适聆听强度下进行测试。受试者在声场中聆听由Mu.S.I.C音乐测试系统及GSI-61纯音听力计控制并由扬声器播放的测试内容，受试者在每个条目播放结束后选择自己认为正确的乐器图片，每段旋律只可播放一次，不重复聆听，以减少学习效应带来的误差；测试结束后获得识别正确率，正常率=(正确识别条目数/16)×100%。

1.3 统计学方法 使用SPSS 16.0软件，用2-samplet检验分析两组受试者的年龄和音乐经验是否匹配，用One-sample Kolmogorov-Smirnov检验分析两组受试者的乐器识别正确率是否为正态分布，采用Mann-Whitney U方法对两组间乐器识别正确率进行比较。

2 结果

2.1 两组受试者年龄与音乐经验比较 MUMU问卷结果显示，两组受试者的年龄与音乐经验的差异无统计学意义(P>0.05)(表2)，即本研究中的对照组与实验组的年龄与音乐经验相匹配。

表1 30例人工耳蜗植入者基本信息

表2 实验组与对照组年龄与音乐经验比较(分，

2.2 音色识别测试结果 实验组的乐器识别正确率(49.23%±18.93%)低于对照组(90.23%±12.28%)，差异有统计学意义(P<0.001)。

对于测试中的8种音色，对照组的平均识别正确率均显著高于实验组。实验组音色识别率由高到低为：男高音(76.67%)、钢琴(73.33%)、吉他(23.33%)；对照组音色识别率的结果：女高音和男高音均为100.0%为最高，钢琴96.67%次之，吉他58.33%为最低。

两组受试者音色识别的混淆矩阵显示：两组受试者对吉他和钢琴的混淆率均最高，并且实验组比对照组更易混淆：实验组将吉他误选为钢琴的错选率为66.67%，对照组将吉他误选为钢琴的错选率为38.33%；其次部分受试者易对长笛和小号混淆，实验组将长笛错选为小号的错选率为33.33%，对照组为8.33%(表3)。

2.3 两组受试者对不同音色的主观感受 MUMU音乐问卷结果显示：30例人工耳蜗植入者中有60.00%选择对钢琴“感知较好”，有63.33%选择“喜欢听钢琴演奏”，而其他乐器选项的得分均较低；对照组中，分别有86.67%和70.00%选择对钢琴“感知较好”和“喜欢听钢琴演奏”，对其他乐器选项的得分均高于实验组(表4)。

3 讨论

音色是一种令聆听者能够在音调、节奏、响度和时长完全相同的情况下分辨出两个相似声音的听觉感知属性[5]，如同声音的“颜色”；就像光谱中不同频率的光波所占的比例决定了光的颜色，声信号中各种频率(基频和谐波)信号的能量配比构成了音色。听力正常者由于具有足够好的频率分辨力，可以根据谐波间的频宽来判断基频，而对于人工耳蜗植入者来说，音色的感知并不完全取决于频谱形态，声信号的时域特性也有很大影响[8]。总之，音色的感知取决于声音中复杂的时域和频域信息的获取和处理。

表3 8种乐器音色在实验组和对照组的识别混淆矩阵(%)

表4 两组受试者对不同乐器音色的主观感受(例，%)

由于目前人工耳蜗装置提供的有效电极通道数有限，从声信号中获取的频域信息不充足，这直接导致了人工耳蜗植入者的音色识别能力较差。2011年Kong等[9]重建了音色多维标度模型，发现时域包络对人工耳蜗植入者辨别音色起着决定性的作用。Heng等[5]利用“乐器嵌合(instrumental chimeras)”的研究方法观察了时域包络信息和精细结构信息对音色识别的作用，发现人工耳蜗植入者主要依赖时域包络信息识别音色，而忽略了精细结构信息，当时域包络信息减少时，精细结构信息就起到了一定的补偿作用。人工耳蜗在信号处理过程中，是否增加精细结构信息以补偿频域信息的缺乏以及精细结构信息的多少，决定了其对音色感知能力的优劣。此外，就人工耳蜗植入者本身而言，又存在诸多因素影响其音色感知能力，如：耳聋时间、术前佩戴助听器时间和人工耳蜗植入时间、年龄、音乐聆听经验和文化教育背景都会对其音色感知能力起到一定的影响[10]。

对音色的认知除了利用其物理特征，即不同声音的振动属性——包括波的幅值、相位、泛音的数量成分和比例分布及共振峰的位置等以外，还可以利用不同音色特定的工艺特征[11]，即演奏者或歌唱家对乐器或人声音色的控制能力，这种特征主要由声波振动中的泛音多少来决定，若声波振动充分，产生的泛音多，则音色质地好，演奏或歌唱技术高；除此之外，辨别和欣赏音色还可以通过感受不同音色表现出的不同的情感或情绪[11]，如：常用明亮的、高昂的乐器音色表现欢快的心情(如唢呐)，而经常用暗淡的、低沉的乐器音色表现悲伤的心情(如大管)等。

Gfeller等[8]测试28例人工耳蜗植入者(CI)及41例听力正常受试者(NH)对小号、单簧管、小提琴及钢琴等四种乐器的分辨能力，结果表明听力正常受试者对乐器的分辨能力较CI受试者强；Nimmons等[12]曾报道8例人工耳蜗植入者乐器识别测试正确率在21%～54%之间，平均为49%±11%；Brockmeier等[13]对31例人工耳蜗植入者进行测试，结果显示其乐器辨别正确率平均为47.1%±14.2%，且人工耳蜗植入者对于钢琴比管乐器和弦乐器更容易识别。本研究结果显示，语后聋人工耳蜗植入者的音色感知能力明显落后于听力正常者，与以往研究结果[8，10，12～15]一致。

本研究中，两组受试者的音色识别混淆矩阵显示：实验组对于每种音色的错选率均高于对照组，且选择更为分散，实验组对吉他和钢琴以及长笛和小号的混淆率较高；音色识别测试结果提示：人工耳蜗植入者对男高音和钢琴的平均正确识别率最高，对吉他的平均识别率最低，主要的错误为将吉他选为钢琴，而对照组中，也有38.5%的受试者将吉他选为钢琴；说明这并不单单是听力损失或人工耳蜗植入造成的结果。这可能与国人的音乐文化背景和聆听经验有关，因为钢琴这种乐器更为普遍和常见，从MUMU问卷结果也说明人工耳蜗植入者对钢琴的主观聆听经验最丰富，所以容易将其他乐器误认为是钢琴。实际上，不同乐器的音色不同，与他们的构造、发音原理、演奏方式有关[11]，但最主要的一点是由乐器本身的基音(基频)和泛音(谐波)决定的，也就是其频谱特性决定的。

吉他和钢琴虽然构造不同，但都是以弦做发音源的弦鸣乐器，他们在发音机制上有共通点，都是通过弦的振动发出乐音[11]。其他乐器的音色，如：管乐器(小号和长笛)是通过空气振动发音，男高音和女高音是由演唱者的声带振动发音。大提琴和小提琴也属于弦鸣乐器，而且也是日常较为熟悉的乐器，吉他与小提琴或大提琴的混淆率不高的原因是这几种乐器的演奏方式，即弦的振动方式不同；钢琴是击弦乐器，当弹动琴键时，弦槌敲击弦引起弦的振动；吉他是拨弦乐器，通过手指或拨弦工具弹拨琴弦引起振动；提琴属于弓弦乐器，通过拉弓摩擦琴弦引起振动。钢琴和吉他的声音一旦发出，就只能靠余振延续，声音很快减弱，只能通过触键或拨弦使乐音延长；而对于提琴只要弓不离弦，乐音即可继续，这使得提琴的泛音更加丰富，音符之间没有间断，音色比较饱满、圆润；所以，小提琴和大提琴的音色特征更加明显从而容易被辨别，吉他的音色特征相对来说不够显著，而且与钢琴有较多的共同点，所以，吉他的识别率很低，且和钢琴的混淆率高、与提琴的混淆率低。

小号和长笛均属于管乐器家族，本研究结果发现受试者对小号和长笛出现了一定的混淆，且实验组错选率较高。这是因为小号和长笛同属于管乐器，其外观、发音原理与频谱特性有相似之处[11]，再加上中国人群对这两种西洋乐器不够熟悉，所以容易混淆。

综上所述，人工耳蜗植入者对音乐音色的感知能力明显落后于听力正常者，且与听力正常者相比，更容易造成不同音色之间的混淆，尤其表现在弦乐器之间以及管乐器之间。不同乐器的不同频谱特性和文化差异对音色识别测试结果造成一定的影响[16]，本研究结果也为设计开发适合我国人工耳蜗植入者的音乐评估软件提供了一定的参考。

1 韩德民. 人工耳蜗[M]. 北京:人民卫生出版社, 2003.1～5.

2 刘子夜, 刘博, 王硕, 等. 人工耳蜗植入者音乐感知能力的研究[J]. 临床耳鼻咽喉头颈外科杂志, 2012, 26:1053.

3 Mao YT, Xu L. Music and cochlear implants[J]. Journal of Otology, 2013, 8: 32.

4 冯海泓, 原猛, 陈友元. 人工耳蜗植入者音乐感知研究[J]. 声学技术, 2012, 31: 53.

5 Heng J, Cantarero G, Elhilali M, et al. Impaired perception of temporal fine structure and musical timbre in cochlear implant users[J]. Hearing Research, 2011, 280: 192.

6 Veekmans K, Resell L, Mueller J, et al. Comparison of music perception in bilateral and unilateral cochlear implant users and normal-hearing subjects[J]. Audiol Neurootol,2009, 14: 315.

7 Fitzgerald D, Fitzgerald H, Brockmeier SJ, et al. Musical sounds in cochlear implants (Mu.S.I.C)test [CP/CD]. Innsbruck: MED-EL GmbH, 2006.

8 Gfeller K, Knutson JF, Woodworth G, et al. Timbral recognition and appraisal by adult cochlear implant users and normal-hearing adults[J]. J Am Acad Audiol, 1998, 9:1.

9 Kong YY, Mullangi A, Marozeau J, et al. Temporal and spectral cues for musical timbre perception in electric hearing[J]. J Speech Lang Hear Res, 2011, 54: 981.

10 Gfeller K, Lansing CR. Melodic, rhythmic, and timbral perception of adult cochlear implant users[J]. J Speech Hear Res, 1991, 34:916.

11 Meister H, Landwehr M, Lang-Roth R, et al. Examination of spectral timbre cues and musical instrument identification in cochlear implant recipients[J]. Cochlear Implants International, 2014, 15: 78.

12 Nimmons GL, Kang RS, Drennan WR, et al. Clinical assessment of music perception in cochlear implant listeners[J]. Otol Neurotol, 2008, 29:149.

13 Brockmeier SJ, Fitzgerald D, Searle O, et al. The MuSIC perception test: a novel battery for testing music perception of cochlear implant users[J]. Cochlear Implants International, 2011, 12:10.

14 Gfeller K, Witt S, Woodworth G, et al. Effects of frequency, instrumental family, and cochlear implant type on timbre recognition and appraisal[J]. Ann Otol Rhinol Laryngol, 2002, 111:349.

15 刘子夜, 章昊, 刘博, 等. 成人人工耳蜗植入者音乐旋律和音色感知研究[J]. 中国听力语言康复科学杂志, 2013, 11:434.

16 Hailstone JC, Omar R, Henley SMD, et al. It's not what you play, it's how you play it: timbre affects perception of emotion in music[J]. The Quarterly Journal of Experimental Psychology, 2009, 62: 2141.

(2016-02-15收稿)

(本文编辑 周涛)

The Musical Timbral Perception in Adult Cochlear Implant Users

Gu Xin*, Liu Bo, Liu Ziye, Qi Beier, Dong Ruijuan, Wang Shuo

[*Beijing Tongren Hospital, Capital Medical University; Beijing Institute of Otolaryngology; Key Laboratory of Otolaryngology Head and Neck Surgery(Capital Medical University), Ministry of Education, Beijing, 100005, China]

Objective To evaluate the timbral recognition ability of postlingually-deafened adult cochlear implant users and to analyze the differences between cochlear implant users and normal hearing subjects and the possible mechanisms.Methods The experimental group (30 postlingually-deafened adult recipients with a cochlear implant over 6 months) and the control group (30 normal hearing subjects) participated in this study. We used the timbre recognition test in Musical Sounds in Cochlear Implant (Mu.S.I.C) test battery consisting of tenor, soprano and 6 representative musical instruments from different instrument families, to obtain the correct rate of recognition.Results The correct rate of timbre recognition of experimental group was 49.23±18.93%, while it was 90.23±12.28% in the control group(P<0.001). The rank of correct rate from the highest to the lowest in experimental group was tenor (76.7%), the piano (73.3%) and the guitar (23.3%). The error rates of experimental group were higher than those of control group for each timbre. There were 66.7% of cochlear implant users mistook the guitar for the piano, and 33.3% flute for the trumpet.Conclusion The postlingually-deafened adult cochlear implant users perform significantly poorly in timbre perception than normal-hearing subjects. The cochlear implant users are more likely to make confusions among the string instruments, and among the wind instruments.

Cochlear implant; Timbre; Music perception

△ 国家自然科学基金项目(81371103)、国家自然科学基金青年项目(81200753)、北京市科技新星项目(Z151110000315064)联合资助

古鑫，女，回族，河北人，硕士研究生，主要研究方向为临床听力学。

刘博(Email：trliubo@139.com)

10.3969/j.issn.1006-7299.2016.06.016

时间：2016-10-27 15:07

R764.5

A

1006-7299(2016)06-0597-05

1 首都医科大学附属北京同仁医院耳鼻咽喉头颈外科研究中心，北京市耳鼻咽喉科研究所，耳鼻咽喉头颈科学教育部重点实验室(首都医科大学)(北京 100005)； 2 民航总医院，民用航空医学中心

网络出版地址：http://www.cnki.net/kcms/detail/42.1391.R.20161027.1507.006.html