学龄前人工耳蜗植入儿童语音情绪感知研究

管海涛 顾文涛

1 引言

全国残疾人抽样调查显示，目前全国有2780万人患有不同程度的听力损失，其中11.5万名7岁以下儿童患有重度到极重度听力损失，每年有3万名新生儿伴有听力损失问题[1]。让重度到极重度听力损失患者恢复听力最好的方法是植入人工耳蜗（CI）[2]，CI是通过手术植入电子耳蜗，将声音能量通过电刺激传递给听觉神经，从而让重度到极重度听力损失患者可以听到和处理听觉信息。

人工耳蜗植入后能够提高使用者的语言理解和表达能力。提高使用者对元音和辅音的感知与表达能力[3]。随着CI设备使用时间的增加，植入者的元辅音能力可以赶上健听儿童[4]。CI能够提高使用者声调的感知与表达能力[5]，甚至还可以提高他们言语清晰度[6]。在植入人工耳蜗设备后，经过一定时间的康复训练，许多CI儿童可以重新习得语言和言语，回归普通学校，与健听儿童一起学习[7]。

虽然CI能够让使用者重新听到声音并且学会表达，但是也存在一定问题。目前CI设备只能提供言语中基频有限的频谱或时域信息[8，9]，基频信息的缺失会导致对音高的感知能力存在不足，音高对于韵律的感知至关重要。这些不足导致使用者在感知且表达与韵律有关的信息存在障碍，如陈述句和疑问句，词调感知以及情绪语音的感知[10～12]。在日常生活中，正确的感知和表达情绪对社交活动具有积极作用。在成年人和儿童中出现情绪感知和表达障碍会导致其回避社交或被社会活动所排斥，使他们缺乏社会交往能力[7]，甚至影响生活质量[13，14]。因此，有必要了解CI使用者情绪的感知能力，针对其不足制订合理的计划，让他们正确感知情绪，提高社会交往能力。

7～13 岁的CI儿童虽然能够通过面部表情识别情绪，但是在识别由语音表达的高兴、生气、悲伤和恐惧的情绪时比健听组[15]差。5～13岁日本CI儿童对于快乐和悲伤的识别率较高，而对生气的识别率最差[16]。无论是成年还是年幼的CI者在识别高兴、生气等情绪的表现明显差于健听组[17]。

大量基于非声调语言（如英语和日语）的研究一致发现CI者在情绪语音感知方面存在困难。但是对母语为普通话等声调语言的CI者的情绪感知能力关注较少，尤其是学龄前的儿童。中国成年的CI者感知基本情绪的能力明显比健听组差[18]。年龄在6～17岁的CI者在感知高兴、生气等情绪上存在非常大的困难[19]。

综上所述，前人较少关注母语为普通话的学龄前CI儿童对情绪语音的感知能力，我国面临6岁以下CI者越来越多的情况。为了进一步了解这一群体，本研究目的在于考察学龄前的CI儿童对情绪语音的感知能力。本研究考察的情绪仅限于高兴、悲伤和生气3种，选择这3种基本情绪是因为研究发现儿童最先学会分辨的情绪分别是高兴、生气和悲伤[20]，其次是因为它们经常出现在儿童的日常生活中，便于儿童理解并完成实验。

2 方法

2.1 被试

根据听力条件的不同，将参与实验的儿童分成健听组与CI组。其中14名健听（8名男孩，6名女孩）儿童来自江苏省南京市春晖幼儿园，年龄4.2岁～5.11岁（平均年龄5.01±0.55岁），所有儿童听力、智力正常，没有其他疾病。14名CI（6名男孩，8名女孩）儿童来自于江苏省儿童康复研究中心，年龄4.2～5.9岁（平均年龄5.05±0.56岁），CI设备平均使用时间为2.53年，其中12名儿童为人工耳蜗和助听器双模使用者。所有儿童除听力障碍外，没有其他疾病。

2.2 实验刺激

在情绪感知任务中，笔者根据儿童的常用词语设计了6句语义中性的句子。采用Adobe Audition 1.6在安静的录音间内让发音人用高兴、生气和悲伤三种情绪表达6句话（如今天下这么大的雪；小明把饼干吃完了）。要求发音人每个句子读3次，选择质量最好的作为正式实验的刺激材料。录制完成后，使用Adobe Audition 1.6编辑原始音频文件（44.1 kHz采样率，16位）。

2.3 实验流程

采用笔记本电脑播放录制好的语音文件，音量统一调整至65 dB，使用E-Prime 2.0呈现实验刺激，语音播放结束后，电脑屏幕上会出现高兴、生气、悲伤3种情绪的图片，要求被试判断刚才播放的语音文件是哪一种情绪，被试出对应图片，主试用鼠标点击。在正式实验前，让被试进行相应的练习，让他们理解每个情绪类型熟悉实验流程。

2.4 数据分析

使用Praat[21]分析所有实验语料的基频均值、基频范围和基频标准差，使用R语言中的afex包[22]，运用广义线性混合模型（generalized linear mixed-effects models）考察被试组别以及情绪类型（高兴、生气、悲伤）对感知结果的影响。将被试数量和刺激作为随机效应，使用lsmeans包[23]进行事后检验和简单效应分析。

3 结果

3.1 声学特征分析

首先见表1。生气的基频均值最高，悲伤的基频均值最低。在基频范围上，生气与高兴相近，而悲伤的基频范围最低。在基频标准差上，生气仍然与高兴相接近，而悲伤的基频标准差最低。高兴与生气在声学特征上相似，而悲伤在声学参数上与两者差距较大。统计分析结果也证实高兴和生气两种情绪在所有的声学参数之间都没有显著区别，但与高兴或者生气相比，悲伤的声学参数差异极其显著（P<0.001）。

表1 句子声学参数平均值

3.2 感知实验结果

图1显示健听组和CI组对情绪感知的平均正确率。健听组在所有情绪中的表现均好于CI组，统计结果显示组间的主效应极其显著（P<0.001）。此外情绪间的主效应也有，但只出现在高兴和悲伤之间。

图1 CI和健听儿童情绪判断正确率

组别和情绪之间的交互作用极其显著（P<0.001）。在健听组中，最容易感知悲伤，正确率高达89%，其次是生气，正确率为74%，最难的是高兴，正确率为61%。对于CI组来说，其正确率仅高于机会水平（机会水平=33%），对高兴的感知正确率最高43%，其次是生气，正确率为40%，最难的是悲伤，正确率为39%。健听组最容易识别的情绪是悲伤，而CI儿童则在所有情绪的识别上存在困难。

表2列出了两组结果的混淆矩阵分析。CI儿童容易把3种情绪相互混淆，会把高兴与悲伤混淆，生气与悲伤混淆，或者高兴与生气混淆。表明他们在感知3种情绪的时存在困难，无法准确的区分与判断。与CI儿童表现相反，健听儿童显示出明显的混淆模式，他们容易将高兴与生气混淆，这一点与之前声学分析显示的高兴与生气的声学特征相似有关。

表2 混淆矩阵（%）

4 讨论

本研究的结果发现母语为普通话的学龄前CI儿童存在情绪语音理解困难。这与英语、日语等语言中有关CI植入儿童情绪感知的研究结果一致[7，15～17]。

通过分析，笔者发现健听儿童的情绪语音的感知能力要强于CI儿童。导致出现这个差异的因素是听力的损失影响了儿童的语言发展，从而影响了其对情绪的感知能力。情绪语音感知和语言能力之间存在相关性[24]。表明较少的听觉经验使得CI儿童语言发展相比健听儿童存在延迟，并且影响他们有关于情绪概念的形成，从而对情绪感知表现有一定负面影响[7]。另一个因素是两组儿童在听力年龄上的差异。与健听儿童相比，CI儿童从出生就听不到声音，长期的听力缺失使得CI儿童在日常生活中很少有机会正确感知情绪。在本研究中，健听儿童的平均听力年龄是5岁，而CI儿童的平均听力年龄只有2.53岁。健听儿童在5岁时就能够很好地感知情绪语音，随着时间继续发展[25，26]，在实验中控制两组听力年龄和生理年龄，可能会有不同结果。年龄在9.5～13.2岁的儿童比年龄5.5～8.7岁的儿童在情绪任务中的表现更好[27]。未来的研究需要关注年龄较大的CI儿童或者CI设备使用时间更长儿童的情绪感知能力以及发展情况，以确定他们的能力是否随着生理年龄以及CI设备使用时长的增加而提高，并且赶上健听儿童。

在本研究中，笔者发现悲伤情绪在健听组中识别的准确率最高，而高兴在CI组中识别的准确率最高。从声学分析来看，悲伤与高兴或生气相比在声学参数上有显著差异，这可能导致悲伤在健听组中的识别率最高。在听觉模式下，悲伤对于听力受损和健听人来说是最容易识别的。Nakata等[16]发现日本的CI儿童能够成功地识别出高兴和悲伤的情绪，但他们在生气的识别表现上较差。本研究与其他研究的异同可能由于：首先是语言的影响。普通话是一种声调语言，语言之间的差异会影响CI设备的加工效果。其次是被试的差异。在本研究中，被试年龄4～5岁，而Nakata等[16]的被试年龄在5～13岁之间。最后是设备的差异。本研究中，所有听力损失儿童都植入了人工耳蜗，而在Most等[28]的研究中，只有9名儿童植入人工耳蜗设备，另外的17名儿童则配戴助听器。

根据混淆矩阵分析，笔者发现健听儿童容易将高兴与生气混淆，这是因为在这两个情绪中，基频均值、基频范围等声学参数的差异不明显导致的。CI儿童在所有情绪类型都表现出了混淆：他们容易将悲伤当作高兴，或将悲伤认为是生气，尽管悲伤和高兴/生气在声学参数上差异显著。这可能是因为CI设备本身的局限性，导致CI植入儿童无法仔细分辨这些差异。

5 结论

本研究考察了学龄前CI儿童和健听儿童对于高兴、生气、悲伤3种情绪的感知，实验结果表明CI儿童对情绪的听觉感知正确率较低，这说明母语为普通话的学龄前CI儿童在情绪语音的感知上存在困难。通过本研究发现的问题，会促使家长和老师为CI儿童制订更加完善的康复训练计划和内容，从而切实提高CI儿童对于情绪的理解，帮助其更好地融入社会。