发展性阅读障碍视听整合加工现状研究*

武慧多 刘巧云

(1.浙江师范大学 杭州幼儿师范学院 杭州 311231；2.华东师范大学 康复科学系 上海 200062)

一、引言

发展性阅读障碍(developmental dyslexia, 以下简称DD)是指个体在阅读方面存在特定的困难，并且这种困难并非由于明显的感觉和神经发育缺陷、动机以及教育或生活环境所导致的[1]。阅读是一个多感官加工过程，字形—语音自动化的整合加工对于流畅阅读技能的掌握至关重要[2]，DD的解码缺陷可能与个体字形—语音的视听整合加工能力落后有关[3-4]。视听整合是指将来自视觉和听觉模态的信息加以统合，形成一个统一的感知经验的过程[5]。阅读过程中字形—语音间有效的视听跨模态整合增加了来自语音的冗余或补充提示信息[6]，易化了字形的语义表征。近年来，越来越多的学者开始关注视听整合加工对阅读能力的影响。对DD视听整合加工研究相关成果进行梳理，有助于深入理解汉语DD儿童阅读解码缺陷的发生机制，对认知干预策略的制定具有重要的参考价值。

研究者对自2000年以来阅读障碍视听整合加工领域的相关研究进行了收集整理。通过在中国知网、万方数据库中检索 “阅读障碍”与“视听整合/视听捆绑/形音捆绑/视听加工”关键词组合，在Springer、ScienceDirect、EBSCO、APS、Web of Science等英文数据库中检索“audiovisual integration/audiovisual binding/letter-speech integration/Grapheme-phoneme binding/audiovisual processing/ crossmodal processing/multisensory integration/multisensory binding”与“dyslexia/reading disability/reading difficulty”关键词组合，得到文献共156篇。剔除无关和重复文献，另将少量不在该时间范围内但具有重要影响的早期经典文献也纳入其中，最终获得文献55篇。

二、 阅读障碍视听整合研究

(一)研究范式及结果

1.行为研究

DD视听整合的行为研究主要包括三种范式，即视听对应联结、视听时间敏感性以及McGurk效应研究。

(1)视听对应联结

早期对DD儿童视听整合的研究主要关注其在视听对应联结加工中的准确性和速度。Birch和Belmont最早通过比较DD儿童和典型发展(typically developing, 以下简称TD)的对照组儿童对听觉刺激的时间间隔与点状视觉刺激的空间间隔之间的匹配，考察其将无意义听觉刺激的时间模式与视觉刺激的空间分布对应联结的能力，发现DD儿童视听对应联结的准确率显著低于TD儿童[7]。由此他们首次提出，视听整合能力不足可能是阅读习得困难的主要原因。尽管忽略了视觉和听觉模态内加工能力对跨模态视听联结的影响，但该研究首次从视听跨模态整合加工的角度阐释了DD的解码缺陷机制。此后的一些研究显示，在学习阅读初期，字形—语音对应联结的准确性是DD的强预测因子[8-9]。儿童需要借助口语词汇的语音表征，通过学习拼读实现词汇的语义通达[10]。而字母—语音对应联结的准确性直接影响单词语音表征的准确性，进而影响词汇的语义解码。随着年级的升高，当儿童准确掌握了字母的语音表征后，联结速度就成为联结自动化程度的主要标志[11]，对DD具有更好的预测作用。DD儿童尚不能与TD儿童一样，字形—语音联结的反应时随年级的升高而持续下降[12]。

但现有研究结果多以拼音语言母语儿童为研究对象。汉语属于字形加工复杂且正字法透明度低的文字，字形和语音之间的联结规则具有一定的强制性。字形—语音联结速度同样是汉语阅读准确性和流畅性的强预测因子[13]，而两者间联结的准确性对汉语儿童阅读能力的影响可能也会比对拼音语言儿童的影响更加持久和深远。但目前尚未见到跨语言的对比研究验证这一假设。

(2)视听时间敏感性

视觉和听觉刺激必须在一个限定的时间窗内发生，才能在知觉层面将其整合为一个统一的信号。视听时间敏感性是指个体在视听任务中对视觉和听觉刺激呈现时间的感知能力[14-15]，视听时间敏感性落后会使个体的视听整合时间窗增大，导致字形与语音之间对应关系模糊[16]。视听同时性判断(synchrony judgment,以下简称SJ)、视听时间顺序判断(temporal order judgment,以下简称TOJ)，以及时间腹语效应(temporal ventriloquism effect)是考察视听时间敏感性的常用范式。采用SJ任务对DD视听时间敏感性的研究并未得到十分一致的结论。Laasonen等人的研究显示，DD儿童在该任务中的表现显著落后于TD对照组儿童[17]，但成人被试的组间差异并不显著[18-20]。而Francisco 等人的研究显示，无论使用语言还是非语言材料，DD成人均比对照组有更多的同时性反应，在听觉刺激先于视觉刺激呈现和视觉刺激先于听觉刺激呈现两种条件下表现出同样的组间差异；此外，DD成人的视听整合时间窗也比对照组更宽，而时间窗的大小对阅读错误的变异具有独特的贡献[21-22]。分析上述研究结果的差异，可能与SJ任务中的刺激材料不同有关。在Laasonen等人的系列研究中，视听刺激材料由一个视觉刺激串和一个听觉刺激串构成，每个刺激串中包含了三个连续呈现的刺激。刺激串中刺激的重复出现降低了被试的认知负荷。由于成人的视听时间敏感性相较于儿童更为成熟[23]，因此对于认知负荷较小的SJ任务，DD成人可能并未明显落后。而Francisco 等人的SJ任务以单个视觉和听觉刺激为材料，任务难度更高，对于视听时间敏感性缺陷个体也具有更高的辩识度。

Hairston等人利用时间腹语效应同样证明了DD成人的视听时间敏感性缺陷[24]。他们在视觉TOJ任务中引入无关的声音刺激后，DD者在更长的刺激起始异步时间(stimulus onset asynchronous, 简称SOA)中获得了增益，表明他们在异常宽的时间窗内“绑定”了视觉和听觉刺激。上述研究表明，DD的视听时间敏感性缺陷并非仅限于语言层面，而是发生在更为基础的、一般性的非语言层面。但以拼音语言为母语的研究多以成人作为研究对象，以DD儿童为对象的研究相对较少。

近年来，汉语DD儿童视听时间敏感性的研究也引起了学界关注。Chen等人通过时间腹语效应发现，DD儿童在更长的视听SOA中获得增益，视听时间增益与阅读能力相关[25]。Liu等人的研究显示，汉语DD儿童在视听TOJ任务上的表现落后于TD儿童，并且对儿童汉字识别具有显著预测作用[26]。但该研究所采用的视听TOJ任务不仅要求儿童报告视觉和听觉刺激的呈现顺序，还要求报告图形形状和声音高低等刺激特征，这无疑会增大儿童的认知加工负荷，混淆儿童的视听时间知觉和其他高级认知功能(如注意和工作记忆等)所产生的效应。此外，该研究并未考察在不同模态刺激呈现顺序下DD儿童视听时间敏感的发展特征和轨迹，以及视听整合时间窗对儿童阅读能力的影响。

(3)McGurk效应

McGurk效应(McGurk effect)是研究视听言语整合最常用的范式，是指一个音节的视觉言语信息与另一个音节的听觉言语信息配对呈现时，可以使个体对辅音的听感知分类发生改变的现象[27]。例如，在呈现一个听觉刺激/p/的同时呈现/k/的视觉刺激，会从听觉上将其感知为/t/。研究者认为，McGurk效应的强度能够反映个体视听整合的强度[28]。如果DD的发生与视听整合能力缺陷有关，DD个体则会在McGurk效应中表现出更少的整合反应[29]。Hayes等人发现，在信噪比较低的条件下，伴有阅读和书写障碍的学困儿童报告了更少的整合反应；当视听刺激不一致时，他们比TD儿童更多地依赖于视觉线索作出判断[30]。但其他一些研究显示，DD成人和儿童在McGurk刺激中的整合反应并未显著减少，甚至表现出比年龄匹配的对照组更多的整合反应[31-32]。McGurk效应研究结果的分歧可能有以下原因：首先，与阅读习得不同，个体的视听言语整合知觉自婴幼儿开始，至儿童及至成年经历了一个较长的发展时期，且语音与口形之间暗含着对应关系，被试对于视听言语刺激较为熟悉；其次，研究所使用的视听言语刺激材料多为单个辅音，任务难度较低，因此即使DD儿童存在一定程度的视听整合缺陷，对于熟悉且具有视听对应特征的刺激，这种差异的表现也并不明显。此外，DD个体往往存在听处理缺陷[33]。在Hayes等人的研究中，当信噪比较低时，DD更多依赖于视觉信息做出反应而非整合反应。这一现象并不能确定是由于视听言语整合缺陷所致，也可能是其听处理缺陷的结果。总之，为数不多的McGurk效应研究并未发现DD儿童的视听言语整合存在明显缺陷。

2.认知神经机制研究

(1)阅读障碍视听整合的脑电研究

Froyen等人使用Oddball范式研究了不同年级荷兰语儿童在字母—语音加工过程中的脑电反应[34-35]。当字母—语音间SOA为200ms时，在高年级TD儿童中，探测到了较大的失匹配负波(mismatch negative，以下简称MMN)，反映出字母—语音之间的自动化整合。在高年级DD儿童中，这一早期MMN并未出现，只表现出与低年级TD儿童相似的晚期区辨负波(late discriminatory negativity，以下简称LDN)，表明高年级DD儿童和初学阅读的低年级儿童一样，只在字母和语音之间形成了简单的联结，字母—语音间的自动化整合并未形成。Karipidis等人采用人工字符—语音材料对具有不同DD风险的前阅读期儿童进行短期训练，发现训练前后个体左侧顶枕颞区域在400ms时的事件相关电位差异与训练成绩和DD家族风险相关[36]。Mossbridge等人以音乐和动态视频为材料，采用SJ任务对大学生同时实施行为及脑电实验研究，被试的行为表现和左额叶听觉稳态脑电反应对阅读理解均有显著的预测作用，SJ任务表现越好的被试，阅读能力也越好[37]。

(2)阅读障碍视听整合的磁共振成像研究

对于字形—语音视听整合皮质的功能性磁共振成像(functional magnetic resonance imaging,简称fMRI)研究主要通过视听刺激的一致性效应和多模态增强效应进行考察。一致性效应是比较字形—语音一致的刺激和不一致刺激在相应脑区激活水平的差异[38]。多模态增强效应则是将视听多模态刺激的激活与视觉和听觉单模态刺激的反应性激活程度进行比较。研究显示，除了视觉和听觉皮层外，字形—语音视听整合主要涉及包括颞上沟、颞上回在内的颞上皮质，枕颞皮质、角回以及下额叶等脑区[39-40]。

Blau等人对DD成人和儿童的研究均显示，DD者颞上皮质激活不足，没有表现出与TD对照组同样的一致性效应和对不一致的字形—语音的抑制性调节作用[41-42]。Yang等人对汉语DD儿童词汇判断任务的研究发现，DD儿童在左角回、左颞上回和左中额上回的视听一致性效应都存在区域性减弱[43]。Ye等人在正常成人的颞叶发现了视听多模态增强效应和听觉网络的动态调节，但在DD者的相应脑区中并未发现该效应[44]。

皮质结构磁共振研究显示，在DD者中发现其左侧颞上沟和右侧颞上回等区域灰质体积的减少[45]，左侧颞上沟灰质体积减少与阅读相关的激活不足是一致的。在有阅读障碍家族风险的前阅读儿童中也发现双侧前额叶和顶颞叶灰质体积减小[46]。

DD者字形—语音之间整合缺陷还与负责熟练阅读的神经网络和脑区之间结构和功能上的联结缺陷有关。对DD跨语言的元分析结果显示，与年龄匹配的对照组相比，DD者左腹侧枕颞皮质激活不足[47]。有研究者认为，左腹侧枕颞区域是视觉正字法信息与语音信息之间的接口区域[48]，是字形—语音自动化整合的关键区域[49]。阅读的习得能够改善早期视觉加工，并重组腹侧枕颞通路，使左侧枕颞沟对书面文字的反应增强[50]。DD左腹侧枕颞皮质激活不足可能与该区域视觉正字法和听觉语音之间功能耦合受损有关。此外，对连接脑区之间白质束的神经生物学研究发现，左侧颞顶叶和额叶的通过分数各向异性值较低，指示阅读能力差或阅读障碍，这些区域与左弓状束和左放射冠相吻合[51]。而左弓状束连接着颞叶、顶叶、枕叶和额叶的语言区，在阅读发展的早期扮演着支持字形—语音转换和整合的关键作用[52]。

认知神经机制的研究表明，DD视听整合加工缺陷有其神经生物学基础，与相关脑区或神经网络的结构和功能异常有关。

(二)模态内加工对视听整合的影响

视听整合行为和电生理研究结果大多认为DD存在视听整合加工缺陷，而视听整合涉及视觉和听觉模态内的感知加工能力，因此在解释视听整合效应时，应充分考虑视觉和听觉刺激成分的感知特性[53]。阅读障碍视听整合加工缺陷是否由于其视觉和听觉模态内加工能力缺陷所致，抑或是具有跨模态特异性，尚未得到一致的结论。

Fox的研究显示，DD儿童仅在跨模态的字形-语音加工的反应时上落后于TD儿童，但模态内加工的反应时无显著的组间差异[54]。时间敏感性训练研究发现，视听TOJ任务的训练效应可以迁移到视觉TOJ任务的表现上，但视觉TOJ任务的训练效应只可在模态内迁移，无法迁移到视听TOJ任务中去[55]，提示阅读障碍的视听整合能力缺陷可能具有跨模态特异性，而并非是由于模态内加工缺陷所致。

另外一些研究则认为，视听时间敏感性缺陷受视觉和听觉单模态加工能力的影响。Gori等人要求儿童判断在连续呈现的三个刺激中，中间的刺激从时间上更接近第一个刺激还是最后一个刺激，以此考察DD儿童的单模态时间加工能力以及对视听整合的影响。结果显示，DD儿童的视听整合缺陷是由于视觉和听觉时间加工能力受损所导致的，而非视听整合能力本身的缺陷[56]。Blau等人对跨年龄组DD的fMRI研究发现，DD被试对语音的反应与其双侧颞上回的视听一致性效应呈正相关，梭状回对视觉字母的反应能够预测个体的阅读差异。研究者认为，DD的字形—语音整合缺陷与加工视觉和听觉语言输入的特定神经系统的异常交互有关[57-58]。对汉语儿童的研究显示，DD儿童的视觉、听觉单模态[59-61]以及视听跨模态时间敏感性均落后于TD儿童[62]，但尚未有研究就视、听单模态对跨模态时间敏感性的作用作深入讨论。

虽然多数研究提示，视听整合加工受模态内加工能力影响，但在控制了模态内加工效应后，DD是否仍具有跨模态视听整合加工缺陷，并且对阅读能力有独立的预测作用，仍有待进一步研究。

(三)视听整合能力的干预及可塑性

近年来，研究者们尝试采用知觉训练，提高DD者的视听整合能力，以期达到改善阅读的目的。Magnan和Veuillet等人采用字母—语音对应联结训练对DD高风险幼儿和学龄低段DD儿童实施干预，训练组高风险幼儿的语音意识显著改善，而训练者学龄DD儿童的语音分类知觉曲线向TD儿童的分类知觉曲线模式转变，同时还表现出与TD儿童相类似的听处理右耳偏侧化的倾向，右耳偏侧化变化最大的儿童，其训练相关的阅读分数提高最大[63-64]。字母—语音对应联结训练后神经生理水平上的变化表现为跨模态LDN潜伏期提前和增强的振幅，并且LDN潜伏期的提前程度与字母—语音联结准确率显著相关[65]。Brem等人对6岁儿童进行字母—语音对应联结训练后，发现左腹侧枕颞皮质对书面词汇的敏感性增强，该区域在TD儿童中随着阅读能力的发展其敏感性会不断提高[66]。

不仅采用语言材料的视听对应联结训练能够改善DD儿童的语音或阅读技能，Kujala等人采用非语言材料对DD儿童实施视听训练也得到了类似的结果：训练组儿童脑电MMN早期成分得到了增强，训练前后阅读测验的差异与MMN反应差异显著相关[67]。这些干预研究从行为和神经生理层面为DD儿童的视听整合干预训练的有效性提供了证据支持。

根据以往研究结果，视听对应联结困难对于初学阅读的低龄段DD儿童的影响更为突出。而对于中高年级乃至成人DD视听时间敏感性缺陷的影响则更为深远。但即便是对于成人，视听时间敏感性同样具有较强的可塑性。Power等人采用有反馈的SJ任务对大学生被试进行视听时间敏感性训练，除了从行为水平上观察到被试视听整合时间窗显著缩小外，对比训练前后的fMRI数据，训练后后颞上沟以及听觉和视觉皮质区域血氧水平依赖信号明显下降，而这些皮质间的耦合显著增加[68-69]。近年来，国内研究者也尝试采用知觉训练的方式，对汉语DD儿童的时间加工能力进行干预，但多为单模态时间加工的训练[70-71]，以视听整合能力提高为目标的训练则较为少见。

视听整合干预研究结果提示，视听整合能力具有较强的可塑性，对阅读障碍者进行视听对应联结、视听时间敏感性训练可能会成为改善其字形—语音整合，提高语音加工和阅读解码能力的有效途径。

三、未来研究展望

(一)探索影响阅读障碍视听整合加工的核心机制

研究者们采用多种范式研究了DD的视听整合及其与阅读的关系。但这些研究范式背后的加工机制是否存在差异或具有怎样的关联尚不清晰。例如，有研究显示，相比于SJ任务，TOJ任务执行了更多的认知加工过程[72]。Francisco等人采用同样的视觉和听觉言语材料，对同一被试群体施测SJ和McGurk效应任务，结果迥异[73],表明两种视听整合研究范式的内部机制可能有所差异。有研究者指出，多模态增强效应探测的是多感官冗余的增效，而视听时间敏感性探测的是整合过程中的视听时间加工精度，两者的内部机制不同[74]。由此可见，不同视听整合研究范式背后影响阅读解码的核心机制仍不明确，对于影响DD视听整合的各种亚机制，也有必要作分类研究和探讨。

(二)厘清阅读障碍模态内加工缺陷与视听整合加工缺陷间的关联

目前，DD的视听整合缺陷是否具有跨模态特异性，抑或是由于视觉和听觉模态内加工缺陷所致尚无一致结论。对这一问题作进一步的探索，不仅是DD理论发展的需要，对于DD儿童认知干预策略的制订也同样具有重要意义。

(三)丰富汉语阅读障碍儿童视听整合加工及干预研究

汉语DD儿童的视听整合加工虽然已引起研究者们的关注，但相关研究的数量仍十分有限，研究范式也有待丰富和完善。关于汉语DD儿童的视听整合加工特征，特别是视听整合时间窗的发展特征和发展轨迹，以及对阅读解码的影响仍缺乏详尽描述。此外，视听整合训练在汉语DD儿童干预实践中的运用及效果评价也是未来值得探索的方向。