汉字阅读的语义神经回路及其与语音回路的协作机制*

杨剑峰 党 敏 张 瑞 王小娟

(陕西省行为与认知神经科学重点实验室,陕西师范大学心理学院,西安710062)

1 问题提出

基于语言认知神经科学研究的大量实验证据,研究者开始尝试结合认知理论来建构语言加工的神经生理模型,这是语言认知神经科学自始就提出的一大挑战(Fiez,2000),同时也是当前研究的重要取向(Carreiras, Armstrong, Perea, & Frost, 2014)。

词汇阅读包括阅读理解和出声阅读两种加工过程。联结主义理论认为阅读加工过程是视觉(词形)、语义和语音三种信息相互作用的结果(Seidenberg, 2011),如图1A所示,阅读理解(通达语义)和出声阅读(通达语音)只存在输出结果的差异,其二者的内部计算机制均是经词形直接通达与间接通达语音/语义加工的结果。要从联结主义神经网络的角度探讨阅读的神经机制,需要阐明语音与语义加工相互作用的神经机制。然而,受拼音文字系统的表义局限性的影响,研究者面临着一个亟待解决的瓶颈问题：即对阅读中的语义神经回路缺乏系统的探讨。

本项目拟利用汉字表义的独特性,以汉字形旁语义加工的神经机制作为切入点,深入探讨出声阅读中语义加工的大脑神经回路,进而阐明语义和语音神经回路的动态协作机制。

1.1 研究现状分析

长期以来,语言认知神经科学研究致力于探讨认知加工成分对应的大脑功能区,并取得了重要的进展。比如,研究者识别出了负责视觉词形加工的大脑左侧梭状回中部(Cohen &Dehaene,2004)、负责语音加工的大脑左侧颞上回后部(Paulesuet al.,2000),以及负责语义加工的左侧颞中回和角回(Frost et al., 2005)。但是,对视觉词汇阅读机制的认知解释存在双通道(Coltheart,Rastle, Perry, Langdon, & Ziegler, 2001)和联结主义(Seidenberg,2011)两种理论取向,如何在神经层面统一阅读的认知理论解释是研究者面临的一大挑战(Fiez,2000),也是当前研究致力解决的核心问题(Carreiras et al., 2014)。

图1 词汇阅读的大脑神经回路及其面临的问题

近年来,认知神经科学研究开始从神经网络的角度思考视觉词汇阅读的大脑神经机制, 建构阅读的神经网络模型成为研究者广泛关注的问题。

首先, 从神经网络的角度考察视觉词汇阅读的神经生理模型成为当前研究的焦点。自功能核磁共振(fMRI)技术应用于阅读领域研究以来, 研究者就提出了视觉词汇加工的背侧和腹侧通路(Pugh et al., 2001), 并试图在神经层面与阅读的认知理论进行统一。比如有研究者提出功能分离的两条词汇阅读神经通路(Jobard, Crivello, &Tzourio-Mazoyer, 2003), 一条通路负责阅读的形−音转换加工, 主要涉及了大脑左侧颞上回、缘上回以及额下回的鳃盖部; 另一条通路负责词典语义加工, 主要经梭状回中部通达语义加工脑区,包括颞下基底部、颞中回后部以及额下回的三角部。近年来, 随着大量fMRI研究成果的积累, 研究者提出了不同的阅读神经生理模型。如图 1C所示, Levy等人(2009)通过对比不同刺激类型的脑机制, 对阅读的腹侧通路进行了进一步细分;Richardson, Seghier, Leff, Thomas和Price (2011)建构了阅读动态因果模型, 提出了词形通达语义的三条不同神经回路; Price (2012)和Carreiras等人(2014)则在对大量文献进行综述的基础上提出了阅读的联结主义神经模型。但是, 目前的神经模型在大脑功能结构上还缺乏统一。

其次, 从脑区相互作用的角度揭示阅读神经网络的内部机制是当前研究的热点。联结主义理论认为词汇阅读加工是视觉(词形)、语义和语音系统相互作用的过程(Seidenberg, 2011), 语音和语义加工的合作模式体现出不同的阅读行为表现(R.Frost, 2012)。这种理论解释得到了脑功能成像研究的证据支持(见综述, Carreiras et al., 2014), 而且表现出跨语言的普遍性(Rueckl et al., 2015; Yang,Shu, McCandliss, & Zevin, 2013; Wang et al., 2015)。

在神经网络取向下, 研究者尝试探讨阅读相关脑区间的相互作用机制。一方面, 研究者发现阅读相关脑区具有动态激活的特点, 其激活强度同时受到刺激和任务的驱动, 且二者存在交互作用(Price & Devlin, 2011; Yang, Wang, Shu, &Zevin, 2012), 阅读加工也受到注意等认知加工的调节(Vogel, Miezin, Petersen, & Schlaggar, 2012)。另一方面, 研究者认识到语言加工需要大脑多个脑区的共同协作(Fedorenko & Thompson-Schill,2014), 词汇阅读是多个加工脑区组成的神经网络共同活动的结果(Ludersdorfer, Schurz, Richlan,Kronbichler, & Wimmer, 2013; Wang, Yang, Shu, &Zevin, 2011; Yang, Wang, Shu, & Zevin, 2011), 且网络内部各脑区之间具有交互作用(Carreiras et al.,2014; Graves, Desai, Humphries, Seidenberg, & Binder,2010)。从神经网络的角度探讨语义与语音神经回路的交互作用已经成为揭示阅读神经机制的关键(Boukrina & Graves, 2013)。

1.2 面临的问题和出路

从神经网络的角度探讨视觉词汇阅读的神经生理模型, 已经取得了初步的进展。同时也还面临着一些问题亟待解决。

首先, 对语义神经回路的认识是词汇阅读神经模型研究面临的瓶颈。从图1C可以看出, 当前的研究结果发现, 视觉词汇阅读的神经生理模型尚缺乏统一, 各个模型的主要差别在于语义神经回路的不同。比如, Price (2012)和Carreiras等人(2014)的模型都提出在阅读加工中存在语音和语义两条神经回路, 但二者的语义相关脑区却不同,前者仅包括颞中回后部区域(pMT), 后者的语义相关脑区还包括颞叶前部(ATL)和角回(AG)的参与。已有研究对语义神经回路的认识不一致主要表现在两个方面：一方面是参与语义加工的脑区众多。如图 1B所示, pMT、ATL、AG以及额下回(IFG)等区域都被发现与词汇的语义加工相关(见综述 Binder & Desai, 2011; Carreiras et al., 2014)。另一方面, 这些脑区在词汇加工中的作用机制尚不清楚。如pMT被认为是负责词汇语义存储的脑区(Binder, Desai, Graves, & Conant, 2009); AG负责概念与概念之间的整合加工(Bonner, Peelle,Cook, & Grossman, 2013; A. R. Price, Bonner, Peelle,& Grossman, 2015); ATL更多地被认为与抽象的概念表征有关(Bonner & Price, 2013; Mehta et al.,2016); 而IFG被认为是负责语义的整合加工(Zhu et al., 2012)。而且, 这些语义脑区在词汇阅读中的具体作用以及它们如何参与出声阅读中的语义加工, 还需要系统深入地研究。

其次, 语音与语义加工神经回路的相互作用机制尚不清楚。联结主义理论认为词汇阅读是语音和语义加工通道分工合作的结果(Seidenberg,2011)。有研究表明阅读是多个脑区协作的结果(Frost et al., 2005; Wang et al., 2011); 在神经网络取向下, 研究者发现阅读相关脑区具有动态激活的特点, 阅读功能脑区的激活强度受到了刺激属性、任务要求以及注意加工的影响和调节(Price &Devlin, 2011; Vogel et al., 2012; Yang et al., 2012);最新的白质纤维束追踪研究为阅读的多脑区协作提供了神经解剖证据(Yeatman, Rauschecker, &Wandell, 2013)。然而, 现有研究仍然只是在理论层面提出语义和语音神经回路具有分工合作的关系(Cattinelli, Borghese, Gallucci, & Paulesu, 2013),还缺乏相应的认知神经科学研究的证据。

而且, 汉字阅读神经机制研究证据不足。前人研究对语义神经回路的认识不足, 一个重要原因是拼音文字系统缺乏词形与语义的对应。汉字具有表义的特性, 为研究从词形到语义加工的大脑神经机制提供了可能。有研究者使用行为技术(Williams & Bever, 2010)、眼动技术(张积家, 王娟,印丛, 2014)、以及神经电生理(ERP)技术(王协顺,吴岩, 赵思敏, 倪超, 张明, 2016)等探讨了形旁语义对整字加工的影响(详见综述, 张积家, 王娟,陈新葵, 2014)。汉字阅读的脑功能成像研究主要集中于探讨字形到语音加工的神经机制(Kuo et al.,2004; Liu et al., 2008; Tan, Feng, Fox, & Gao, 2001;Lee et al., 2004; Peng et al., 2004), 对于汉字语义加工相关的脑区识别多是采用语义任务与其它任务的对比(如,Wu et al., 2009), 还没有对字形到语义的加工进行深入地探讨。汉字形声字的形旁本身具有一定的语义信息, 并为整字阅读提供了线索(见综述, 张积家, 王娟, 陈新葵, 2014)。研究形旁语义加工的神经机制, 能探讨字形到语义、以及形旁与整字语义整合加工的神经机制, 从而揭示出汉字阅读的语义神经回路及其与语音回路的相互作用机制。

综上, 探讨词汇阅读的大脑神经网络面临着以下问题需要解决：1)词汇阅读的语义神经机制成为当前研究的瓶颈; 2)对语义与语音神经回路的动态协作机制还缺乏深入地探讨; 3)汉字的表义特性为解决上述问题提供了可能, 目前尚缺乏相应的fMRI研究证据。

因此, 本项目采用功能核磁共振成像(fMRI)技术, 1)利用汉字表义的独特性, 考察汉字形旁语义加工的神经回路; 2)结合动态因果模型的建构,深入揭示语义与语音神经回路的动态协作机制; 3)从跨语言的角度, 为建立阅读的神经网络模型提供直接的证据。

2 研究构想

利用汉字表义的独特性探讨词汇阅读的语义神经回路及其与语音回路的协作机制, 需要解决两方面的研究问题：首先, 充分利用汉字形旁表义的特性, 揭示形旁语义加工的神经机制, 从而解决当前阅读脑机制研究面临的瓶颈问题; 其次,操纵阅读材料的刺激属性和任务要求, 系统探讨阅读相关脑区的联结模式变化, 从而揭示语义和语音神经回路的协作机制。

为实现上述目标, 本项目通过 4个脑功能成像(fMRI)实验, 分三个研究展开探讨：研究一(实验1)利用fMRI实验的多参数取向(Multi-parametric approach), 识别汉字阅读中与语音和语义加工相关的大脑功能脑区。研究二(实验2和3)是本项目的核心内容, 充分利用了汉字形旁表义的独特性,考察汉字阅读中的语义神经回路。研究三(实验4)建构阅读的动态因果模型(DCM), 考察语义和语音神经回路在刺激属性驱动和任务要求下的动态协作。具体研究内容如下：

2.1 汉字阅读的相关功能脑区

由于具体实验的刺激材料和任务要求差异,汉字阅读的 fMRI研究虽然识别出阅读加工成分(如语音、语义加工)相关的脑区, 但对这些脑区的功能还存在不一致的解释。近期的研究表明, 阅读相关脑区的激活同时受到刺激和任务交互作用的影响(Yang et al., 2012), 而以往研究通过刺激对比发现的脑区往往可能是任务要求下的潜在加工不同所导致的结果(Zhao, Fan, Liu, Wang, & Yang,2017)。因此, 不能简单通过刺激或任务的对比来识别汉字阅读的相关功能脑区。

多参数相关分析技术是识别阅读功能脑区的有效方法。通过计算大脑BOLD信号与刺激属性的相关, 能有效排除实验条件对比时所涉及的加工策略的影响, 同时还能考虑多个刺激属性之间的相互影响, 识别出与语音、语义等属性加工相关的功能脑区(Graves et al., 2010)。汉字阅读的最新研究(Wang, Zhao, Zevin, & Yang, 2016)使用多参数相关分析技术, 对已有的实验结果(Yang et al.,2012)进行分析, 推测出汉字阅读的语义神经回路涉及了大脑左侧颞中回和角回的参与, 也表明多参数相关技术应用的可靠性。本研究采用多参数相关分析技术探讨汉字阅读的神经回路, 还需要系统操纵刺激材料的语音和语义属性, 对语义加工神经回路进行深入地研究。

研究一不再简单地进行实验条件间的对比,而是同时考察多种刺激属性对于阅读神经回路的影响。实验1不再设计具有高、低刺激属性或不同加工任务的条件对比, 而是结合已有的数据库(Shu, Chen, Anderson, Wu, & Xuan, 2003; Liu, Shu,& Li, 2007)以及人工评定的方法, 精心挑选出在各个统计属性上具有离散特性的汉字材料, 这些统计属性包括汉字的基本特性：频率、部件数、笔画数、命名反应时间; 与语音加工相关的属性：声旁读音规则性、一致性; 人工评定的语义属性：整字语义的具体性/抽象性、可表象性, 以及形旁语义透明度(形旁语义与整字语义的关系)。要求被试在 fMRI扫描仪里阅读所有 300多个精心挑选的汉字。

实验1的关键技术在于采用多参数相关技术对收集的 fMRI数据进行统计分析。通过建立刺激属性与大脑 BOLD信号的相关, 对汉字属性变量相关的脑区进行联合分析(Conjunction analysis),来确定与阅读加工成分相对应的功能脑区。一方面, 与多个刺激属性同时具有高相关的脑区可能反映了这些变量涉及的共同认知加工。预期负责一般认知加工脑区会在所有变量中都参与激活,而且会同时受到任务难度和反应时间的调节。而负责语音加工的脑区将会与汉字的规则性、一致性表现出共同的高相关; 负责语义加工的脑区将会与汉字的具体性/抽象性、语义可表象性以及形旁透明度等因素表现出高相关。另一方面, 与刺激属性特异相关的脑区可能涉及了特定的认知加工。比如, 可以预期语义可表象性可能与 AG和pMT具有高相关(Frost et al., 2005; Graves et al., 2010);语义抽象性可能更多与 ATL具有高相关(Bonner& Price, 2013); 而形旁透明度可能会与上述语义相关脑区都表现出一定程度的相关。在识别与形旁透明度相关的功能脑区的基础上, 研究二将进一步深入揭示形旁语义作用的神经机制。

2.2 形旁语义加工的大脑神经机制

现有阅读神经模型的分歧在于语义神经回路的差异(图 1C)。来自认知行为、计算机模拟以及认知神经科学的研究证据都表明语义影响了词汇阅读加工(见综述, Taylor, Duff, Woollams, Monaghan,& Ricketts, 2015)。基于拼音文字系统的阅读研究通常采用两种探讨语义神经机制的方法：一种方法是通过对比例外词与规则词的加工, 例外词比规则词更多激活的脑区被认为是与语义加工有关,通过这样的比较, 研究者发现大脑的ATL与额外的语义加工有关(Graves et al., 2010), 但是Taylor,Rastle和Davis (2013; 2014)却认为ATL的激活是因为对例外词的加工需要在多个读音中进行选择,从而挑战了间接推测语义加工神经回路的可靠性。另一种方法是操纵词汇水平的语义因素, 比如词汇的可表象性(Frost et al., 2005)与 AG和pMT的激活有关。但是, 整词水平的语义因素只能反映出词汇通达之后语义分析可能的相关脑区,却无法完全揭示语义线索在阅读中通达词条过程中的作用机制。

汉字的书写特点具有探讨阅读中语义加工神经机制的独特优势。汉字形声字的形旁具有表义的功能, 探讨汉字形旁语义加工的神经机制将能深入揭示出阅读的语义神经回路。在汉字阅读研究中, 已有研究分析了汉字阅读中形旁语义加工的作用(Williams & Bever, 2010; 张积家, 王娟,印丛, 2014), 但还缺乏相应的fMRI实验证据。研究二将充分利用形旁表义的特性, 通过2个fMRI实验, 考察汉字阅读的语义神经回路。

实验 2通过操纵形旁的表义特性, 在假字条件下探讨形旁语义激活的大脑神经区域; 在真字条件下探讨形旁语义影响整字加工的神经机制。采用2(形旁表义:强、弱)x2(真字、假字)的重复测量实验设计。结合已有的数据库(Shu et al., 2003)以及人工评定的方法, 挑选两类不能单独成字的形旁部件：语义相对精确的强表义部件(S, “钅犭氵”); 以及语义模糊的弱表义部件(W, “礻阝彳”)。将这两类部件与弱表义且不单独成字的部件(“攵旡”)结合构建两类假字(PS, PW); 再从字库中挑选相同形旁对应的真字, 组成两类真字材料(RS,RW)。在 4种条件之间匹配汉字的部件数、笔画数、部件频率以及部件的典型位置频率, 对真字的两种条件匹配整字频率。为了突显汉字部件的作用, 呈现刺激材料时将在左右部件中间插入半个字符宽度的空白, 以加强被试对部件信息的加工深度。被试的任务是判断两个部件能否组成一个真字。

对比假字条件下的形旁强、弱表义条件, 将识别出形旁语义加工的相关脑区, 预期有负责语义词典通达的pMT, 以及负责语义整合的AG在形旁强表义条件下会更多参与激活。在真字条件下, 形旁语义会与真字语义同时激活, 预期比假字条件更多激活负责语义整合的IFG、ATL和AG。交互作用显著的脑区将反映在负责形旁与整字语义整合加工的脑区上。

形旁语义影响整字语义的机制, 一种可能是形旁语义直接激活了整字语义; 另一种可能是形旁语义激活了整字语义的特征概念, 从而促进了整字语义的提取(张积家, 彭聃龄, 1993)。前者不依赖于形旁语义的特征属性, 而后者依赖于形旁语义的具体性特征, 抽象的形旁语义提供的语义线索相对较弱。有研究表明具体语义更多激活了AG和pMT, 而抽象语义更多激活了ATL (Bonner& Price, 2013)。实验3拟借助于形旁语义的透明度效应(刘燕妮, 舒华, 轩月, 2002), 对比形旁语义具体和抽象条件下透明度效应的神经机制差异,进一步考察形旁语义影响整字语义加工的实质及其神经机制。

实验3通过操纵汉字形旁的透明度信息和具体/抽象性信息, 构建4种条件：形旁语义具体且透明的条件(如, 狼), 形旁语义具体但不透明的条件(如, 猜), 形旁语义抽象且透明的条件(如,情), 形旁语义抽象但不透明的条件(如, 恒)。除此之外, 设计形旁语义具体的假字和形旁语义抽象的假字作为基线条件。如果形旁是通过激活与整字共享的语义特征, 从而促进整字的语义加工,形旁透明度效应将体现在形旁语义具体的条件下,表现为AG和pMT的参与激活。相反, 如果形旁语义通过直接激活整字的语义起作用, 则形旁透明度效应在形旁语义具体和抽象条件下没有差异,都表现为ATL的参与激活。

2.3 语义和语音神经回路的协作机制

来自病人(Bi, Han, Weekes, & Shu, 2007)以及计算机模拟(Yang et al., 2013)的研究都表明汉字阅读是语义和语音加工的相互作用, 但目前还没有相应的 fMRI神经生理实验证据。采用传统的一般线性模型(GLM)数据分析技术, 进行条件间相减只能体现出脑区激活在不同条件下的强弱,很难揭示脑区间的相互作用。多变量数据分析技术, 如动态因果模型(DCM), 能够揭示出大脑活动的功能结构以及脑区之间的协作机制(Cardin,Friston, & Zeki, 2011)。有研究用DCM模型尝试探讨了阅读神经模型的功能结构(Levy et al., 2009;Richardson et al., 2011), 但还没有深入揭示语义与语音神经回路的动态协作机制。研究三在实验1的基础上建构阅读的动态因果模型(DCM), 结合实验 4的数据, 详细考察阅读网络内脑区间联结模式的变化, 阐明语义和语音神经回路的动态协作机制。

实验4操纵形旁语义透明度(高、低)与声旁读音一致性(高、低)信息, 对比语义检测和语音检测任务下的脑机制, 通过建构阅读的动态因果模型,旨在考察语义和语音神经回路的动态协作机制。具体通过以下数据分析进行详细探讨：

首先, 使用实验 1的数据, 建构和识别阅读的最优动态因果模型(DCM)。通过对多参数相关技术得到的 fMRI实验数据进行预处理和统计分析, 获得与阅读认知成分相关的大脑功能区(兴趣区), 并构建不同的动态因果模型, 计算动态因果模型中各个脑区之间的关联强度, 最终通过贝叶斯模型分析获得最优的动态因果模型。

其次, 基于最优DCM模型, 以实验4的任务态数据建模, 考察刺激材料的语音和语义因素对脑区联结模式变化的调节作用。在语义检测和语音检测任务中, 探讨刺激材料涉及的语义和语音加工信息对阅读网络不同的贡献作用。具体表现为在语音检测任务中, 语音加工脑区对语音信息的激活要强于语义信息; 而在语义检测任务中, 语义加工脑区对语义信息的激活则要强于语音信息。

最后, 对比实验 4的静息态和不同任务态模型, 考察语义和语音神经回路联结模式的变化,统一不同实验任务下的阅读神经机制。通过两种任务的比较, 考察语义和语音神经回路是否存在动态激活。具体包括在语义任务下语义回路的联结预期增强(如从梭状回中部到 pMT/AG/ATL的联结), 而语音回路的联结预期减弱(如从梭状回中部到 IFG/MFG的联结); 而在语音任务下的预期模式则相反。

3 理论建构

本项目利用多参数数据分析技术, 结合汉字独特的书写特点, 在同一种任务中识别出阅读加工中字形、语音和语义三种认知成分所对应的大脑功能脑区; 针对词汇阅读网络研究面临的瓶颈问题, 充分利用汉字独特的表义特性, 探讨语义加工的大脑神经回路, 并深入揭示语义和语音神经回路的动态协作机制。

基于神经网络的联结主义取向认为, 阅读是由视觉/词形、语音和语义三个系统共同作用的过程, 出声阅读涉及了字形−语音以及字形经语义通达语音两种通路的分工协作机制(Seidenberg,2011), 该理论得到了来自行为(Yang, McCandiliss,Shu, & Zevin, 2009)、脑损伤病人(Bi et al., 2007)以及计算机模拟研究(Yang et al., 2013)的证据支持。近年来, 研究者尝试在神经生理层面探讨阅读的大脑神经网络, 致力阐明阅读的语音和语义加工神经回路, 并深入揭示两条回路之间的动态协作机制(Carreiras et al., 2014), 从而在认知和神经生理层面统一阅读的理论模型。

目前, 对阅读的大脑神经网络并没有统一的认识, 主要的分歧在于对阅读中语义加工通路的认识不足。比如, Price (2012)提出的阅读神经回路中, 将语义相关脑区定位在颞中回后部区域(pMT), 而Carreiras等人(2014)则认为语义相关脑区不仅有 pMT, 还包括了颞叶前部(ATL)和角回(AG)的参与。以往的研究大都来自于拼音文字系统, 从而导致对语义加工通路的探讨具有先天的不足, 因为拼音文字系统具有系统地字形到语音的对应关系, 可以不依赖于语义完成阅读。

汉字具有独特的表义功能, 是探讨阅读语义神经回路的有效途径。已往研究发现, 参与阅读的语义相关脑区较多, 但对阅读语义神经回路的认识尚不清楚。例如, 研究发现颞中回后部区域参与阅读并负责词典语义的存储(Binder et al.,2009), 同时还有角回(AG)、颞前回(ATL)、以及额下回(IFG)等脑区也参与了词汇阅读, 这些脑区的功能更多与语义整合加工相关。有研究认为AG负责概念与概念之间的整合加工(Bonner et al.,2013; Price et al., 2015); ATL更多地负责抽象概念的表征(Bonner & Price, 2013; Mehta et al., 2016);而 IFG主要负责语义的整合加工(Zhu et al.,2012)。这些语义脑区如何组成阅读的语义加工神经回路是当前研究面临的瓶颈问题。借助汉字形旁的表义特性, 可以系统地探讨上述脑区在阅读中的功能。通过操纵形旁的表义属性, 可以探讨阅读中整字语义的词典加工、形旁字形与语义的映射加工、以及形旁与整字语义的整合加工机制。一方面将阐明前人发现的语义相关脑区在阅读中的功能; 另一方面将揭示出阅读的语义神经回路,从而解决阅读神经网络研究面临的瓶颈问题。

联结主义取向的一个重要观点, 即认为阅读是由语音和语义神经回路共同作用、相互协作的结果, 揭示这两条回路的动态协作机制是当前阅读认知神经科学研究的关键。Frost等人(2005)最早通过 fMRI实证数据表明, 阅读相关功能脑区表现出激活的 trade-off效应, 当词汇的语音信息较弱时, 大脑更多依赖于语义信息的加工, 从而在语义脑区上表现出显著的语义效应。但是, 由于拼音文字系统的局限, 对两条神经回路之间的动态协作机制还缺乏系统深入地探讨。汉字阅读的认知神经科学研究已经得到了间接的证据,Wang等人(2016)基于多参数相关分析技术, 发现随着汉字材料的语义信息增加, 语义相关脑区的激活增强; 与此类似, 语音加工脑区会相应地随着汉字材料的语音属性增多而激活增强。Wang等人的研究结果表现出了两条神经回路之间的相互作用, 但该研究是基于对现有数据的再分析,没有进行严谨的实验设计。而且, 语音和语义神经回路是如何受刺激和任务的影响而表现出动态协作的机制, 对此问题还缺乏最直接的实证结果。

因此, 在有效识别汉字阅读的语音和语义加工相关功能脑区的基础上, 从联结主义神经网络的角度, 厘清汉字语义线索起作用的大脑神经回路, 阐明语义与语音神经回路在刺激和任务调节下的动态协作机制, 尤其是建构统一的阅读神经模型, 考察该模型受刺激和任务的驱动表现出来的神经回路之间的动态分工协作, 将为建立与联结主义阅读认知模型相应的神经生理模型提供最直接的证据, 为阅读的认知理论与神经生理模型的统一提供实证支持。

目前的研究方案存在一个需要解决的关键点,就是能否在神经层面揭示出汉字形旁的语义效应。虽然相对于拼音文字系统, 汉字具有更为系统的字形到语义的对应关系(Yang et al., 2013),但已有研究对汉字形旁作用的发现大多基于启动的实验范式(详见综述, 张积家, 王娟, 陈新葵,2014), 还没有在出声阅读或词汇判断任务下发现形旁的语义作用。本项目拟尝试在阅读和词汇判断任务下得到形旁的语义作用, 在神经层面很有可能得不到预期的效应。因此, 有必要及时调整实验任务, 比如使用启动、语义范畴判断等实验范式, 来加强对汉字部件的加工深度, 增加语义在阅读中的作用来探讨阅读中语义加工的神经回路。如果真的需要通过增强任务加工深度才能达到实验目的, 也从另一个角度表明了汉字和拼音文字系统一样, 阅读主要依赖于字形到语音的加工机制, 具有跨语言的普遍性。

刘燕妮, 舒华, 轩月. (2002). 汉字识别中形旁亚词汇加工的发展研究.应用心理学, 8(1), 3–7.

王协顺, 吴岩, 赵思敏, 倪超, 张明. (2016). 形旁和声旁在形声字识别中的作用.心理学报, 48(2), 130–140.

张积家, 彭聃龄. (1993). 汉字词特征语义提取的实验研究.

心理学报, 25(2), 30–37.

张积家, 王娟, 陈新葵. (2014). 义符研究 20年: 理论探讨、实验证据和加工模型.心理科学进展, 22(3), 381–399.

张积家, 王娟, 印丛. (2014). 声符和义符在形声字语音、语义提取中的作用――来自部件知觉眼动研究的证据.

心理学报, 46(7), 885–900.

Bi, Y. C., Han, Z. Z., Weekes, B., & Shu, H. (2007). The interaction between semantic and the nonsemantic systems in reading:Evidence from Chinese.Neuropsychologia, 45(12), 2660–2673.

Binder, J. R., & Desai, R. H. (2011). The neurobiology of semantic memory.Trends in Cognitive Science, 15(11),527–536.

Binder, J. R., Desai, R. H., Graves, W. W., & Conant, L. L.(2009). Where is the semantic system? A critical review and meta-analysis of 120 functional neuroimaging studies.Cerebral Cortex, 19(12), 2767–2796.

Bonner, M. F., Peelle, J. E., Cook, P. A., & Grossman, M.(2013). Heteromodal conceptual processing in the angular gyrus.NeuroImage, 71, 175–186.

Bonner, M. F., & Price, A. R. (2013). Where is the anterior temporal lobe and what does it do?Journal of Neuroscience the Official Journal of the Society for Neuroscience,33(10), 4213–4215.

Boukrina, O., & Graves, W. W. (2013). Neural networks underlying contributions from semantics in reading aloud.Frontiers in Human Neuroscience, 7, 518.

Cardin, V., Friston, K. J., & Zeki, S. (2011). Top-down modulations in the visual form pathway revealed with dynamic causal modeling.Cerebral Cortex, 21(3), 550–562.

Carreiras, M., Armstrong, B. C., Perea, M., & Frost, R.(2014). The what, when, where, and how of visual word recognition.Trends in Cognitive Science, 18(2), 90–98.

Cattinelli, I., Borghese, N. A., Gallucci, M., & Paulesu, E.(2013). Reading the reading brain: A new meta-analysis of functional imaging data on reading.Journal of Neurolinguistics,26(1), 214–238.

Cohen, L., & Dehaene, S. (2004). Specialization within the ventral stream: The case for the visual word form area.NeuroImage, 22(1), 466–476.

Coltheart, M., Rastle, K., Perry, C., Langdon, R., & Ziegler,J. (2001). DRC: A dual route cascaded model of visual word recognition and reading aloud.Psychological Review,108(1), 204–256.

Fedorenko, E., & Thompson-Schill, S. L. (2014). Reworking the language network.Trends in Cognitive Science, 18(3),120–126.

Fiez, J. A. (2000). Sound and meaning: How native language affects reading strategies.Nature Neuroscience, 3(1), 3–5.

Frost, R. (2012). Towards a universal model of reading.Behavioral and Brain Sciences, 35(5), 263–279.

Frost, S. J., Mencl, W. E., Sandak, R., Moore, D. L., Rueckl,J. G., Katz, L., ... Pugh, K. R. (2005). A functional magnetic resonance imaging study of the tradeoff between semantics and phonology in reading aloud.Neuroreport,16(6), 621–624.

Graves, W. W., Desai, R., Humphries, C., Seidenberg, M. S.,& Binder, J. R. (2010). Neural systems for reading aloud:A multiparametric approach.Cerebral Cortex, 20(8), 1799–1815.

Jobard, G., Crivello, F., & Tzourio-Mazoyer, N. (2003).Evaluation of the dual route theory of reading: A metanalysis of 35 neuroimaging studies.NeuroImage, 20(2), 693–712.

Kuo, W. J., Yeh, T. C., Lee, J. R., Chen, L. F., Lee, P. L.,Chen, S. S., ... Hsieh, J. C. (2004). Orthographic and phonological processing of Chinese characters: An fMRI study.NeuroImage, 21(4), 1721–1731.

Lee, C. Y., Tsai, J. L., Kuo, W. J., Yeh, T. C., Wu, Y. T., Ho,L. T., ... Hsieh, J. C. (2004). Neuronal correlates of consistency and frequency effects on Chinese character naming: An event-related fMRI study.NeuroImage, 23(4), 1235–1245.

Levy, J., Pernet, C., Treserras, S., Boulanouar, K., Aubry, F.,Démonet, J. F., & Celsis, P. (2009). Testing for the dual-route cascade reading model in the brain: An fMRI effective connectivity account of an efficient reading style.PLoS One, 4(8), e6675.

Liu, C., Zhang, W. T., Tang, Y. Y., Mai, X. Q., Chen, H. C.,Tardif, T., & Luo, Y. J. (2008). The Visual Word Form Area: Evidence from an fMRI study of implicit processing of Chinese characters.NeuroImage, 40(3), 1350–1361.

Liu, Y. Y., Shu, H., & Li, P. (2007). Word naming and psycholinguistic norms: Chinese.Behavior Research Methods,39(2), 192–198.

Ludersdorfer, P., Schurz, M., Richlan, F., Kronbichler, M., &Wimmer, H. (2013). Opposite effects of visual and auditory word-likeness on activity in the visual word form area.Frontiers in Human Neuroscience, 7, 491.

Mehta, S., Inoue, K., Rudrauf, D., Damasio, H., Tranel, D.,& Grabowski, T. (2016). Segregation of anterior temporal regions critical for retrieving names of unique and non-unique entities reflects underlying long-range connectivity.Cortex,75, 1–19.

Paulesu, E., Mccrory, E., Fazio, F., Menoncello, L., Brunswick,N., Cappa, S. F., ... Lorusso, M. (2000). A cultural effect on brain function.Nature Neuroscience, 3(1), 91–96.

Peng, D. L., Ding, G. S., Perry, C., Xu, D., Jin, Z., Luo, Q., ...Deng, Y. (2004). fMRI evidence for the automatic phonological activation of briefly presented words.Cognitive Brain Research, 20(2), 156–164.

Price, A. R., Bonner, M. F., Peelle, J. E., & Grossman, M.(2015). Converging evidence for the neuroanatomic basis of combinatorial semantics in the angular gyrus.The Journal of Neuroscience, 35(7), 3276–3284.

Price, C. J. (2012). A review and synthesis of the first 20 years of PET and fMRI studies of heard speech, spoken language and reading.NeuroImage, 62(2), 816–847.

Price, C. J., & Devlin, J. T. (2011). The interactive account of ventral occipitotemporal contributions to reading.Trends in Cognitive Sciences, 15(6), 246–253.

Pugh, K. R., Mencl, W. E., Jenner, A. R., Katz, L., Frost, S.J., Lee, J. R., ... Shaywitz, B. A. (2001). Neurobiological studies of reading and reading disability.Journal of Communication Disorders, 34(6), 479–492.

Richardson, F. M., Seghier, M. L., Leff, A. P., Thomas, M. S.C., & Price, C. J. (2011). Multiple routes from occipital to temporal cortices during reading.Journal of Neuroscience,31(22), 8239–8247.

Rueckl, J. G., Paz-Alonso, P. M., Molfese, P. J., Kuo, W.-J.,Bick, A., Frost, S. J., ... Frost, R. (2015). Universal brain signature of proficient reading: Evidence from four contrasting languages.Proceedings of the National Academy of Sciences of the United States of America, 112(50), 15510–15515.

Seidenberg, M. S. (2011). Reading in different writing systems: One architecture, multiple solutions. In P. McCardle,J. Ren, & O. Tzeng (Eds.),Dyslexia across language:Orthography and the gene-brain-behavior link(pp. 151–174).Baltimore, MD: Paul Brooke Publishing.

Shu, H., Chen, X., Anderson, R. C., Wu, N. N., & Xuan, Y.(2003). Properties of school Chinese: Implications for learning to read.Child Development, 74(1), 27–47.

Tan, L. H., Feng, C. M., Fox, P. T., & Gao, J. H. (2001). An fMRI study with written Chinese.Neuroreport, 12(1), 83–88.

Taylor, J. S. H., Rastle, K., & Davis, M. H. (2013). Can cognitive models explain brain activation during word and pseudoword reading? A meta-analysis of 36 neuroimaging studies.Psychological Bulletin, 139(4), 766–791.

Taylor, J. S. H., Rastle, K., & Davis, M. H. (2014). Interpreting response time effects in functional imaging studies.NeuroImage,99, 419–433.

Taylor, J. S. H., Duff, F. J., Woollams, A. M., Monaghan, P.,& Ricketts, J. (2015). How word meaning influences word reading.Current Directions in Psychological Science,24(4), 322–328.

Vogel, A. C., Miezin, F. M., Petersen, S. E., & Schlaggar, B.L. (2012). The putative visual word form area is functionally connected to the dorsal attention network.Cerebral Cortex,22(3), 537–549.

Wang, X. J., Yang, J. F., Shu, H., & Zevin, J. D. (2011). Left fusiform BOLD responses are inversely related to wordlikeness in a one-back task.NeuroImage, 55(3), 1346–1356.

Wang, X. J., Yang, J. F., Yang, J., Mencl, W. E., Shu, H., &Zevin, J. D. (2015). Language differences in the brain network for reading in naturalistic story reading and lexical decision.PLoS One, 10(5), e0124388.

Wang, X. J., Zhao, R., Zevin, J. D., & Yang, J. F. (2016). The neural correlates of the interaction between semantic and phonological processing for Chinese character reading.Frontiers in Psychology, 7, 947.

Williams, C., & Bever, T. (2010). Chinese character decoding: a semantic bias?Reading and Writing, 23(5), 589–605.

Wu, X., Lu, J., Chen, K. W., Long, Z. Y., Wang, X. Y., Shu,H., ... Yao, L. (2009). Multiple neural networks supporting a semantic task: an fMRI study using independent component analysis.NeuroImage, 45(4), 1347–1358.

Yang, J. F., McCandliss, B. D., Shu, H., & Zevin, J. D.(2009). Simulating language-specific and language-general effects in a statistical learning model of Chinese reading.Journal of Memory and Language, 61(2), 238–257.

Yang, J. F., Shu, H., McCandliss, B. D., & Zevin, J. D.(2013). Orthographic influences on division of labor in learning to read Chinese and English: Insights from computational modeling.Bilingualism: Language and Cognition,16(2), 354–366.

Yang, J. F., Wang, X. J., Shu, H., & Zevin, J. D. (2011).Brain networks associated with sublexical properties of Chinese characters.Brain and Language, 119(2), 68–79.

Yang, J. F., Wang, X. J., Shu, H., & Zevin, J. D. (2012).Task by stimulus interactions in brain responses during Chinese character processing.NeuroImage, 60(2), 979–990.

Yeatman, J. D., Rauschecker, A. M., & Wandell, B. A. (2013).Anatomy of the visual word form area: Adjacent cortical circuits and long-range white matter connections.Brain and Language, 125(2), 146–155.

Zhao, R., Fan, R., Liu, M. X., Wang, X. J., & Yang, J. F.(2017). Rethinking the function of brain regions for reading Chinese characters in a meta-analysis of fMRI studies.Journal of Neurolinguistics, 44, 120–133.

Zhu, Z. D., Hagoort, P., Zhang, J. X., Feng, G. Y., Chen, H.C., Bastiaansen, M., & Wang, S. P. (2012). The anterior left inferior frontal gyrus contributes to semantic unification.NeuroImage, 60(4), 2230–2237.