视觉符号否定的加工进程*

何德娴 李金惠 周 苗 陈雅珏 陈 宇 何先友,2,3



视觉符号否定的加工进程

何德娴李金惠周 苗陈雅珏陈 宇何先友

(华南师范大学心理学院, 广州 510631) (教育部人文社科重点研究基地 心理应用研究中心, 广州 510631) (广东省心理健康与认知科学重点实验室, 广州 510631) (广州市融资担保中心有限责任公司, 广州 510030)

本研究采用图–词匹配的判断任务探讨视觉符号否定的加工机制, 设计3个实验, 分别探讨视觉符号否定在加工早期(250 ms)、中期(750 ms)及晚期(1500 ms)的心理模拟特点。结果发现, 在视觉符号否定加工的早期、中期及晚期, 与真实状态匹配的否定相关词的反应时都显著快于与被否定状态匹配的肯定相关词。该结果表明, 与文字符号否定加工的两步模拟假设不同, 在视觉符号否定的加工中, 被试在早期就模拟了事件的真实状态, 并在中期和晚期一直保持该状态的表征, 符合一步模拟假设; 此外, 被否定信息加工的抑制/保存假设得到支持。

视觉符号否定; 视觉否定标记; 两步模拟假设; 抑制/保存假说

1 引言

心理语言学家对否定加工机制的研究始于20世纪60、70年代, 研究主要涉及两个方面：一是否定的整体效应(global effects of negation), 即否定对读者加工整个句子的影响; 二是否定的局部效应(local effects of negation), 即否定对其辖域(否定的作用范围)内信息的影响。否定句比相应的肯定句更难加工的原因, 早期理论解释包括基于句子长度(sentence length)的解释、语用假设(pragmatic hypothesis)、以乔姆斯基的转换语法为基础的解释以及词语出现频率解释、句子的相关内涵解释(Wason, 1965; Kintsch & Dijk, 1978; Lüdtke & Kaup, 2006), 但这些解释都不能完全揭示否定加工的本质。因此, 心理学家们又提出了命题表征理论(propositional theory)与经验模拟观(experiential- simulations view), 试图揭示否定加工的本质。

命题表征理论(propositional theory, Kintsch & Dijk, 1978)认为, 命题是认知的构成材料, 人们对于言语理解中信息的表征是一种命题符号表征, 然后形成命题网络, 随着对命题的不同操作或者操作次数的增加, 命题网络不断更新, 对语言材料的理解意味着构建相应的命题表征。在命题理论中, 否定被认为是一种外显的操作器, 它将整个命题纳入进被否定的辖域。例如：句字“Sam is not wearing a hat”的被否定命题是“Sam is wearing a hat”。由于否定句比相应的肯定句多一层附加的命题胶囊, 被试建构否定句的意义表征比建构相应肯定句的意义表征更为复杂和困难, 因此否定句比相应的肯定句更难以加工和理解。同理, 附加的命题胶囊也降低了理解者对被否定信息(hat)的通达。

经验模拟观(experiential-simulations view)源于知觉符号系统理论(perceptual symbol system, Barsalou, 1999), 它认为, 语言理解是人们在已有经验的基础上, 对句子或语篇所描述的情境建立心理模型(mental model), 是对语言描述情境的再次经历, 在本质上是经验性的, 因为其根植于知觉与动作, 否定作为一种语言操作器被内隐地表征(Zwaan, Stanfield, & Yaxley, 2002; Zwaan & Taylor, 2006; 高志华, 鲁忠义, 马红霞, 2011)。Kaup等研究者在该理论的基础上提出了两步模拟假设(two- step simulation hypothesis, Kaup & Zwaan, 2003; Kaup, Zwaan, & Lüdtke, 2007), 该假设认为, 否定加工经过两个阶段, 分别为对被否定状态的模拟和对真实状态的模拟。早期表征事件的被否定状态, 接着在某个关键时期被否定状态被抑制, 在加工晚期, 否定句的真实状态才得以表征。例如, 加工独立的否定句“房门没有打开” 时, 被试先在大脑中模拟“一扇打开的门”, 然后在某个关键点, 开始模拟事件实际状态, 即“一扇关闭的门”。Kaup等采用句子–图片核证范式与图片命名任务的实验结果都支持了两步模拟假设(Kaup, Lüdtke, &Zwaan, 2005; Kaup, Lüdtke, &Zwaan, 2006)。

然而, 部分汉语否定句理解的研究发现了不一致的结果。高志华(2006)研究发现, 否定陈述句的加工进程符合经验模拟观, 而否定祈使句一直表征的都是被否定状态, 事件的实际状态的模拟可以在理解的初期或中期实现。高志华等(2011)对具有独立谓语的汉语简单否定句进行研究, 结果发现, 该类否定句理解的心理模拟过程并不符合两步模拟假设, 而是在理解的初期就完成了对事件真实状态的模拟。相对于两步模拟假设, 我们可以把这种在理解的早期就完成了对事件真实状态的模拟称之为一步模拟观, 即在否定理解的早期就完成了对事件真实状态的模拟, 实现了否定句意义的通达, 而不需要两步模拟来实现否定句意义的通达。

在否定加工的晚期, 被试模拟了事件的真实状态后, 研究者对事件的被否定状态处于激活状态还是处于抑制状态存在分歧。这种分歧表现为两种对立的观点：抑制假设(the suppression hypothesis)和抑制/保存假说(the suppression / retention hypothesis)。抑制假设认为, 当模拟了事件的真实状态后, 事件的被否定状态已经无用, 因此, 它们会被直接抛弃掉, 即否定促使理解者抑制其辖域内的否定信息(Hasson & Glucksberg, 2006; MacDonald & Just, 1989)。而抑制/保存假说(Giora, Balaban, Fein, & Alkabets, 2005; Giora, 2006; Giora, Fein, Aschkenazi, & Alkabetszlozover, 2007)则认为, 在否定加工的后期, 对被否定概念的抑制并不是必须的, 要根据语境的目的和说话者的意图来决定是抑制还是保留。

视觉符号否定的可能结果之一是保留被否定的信息, 这点可以用道路交通标志来说明。自然环境中的道路交通标志不允许出现模棱两可的情况, 受到的情景限制较大, 因此, 可以很好地检验否定对情境信息的敏感性。当情景要求避免被否定信息被其对立信息替换时, 否定的抑制效应会受到阻抗。但道路标志中的视觉否定并非绝不引起抑制, 只是这种抑制的发生是条件的, 它可能像言语否定一样保留了否定辖域内的信息。例如, 否定(图1a, 1b)和肯定(图1c)标志都能准确的表达自身的含义, 就像言语标志“禁止通行”一样, 没有引起复杂的推理过程。图1a所表示的“请勿进入”不一定激活它相反的概念“出去”, 图1b表示的“禁止右转”也不一定就引起“左转”的概念, 虽然这是其可能唯一的相反概念(直行是可能的选择, 但不是“左转”的相反概念)。

图1 否定与肯定交通标志图

Giora等(2009)使用等级评定的方法对带有否定标记的图片进行研究。她先给被试呈现一张带有视觉否定标记的图片, 如：一扇开着的门被打上了“×”。之后是有关图片意义的三个解释：一个否定表达的解释(Don’t leave the door open!); 一个肯定表达的解释(Close the door!); 一个与图片相关很小的解释(There is a strong lock in the door.)。实验要求被试将每个解释对刺激作出合理解释的程度进行等级评定。结果发现, 否定表达的解释等级评定值最高, 与肯定表达的解释有显著的差异。这个结果表明, 否定是对情境信息敏感的, 不一定引起抑制效应, 在合适的情境下, 即使有对立的信息可以选择, 被否定信息还是会得到保留。

关于两步模拟假设的实验证据大多来自独立否定句加工机制的研究, 视觉符号否定的加工过程是否也符合两步模拟假设呢? 基于以往关于否定句加工机制方面的研究(Kaup et al., 2006; 高志华等, 2011), 我们把视觉符号否定理解的早期、中期和后期分别界定为250 ms、750 ms和1500 ms, 共设计三个实验, 探讨视觉符号否定的加工进程。

2 实验1：视觉符号否定加工早期的心理模拟特点

2.1 实验目的

以250 ms为间隔时间, 探讨视觉符号否定在加工早期的心理模拟特点。

2.2 被试

30名自愿参加实验的华南师范大学本科生、研究生。所有被试裸视或矫正视力正常, 无色盲、色弱, 母语为汉语, 无任何阅读或识图障碍。且均未参加过实验材料评定, 也未参加过类似实验, 实验后获得一定报酬。

2.3 实验材料

实验词语 与图中标记相应或相反的动词“**”和“禁*” (如, 吸烟／禁烟)72对, 分别与视觉图片的肯定与被否定状态构成匹配与不匹配关系。填充词为与图中标记均无关系的动词(如“打针”), 填充材料的探测词长度及结构与正式材料一致。

实验图片及其相应的探测词样例如表1。

表1 实验材料示例

2.4 实验设计

本实验为2(图片类型：肯定图片、否定图片)×2(探测词类型：肯定动词、否定动词)的两因素被试内设计。因变量为反应时与正确率。采用图–词匹配的判断任务。根据实验项目和条件对实验材料进行拉丁方平衡, 保证每个实验版本里只出现一对实验材料的一种情况。实验共有144套材料(72套实验材料和72套填充材料), 每套实验材料包括一张视觉图形(肯定或否定)和一个探测词(匹配或不匹配), 每套填充材料包括一张视觉图形(肯定或否定)和一个与图片意义完全没有关系的动词。加入填充材料的目的是为了平衡“匹配”、“不匹配”反应的比例, 填充材料的数据不做分析。为控制练习和疲劳等序列效应, 实验顺序随机化。

2.5 实验程序

实验采用图–词匹配范式, 实验中, 首先向被试呈现一个位于屏幕中央的红色注视点“＋”(呈现时间500 ms), 然后出现视觉图片, 3000 ms之内被试按键图片消失, 图片消失后出现一个空屏, 持续250 ms后自动消失, 出现动词词组, 要求被试判断该词与之前的图片是否一致, 相应地按“F/J”键或 “J/F”键。如图2所示。为平衡左右手的优势效应, 其中一半被试在判断时“F”键代表“匹配”, “J”键代表“不匹配”, 另一半被试则相反。计算机自动记录从动词出现后到被试按键的时间和词汇判断的正确率。实验开始时让被试将左手食指放在“F”键上, 右手食指放在“J”键上, 指导被试仔细看每张图片, 告知被试有的图片后面会出现有关图片内容的动词, 其反应时间将被记录, 要求被试又快又准确地做出判断。整个实验大约需要15分钟左右。实验开始前有18个练习试次。

图2 实验1程序示意图

2.6 实验结果与分析

为了保证数据的可靠性, 首先对正确率进行分析, 删除判断正确率在80%以下的被试, 共删除4名被试, 剩下有效被试26人。然后再删除反应错误的数据以及探测反应时在3个标准差以外的极端数据。采用SPSS 16.0对实验数据进行统计分析。被试图–词匹配判断任务中判断的反应时与正确率的平均数和标准差见表2。

对图–词匹配判断的反应时进行重复测量方差分析, 结果显示, 图片类型的主效应显著,(1,25) = 47.34,< 0.001, η= 0.65;(1,35) = 35.43,< 0.001, η= 0.50。探测词类型的主效应显著,(1,25) = 17.72,< 0.001, η= 0.42;(1,35) = 20.15,< 0.001, η= 0.37。图片类型和探测词类型的交互作用显著,(1,25) = 94.10,< 0.001, η= 0.79;(1,35) = 79.85,< 0.001, η= 0.69。

表2 被试图–词匹配判断的反应时(ms)与正确率的平均数和标准差(M ± SD)

对图片类型与探测词类型之间显著的交互作用进行简单效应检验, 结果发现：在肯定图片条件下, 对肯定动词的判断显著快于对否定动词的判断,(1,25) = 86.67,< 0.001;(1,35) = 95.00,< 0.001。在否定图片条件下, 对否定动词的判断显著快于对肯定动词的判断,(1,25) = 16.20,< 0.001;(1,25) = 17.36,< 0.001

对图–词匹配判断的正确率进行重复测量方差分析, 结果显示, 图片类型主效应显著,(1,25) = 15.19,= 0.001, η= 0.38;(1,35) = 13.93,= 0.001, η= 0.29。探测词类型的主效应显著,(1,25) = 9.50,= 0.005, η= 0.28;(1,35) = 14.96,< 0.001, η= 0.30。图片类型与探测词类型的交互作用被试检验显著, 项目检验不显著,(1,25) = 5.09,= 0.033, η= 0.17;(1,35) = 2.60,= 0.116。

图片类型与探测词类型的交互作用被试检验显著, 因此进行简单效应检验。结果发现, 在肯定图片条件下, 对肯定动词的判断正确率显著高于否定动词,(1,25) = 25.40,< 0.001; 否定图片条件下, 对否定动词的判断正确率与肯定动词差异不显著,(1,25) = 0.63,= 0.435。

依据两步模拟假设(Kaup & Zwaan., 2003), 理解者在加工语言符号的否定时, 在早期是先表征句子的被否定状态。本实验结果发现, 当图片类型为否定符号图片时, 被试对肯定动词的判断与对否定动词的判断的反应时差异显著, 被试对否定动词的反应明显快于肯定动词, 也就是说被试对具体动作的真实状态反应明显快, 这一结果说明被试对带有否定标记的图片在早期的加工与文字符号否定的加工可能不一样, 并不符合两步模拟假设。

为了进一步验证理解者对视觉符号否定的加工是否符合两步模拟假设, 我们设计了实验2和实验3, 分别探讨视觉符号否定加工中期(750 ms)和晚期(1500 ms)的心理模拟特点。

3 实验2：视觉符号否定加工中期的心理模拟特点

3.1 实验目的

以750 ms为间隔时间, 探讨视觉符号否定在加工中期的心理模拟特点。

3.2 被试

31名自愿参加实验的华南师范大学本科生、研究生。所有被试裸视或矫正视力正常, 无色盲、色弱, 母语为汉语, 无任何阅读或识图障碍。且均未参加过实验材料评定, 也未参加过类似实验。

3.3 实验材料

实验材料的构成与实验1相同。

3.4 实验设计

同实验1。

3.5 实验程序

同实验1, 唯一不同的是在图片消失后时间间隔由实验1中的250 ms延长到750 ms。

3.6 结果与分析

为了保证数据的可靠性, 实验2首先删除图–词匹配判断正确率在80%以下的被试, 共删除3名被试, 剩下有效被试28人。然后再删除反应错误的数据以及探测反应时在3个标准差以外的极端数据。运用与实验一相同的方法对实验2结果进行统计分析。被试图–词匹配判断任务中判断的反应时及正确率的平均数和标准差见表3。

表3 被试图–词匹配判断的反应时(ms)与正确率的平均数和标准差(M ± SD)

对图–词匹配判断的反应时进行重复测量方差分析, 结果显示, 图片类型主效应显著,(1, 27) = 24.68,< 0.001, η= 0.48;(1, 35) = 47.39,< 0.001, η= 0.58。探测词类型的主效应显著,(1, 27) = 14.85,= 0.001 < 0.05, η= 0.36;(1, 35) = 18.27,< 0.001, η= 0.34。图片类型和探测词类型的交互作用显著,= 70.72,< 0.001, η= 0.72;(1, 35) = 108.53,< 0.001, η= 0.76。

对图片类型与探测词类型显著的交互作用进行简单效应检验, 结果发现, 在肯定图片条件下, 对肯定动词的判断显著快于对否定动词的判断,(1, 27) = 60.51,< 0.001;(1, 35) = 95.53,< 0.001。否定图片条件下, 对否定动词的判断显著快于肯定动词,(1, 27) = 16.95,< 0.001;(1, 35) = 18.75,< 0.001。

对图–词匹配判断的正确率进行重复测量方差分析, 结果显示, 图片类型的主效应不显著,(1,27) = 1.08,= 0.31;(1,35) = 0.21,= 0.65。探测词类型的主效应被试检验显著, 项目检验显著,(1,27) = 5.85,= 0.023, η= 0.18;(1,35) = 5.29,= 0.028, η= 0.13。图片类型与探测词类型的交互作用不显著,(1,27) = 3.84,= 0.06;(1,35) = 1.75,= 0.194。

实验2结果显示, 750 ms条件下获得的数据模式与250 ms条件下的数据几乎完全一致, 该结果表明, 被试在视觉符号否定的加工中期一直模拟着真实状态。

4 实验3：视觉符号否定加工晚期的心理模拟特点

4.1 实验目的

以1500 ms为间隔时间, 探讨视觉符号否定在加工晚期的心理模拟特点。

4.2 被试

32名自愿参加实验的华南师范大学本科生、研究生。所有被试裸视或矫正视力正常, 无色盲、色弱, 母语为汉语, 无任何阅读或识图障碍。且均未参加过实验材料评定, 也未参加过类似实验, 实验后获得一定报酬。

4.3 实验设计

同实验1。

4.4 实验材料

实验材料的构成与实验1相同。

4.5 实验程序

同实验1, 唯一区别是在图片消失后空屏时间间隔由实验1中的250 ms增加到1500 ms。

4.6 实验结果与分析

为了保证数据的可靠性, 采用相同的标准删除图–词匹配判断正确率在80%以下的被试, 共删除5名被试, 剩下有效被试27人。然后再删除反应错误的数据以及探测反应时在3个标准差以外的极端数据。运用相同的数据处理方法对实验3数据进行分析。被试图–词匹配判断的反应时及正确率的平均数和标准差见表4。

表4 被试图–词匹配判断的反应时(ms)与正确率的平均数和标准差(M ± SD)

对图–词匹配判断的反应时进行重复测量方差分析, 结果显示, 图片类型主效应显著,(1, 26) = 51.99,< 0.001, η= 0.67;(1,35) = 61.24,< 0.001, η= 0.64。探测词类型主效应显著,(1, 26) = 30.12,< 0.001, η= 0.54;(1, 35) = 34.63,<0.001, η= 0.50。图片类型和探测词类型的交互作用显著,(1,26) = 52.25,< 0.01, η= 0.67;(1,35) = 58.57,< 0.001, η= 0.63。

对图片类型与探测词类型显著的交互作用进行简单效应检验, 结果发现, 在肯定图片条件下, 对肯定动词的判断显著快于对否定动词的判断,(1,26) = 71.68,< 0.05;(1,35) = 112.12,< 0.001。否定图片条件下, 对否定动词的判断显著快于对肯定动词的判断,(1,26) = 7.40,< 0.05;(1,35) = 7.34,= 0.01。

对图–词匹配判断的正确率进行重复测量方差分析, 结果显示, 图片类型主效应不显著,(1,26) = 0.12,> 0.05;< 1。探测词类型的主效应不显著,(1,26) = 1.67,= 0.21;(1,35) = 1.39,= 0.25。图片类型与探测词类型的交互作用显著,(1,26) = 9.90,0.01;(1,35) = 7.43,= 0.01, η= 0.18。

对图片类型与探测词类型之间显著的交互作用进行简单效应检验, 结果发现, 在肯定图片条件下, 对肯定动词的判断正确率高于对否定动词的判断正确率,(1,26) = 11.28,< 0.05;(1,35) = 8.91,< 0.01。而在否定图片条件下, 对肯定动词的判断正确率与对否定动词的判断正确率无显著差异,(1,26) = 1.33,> 0.05;(1,35) = 1.59,> 0.05。

实验3结果模式与实验2一样, 几乎完全重复了实验1的结果, 这说明, 在视觉符号否定加工晚期也一直模拟了事件的真实状态, 不符合两步模拟假设。

为了更加清楚地了解视觉符号否定的加工进程, 我们将代表着加工早期(250 ms)、中期(750 ms)及晚期(1500 ms)的3个实验结果放在一起进行综合分析。首先, 我们对图–词匹配判断的反应时进行2(图片类型)×2(探测词类型)×3(时间间隔)的重复测量方差分析, 结果显示, 图片类型主效应显著,(1,78) = 116.21,< 0.001, η= 0.60;(1,105) = 136.03,< 0.01, η= 0.56。探测词类型的主效应显著,(1,78) = 60.09,< 0.001, η= 0.44;(1,105) = 69.60,< 0.001, η= 0.40。时间间隔的主效应被试检验边缘显著, 项目检验显著,(2, 78) = 3.04,= 0.05, η= 0.435;(2,105) = 22.55,< 0.001, η= 0.30。图片类型与时间间隔的交互作用不显著,(2, 78) = 0.51,= 0.60;(2,105) = 0.02,= 0.98。探测词类型与时间间隔的交互作用不显著,(2, 78) = 0.36,= 0.69;(2,105) = 0.32,= 0.73。图片类型与探测词类型交互作用显著,(1, 78) = 206.04,< 0.001, η= 0.73,(1,105) = 235.83,< 0.001, η= 0.69; 三因素的交互作用不显著,(2, 78) = 0.07;(2,105) = 0.16,= 0.86。

对图片类型与探测词类型之间显著的交互作用进行简单效应分析, 结果发现, 在肯定图片条件下, 对肯定动词的判断显著快于对否定动词的判断,(1,80) = 218.37,< 0.001;(1,107) = 303.59,< 0.001。否定图片条件下, 对否定动词的判断显著快于对肯定动词的判断,(1,80) = 39.27,< 0.001;(1,107) = 40.81,< 0.001。这一结果再次表明, 在否定图片加工的早期、中期和晚期, 被试对否定动词的反应都显著快于肯定动词, 说明在加工否定图片时, 在早期就已经表征了事件的最终状态。

同理, 我们对图–词匹配判断的正确率也进行重复测量方差分析, 结果显示, 图片类型主效应显著,(1,78) = 10.98,= 0.001 < 0.05, η= 0.12;(1,105) = 5.84,= 0.017, η= 0.05。探测词类型主效应显著,(1,78) = 16.19,< 0.001, η= 0.17;(1,105) = 17.65,< 0.001, η= 0.14。时间间隔的主效应不显著,(2, 78) = 0.69,= 0.51;(2,105) = 0.34,= 0.72。图片类型与时间间隔的交互作用显著,(2, 78) = 4.704,= 0.01, η= 0.11;(2,105) = 4.55,= 0.013, η= 0.08。词语类型与时间间隔的交互作用不显著,(2, 78) = 1.56,= 0.21;(2,105) = 1.75,= 0.18; 图片类型与词语类型交互作用显著,(1, 78) = 18.22,< 0.001, η= 0.19;(1,105) = 11.05,= 0.001, η= 0.10。三因素的交互作用不显著(2, 78) = 0.47,= 0.63;(2,105) = 0.80,= 0.45。

对图片类型与时间间隔之间的显著交互作用进行简单效应分析, 结果发现, 在250 ms时间间隔条件下, 对肯定图片的判断正确率显著高于对否定图片的判断,(1,51) = 16.09,< 0.001;(1,71) = 10.93,= 0.001。在750 ms时间间隔条件下, 被试对肯定图片的判断与对否定图片的判断正确率无显著差异,(1,51) = 1.23,= 0.27;(1,71) = 0.18,= 0.68。在1500 ms时间间隔条件下, 被试对肯定图片的判断与对否定图片的判断正确率无显著差异,(1,51) = 0.10,= 0.754;(1,71) = 0.01,= 0.94。

对图片类型与探测词类型之间显著的交互作用进行简单效应检验, 结果发现, 在否定图片条件下, 肯定动词与否定动词的判断差异显著, 对肯定动词的判断正确率显著高于对否定动词的判断正确率,(1,80) = 43.64,< 0.001;(1,107) = 37.14,< 0.001。而否定图片条件下, 对肯定动词的判断正确率与对否定动词的判断正确率无显著差异,(1,80) = 0.01,=.916;(1,107) = 0.04,= 0.83。

5 综合讨论

本研究旨在探讨视觉符号否定在加工初期(250 ms)、中期(750 ms)和后期(1500 ms)的心理模拟特点, 检验用于解释语言符号否定的两步模拟假设是否同样可以解释视觉符号否定的加工, 并检验在晚期加工时被否定信息是符合抑制假设还是抑制/保留假设。

依据两步模拟假设, 在否定加工的初期(250 ms), 首先模拟的应该是事件的被否定状态, 因此, 与被否定状态相匹配的肯定相关词的反应时应该显著短于与其最终状态相匹配的否定相关词; 在中期(750 ms), 从模拟事件的被否定状态向实际状态转换, 因此, 肯定相关词的反应时应该与否定相关词无显著差异; 在后期(1500 ms), 最终模拟事件的实际状态, 因此, 否定相关词的反应时应该短于肯定相关词。但本研究的3个实验结果表明, 在250 ms、750 ms和1500 ms三种时间间隔条件下, 肯定相关词与否定相关词的反应时差异均显著, 而且都是否定相关词的反应时短于肯定相关词, 说明被试模拟的一直都是图片的真实状态, 即事件的最终状态, 符合一步模拟假设的预测。解释语言符号否定的两步模拟假设并不能解释视觉符号否定的加工, 表明视觉符号否定加工与文字符号否定加工有着不同的加工机制。

5.1 对视觉符号否定的心理模拟的理论解释

在心理语言学领域中, 许多研究结论都证明, 在否定加工的初期(150 ms到500 ms之间), 被否定的概念就已经得到了通达(Fischler, Bloom, Childers, Roucos, & Jr, 1983; Hasson & Glucksberg., 2006; Giora, 2006; Kaup et al., 2007), 如“窗户不是打开的”, 首先在理解者的头脑中会模拟“窗户是打开的”这一状态。然而, 关于否定后期的心理模拟情况却一直存在着不同的观点。抑制假说认为, 对被否定信息的抑制是不可避免的, 并且这种抑制会将被否定概念的激活水平降至基线水平以下(Hasson & Glucksberg, 2006; Kaup et al., 2006)。因此, 当理解者对否定材料进行较长时间(1500 ms)的加工时, 被否定的概念会被抑制并且被其对立概念代替(Kaup et al, 2006; MacDonald & Just, 1989), 如“窗户不是打开的”这个句子中, “打开的”将被“关闭的”代替。而抑制/保存假说(Giora et al., 2005; Giroa, 2006; Giora et al., 2007)则认为, 对被否定概念的抑制并不是必须的, 要根据语境的目的和说话者的意图来决定是抑制还是保留(Kaup & Zwaan, 2003)。按照这种观点, 否定并不只是对结果的简单对比, 而是包含着一连串的语境激活效应(Horn & Ward, 2006)。例如, 当我们说“Not X”的时候, 我们就是指“Not X”, 而不是将“X”换成它的对立概念“Y”。此时, 理解者的头脑中保存了“X”这一概念, 而不是激活了它的对立概念“Y”。

当与前期或者后期情境有关时, 被否定的概念往往不会被抑制, 相反, 说者或听者会将它们保存在意识之中, 并在适当的时候将其激活(Giora, et al., 2007)。 Shuval (2006)在研究中使用视觉情景范式, 被试听到句子的同时呈现与句中概念相关的四个视觉刺激, 记录被试的眼动指标。结果发现, 被试对被否定物体的注视时间与肯定的物体无显著差异, 眼动轨迹显示被试在这两个物体之间来回晃动。该结果说明, 被否定物体并没有被抑制, 而是保存在被试的大脑中。

来自脑电的证据也支持抑制/保存假说。Lüdtke, Friedrich, De和Kaup (2008)的研究发现, 当时间间隔为1500 ms时, 在句子“In front of the tower there was / was no ghost”中, 大脑对探测图片“ghost”的反应时无差异, 说明即使在没有情景的条件下, 对被否定概念的抑制效应也没有出现, 被否定概念和肯定的概念一样可以得到通达。

Giora等(2009)采用等级评定的方法对视觉否定图片进行研究, 结果发现, 否定表达的解释(Don’t leave the door open!)等级评定值最高, 与肯定表达的解释(Close the door!)有显著差异, 说明否定不一定引起抑制效应, 在合适的情境下, 即使有对立信息可以选择, 被否定的信息还是会得到保留。

本研究结果支持抑制/保存假说, 在否定加工的过程中, 视觉符号否定的被否定状态没有因为时间间隔的延长而被抑制, 而是从否定加工的初期开始就一直存在于被试的大脑中, 一直到加工的晚期。

5.2 视觉否定标记对否定加工进程的影响

实验结果发现, 在视觉符号否定加工的三种时间间隔下, 当视觉图形为肯定图形时, 对肯定动词的判断明显快于对否定动词的判断; 但视觉图形为否定图形时, 对否定动词判断的反应时明显快于对肯定动词的判断。这一结果可能反映了两个方面的问题, 首先, 反映了肯定句加工与否定句加工的差异, 这与以往的研究结果是一致的; 其次, 该结果还反映了视觉符号否定加工与文字符号否定的加工的差异。以往关于文字符号否定加工的研究结果大多支持两步模拟假设, 第一步模拟被否定状态, 即对肯定动词的判断要快, 第二步模拟真实状态, 即对否定动词判断要快。对于视觉符号否定加工进程, 本研究的三个实验结果一致发现被试在加工的不同阶段下, 对否定动词的判断更快, 这一结果表明视觉符号否定有着与文字符号否定不完全相同的加工机制。

视觉否定标记“×”的存在, 从否定加工的初期就开始对被试的图–词匹配的判断产生影响, 表现为对被否定状态通达的抑制, 对真实状态(最终状态)通达的促进。这一结果的出现可能是由视觉符号否定图片固有的特性决定的。图片往往比句子否定更直观, 与句子理解相比, 图片理解更简单, 加工层次较浅。由于视觉否定标记“×”的存在, 使得事件的真实状态较为直观地呈现在被试眼前, 被试更易于模拟其真实状态。此外, 因为这些视觉符号否定标记一般都是个体生活中极为常见并为人熟知的, 这一高度经验化的视觉否定标记可能以某种内隐的方式与其所要表达的真实意思形成了相对稳定的联系, 被试只要接触这样的视觉否定标记, 就可能自动地触发(trigger)已建立的联结, 从而直接模拟真实状态。如果这一解释是合理的, 那么就可以从发展角度或通过学习经验改变视觉符号标记与事件真实状态的联结对该假设进行进一步检验。未来研究需要进一步探讨视觉符号否定加工为什么可以一步模拟事件真实状态。

无论是在言语还是非言语的交流过程中, 视觉符号否定都极为重要, 但在否定领域中, 对视觉符号否定的研究并不多见, 实验证据较少, 本研究在实证上补充和丰富了该领域的研究, 验证了一步模拟假设, 将有关否定的理论解释的适用范围是否可以拓展到视觉领域进行初步探索, 并对视觉否定图片在否定的早期、中期和晚期的心理模拟情况进行了探索, 这些探索对于深入理解人类加工否定信息的普遍机制具有重要意义。

需要指出的是, 目前已有的关于否定加工机制的理论几乎都是基于文字符号(句子加工)的否定加工研究结果, Giora等(2009)对视觉否定加工进行了研究, 但并没有对视觉符号否定的加工机制进行探讨, 我们对视觉符号否定的加工机制可以说是知之甚少。我们认为, 汉字本身就是象形文字, 在某种程度上与加工图形存在一定的相似性。基于这两方面的考虑, 在尚无可借鉴的理论前提下, 本研究从文字符号否定的加工机制出发, 尝试探索视觉符号否定加工机制, 采用了与文字符号否定加工相同的时间点来划分视觉符号加工进程的早、中、晚期。这种划分是否合适仍需要进一步的探讨。

在实验范式上, 我们参考了否定加工领域中前人经典的研究范式, 采用图–词匹配判断任务试图揭示视觉否定加工进程的心理模拟特点。在实验中, 被试自定步速理解图片, 在视觉图片出现的3000 ms内按键, 图片消失(3000 ms内无反应则图片自动消失), 随后出现一个空屏, 持续250 ms, 750 ms或1500 ms后出现动词词组, 要求被试判断该词与之前的图片是否一致。该实验流程一方面可以确保被试认真地理解图片, 但从另一方面来看, 被试也有可能在按键前对视觉图片进行了充分的加工。针对这个问题, 我们查阅了大量文献, 发现国内外关于否定加工的许多经典研究(Zwaan et al., 2002; Kaup et al., 2005; Kaup et al., 2006; Kaup, et al., 2007; 高志华, 2006; 高志华等, 2011)都是通过自定步速阅读(self-paced-reading paradigm)的方法, 采用不同的延迟时间来探讨不同阶段理解者表征事件的状态。这些关于否定加工的研究及其结果在一定程度上说明本研究所使用的实验流程是可以接受的。

最后, 本研究为行为实验, 其结果推论的有效程度还需谨慎。未来研究可运用ERP和fMRI技术检验相应语言脑区及视觉脑区的激活情况, 更精确地反映在否定加工的不同时间点被试的视觉符号否定加工进程。

6 结论

根据本研究结果, 可以初步得出以下结论：

(1)在视觉符号否定的加工进程中, 被试一开始就模拟事件的最终状态, 并且一直保持到加工晚期, 该结果支持一步模拟假设, 来自语言符号否定研究结果的两步模拟假设并不能解释视觉符号否定加工。

(2)对于视觉符号否定中被否定信息的加工问题, 本研究结果支持抑制/保存假说。

Barsalou, L. W. (1999). Perceptual symbol systems.,(4), 577–660.

Fischler, I., Bloom, P. A., Childers, D. G., Roucos, S. E., & Jr, N. W. P. (1983). Brain potentials related to stages of sentence verification.,(4), 400–409.

Gao, Z. H. (2006).(Unpublished Doctoral dissertation). Hebei Normal University.

[高志华. (2006).. (博士学位论文), 河北师范大学.]

Gao, Z. H., Lu, Z. Y., & Ma, H. X. (2011). The simulation process of Chinese simple negative declarative sentence.,(12), 1380–1387.

[高志华, 鲁忠义, 马红霞. (2011). 汉语简单否定陈述句理解的心理模拟过程.,(12), 1380–1387.]

Giora, R. (2006). Anything negatives can do affirmatives can do just as well, except for some metaphors.(7), 981–1014.

Giora, R., Balaban, N., Fein, O., & Alkabets, I. (2005). Explicit Negation as Positivity in Disguise.In H. L. Colston, & A. Katz (Eds.),(pp. 233–258). New York: Routledge.

Giora, R., Fein, O., Aschkenazi, K., & Alkabets-Zlozover, I. (2007). Negation in context: A functional approach to suppression.,(2), 153–172.

Giora, R., Heruti, V., Metuki, N., & Fein, O. (2009). “When we say no, we mean no”: Interpreting negation in vision and language.,(11), 2222–2239.

Hasson, U., & Glucksberg, S. (2006). Does understanding negation entail affirmation? : An examination of negated metaphors.(7), 1015–1032.

Horn, L., & Ward, G. (2006). The handbook of pragmatics. Blackwell publishing.

Kaup, B., Lüdtke, J., & Zwaan, R. A. (2005). Effects of negation, truth value, and delay on picture recognition after reading affirmative and negative sentences.Proceedings of the Annual Meeting of the Cognitive Science Society, 27. Retrieved June 6, 2018, from https://escholarship.org/uc/ item/19s068vb

Kaup, B., Lüdtke, J., & Zwaan, R. A. (2006). Processing negated sentences with contradictory predicates: Is a door that is not open mentally closed?,(7), 1033–1050.

Kaup, B., & Zwaan, R. A. (2003). Effects of negation and situational presence on the accessibility of text information.,(3), 439–446.

Kaup, B., Zwaan, R. A., & Lüdtke, J. (2007). The experiential view of language comprehension: How is negation represented? In Schmalhofer, F. & Perfetti (Eds.),:(pp.255–288). Mahwah, N. J./London: Lawrence Erlbaum Associates.

Kennedy, John M. (2008). Metaphor and art. In Gibbs, Jr., W.R.(Eds.),(pp. 447–461). Cambridge University Press, New York.

Kintsch, W., & Van Dijk, T. A. (1978). Toward a model of text comprehension and production.(5), 363–394.

Lüdtke, J., Friedrich, C. K., De, F. M., & Kaup, B. (2008). Event-related potential correlates of negation in a sentence- picture verification paradigm.,(8), 1355–1370.

Lüdtke, J., & Kaup, B. (2006). Context effects when reading negative and affirmative sentencesInR Sun (Eds.),(Vol. 27,pp.1735–1740). Hillsdale, NJ: Lawrence Erlbaum Associates.

MacDonald, M. C., & Just, M. A. (1989). Changes in activation levels with negation.:,,,(4), 633–642.

Sonesson, G., & Series, A. N. (1989). Pictorial concepts: inquiries into the semiotic heritage and its relevance for the interpretation of the visual world.,(7), 35–51.

Shuval, N. (2006).(Unpublished master’s thesis)Provence University.

Wason, P. C. (1965). The contexts of plausible denial 1 2.,(1), 7–11.

Worth, S., & Gross, L. P. (1981).University of Pennsylvania Press.

Zwaan, R. A., Stanfield, R. A., & Yaxley, R. H. (2002). Language comprehenders mentally represent the shapes of objects.,(2), 168–171.

Zwaan, R. A., & Taylor, L. J. (2006). Seeing, acting, understanding: motor resonance in language comprehension., 135(1), 1–11.

Processing of visual negation

HE Dexian; LI Jinhui; ZHOU Miao; CHEN Yajue; CHEN Yu; HE Xianyou

(School of Psychology, South China Normal University, Guangzhou 510631, China) (Center for Studies of Psychological Application, South China Normal University, Guangzhou 510631, China) (Guangdong Key Laboratory of Mental Health and Cognitive Science, South China Normal University, Guangzhou 510631, China) (Guangzhou Financial Guarantee Center Co., Ltd, Guangzhou 510030, China)

Previous research focused on the processing of verbal negation, while there was very little research in the area of visual negation. In this study, the lexical decision paradigm was used to explore the mental simulation of visual negation processing in early, middle, and late processing stages to reveal the mechanism of visual negation. To achieve this goal, we performed three experiments. In each experiment on each trial subjects first viewed a picture, and then after a interstimulus interval (ISI) that varied by experiment, viewed a word and had to decide if the word was consistent with the picture or not.

Experiment 1 explored the mental simulation of visual negation in early stage of processing using a short 250ms ISI. Participants reacted more quickly to the negative probes which represented the actual final states, as compared with the affirmative probes which represented the negated states. This implies that, in the early stage of the visual negation processing, the final state has already been simulated in the participants’ representation. Although the results did not confirm the two-step-simulation hypothesis, it supported the suppression / retention hypothesis.

Experiment 2 examined the mental simulation of visual negation in middle stage of processing using a 750ms ISI. The pattern of results was very similar to Experiment 1: participants reacted more quickly to the negative probes that represented the actual final states, as compared with the affirmative probes that represented the negated states. These results imply that the final state was simulated in the participants’ representation during the middle stage of processing.

Experiment 3 explored the late stage of processing using a 1500ms ISI. The results pattern replicated those of Experiment 1 and Experiment 2, that is, the reaction time to negative probes was significantly faster than to affirmative probes. The results demonstrated that in the late stage of the visual negation processing, participants simulated the actual final state of the visual negative pictures but not the negated state of the visual negative pictures. Again, it disconfirmed the two-step simulation hypothesis, but supported the suppression / retention hypothesis.

In sum, taken together the findings from the three experiments, we can draw the following conclusions. The actual state was simulated during the processing of visual negation similarly across the early, middle, and late visual processing stages. These results support the theory that simulation occurs in a single step (the one-step simulation view) rather than the two-step simulation view. Second, the suppression / retention hypothesis for the negated information processing in visual negation has been strongly supported.

visual negation; visual negation maker; two-step-simulation hypothesis; the suppression / retention hypothesis

10.3724/SP.J.1041.2018.01249

2017-08-09

* 2016年国家自然科学基金项目(项目号: 31671132)、2015年教育部人文社会科学重点研究基地重大项目(项目号: 15JJD190005)、广东省高等学校珠江学者岗位计划资助项目(2017)资助。

B842

何先友, E-mail: xianyouhe@163.com