有关双重编码理论国际研究综述

何云欢?

摘 要：通过梳理2005-2015年有关双重编码理论的相关文献，从这十年的发展轨迹、涉及领域以及热点研究三个方面进行了较为系统的梳理。梳理发现，有关双重编码理论涉及领域之广，包含心理学、自然科学、神经生理学、语言学、行为学以及传播学等多个学科，同时这十年对双重编码理论在自然学科中的运用，提升残障儿童的学习能力，处理抽象词汇和具体词汇学习的差异以及五官感知在DCT中的表现等都有较为充足的研究。最终通过梳理，作者提出了有关DCT研究的问题及对未来的展望。

关键词：双重编码理论；抽象词语；具体词语；教育

中图分类号：G20 文献标识码：A 文章编号：1672-8122（2017）06-0075-03

一、文献收集与综述

本篇文献综述基于美国科学信息研究所创建的社会科学引文索引与艺术与人文科学引文索引，分别以“dual coding theory”、“dual code”、“DCT”为主题词在“Web of Science”数据库中进行检索，将时间范围限定为2005年至2015年，并按被引频次降序排列文献，共检索出607篇相关文章。将不同主题词检索得出的文献列表合并、删除重复论文后，最终选取的论文总数有155篇。本文拟从历史性角度先梳理有关双重编码研究近10年的发展轨迹，再从不同学科视角对研究进行分类归纳。同时，在整理归纳的基础上，选择研究较广泛、影响力较大以及能代表未来研究方向的相关研究进行较为详细的综述。

从时间分布上来看，近10年有关双重编码理论的研究大致可以分为2个阶段：第一阶段，2005～2009年，这一阶段共出版的文献数为47篇，其中文献引用次数大于30次的有9篇，其中最高引文次数180次出现在2005年，这一阶段的研究主要包括多媒体教学对学生记忆、学习结果的影响研究。

第二阶段，2010～2015年，这一阶段出版的文献数位108篇，其中2014年达到顶峰，出版数为24篇，而文献引用次数大于30次的却是2篇，一篇被引89次，出自2010年，一篇被引105次，出自2011年。这一阶段主要的研究包括DCT在教学方面的运用，尤其是在图表、图像、视频等图文交互模式及视听说相结合在科学性文章的学习、医学、远程教育等方面的应用，另外这一阶段还延伸了对DCT的研究，从传统的声音、文字媒介拓展到嗅觉等更丰富的媒介类型，在商品广告推广中，利用嗅觉来增强消费者对产品的记忆力。

比如前5年出版文献次数虽少，但被引次数却多，说明这一时期有关DCT中有关语言学、心理学层面的研究达到了成熟阶段；后5年出版文献的数量急剧增长，而被引的文献数缺少，这或许与学术文献被引的客观规律有关，即一篇论文发表后，总是需要经历一段时间的反复引用，才能逐渐产生影响力，而这段周期近似3～5年，同时，本阶段将双重编码的研究逐渐跳脱出原先的视觉、听觉、词汇等方面的运用，而是转向具有创造性的实际应用，关注最前沿的课题，尝试探索未来的研究方向，这也正是双重编码系统逐渐深入的表现。

从研究视角而言，根据近10年有关双重编码的文献统计，其研究主要涉及心理学、教育学、神经生理学、语言学及传播学等多个学科。首先，在心理学方面，研究者们的研究主要包括，对于抽象词汇和具体词汇在呈现和处理上的差异，在词汇判断任务中检验具体性优势时需要控制熟悉度和有效语境假设等；第二，在教育学方面，主要是多媒體教学对学生记忆、激情及成效的影响，怎样利用DCT理论来制定较为有效的针对残障儿童的教育策略，以及在学习自然科学类文章时如何处理想象力和图文结合之间的关系；第三，从神经生理学展开的研究主要包括利用ERPs来检验具体性和情感因素对视觉词语处理过程的影响，从语义范畴而言，证明抽象词汇比具体词汇难以识别和记忆等；第四，语言学视角包含了习语和词源之间相联系如何提高记忆力，汉字的具体性优势，输入形式对词汇学习的影响等；第五，传播学领域有关DCT的研究目前还比较少，或许是因为有关DCT的研究多是针对较小单位的字、词、字符串、图像等，而传播学所研究的对象一般具有整体性和连贯性的特点。但近年来，随着网络技术的发展，伴随着3D、4D等媒体技术的进步，DCT的研究也不再局限于视觉和听觉两个感官系统，而是向嗅觉、触觉味觉等更丰富的媒介类型拓展。

若说本文有关DCT的研究按照历史性所划分的2个阶段构成了文献综述的时间纵轴，那有关DCT研究的4大研究领域的梳理则代表了文献综述的横轴，纵横交织共同概览了有关DCT近10年来的研究。本文将在这一概貌的基础上，将分别对有关DCT最近研究最广、最能代表未来发展方向的有关研究进行较为深入系统的综述和分析。

二、双重编码理论的基本观点

（一）人的认知系统是由言语和非言语构成的双重表征系统

双重编码理论认为，人的认知系统由言语和非言语两套编码系统组成。言语编码系统专门处理言语编码，言语编码对应着文字、文字的发音以及对文字的触感，因而，相对应的，言语编码的形式有视觉、听觉和触觉等。它的表征单元为词元，词元是指任何以语言为形式所感知的信息的编码表征单元（Paivio，1971），任何以整体性的形式习得的信息单位都是词元（Paivio，2010）。词元是言语生成的种子，它既可以被外部刺激激活，也可以被言语系统内部其他的已被激活的言语码激活。非言语编码系统是对想象的表征和处理，它对应着除文字以外的视觉、听觉、触觉、味觉以及嗅觉信息等。非言语编码的表征单元是象元（Paivio，1991），象元是指任何以非言语形式所感知的事物、事件以及情境的编码表征单元（Paivio，1971），不同象元之间主要以组合——分解式相互联系。

（二）表征系统中表征单元的特点

言语系统和非言语系统都具有层级的组织结构，都是大的单位包含着小的单位，但又有本质上的差异。词元以顺序性和层级性的方式存在，因而言语编码系统以顺序性、线性的、逻辑性的的方式来处理信息。视觉词元的组织以某种序列从文字逐一排列成词组、句子和篇章，而听觉词元则是从音素组成音节，从音节组成单词发音，从单词发音再到词组发音等，这都和语言的序列特征有关。

而象元之间的运作方式是整体性的、连续性的以及簇拥性的。比如一张面孔的表象，则包含了眉毛、眼睛、鼻子、嘴巴、脸及其它的面部特征。象元之间要么以组合——分解式相互联系，要么是相似勾连式。

（三）双重表征系统的三种运作模式

研究者发现，对信息的处理，大脑选择有所不同。左半脑擅长处理言语信息（e.g.， McKeever & Berlucchi，1971），右半脑擅长处理表象信息（e.g.， Rizzolatti， Umilta & Berlucchi， 1971）。最近，大脑神经生理学的研究则证明言语和视觉信息又大脑不同的部位处理（Children & Jiang，2008），这也正符合DCT认为人的认知系统是由两套编码系统组成的。同时，他们认为言语和表象系统在运作时虽然以相互独立为主，但它们也会相互联系从而提高记忆力。具体表现在它们之间有三种联系与加工方式：表征式、参照式和关联式。

表征式是指外部的言语刺激进入记忆系统中会被编码成特定的词元，或激活言语系统中相应的词元；非言语刺激进入记忆系统中会被编码成象元，或激活非言语编码系统中相应的象元。即外界刺激对内部编码系统的作用和影响。

参照式是指词元可以激活象元，象元也可以激活词元，即两个系统之间相互激活和参照性关系。但两个系统之间的相互参照也需要有意识地进行参照加工，促进转换与转译。一旦关系建立，日后相应的场景或刺激将会使两个系统自动相互参照。然而，并非所有的词元和象元之间都能够相互参照，高度抽象的词语则难以找到对应的象元，难以命名的象元也无法用词元表达，比如“只可意会不可言传”就是这个道理。

关联式是指言语系统中的词元可以激活言语系统内部其他的词元，而非言语系统内的象元可以激活非言语编码系统内的其他象元，即一个编码系统内部的激活扩散。关联加工促进编码系统内部的联系和扩散。

（四）双重编码系统中的两个假说及其拓展

双重编码理论的基本运作模式，可以看出两套编码系统之间既独立运作又相互联系。独立运作对应着关联式，即两个子系统可以单独处理外界的信息，这也正对应着双重编码理论的加和效应假说；相互联系对应着参照式运作，这也正对应着双重编码的概念桩假说。

加和效应假说是针对图片优势和具体优势所提出来的解释（Paivio，Rogers & Smythe， 1968）。双重编码理论认为，图像被认为是一种特殊的记忆呈现方式，因为通过具化言语信息可以加速知识获取（Paivio，2007）。具体优势也可以解释唤起对具体词汇“白马”的记忆是对抽象词汇“真理”记忆的2倍（Begg，1972），越具体的词语越容易被记住（Paivio，2007）。具体的词元容易形成视觉图像，因而在视觉图像的帮助下也就能更容易唤起对相关情境回忆。

概念桩假说认为，对文字处理的认知活动中使用想象就像“桩”一样积极影响回忆的效果。唤起记忆的“桩”需要是具体的，并且易于激发想象力，这个“桩”只是认知处理活动的中介物，主要功能是唤起线索而非编码工具（Paivio，1965），通过“桩”作为唤起线索，其记忆效果明显高于无线索的组别（Lambert& paivio，1956）。

三、双重编码理论研究发展

（一）双重编码理论在教育学中的运用

国外将DCT运用到教學中，主要包括自然科学、数学、医学、外语学习以及残障儿童教学等方面。他们试图通过实验强调图文结合、图表结合、视频、音频的综合利用将提高学生的学习动力、记忆力以及学习效果。Cheng， M. M. W.等（2015），通过研究学生对图表陈述人类循环系统的理解。通过对3个学生的采访研究，结果表明，学生在回忆时通过对语言的记忆来解释图表，学生过度依赖空间相似性，而非是对图表联系的深层次理解。

在教学中，研究者一方面尝试教学手段的多样性，同时也注意利用DCT对学生空间想象能力的激发。Yang， F.等（2015）主要是研究表象能力和图片提示对具象认知、自由回忆以及态度的影响。针对残障儿童，尤其是听力、阅读能力有障碍的学生，Moses， A.M.等（2015）的研究结果表明，有听力能力的小孩在有声音的教学视频中更易学习手语、文字的内容和能力，同时表明，视觉语言、手语可以成为小孩听写能力发展的另一条路径。

另外，关于语言的学习虽然研究较少，但也提出了较为建设性的意见，其中主要是针对抽象词语和具体词语学习以及二者之间的联系。Farley， A.等（2014）基于DCT，研究西班牙语言学习者对抽象词语的词语复述及回忆。结果表明，在教学完后直接测试，有图片的抽象词语对回忆的影响较大，但在一段时间之后，这种影响消失；在短期内，有图片的抽象词语对回忆有一定的影响；将抽象词语和视觉图像联系，抽象词语也会产生具体化效应；比喻性的，有感情的或者是象征意象有助于抽象词语的有意义回忆。

综上而言，国外关于DCT在教学中的应用主要是在创新性层面，不单纯是语言类的学习，而是涉及自然科学、数学、医学等较为抽象的知识加以图像、视频（动画）、音频以及空间想象力辅助来达到更深入的理解、记忆，从而产生更好的学习效果；但近几年的研究提出，在学习抽象词语时，可以将语境、想象力、情感、与抽象词语相关的视频、图像相结合以及与词源相联系等方式提高对抽象词语的理解和记忆。尤其是在中文汉字的学习中，提出了形旁的重要性以及通过回溯词源来联想具体场景从而增强记忆力。

（二）抽象词语和具体词语的处理

DCT提出人的认知系统包含言语编码系统和非言语编码系统，前文也涉及到早在1971年McKeever & Berlucchi等人就提出左半脑擅长处理言语信息，右半脑擅长处理表象信息，可见对抽象词语和具体词语的理解和记忆是因人、因词而异的。同时，Lorusso， M. L.等（2015）也提出比起视觉运动障碍，语言障碍阻碍抽象语言的理解更严重，左半脑擅长对抽象词语的理解。这两个实验也都核实了左大脑擅长处理言语信息，比如抽象词语，而右大脑则擅长处理图像信息。

关于处理抽象词语和具体词语的影响因素、抽象词语和具体词语的差异以及如何提高抽象词语和具体词语的理解和记忆等方面的问题，一些语言学、心理学、神经生理学等领域的学者对其进行了研究。Kousta， S.T.等（2011）将情绪内容作为一种实验信息来研究抽象词语的呈现和处理，发现抽象词语比起具体词语更具有情感效价。另外，研究结果也发现词语的顺序也会影响具体单词和抽象单词的记忆。

具体词语相对于抽象词语而言在理解和记忆上更容易，这也正是前文所讲的理解和记忆“白马”比“真理”更容易。但最近的研究发现，具体性优势也可以在抽象词语中发挥作用，只要设置一定的环境背景。

（三）多感官的综合利用

DCT从20世纪70年代被佩维奥提及之初就没有将言语编码和非言语编码限定在视觉和听觉，而是这两套编码系统和人的五官感知形成一种正交的关系，两套编码系统对应着人的视觉、听觉、味觉、嗅觉以及触觉。所以，在新媒体时代，以及这种屏转换如此迅速的背景下，DCT和人的五官感知之間的关系也越发明显。

在产品推销中，为了让消费者的记忆力更深，Lwin等（2010）在有关润肤膏的彩色邮寄广告中引入了嗅觉变量，通过实验得出气味线索能够明显提高人们对广告文字内容的回忆效果，图片线索则只有在气味提示存在的情况下才能显著提高回忆效果。

DCT从原来单一的视觉和听觉编码跳到更为多元化的编码形式，在信息时代，为了提高消费者对产品的记忆力，不仅需要轰炸式的重复传播，而且还需要调动人们听觉、视觉、嗅觉、触觉甚至是味觉，这也不难解释，超市的免费试吃产品。因而，可见DCT不仅单纯的停留在理论的应用层面，而且可以应用到实践层面。

四、总结与展望

通过对DCT近十年相关的文献进行系统的梳理，可以发现，有关双重编码理论的研究有以下的特点，第一，从发展轨迹来看，近十年的研究已经从理论层面拓展到实际运用层面，主要经历了DCT在自然科学、数学、科学等学科中的应用以提高学生的理解及记忆能力，同时将DCT理论延伸到残障儿童的学习中，从手语、相关音视频、图画的结合来提高学生的理解和记忆能力，另外关于抽象词语的学习，以中文初学者为例，强调形旁和抽象词语配以图像辅助有助于提高学习者的理解和记忆，同时，嗅觉、味觉以及触觉等也逐渐被学者探讨。第二，从学科分类来看，研究视角具备显著的多元性、交叉性特点。从提出者佩维奥研究的心理学，到语言学以及后来逐渐运用到神经生理学、传播学、行为学等，DCT所涵盖的学科范围广泛。但目前，传播学对于DCT的研究还较少。第三，从研究方法来看，通过对近十年相关文献的梳理，挑选的155篇文章绝大部分都采用了实验、小组研究、问卷调查以及深度访谈等，主要是解决较为实际的问题，而有关理论层面的问题研究较少，这也许和DCT在理论层面的研究已经趋于成熟有关。

DCT从诞生之初就不只是局限于听觉和视觉，其两套编码系统是和人的五官感知之间成正交关系，但目前DCT在除视觉和听觉外的其他感官上的研究还不足。尤其是随着信息技术的发展，3D、4D技术可以将人们带入一个虚拟社区，进行模态化处理，在这一新的环境背景下，双重编码系统又会发生怎样的变化以及对人的认知模式产生怎样的影响，人们又该如何应对这一新变化等，这都是在未来值得研究的问题。

参考文献：

[1] Moreno， Roxana； Valdez， Alfred.（2005）. Cognitive load and learning effects of having students organize pictures and words in multimedia environments： The role of student interactivity and feedback. ETR&D-educational technology research and development. 53（3）， 35-45.

[2] Levy-Drori， S& Henik， A.（2006）. Concreteness and context availability in lexical decision tasks. American journal of science. 119（1），45-65.

[3] Boers， F.， Eyckmans， J.， & Stengers， H.（2007）. Presenting figurative idioms with a touch of etymology： more than mere mnemonics？ Language teaching research，11（1），43-62.

[4] Kanske， P.， & Kotz， S. A.（2007）. Concreteness in emotional words： ERP evidence from a hemifield study. Brain research，1148，138-148.

[责任编辑：传馨]