基于聋人案例的空间隐喻语义认知计算

姚登峰，江铭虎，阿布都克力木·阿布力孜，侯仁魁，哈里旦木·阿布都克里木

(1. 清华大学 人文学院计算语言学实验室，北京 100084；2. 清华大学 心理学与认知科学研究中心，北京 100084；3. 北京联合大学 北京市信息服务工程重点实验室，北京 100101；4. 鲁东大学 文学院，山东 烟台 264025；5. 清华大学 计算机科学与技术系智能技术与系统国家重点实验室，北京 100084)



基于聋人案例的空间隐喻语义认知计算

姚登峰1,2,3，江铭虎1,2，阿布都克力木·阿布力孜1,2，侯仁魁1,4，哈里旦木·阿布都克里木5

(1. 清华大学 人文学院计算语言学实验室，北京 100084；2. 清华大学 心理学与认知科学研究中心，北京 100084；3. 北京联合大学 北京市信息服务工程重点实验室，北京 100101；4. 鲁东大学 文学院，山东 烟台 264025；5. 清华大学 计算机科学与技术系智能技术与系统国家重点实验室，北京 100084)

我们从心理语言学的角度，对空间隐喻进行相似性分类和计算，使用多维量表和聚类方法，以聋人为被试分别进行了两个实验。实验结果表明，聋人为实现空间隐喻理解的计算，使用了地形空间和语法空间的特征信息，同时受手语语言特点的影响，其空间隐喻的认知主题包括手势者自身参照系、参照物的相对坐标系、手势空间的饱和度、以手部或胸部为边界。同时表明由于两种空间的存在，聋人大脑对空间隐喻的理解存在着层次，并且在长期使用手语交流的过程中，其地形空间和语法空间相互作用，影响了聋人大脑空间隐喻的结构和表征，从而导致了独特的高效快速空间隐喻计算。

空间隐喻；语义计算；聋人

1 引言

人类自然语言存在着大量的隐喻现象，像汉语中的诗词歌赋更是大量采用隐喻,例如，“道是无晴却有晴”，“春蚕到死丝方尽”借用双关语,隐喻有无情义和思念到死。这些典型的非字面语言现象的机器翻译——隐喻的计算处理仅仅依靠字面翻译是不够的，难以翻译出其深刻内涵和准确含义。因此隐喻计算成为自然语言处理技术跳不过去的问题之一。由于隐喻是一种基于知识获取的语言现象，因此目前的隐喻计算主要关注如何人工或自动获取这些知识，实现隐喻的识别和解释，这些知识的来源包括语料库、知识库、同义词典等在这些资源基础让提出统计模型，是目前的研究方向之一。然而这些模型目前没有一个可广泛解决隐喻问题。因为隐喻作为典型的非字面语言，其理解和计算需要更多与背景知识相关的语用信息，这也使得计算机仅仅领先目前的背景知识来理解非字面语言与像人脑一样理解非字面语言主演存在较大的差距。文献[2]利用fMRI(核磁共振成像Functional magnetic resonance imaging)实验发现了涉及语用的世界知识在大脑中的激活区、语义区和句法区，并指出这三个区域是分开的。这个实验事实表明语言形式和更复杂的因果关系、社会因素等语用信息分别属于两个不同的模块，语用和语言形式间存在着功能的分离。

从目前来看，对隐喻计算所采用的多数方法都基于统计学习理论。然而隐喻是一种认知现象，如果仅仅基于统计方法去处理隐喻的理解，可能会忽略一些关键性的细节。因此，我们认为必须要把隐喻的处理纳入认知的范畴，将现有的计算模型结合认知的方法，这样才能更好地处理隐喻问题。因此很多学者提出了新的方向，例如，文献[3]认为应从隐喻的认知机制出发,结合语言活动中隐喻的产生和理解过程和机理、人类隐喻能力的神经生物学与认知心理学基础来认识隐喻。现代认知神经科学技术也证明了这一点，例如，EEG(脑电图Electroencephalo-Graph)、fMRI的模拟和实验结果表明事物对象在脑皮层诸多分布网络区域中均有刺激反应，这些区域储存着诸如形状、颜色和行为等属性信息。只要对象概念被唤起，与该对象相关的运动和行为及相关属性就会被自动激活。这间接证明了隐喻并不是简单地按照规则来实现字面到非字面意义的映射，而是激活相关语义概念，来进行复杂的推理，最后完成本体到喻体的映射生成。有证据显示左脑对于大多数语言的经典语言区占主导地位，右脑则参与了叙事建构、话语表征、隐喻以及预测和连贯性的推论等相关处理[4]。此外，实验结果表明，汉语隐喻理解的认知加工比一般的认知加工更多地激活了左脑和右脑额下回，不仅需要激活所加工词语的词义，还要对语义进行延伸，广泛地搜索与词义相关的信息，它包含了语义搜索和语义激活的更多加工内容[5]。这些发现表明,为了正确使用隐喻等非字面语言，大脑需要深刻理解汉语词汇语义，并在大脑里激活相关的隐喻概念网络。

空间隐喻是指参照空间方位而形成的一系列隐喻概念，它是以空间概念为原域向其他认知域或目标域进行映射，进而获得引申和抽象意义的认知过程。认知语言学界普遍认为，在所有隐喻中，空间隐喻对人类的概念形成具有特殊重要的意义，因为多数抽象概念都是通过空间隐喻来表达和理解的。如在汉语里，内外的空间关系还用于表示称谓之间的亲疏关系，如有的地方在母系称谓前加“外”字,如外婆外公外孙等，除了表示与父系的区别，还有几千年的封建思想，即反映男女不平等。相对于父系是“家里”人，母系为“家外”人。

中国手语是指中国大陆和其他华语地区聋人群体使用的一种包含复杂空间信息的视觉语言。国外学者发现在观看英语句子时，聋人与健听人一样都激活了左脑经典的语言区域——左外侧裂脑区周围，但是聋人大脑还激活了右脑区域，包括右边外侧裂周区。他们认为这是因为手语语法增加了空间处理的需求[6]。研究表明聋人大脑的认知加工包含了空间隐喻和场景加工[7]。因此以聋人为被试，可能有助于我们揭示空间隐喻的本质。为此我们拟从心理语言学的角度，对空间隐喻进行相似性分类和计算，以聋人大脑认知加工为例，探究人类大脑为实现隐喻计算而建立的认知主题和概念结构。

本文按照如下方式组织: 第二节详细介绍了以聋人为被试所做的空间隐喻认知实验过程、包括实验材料、数据的采集处理及调查分析；第三节描述了实验结果，包括多维量表的分析结果、聚类分析结果，并对实验结果进行了讨论和解释；最后是全文的总结与讨论。

2 空间隐喻认知实验

2．1 实验一: 影响空间隐喻加工的属性调查

研究目的和假设

目前对隐喻认知的研究主要集中在探讨非字面语言与直义语言加工的差异上，为此众多研究人员提出了理论模型。其中文献[8]提出显性度假说(GSH)为代表，该假说认为隐喻认知的差异不在于字面意义和非字面意义对的差异，而是来自显性度的影响。其中显性度高低主要受语言材料的频率、熟悉度、约定性、典型性等因素的影响。我们以此为基础，考察了空间隐喻的各属性，以及对大脑加工的影响，从而为后期空间隐喻加工机制的实验研究准备合适的材料，为实验研究的变量选择提供依据。我们假设空间隐喻的熟悉度和预测性存在显著的相关，直义性和透明度存在显著的相关。

被试和研究内容

实验随机抽取了北京联合大学特殊教育学院60名聋人大学生。男生46名, 女生14名。平均年龄为21.34岁。采取问卷调查形式，考察空间隐喻的四种属性及其各种属性的相互关系。四种属性分别为熟悉度、直义性、预测性和透明度。

研究材料

首先请北京联合大学特殊教育学院手语社社员设计了三个大类。例如，上/下、前/后、左/右。在这三大类下又设计了200个空间隐喻词对，例如，好/坏、升/降、成功/失败、开始/结束、床上/床下、前/后、进/来、远/近、买/卖、送/退、接受/拒绝、左/右、宽/粗、放开/缩小、关的/开的、离开/聚合、拥挤/空旷等。在此基础上再设计句子，全部采用“A是B”的表征形式，例如，“好是可贵的品质”。然后请北京手语研究会的两名研究员(其中一位为聋人，一位为健听人，聋校教师)进行了核对和修改，筛选出120个空间隐喻词对和相应的句子，在此基础上形成了正式调查问卷。

研究程序

由于聋人的母语为中国手语，为了避免第二语言汉语对聋人的影响，所选择的120个空间隐喻词对、相应的句子以及实验指导语已全部拍摄成录像，其录像如图1所示。

图1 空间隐喻的手势视频

将被试随机分成四组，每组15人，每组分别完成空间隐喻的熟悉性、直义性、预测性和透明度的属性调查。要求对手语视频的属性进行五点量表评定。

研究结果和分析

我们采用SPPS10.0软件，对空间隐喻的熟悉性、直义性、预测性和透明度的属性做方差分析，其分析结果如表1所示。

从表1可看出，空间隐喻的各个属性之间存在着不同的相关。同时虽然相关程度不一样，但这四个属性之间相关系数的显著性检验均较显著。熟

表1 以聋人为被试的空间隐喻属性的方差分析

悉度与预测性的相关很高，其r=0.87，这暗示着熟悉度和预测性可以相互预测，类似的还有直义性和透明度，但是其他属性之间的相关并不明显。

为了直观地比较，我们之前用同样的方法，以清华大学手语社社员为被试做了研究，得到的结果如表2所示。

表2 以健听人为被试的空间隐喻属性的方差分析

由此可以看出，结果与表1仍然类似，但被试间也存在显著性差异。具体表现为健听人在预测性、直义性、透明度三个属性上比聋人要高。我们认为这与被试的大脑思维有一定的关系。我们曾对2013级入学的大学聋生做过调查，发现大一聋生的水平大致在健听人高一水平，对抽象知识的理解能力普遍弱于健听学生。由于中国手语的特殊之处在于仅用一个手势即可表示具体和抽象的两个语义，而聋生思维形式是从形象思维逐步向抽象逻辑思维过度。聋生抽象思维在很大程度上仍然难以割舍与感性经验的直接联系。因此在理解一部分空间隐喻的手势时，很多聋生一时无法完成原域到目标域，即从具体到抽象的映射，停留在空间隐喻的具体语义上，因此在熟悉度上聋人强于健听人，但在其他方面弱于健听人。此外很多研究表明，实现从具体到抽象的映射过程中间需要经过复杂的计算。因为空间隐喻还需要应用视觉场景来进行管理和排序，因此仅靠传统的信息处理和计算理论计算空间隐喻已显然不够。传统的机器翻译方法忽略了隐喻认知的特点，则显得更不适合。

2.2 实验二: 空间隐喻的相似度分类

研究目的

通过空间隐喻的分类，考察聋人被试的空间隐喻的概念结构和空间认知主题。

被试和研究内容

随机抽取北京联合大学特殊教育学院20名聋人大学生。其中男生14名，女生6名。平均年龄为21.58岁。母语均为中国手语。

研究材料

根据实验一的结果，我们分别选取熟悉度和直义性高等级的语料各30条。接着在三大类上，每类选取十条空间隐喻词对，即60个空间隐喻词汇，打乱顺序，使用Matlab编程，使之随机呈现在电脑显示器上。其选取的60个空间隐喻词汇如表3所示。其中床上/床下等手势并不是简单的上下关系，而是已发展为独立手势，与上午/下午等手势类似。

表3 空间隐喻实验词汇表

研究程序

要求被试对60个空间隐喻词汇作相似性分类，具体可使用Matlab程序呈现事先拍摄好的指导语视频，汉语意思如下: “下面是60个手势录像，这60个录像跟空间有关系，请你逐个解释这60个手势录像。认识完60个手势后，要求根据自己的理解，把60个手势视频做个分类。可以按自己的想法分类，认为是相同的或者相近的，就放在同一类。分成几类，自己定。要求解释分类的理由，主试会帮你做记录。一个类别里面有多少数量没有要求。但是60个视频，每个都不能重复使用，即一个只能用一次。”实验完成后，将分类结果引入至Excel，使用Matlab编程，负责读取每个被试数据，并自动转换成60*60相异矩阵。其中形成相异数据矩阵的规则是: 在分类过程中，如果两个手势被认为是同一类，则在相异数据矩阵中这两个手势的交叉点上标记为0，否则为1。最后叠加所有被试数据，输出Excel数据文件。

数据处理和分析

用多维量表(Multi-Dimensional Scaling)和聚类法进行分析,以确定聋人的空间隐喻认知主题和空间隐喻概念结构。其中多维量表采用欧几里得直线距离量表模型(Euclidian Distance Scaling Model)可得到一个相异数据矩阵，用于计算空间隐喻的间距离矩阵数据。在得到空间隐喻手势分类的相异数据矩阵之后,使用Non-metric MDS统计公式[9]得到聋人的空间隐喻概念结构不同维度的解、压力值以及各个手势在不同维度中的坐标值。

3 实验结果

系统使用杨氏第一S-stress公式进行迭代运算，并设置为当S-stress的负增加量小于0.001时，停止迭代运算。其运算结果表明，本例完成了五次迭代运算，最终S-stress值达到0.049，RSQ达到0.93，获得对应数据矩阵的二维坐标空间图，如图2所示。

图2 60个空间隐喻词汇的语义空间

由图2可见空间隐喻的语义空间有两个维度: (1)参照物本身的空间和状态/手势者本身的方位: 横轴从左到右，左边的词表示参照物本身的空间方位，右边的词表示手势者本身的空间方位/状态；(2)空间/状态: 纵轴从上到下，上边是表示空间的空间隐喻，下边是表示状态的空间隐喻。

根据划分聚类图和平均分类数，可划分为四个空间认知主题: (1)手势者自身参照系。包括: 升/降、骄傲/谦虚、开始/结束、浮/沉、进/退、来/去、拒绝/接受、穿/脱、还/借、买/卖，共十个词对；(2)参照物的相对坐标系。包括: 好/坏、友/敌、成功/失败、床上/床下、附近/远方、离开/靠近、结婚/离婚、日出/日落、暗/亮、闭卷/开卷、分/合、开门/关门，共12个词对；(3)手势空间的饱和度。包括: 宽/窄、粗/细、放大/缩小3个词对；(4)以手部或者胸部为边界。包括: 上午/下午、新/旧、饥/饱、外交/内务、放/抓，共五个词对；等级相关的分析表明空间隐喻语义空间的维度1和维度2的坐标值相关性不显著，其rRC=0.28，p>0.05，说明两个维度相互独立。文献[10]以文献[11]提出的35个词为基础，认为英国人的空间认知主题为四个主题，即: 障碍与通道、距离与方向、容量与边界、垂直维度。文献[12]认为汉族人有四个认知主题，即三维方位、边界、空间饱和度、视觉距离。而通过图2，可以看到聋人对空间隐喻的概念结构未出现障碍与通道、视觉距离等认知主题，而其他均已出现。

从图2中可以看出，聋人将空间隐喻手势分成描绘手势者本身的手势描绘参照物方位和状态的手势居多，为此文献[13]提出将聋人认知空间划分的说法，即地形空间(topographic space)和语法空间(syntactic space)。在物理上，地形空间和语法空间的手势空间完全一样，但手语使用了这两种完全不同的方式来表达空间。地形空间再现了真实世界的立体地图，这是一个表示事物与情况的手势空间中的空间布局，对应着真实世界的事物与情景。例如，手势者描述他的餐桌“一塌糊涂。”；“我的碗(右)被打破了，我的食物(中心)洒了，我的玻璃杯(左)是空的。”这种描述用到了地形空间，因为它再现了餐桌上的状况，正如真实情景一样。而语法空间产生于语言内部，不会投射到真实世界。再如，为了表达{我的父亲爱母亲}，手势者可在左边的手势空间打出一个手势代表父亲，然后右手边打出手势代表母亲，最后再打出“爱”的手势。这种打法正是基于文本语言来创建的，允许手势者在空间中引用。因此地形空间表达的是一般意义上，即现实的空间关系，而语法空间反映的则是手语语法。文献[14]比较了聋人对于两类句子的认知加工差异，发现聋人在看过地形空间句子之后，对某个词是否出现过的判断反应明显要比其他句子快，这说明聋人对这两种空间的认知过程存在不同的神经机制。此外大量研究表明聋人大脑对空间特征的加工存在着不同的层次，并不能一概而论。文献[15]指出并非所有的空间特性都具有容易理解的优势，像地形空间就容易理解，而语法空间反之。目前对地形空间和语法空间的研究尚不充分，若能解决此问题，将有助于我们建立完整的空间隐喻表征模型。

另外，我们注意到在中国手语中，其空间隐喻的语义是与手势动作密切相关的。具体来讲，与表达词义的相关位置、手形、方向、运动密切相关，最常见的是需要手部的空间运动来表达空间隐喻的语义，例如，通过上下移动来表达空间隐喻的概念，如好、升、新、明亮、骄傲、友、开始、成功等，类似的还有来回摆动来表达宽/窄、新/旧等概念。在其他手语中，我们常能见到方向、位置也起到很重要的作用。例如，手掌心朝向自己表示请求别人的帮助，手掌心朝向别人表示要帮助别人的意思。此外众多研究表明，在语音学编码中，空间位置是唯一基于语义编码的参数[16]，在手语空间中具有高度任意性，表现为每个手势动作对应一个空间位置。例如，空间位置都在太阳穴周围的，通常属于思想活动的空间隐喻。例如，意识、思维、认识、概念、想念、思想等；而空间位置在胸前心的位置时，通常表达与心理有关的空间隐喻。例如，心理、兴奋、难过、生气、担心、犹豫等。由此表明空间隐喻是通过改变手部其移动方向、位置等方式来表达实现的，因此手语本身的特性以空间为概念框架，并将空间作为表达中介，本身就更加依赖于高效连贯的空间隐喻。我们在观察表达抽象概念的手势可以发现，例如，通过手部往上运动，可以表达出“升”的空间隐喻，聋人平时交流时表达“工作表现好可以升职”多用此手势，类似的还有股市下跌、登山成功等概念。而且，与汉语分别用两个词表示空间隐喻中原域到抽象域的映射不同。例如，开花-春天，在中国手语里，仅用一个手势，通过空间隐喻的手段，就可以表征原域“开花”和目标域“春天”这两个域。

多维量表分析结果的意义体现在压力系数Stress和RSQ两个统计量上，它们反映分析结果中各点的空间距离和数据矩阵之间的一致性程度。为此，我们计算得到线性拟合散点图，如图3所示。

图3 线性拟合散点图

坐标图的横坐标距离为标准化后的原始数据，纵坐标为相异性距离。由此可以看出所画出的空间坐标图与相异数据矩阵的拟合度较好。如果所有的点分散成一条直线，表示多维量表空间图能完全解释给定的相异性，即压力系数为零。此图表明，所有的各点都均匀落在16条直线的附近，存在单个点的分散现象，说明坐标图和数据拟合没有达到100%。若设定多维量表分析只有一维，则其压力系数为Stress=.290 79，RSQ=.887 91，其一维空间图如图4所示。由RSQ可知，虽然一维不能100%代表原始变量，但也表明高达88%的拟合度，且两个变量应只需一维空间图，如此才能达到简化数据与缩减维度的目的。因此就本例而言，一维分析结果较二维佳。

图4 一维空间语义图

采用区间测量，以最小变异数和法(Ward’s Method)计算类内的变量和，使同一类内观测值的变异数之和最小， 不 同 群之间观测值的变异数之和

图5 层次聚类的树状图

为进行聚类验证，使用K-means聚类分析，得到划分聚类图，如图6所示。

由此可看出，这两类方法得到的结果很接近，表明其结果恰当且可信。聚类分析表明: 聋生能够按照上/下、前/后、左/右等三大类比较清楚地分别归为一类，但是像好/坏、上/下等关系聋生似乎不能很好的分类，而将“坏”等个别手势与“接受”“远方”等前后关系划归为一类。对此有些学者认为， 由于人体生理学结构特性，手势者往往倾向于沿着横轴左右移动手势，而且三个方位也并不完全相互排斥,左、下、后常常联系在一起,而右、上、前常常联系在一起[17]。我们认为这是由于聋人在长期手势交流过程中，眼睛要时刻注视对方手势，并监控自己的手势，造成了左下后联系在一起的空间认知策略，在手

图6 对被试数据所做的划分聚类结果

势上也表现为对自身的关注也多于健听人。因此文献[18]认为不同的语言会导致包括空间隐喻认知在内的认知方式和策略的差异， 也影响了认知过程的

难易和结果。讲不同语言的人有不同的脑皮层表征和结构,语言对认知有重要的影响。如图7和图8表达句子“猫在床下跑”的两个例子。

图7 母语为汉语的手语打法(手势者为清华大学手语社学生，可代表手语初学者)

图8 母语为中国手语的手语打法(手势者为北京联合大学特殊教育学院聋生)

从这个例子可以看出聋人在空间概念组织上与健听人存在着差异，这些差异应该是由语言导致的。汉语常用“在”来表达上下关系，如“在头上”、“在山脚下”等汉语句子既可以表达物体的相对位置，也可以表达物体相对于观察者的位置。但手语并不存在“在”的关系，而是直接用手部表示中介，用中介表示参照物，有可能是以自身为参照，也可能是以物体为方位，强调了空间隐喻表达自身或物体方位的功能，因此聋人在进行空间隐喻的语义计算时还生成了空间认知主题“手势者自身参照系”。显然，健听人在利用空间隐喻词汇表征空间特征上，比聋人要深刻。根据美国加劳德特大学1996年发布的美国常模数据，聋人18岁的平均阅读水平只达到小学3.9年级。这验证了国内一些类似的研究结果: 听障生在高中毕业时他们的阅读水平比同龄的健听生阅读水平总体相差六到七年,只有3%的听障生达到健听生的平均水平。由于汉语语言能力的欠缺，汉语文化和概念体系的缺乏，聋人学习者不大可能像操汉语者那样能够对隐喻，特别是常规隐喻，进行自动、下意识地加工。另外聋人本身的中国手语母语知识和概念体系还要发生迁移作用。因此聋人学习者的隐喻理解不同于操汉语者，表现在没有发现视觉距离的空间认知主题，如外交、内务、附近、远方等空间隐喻没有划归到物体方位和状态的认知主题中。萨丕尔-沃尔夫假说认为文化通过语言影响思维，影响人们对于经验的分类，语言差异将会导致思维差异[19]。

与文献[10]相比，聋人在空间隐喻的概念结构和认知主题上与健听人类似，其空间隐喻的概念结构和认知主题都未出现“垂直/水平”维度；但在空间认知主题里，其空间饱和度和边界完全相同。因此在划分聚类时，聋人仍能正常地将空间隐喻划分成三大类下的六小类。聋人除了听力缺陷以外，其他感官和心智都与健听人一样，甚至大脑左半球的语言加工区域、长时记忆上与健听人没有本质区别，因此在空间隐喻的概念结构和认知主题上表现极为相似。我们认为，语言的相似性也影响双语者的不同语言之间的联系[20-22]。文献[23]以熟练手语-汉语双语者为被试，采用双语Stroop的研究范式，熟练手语-汉语双语者语言间的隐蔽语义联想启动效应，并比较了熟练手语-汉语双语者语言间与语言内的隐蔽联想启动效应。结果发现手语-汉语双语者的两种语言的词汇共享语义表征。

我们认为中国手语的空间隐喻与西方手语相比，还存在着一定特殊性: 1.中国手语植根于汉语大环境下，与汉语——象形文字一样都是自然物象在大脑中的隐喻产物；2.中国聋人所处的地理环境和由此而长期形成的文化传统较西方地理和文化都有一定的差异，这种差异必然导致隐喻加工时脑机制的特殊性；聋生之所以更强调空间隐喻所描绘的对象差异，我们认为与其听力缺陷有关，因为聋人生理上接受信息的听说器官受阻，如果从小得不到有效康复训练，语言发育迟滞，影响读写能力和思维能力的发展。导致了在对外界的认知上受到障碍，从而使得聋人更多地关注于自己。

4 总结与讨论

手语隐喻和汉语隐喻都属于单模态隐喻，不同的是手语模态是人类通过视觉通道与周围环境不断进行信息交换而产生的相应视觉模态，而口语是通过视觉或者听觉模态来交换信息。手语和口语这两种模态的感知与产出的不同体系可能导致束缚语言加工本质的差异。

通过以上实验看出，对于聋人大脑认知加工，其空间认知主题有手势者自身参照系、参照物的相对坐标系、手势空间的饱和度、以手部或者胸部为边界。其空间隐喻的语义空间有两个维度，即参照物或手势者本身的空间方位，空间隐喻本身的空间/状态。对于聋人被试，其特殊的地方还在于空间隐喻的概念结构未出现障碍与通道、视觉距离等认知主题。由此表明，聋人在长期使用手语交流的过程中，其大脑已形成了独特的空间隐喻认知主题和概念结构。特别是通过对空间的划分，其地形空间和语法空间相互作用，对空间隐喻的结构和表征产生了影响。这就是所谓的萨丕尔-沃尔夫假说，即不同的语言和文化影响人的空间认知表征。因此聋人大脑表现出高效快速的空间隐喻计算，这个可能与其不同于健听人的空间隐喻认知主题和概念结构有关。从另一方面证明了语言和文化影响了空间隐喻的计算，影响了空间隐喻的认知结果。

未来应进一步深入探讨地形空间和语法空间对空间隐喻的影响。例如，对于空间隐喻同一个概念，地形空间和语法空间如何表达？在何种情况下两者如何相互影响？另外通过对空间隐喻语义计算的研究，我们期待将来能进一步阐明空间隐喻语义计算的认知神经机制，以便得到更完整的空间隐喻表征模型，并借此实现对空间隐喻的识别和理解，以进行空间隐喻的计算和分析，最终达到计算机可自动识别和理解空间隐喻的目标。

[1] Nerlich B, Clarke D D. Mind, meaning and metaphor: the philosophy and psychology of metaphor in 19th-century Germany [J]. History of the human sciences, 2001, 14(2): 39-61.

[2] Friederici A D, Fiebach C J, Schlesewsky M, et al. Processing linguistic complexity and grammaticality in the left frontal cortex [J]. Cerebral Cortex, 2006, 16(12): 1709-1717.

[3] 周昌乐.作为认知手段的隐喻及其涉身性分析[J].心智与计算,2008,3:272-278.

[4] Kuperberg G, Holcomb P, Sitnikova T, et al. Distinct patterns of neural modulation during the processing of conceptual and syntactic anomalies [J]. Journal of Cognitive Neuroscience, 2003, 15(2): 272-293.

[5] 李莹,张学新,莫雷.汉语隐喻理解的认知加工过程与神经机制研究[C].第十二届全国心理学学术大会论文摘要集,2009.

[6] Neville H J, Bavelier D, Corina D, et al. Cerebral organization for language in deaf and hearing subjects: biological constraints and effects of experience [J]. Proceedings of the National Academy of Sciences, 1998, 95(3): 922-929.

[7] Huenerfauth M. Spatial representation of classifier predicates for machine translation into american sign language [C]//Proceedings of the Workshop on Representation and Processing of Sign Language, 4th Internationnal Conference on Language Ressources and Evaluation (LREC 2004). 2004: 24-31.

[8] Giora R. Understanding figurative and literal language: The graded salience hypothesis [J]. Cognitive linguistics, 1997, 8: 183-206.

[9] Kruskal J B. Nonmetric multidimensional scaling: a numerical method [J]. Psychometrika, 1964, 29(2): 115-129.

[10] Pollio H R, Fagan L B, Graves T R, et al. The semantics of space: experiential and linguistic aspects of selected English spatial terms [J]. Journal of Psycholinguistic Research, 2005, 34(2): 133-152.

[11] Tuan Y F. Space and place: The perspective of experience [M]. U of Minnesota Press, 1977.

[12] 张积家,谢书书,和秀梅.语言和文化对空间认知的影响——汉族和纳西族大学生空间词相似性分类的比较研究[J].心理学报,2008,40(7):774-787.

[13] Sutton-Spence R, Woll B. The linguistics of British Sign Language: an introduction [M]. Cambridge University Press, 1999.

[14] Emmorey K, Corina D, Bellugi U. Differential processing of topographic and referential functions of space[M]. K.Emmorey, J Reilly ed. Language, gesture and space. Hillsdale, JN: Erlbaum, 1995.

[15] 刘秀丹.空间性对于聋生手语句义理解的影响[J].特殊教育研究学刊,2008,33(2):71-83.

[16] Baus C, Gutiérrez-Sigut E, Quer J, et al. Lexical access in Catalan signed language (LSC) production [J]. Cognition, 2008, 108(3): 856-865.

[17] Sutton-Spence R. Spatial metaphor and expressions of identity in sign language poetry [J]. Metaphorik. de, 2010, 19: 1-40.

[18] 张积家,刘丽虹,谭力海.语言关联性假设的研究进展——新的证据与看法[J].语言科学,2005,4(3):42-56.

[19] Kay P, Kempton W. What is the Sapir-Whorf hypothesis? [J]. American Anthropologist, 1984, 86(1): 65-79.

[20] Mägiste E. Stroop tasks and dichotic translation: The development of interference patterns in bilinguals [J]. Journal of Experimental Psychology: Learning, Memory, and Cognition, 1984, 10(2): 304.

[21] Chen H C, Ho C. Development of Stroop interference in Chinese-English bilinguals [J]. Journal of Experimental Psychology: Learning, Memory, and Cognition, 1986, 12(3): 397.

[22] Keatley C W, Spinks J A, De Gelder B. Asymmetrical cross-language priming effects [J]. Memory & Cognition, 1994, 22(1): 70-84.

[23] 张积家,张广岩,陈穗清.熟练手语-汉语双语者的语言联系模式 [J].中国特殊教育,2013,5:006.

Semantic Computing of Spatial Metaphor Based on Deaf Persons’ Cognition Cases

YAO Dengfeng1,2,3, JIANG Minghu1,2, Abudoukelimu Abulizi1,2, HOU Renkui1,4，Halidanmu Abudukelimu5

(1. Lab of Computational Linguistics, School of Humanities, Tsinghua University, Beijing 100084, China;2. Center for Psychology and Cognitive Science, Tsinghua University, Beijing 100084, China;3. Beijing Key Lab of Information Service Engineering, Beijing Union University, Beijing 100101, China；4. School of Chinese Language and Literature, Ludong University, Yantai, Shandong 264025, China；5. State Key Laboratory of Intelligent Technology and Systems, Tsinghua National Laboratory for Information Science and Technology, Department of Computer Sci. and Tech., Tsinghua University, Beijing 100084，China)

The metaphor processing is a challenging issuein natural language processing. From the perspective of psycholinguistics, spatial metaphor is made to perform similar classification and computation. We use multidimensional scaling and clustering method, with the deaf as subjects for two experiments, and showe thatthe deaf use the topographic space and syntactic space for computational implementation of spatial metaphor comprehension. At the same time, influenced by sign language, the deaf’s cognitive subjects of spatial metaphor include signers’ own reference frame, references’ relative coordinates and the sign space saturation, within the boundary of the part of hand or chest. It is also revealed from the experiments that, due to the presence of two kinds of space, spatial metaphor understanding in the deaf brain is leveled, as suggested by the the Sapir Whorf hypothesis, with the structure and representation of spatial metaphor influenced by its interaction between topographic space and syntactic space.

spatial metaphor；semantic computing；deaf person

姚登峰(1979—),通信作者,博士研究生,讲师,主要研究领域为手语认知与计算。E-mail:yaodengfeng@gmail.com江铭虎(1962—),教授,主要研究领域为语言认知与计算。E-mail:jiang.mh@tsinghua.edu.cn阿布都克力木·阿布力孜(1983—),博士研究生,主要研究领域为语言认知、认知神经科学。E-mail:keram1106@163.com

1003-0077(2015)05-0039-10

2015-08-10 定稿日期： 2015-09-15

国家自然科学基金(61171114、61433015、91420202)；国家社会科学基金(14ZDB154、13&ZD187)； 教育部人文社会科学研究规划基金(14YJC740104)；北京高校青年英才计划项目(YETP1753)

TP391

A