基于口述影像多模态语料库的“V+到+X”构式

王浩威, 刘 洋

(湖北工业大学外国语学院，湖北 武汉 430068)

作为视听翻译(Audiovisual Translation)的一种重要形式，口述影像(Audio Description，AD)使用生动形象的语言为视障人士描述其无法感受的视觉影像信息，帮助其跨越视觉障碍，理解视觉影像信息传递的内容，无障碍电影是其中的一种形式。口述影像含有多模态信息如视觉信息、听觉信息、文字符号信息等。多模态语料库(multimodal corpus)集成了语料的音频、视频和文字等多种信息，可被用来加工、检索、统计和分析语料的多模态特征。“V+到+X”构式因其丰富的表义功能，是现代汉语中相对常见的一种构式[1]，本研究通过多层标注和数据统计方法，分析了“V+到+X”构式的表征特征、“V”的语义特征和“X”的类型，并结合认知语言学理论进行了分析。

1 研究设计

1.1 语料来源

《冰雪奇缘》汉语口述影像版由上海电影评论学会制作出版。蜻蜓FM平台播放该解说音频，播放量为10.7万次。

1.2 预处理

为了研究该视听材料的多模态特征，本研究将该影片的口述影像音频Wma格式和原影片Mpeg格式合并音轨，转换成Mpeg格式版的口述影像。

1.3 语料元数据(Meta-data)的创建与导入

转换完成后，导入《冰雪奇缘》汉语口述影像制作的年代、主题、语种、开发单位、字数以及其他元信息。元数据采用XML标签直接对语料添加元数据的方法，例如采用来标注该口述影像的原文作者为上海电影评论学会。

1.4 研究工具

本文使用ELAN(Eudico Linguistic Annotator)多媒体转写、标注软件建设《冰雪奇缘》汉语口述影像多模态语料库，主要步骤为：

1)初步建层。根据研究需要，先建立转写层；

2)语料转写。语料转写指对口述影像的文字信息进行转写，不包含其中的语调(tone)、音高(pitch)、重音(stress)等信息，语料库界面见图1。

图1 ELAN多模态语料库界面

3)建库。该口述影像多模态语料库总时长为1200 s，4340字符。

4)语料分析。以“到”为搜索词，手工排除不符合 “V+到+X”构式的表达，如“受到惊吓的马”中的“受+到+马”不符合“V+到+X”的构式特点。“国王和王后遇到了强烈的风暴”中的“遇到风暴”虽然符合“V+到+X”的表征，但是“遇到”现在已经成为一个词[2]，所以不在统计范围之内。

5)二次建层。根据研究需要，在原来转写层的基础上增加“V+到+X”构式层、“V”层、“X”层3个文本层和表情层、身势移动方向层2个非言语行为模态信息层，总共建立6层信息。

6)语料统计。根据研究需要，使用ELAN软件的提取和统计分析功能进行词频和词语共现信息统计，获得口述影像“V+到+X”构式的定量和定性数据。

7)质量监控。在分析当中，采用两人一组，合作互助的方法处理歧义。如果分析结果不一致，由第三位分析者进行仲裁并确定最终结果。

2 研究发现

2.1 “V+到+X”构式特征

根据图2，可以看出“V+到+X(受事)”构式的基本组成为“(N施事)+V+到+X(受事)”。“V+到+X”根据句法语义类型分为“V+到+X(受事)”和“V+到+X(处所)”两种基本类型，分别表达“获得义”和“位移义”。两类构式的分布相当，“V+到+X(处所)”略高于“V+到+X(受事)”，基本信息见表1。

表1 “V+到+X”构式类型和分布

“V+到+X(受事)”构式中“V”是施事通过“V”获得受事“X”，这就使得“V”有[+取得]的含义，“V”的意义种类丰富，既包括行为动词如“找”“看” “听”等也包括表达“感受”“察觉”等心理思维活动的词如“想”[3]。作为界标，“到”表示主语通过特定的动作行为引出其作用的对象。在结构的划分上，“V”与“到”构成动补结构[3]整个动补结构作为一个整体再接后面的“X(受事)”。“X”表示“V”达到的目的或得到的结果，通常为表示人或事物的名词“N”或短语“NP”，分为体词性和谓词性两种。

“V+到+X(处所)”构式中“V”表示至某个地方，“到”的功能是引出动作或行为“V”抵达的目的地，“X”表示动作或行为V抵达的空间域的终点，这类构式可以表达空间认知方向系统和位置系统(图2)。与“V+到+X(受事)”构式不同，在这类结构划分层次的时候，“到”与后面表示“X(处所)”的成分应该被划分在一起，使之成为一个有机整体，再与前面的“V”构成动补关系[3]。

图2 ELAN标注表格

2.2 “V+到+X(受事)”构式

根据“V”的语义，本语料库中“V”主要分为“动作行为类”和“心理感受类”[4]。不自主动词“看”的比率最高(62.5%)，其次为“听”(12.5%)。“心理感受类”动词如“想”(6.25%)远远小于“动作行为类”动词(93.75%)。“动作行为类”动词和“心理感受类”动词施事主动性较强，体现为一种主动获取信息所形成的认知过程[5]，在执行动作的过程中，“V” 的语义可由视觉、听觉等感官的体验投射进听者的精神世界[5]。

表2 “V+到+X(受事)”构式中“V”的分布

为了观察“V”出现的时候口述影像呈现的多模态特征，本研究对“V+到+X(受事)”构式中“V”出现时施事的表情模态进行了考察(图3)。根据统计，施事的表情分为“惊讶”(37.5%)、“快乐”(25%)、“惊恐”(18.75%)、“零表情”(6.25%)、“惊慌”(6.25%)和“悲伤”(6.25%)6种。通过观察，在表达“看+到+X”的时候，施事的“惊讶”表情出现的次数最高(5次)，动作“看”与表情“惊讶”具有高度的共现交互性，见表3。

图3 “V”与表情模态交互情况

表3 “看”与“惊讶”共现情景

这类“V+到+X(受事)”构式中，“X”主要为体词性(87.5%)，谓词性只有2例(雪宝看到安娜倒在地上；安娜看到汉斯王子举起宝剑刺向瘫坐在地上的艾莎)。“X”作为受事，有受事是人和受事是事物两类。

1)受事是人

例1 艾莎看到他，后悔道。

例2 安娜看到了不远处的克斯托夫。

例3 汉斯王子也在冰雪中看到了艾莎。

在这类“V+到+X(受事)”构式中，V的受事均为人(“他”“克斯托夫”“艾莎”)。例1-例3中的“看”单独使用时，仅表示“视线触及”这一动作，与“到”结合后，就表示“看”这一动作成功实现并有了结果，即施事“看”到了受事，而去掉“到”后，与“看”有无结果没有关系[3]。

2)受事是事物

例4 安娜灵机一动，想到了一个好主意。

例5 艾莎听到这句，睁开了眼睛。

例6 国王和王后在书架上找到一本古老的书。

在这类“V+到+X(受事)”构式中，“V”的受事均为具体的事物，如“主意”(例4)、“眼睛”(例5)、“书”(例6)等。与“受事是人”类型一样，这类中的“V”如果去掉，仅表示“想”“听”“找”等动作本身，无法知晓它们是否成功达到了预想的结果。如果加上“到”，这种预想的结果也就是“X(受事)”得以成功实现。

2.3 “V+到+X(处所)”构式

这类构式基本形式为“N施事+V+到+X(处所)”。“V”的语义特征为[±自主][-抽象][+位移][±方向性]。表移动的“V”可以是自移动词，如“来”“跑”“走”等，也可以是他移动词，如“装”“转”等。这些位移动词和人们的日常生活紧密相关，它们描述了我们赖以生存的环境中的各种事物或现象在形态和位置上的空间属性关系，涉及人们对于空间的感知以及使用语言编码对空间信息进行分析、处理和重新认识，包括对形状、方位、距离和物体内部空间组成关系的认知。这种认知框架是一种认知心理上的“填空”。比如人们听到“跑”，头脑中会构建相应的关于“跑”的认知心理模型和认知心理域，如“跑”的动作发出者是谁，“跑”的路径是什么样的，这种“获取”“处理”“贮存”“传递”和“解释”信息的过程构成了关于“跑”的认知心理框架。

“到”后多接表处所或方位的名词N或短语NP，它们是“V”的位移终点，可分为具体处所和抽象处所两类，但在本语料库中“处所”主要为具体处所，如“雪橇上”“大厅中”“门前”“小河边”等。“到”具有[+位移][±方向性][±有位移起点][+有位移终点]等语义特征，在移动路径的方向上没有特别的限制，具有泛向性[3]。结合图2身势移动方向多模态标注结果，可以发现“X”既有水平方向的移动(如“姐妹两人欢快地跑下楼，来到大厅中”；“安娜再次来到艾莎房前”)，这种类型占47.4%，也有垂直方向上的移动(如“工人们把这些冰块分割成小块，装到雪橇上”；“雪橇落到了万丈深渊”)，这种类型占42.1%，第三种是既有水平方向也有垂直方向移动的(如“安娜蹦蹦跳跳来到她的床边”)，这种占整体的10.5%。“到”的移动方向取决于两个因素，一是“V”本身所隐含的方向性特征[3]，如“落”“滑”等动词具有明显的由上到下的垂直移动性，二是“到”后面所接的表处所的结构中所隐含的方向性[3]，如“雪橇上”。

表4 “V+到+X(处所)”构式中“V”的分布

这类构式中，“X”通常是表示处所的空间方位结构词和短语，即身体周围的三维位置图示(前/后)，边界图示(口/旁边)，它们展示在空间关系构式当中常见的实体和参照物类别，可以确定两种实体如何进行意义的确定和凸显。在本语料库中，“V+到+X(处所)”构式中“X”主要分为三维位置词如(如门前、城门前、姐姐背后等)和三维边界词(如壁炉边、小河边、门口、入口处、大厅中等)。结合多模态语料库进行考察，如“安娜走到艾莎冰雪城堡的门口”和“他们来到城门前”这两句虽然表示的都是在“门的前面”这样一个概念，但“门口”相较“门前”的空间距离更近，通过这样的语言描述出来的画面可以为口述影像使用者的空间语义表达模式的心理认知过程和意义结构提供论证。空间语言引导空间认知[6]，基于这些表达，口述影像使用者在使用语言编码相关空间特征时更准确，其空间认知表现也会提高，从而弥补其在距离和知觉上发展的滞后[7]。但是，本语料库中其他描述空间距离图示[8](如表达高/低/远/近等关系)和空间状态图示[8](如表达俯视/仰视/空/满//浅/深等关系)的用词较少。

3 结论

人类从一出生开始，就通过各种联系方法体验其周围的环境。受事和空间连接作为物质的重要存在形式，是人类赖以生存的环境，是人类认识事物的重要方面之一。人类如果要适应环境，人际沟通能力和空间方位认知能力是必要的前提。通常来说，“V+到+X”与人、物、地点等信息高度相关，涉及多种语义角色，具有语义上的相邻性、相关性、互补性和依赖性[9]，以这个构式为参照点，来给信息定位，可以建立心理所及的认知框架和认知域，这样相关的受事和空间位置概念容易被提取。口述影像可以据此建立与视障者的心理和认知联系。“V+到+X(受事)”构式和“V+到+X(处所)”构式作为认知上具有显著性的构式，其句法语义的互动研究有助于我们更好地认识口述影像文本的句法结构的认知形成机制。在口述影像文本开发的时候要注意合理选用这种构式，用构式语言功能弥补口述影像使用者视觉经验的缺乏，从而帮助他们发展受事以及空间概念，增强其认识受事和空间的心理途径，使口述影像使用者作为认知主体建立相关的认知主题背景和语言环境，使其具备受事和空间编码和推理的认知基础[8]，从而对受事和空间进行正确的解码和认知。本文对于视听翻译多模态研究、开发口述影像版本具有参考意义。