自闭症儿童话语多模态个案研究*

何旭良 汪 竞 杨 峰

语言的发生与发展、人与人之间的交际、人与外界的交流都需要多模态感官系统的参与，意义的构建、传递和理解本质上是由大脑的多模态协同机制支撑的[1]。大脑中的杏仁核具有多模态工作特性，对视觉、听觉、触觉、味觉或嗅觉等感官模态发出反应[2]。说话人会话时，大脑多个区域及其信息处理系统协同工作，或补偿或支持或沟通，对交流过程中的信息进行多模态处理[3]。从符号学出发，意义借声音、文字、图像、颜色、动作等不同方式来表达[4]。自闭症儿童的语言在语音、词汇、句法、篇章、语义及语用等方面表现出异质性。国内自闭症的研究主要集中在医学、康复治疗及教育方面，依据医学量表描述其语言和使用量表评估其语言[5]。运用多模态的研究方法，可以发现自闭症儿童语言、非语言的特征及其关系，找到其“症结”，采用科学的康复手段。

1 理论框架及研究基础

系统功能语言学理论是多模态话语分析的理论模式的基础，张德禄[6]在Lim[7]的综合性多符号模式框架的基础上，提出了由文化、语境、内容和表达四个层面组成的多模态话语分析综合理论框架。文化层面，包括文化的主要存在形式的意识形态和话语模式的选择潜势的体裁。语境由话语范围、话语基调和话语方式组成。意义和形式层面构成内容层面。话语意义由概念意义、人际意义和谋篇意义三部分组成。形式层面是意义实现的不同形式系统，包括语言的词汇语法系统，视觉性、听觉性和触觉性的表意形体和各自模态的语法系统及其语法关系。多模态话语形式之间的关系有互补和非互补两大类。媒体层面是话语最终在物质世界表现的物质形式，有语言的(纯语言和伴语言)和非语言的(身体性和非身体性)方面。身体性包括面部表情、手势、身势和动作等；非身体性指的是交际过程中所使用的工具，如演示工具、实验室、网络平台、音响、同声传译室等。

在一定的文化语境中，受意识形态的支配和体裁系统的制约，讲述人要根据具体的情景语境和交际目的选择所表达的意义，以合适的模态及其体裁结构体现出来。所选择的意义可以由视觉模态和听觉模态体现。在系统选择中，关键因素是利用好不同模态之间的关系，使不同的模态相互配合，从而构建动态多模态话语的整体意义，因为不同的模态体现的意义属于同一个交际事件，需要整合为一体才具有交际意义。模态之间的关系往往随着时间的变化而变化，呈现出与交际事件进程密切相关的不同关系。动态多模态话语分析需要探讨这种动态性的图文以及话语与动画的关系。

故事是一般认知能力、社会认知及语言能力的综合表现，反映特定文化中重要问题与解决方式，儿童从听说故事中学习认识世界。故事结构包括背景、启动事件、内在反映、内在计划、尝试、直接后果及反应[8]。儿童的叙事能力在儿童发展、言语-语言病理领域已成为重要论题,已经成为评估正常儿童和语障儿童沟通能力的一种有效方法，也是自闭症儿童语言训练的有效手段[9]。讲述任务要求儿童将词和句子连接起来，组成篇章，涉及各类语言知识，能够反映出他们各个语言范畴的特点及语言整体面貌。伴随语言交际活动的非语言行为，如面部表情、音量、手势、体态、距离、时空观念等，构成其非语言的模态，可能对言语进行强调、补充、修正，甚至替代或否定。在时间上，两者具有协同性，反映交际的认知[10]。非语言模态可以帮助理解自闭症儿童真正的语意及思维，他们的手势、体态、面部表情等对语言发展及康复治疗有重要作用。通过阅读无字书，讲述故事，梁丹丹[11]发现弱智儿童叙事情感韵律在音高范围和元音时长上存在损伤,情感韵律与词汇、句法发展不同步；指称引入发展明显滞后。

现有自闭症儿童接受性非语言沟通能力的研究多是考察早期自闭症儿童在理解实现共同注意或在交际中提出请求时，如何使用眼神、手势等沟通形式的能力，涉及更为丰富的体态理解的研究还基本没有[12]。以伸手动作为例，自闭症儿童和正常儿童手势可能相同，但手势的本质和意义完全不同[13]。自闭症儿童叙事中所呈现的这些言语特点对他们在线沟通有怎样的影响？存在哪些非语言行为伴随其受损的言语？这些非语言行为和言语有怎样的关系？这些问题值得研究。本文采用多模态的研究方法，试图回答这些问题。

本文依据张德禄的“多模态话语分析综合”框架，对一名正常儿童和两名自闭症儿童叙事语言做多模态分析，分析其语言特征及不同模态的形式特征及它们之间的关系，从而提出语言训练的方法。

2 研究方法

参加讲述故事的被试有三位小朋友。小N，男，5岁，幼儿园大班，正常发展小孩。小M和小H，皆为男性，5岁，幼儿园大班；他俩2岁时，在南京脑科医院确诊为中度自闭和高功能自闭，一直在机构进行康复训练。三名孩子的家长都了解试验的目的和意图，同意孩子们参加试验，试验所在项目得到了第一作者单位的学术研究伦理委员会的批准。

试验在第一作者所在单位和南通星辰儿童康复中心成立的“特殊儿童语言发展研究中心”安静的小教室进行，由特教教师作为主试，如遇注意力不集中，由主试引导。被试看其他研究者经常使用的无字书Frog，whereareyou?(《青蛙，你在哪里？》)[14]，讲述故事，无字书共29幅图片，描述小男孩同小狗找青蛙的过程。陪同实验的家长用智能手机对讲述活动进行拍照并录音。研究人员运用ELAN软件对图片和叙事活动进行标注。

3 被试儿童语言多模态分析

3.1 正常儿童语言多模态特征

正常儿童小N知晓话语的体裁，根据图片讲述故事。能理解故事发生的语境：青蛙不见了，要求找到它。除个别地方外，如烂树干，小N能够理解图片中所涉及的概念意义，清楚图片所涉及元素之间的关系，明白自己是在向家长讲述图中的故事。各个句子之间连贯得很好，使用时间短语“到了早上”、“然后”、“结果”、“最后”，基本上能够连句成篇。为了帮助听众明白意义，两处使用了元语言“有一个树枝。我也不知道是什么”、“然后小主人对狗做了个手语，是嘘的手语”。

在图觉和感觉方面，小N能够看懂图片，明白图片的意义。讲述过程中使用了一些心理词汇，如“小主人、乱找、乱跑、回答、恋爱”等，他理解故事中元素的关系，并进行价值判断。

表达层面上看，讲述故事一共367个字，41个小句。连词、代词及语气词分别出现13次、10次、2次。问句两个，其他皆为陈述句。元语言出现两次，担心听众听不懂进行解释。

小N在讲述故事过程中，手指图片并凝视图片，情感丰富，笑8次，语调上扬11次。

3.2 高功能自闭症儿童语言多模态特征

从语境层面看，高功能自闭症儿童小H一张一张地叙述图片中的前景化的内容，直至结尾也没有点明主题，不明白图片可以串成一个完整的故事。他受到主试的激励：讲完故事，有小五角星作为奖赏，能够完成故事。

话语意义上，小H在讲述中，误解了“靴子、蜂窝、飞、树干”的概念意义，把靴子误解成了帽子，把蜂窝误解成了篓子，认为梅花鹿生活在树上，能飞，把粗树干看成了水，认为水能“抱”。人际意义方面，小H不清楚是讲述故事，故事中的元素于他似乎没有关系，故事没有前因后果，很难表达人物高层次的内心目标、较少提及人物内在反应、省略故事结尾、故事内容较不完整、有些不相干的内容、不能全面述说故事中重要元素，理解故事人物情绪、说明事理的能力较差。所以，叙述的故事，句子之间没有衔接，基本上不能连图成篇，故事的结构不完整，没有点明故事的主题，篇章意义的构建存在困难。

在图觉和感觉方面，小H除了一些错误的概念外，基本上能够看懂图片，明白图片的意思，但不能连图成故事。讲述过程中也使用了一些心理词汇，如“慌了神、好多、看到、发现”等，小H尚不能完全理解故事中元素的关系，未见价值判断。

表达层面上，全文共311字，45个小句。代词“这”或“这里” 6次，“他们”1次；连词“然后”1次；语气词 “呀、啦、啊”各1次。全文都是陈述句。发音不清楚的词语或词(画线部分)：瓶里、水瓶、小朋友、发现、看到、他们、抱水、溪水、篓子。我们发现不清楚的音节集中在后鼻音ing、eng及舌面音x及双元音上au、ou上面。出现自纠一次“在梅花鹿，从，小朋友掉下去了”；出现不相关的话语一次“梅花鹿，刚刚在文峰公园，动物园看过的”。

小H在讲述过程中，自己能用手指指着图片，看图；注意力较集中，主试引导的次数5次；2次抬头看主试，与主试有眼神交流；说到小孩掉水里笑1次，使用语气词时语调上扬3次。

3.3 中等程度自闭症儿童语言多模态特征

中等程度自闭症儿童小M不知道任务是讲述故事，不清楚故事中要素之间的关系，所选择的图片能反映故事的粗线条。所述故事，只有短语或很短的小句，不能连句成篇，语言处在词汇阶段，但能够重复家长的语句。

讲述中，小M忽略了大量细节性的信息，只提到小孩、青蛙、鞋子、树林、水等图片元素；述说故事时，往往只关注于“关键词”而不能连图成故事，不能把握故事中呈现的整体信息，更不能试图揣摩故事人物的心理状况，了解故事顺序以及因果关系等。

叙述中只有16个短语或短句，共99个字。发音模糊，声音低，听起来很费劲。

非语言方面，小M极容易走神，需要主试握小孩的手指点图片，自己不能独立讲故事。讲到故事末尾说“再见”，有微笑，但不是“交流”的感情流露。据家长说，是因为故事讲完了，因不需要再讲故事而高兴的状态。

3.4 正常儿童同自闭症儿童语言多模态的差异

语言方面，对录音进行转写，分析语音、词汇、句子、篇章、语用等层面的特征。非语言方面标注被试的面部表情及其肢体动作。正常儿童小N、高功能自闭症儿童小H及中等自闭症儿童小M所述故事语言特点的对比见表1。

表1正常儿童小N和自闭症儿童培训前后语言特点对比

字数句数连词代词语气词问句心理词汇概念错误发音错误小N36741131022510小H311451730449小M991600000--

笔者进行了系列的卡方检验，显著水平P为0.05，两两比较时，调整P值为0.012 5。正常儿童和自闭症儿童字数[χ2(2)=154.3,P<0.05]及句数方面[χ2(2)=14.5,P<0.05]有显著差异。高功能自闭症儿童和正常儿童的字数没有显著差别[χ2(1)=4.6,P>0.012 5]，中度自闭症儿童的字数显著不及正常儿童[χ2(1)=154.1,P<0.012 5]和高功能自闭症儿童[χ2(1)=109.6,P<0.012 5]。高功能自闭症儿童和正常儿童的句子数没有显著差别[χ2(1)=0.2,P>0.012 5]，中度自闭症儿童的句子数显著少于正常儿童[χ2(1)=11.0,P<0.012 5]和高功能自闭症儿童[χ2(1)=13.8,P<0.012 5]。正常儿童使用的连词显著多于高功能自闭症儿童[χ2(1)=10.3,P<0.05]。正常儿童使用的代词[χ2(1)=0.53,P>0.05]、语气词[χ2(1)=0.2,P>0.05]、心理词汇[χ2(1)=0.1,P>0.05]及概念错误[χ2(1)=1.8,P>0.05]的次数同高功能自闭症儿童无显著差异。中度自闭症儿童的叙事中没有代词、连词、语气词、心理词汇，很多概念没有表达出来，发音模糊，错误多。自闭症儿童叙事中没有问句。从总的趋势看高功能自闭症儿童语言状况要比中度自闭症儿童好得多。

非语言方面也是如此，讲述过程中度自闭症儿童无法集中注意力，无法独自完成故事的述说，和主试之间的眼神交流次数少。

4 语训措施

4.1 中等程度自闭症儿童语言训练措施

对于中等程度自闭症儿童小M，在语言方面，应当控制其多动症，引导其概念能力的发展，注意细节，从词发展到句子的水平。小M专注力较短，宜与家长或者言语治疗师一起看较短、较少文字的故事书。另外，治疗师或家长可根据孩子的狭隘兴趣，引导孩子拓宽自身的兴趣范围﹔图片故事必须要与其他的元素有完美的搭配才能够有效提升小M的语言康复效果，如孩子最初只阅读有关“青蛙”的图片，治疗师或家长便可基于“青蛙”，再引入其他元素，包括“绿色青蛙、青蛙呱呱叫、青蛙跳跳”；同时，多运用“填充句”、“描述句”、“控制句”、“指示句”、“肯定句”等基本句式，例如，当看到青蛙在水里游来游去做游戏时，它们会感到“____”。通过这种多元解读内容的表达方式来吸引他的学习兴趣，激发语言学习潜能。

在非语言方面，治疗师的创意亦能吸引孩子的兴趣，例如，利用实物配合故事内容，或在讲述故事时穿插声音效果。这样，一个故事重复多次却从不死板，并且可让孩子感到耳目一新。看故事过程中可让小M多参与，治疗师或者家长轻捉小孩食指，指着有关插图，帮助他联系听到的和看到的，提升他对内容的专注和理解。因此，所选故事书和讲故事的手法也专门为自己的孩子而设了。

4.2 高功能自闭症儿童语言训练措施

高功能自闭症儿童小H随着年龄的增长，其概念功能可能得到增强；发音方面，有目的训练卷舌音、舌面音、后鼻音及双元音；培养连图成篇、总结中心思想的能力(中心聚合能力)；培养移情能力，增加心理词汇的使用；培养根据情景，使用不同韵律的能力。为了让他能够掌握言语治疗师的指示，言语治疗师给予的指示要清晰明了，多利用正面的指示，如“请你”、“你要”、“你可以”等，言语治疗师尽量避免用否定句式提出要求，如“停止”、“你不可以”、“你不得不”等。

采用“自然情景训练法”进行功能性学习。根据语境，把不同的学习范畴内容编成有意义的、生活化的活动，尽可能在实际环境中进行学习，把图片中学习的内容类化到自然情境中，引导他在自然情境中学习，传统的沟通训练多是在隔离的结构化情境中进行语言训练，虽然在此情此景训练中患儿可能表现良好，但往往应用到真实情境中却有类化的困难或实际运用的问题。“自然情境训练法”因此成为小H语言沟通成功的要素，借以提高理解能力，把学到的知识应用在日常生活中，利用“情景解读图片故事”让高功能自闭症儿童明白如何保持话题及其重要性。

非语言方面，根据小H的特征表现，在图画中增加他喜欢的人物角色或感兴趣的内容，允许他选择自己感兴趣的内容作为主题同言语治疗师讨论，在讨论的过程中言语治疗师采用启发式训练策略来引导他的思维模式，可以制作“分享内容提示卡”把图片中主人公的喜、怒、哀、乐等情绪表达以图片的形式展示给受训对象。同时，运用关键词提示，把图片故事中的规则、技巧及内隐含义等抽象内容，转化为让高功能自闭症儿童容易记住的提示语句。言语治疗师运用关键提示，有效地向他们说明图片故事中的期望及要求，或是做出有效的提醒，利用眼、手、耳、口及心等不同的感官来关注图片中的情节。把图片故事内容拆分成小步骤，再因不同步骤为他们设计合适的学习活动，待完成单一图片描述后，再发出另一项要求。

最后，建立有效的奖励制度，根据受训对象的特性，善用奖赏来强化高功能自闭症儿童的良好行为。自闭症儿童多有独特的喜好，不同的患儿对奖赏的反应亦可能有别。因此，言语治疗师或家长平日应留意患儿的情况，记录患儿喜欢和厌恶的事物，包括食物、玩具、物件、活动和人物等，给予患儿合适有效的增强物(奖赏)。

5 结语

本研究是定性研究，对不同程度的自闭症儿童的语言及非语言做了有益的初步探索性的研究。今后笔者将会扩大样本量，进行定量研究，证明相关假设，形成理论。虽是个案研究，但也反映了自闭症儿童叙事语言及非语言的典型性特征；更主要的是：针对这些典型性的特征，笔者将采用所提出的康复措施，进行纵向跟踪研究，探讨其效果。