脑内电影意义生成的认知神经学阐释<br/>——《雀村往东》的启示

脑内电影意义生成的认知神经学阐释
——《雀村往东》的启示

2022-08-30吴明

文艺研究 2022年8期

关键词：大脑

吴明

认知神经科学的发展，日益显示出大脑是一个建构意义的复杂功能系统，但大脑如何将外界信息转化为可理解的意义，这一运作机制仍未被完全揭示。当下，人工智能（AI）开始介入电影剧本创作，其核心技术是模拟人脑认知的循环神经网络算法，目标是让人工智能创作出有意义的情节。大脑、人工智能、电影在“叙事”问题上交会一处，这也暗示着，电影的叙事机制与大脑的意义生成机制之间很可能存在重要的内在关联。因此，如果一部电影直接展现出叙事产生的过程，那么它或许可以为理解大脑的运作原理提供重要启示。杨福东2007年的多屏装置电影《雀村往东》就是这样一个独特案例，它通过展现叙事的生成过程，激发出电影与大脑的同构可能。接下来，笔者将阐明这部作品在叙事上的媒介独特性，为展开后续讨论提供基础。

我提出一个可操作性的建议：“首先，你们要招募店员，争取到更多人的支持，因为人多力量大，主意也多。其次，你们要给班级商店想一个响亮的名字，好听又有内涵的名字会得到更多人的认可。再次，你们要明确分工，因为这样才能人尽其事，提高效率。最后，依据《班级货币运行系统》制订班级商店的规章制度，明确班级商店如何运转。”

一、叙事：“影像”时代重启“电影”之名

杨福东是国际知名的中国影像艺术家，他的《竹林七贤》曾被美国艺术史学者、批评家凯利·格罗维耶（Kelly Grovier）列为“100件定义我们时代的艺术品”，并被誉为表现中国城市青年群体精神征候的“一则庄严的视觉寓言”。但正是为了扭转这部作品过分形式化的肤浅感，杨福东回到故乡，用一台数字摄影机创作了六屏装置电影《雀村往东》。这部作品以残酷现实的美学风格与伴随童年记忆的农村经验，使国际评论界普遍“失语”，至今很少见到对其的深入讨论。巫鸿曾困惑地问：“我想知道为什么大家不谈这部作品？是不是因为它的纪录片风格……和批评家自己的兴趣不挂钩？还是和当代艺术的整体潮流不挂钩？”但也有少数评论家认为它具有堪与“伯格曼、塔可夫斯基、斯特林堡、陀思妥耶夫斯基等人相比的庄严性”。这份赞誉虽有溢美之嫌，但颇值得玩味：这件陈列于美术馆里的装置，为何会被归入伯格曼和塔可夫斯基这样经典意义上的“电影”，而不是当代艺术语境中更常用的“影像”之列？在泛影像时代，“电影”这个携带19世纪古早气息的名称，究竟是昭告着《雀村往东》的退守传统，还是以观念的反刍对当代艺术潮流投以更前卫的质疑？出于各种困惑，巫鸿于2014年在芝加哥大学洛根艺术中心为这部作品做了一次单独策展，并将其命名为“杨福东：雀村往东”（），意在引起人们对这件作品的特别关注，这就是本文要讨论的“洛根版”。2015年，该作品在上海余德耀美术馆的《南辕北辙——杨福东作品展》上展出时，展厅变为狭长逼仄的扁平空间。洛根版中由空旷空间引发的陌生感和探索欲，变为前后夹击的屏幕逼视与心理焦虑；六块屏幕也重新排序，不再构成以对角线为界的人-狗双重世界。巫鸿确认这是有意为之的两种布展策略，希望观众能有不同的感受和解读。因此，讨论《雀村往东》需要强调版本，本文所讨论的均为洛根版。

这里首先说明一下为什么采用多轮清点来执行清点任务。对于无源标签来说，标签工作的能量需要由阅读器发送的电磁信号来提供，由于电磁场在空间的分布不是均匀的，因此有的地方信号强，有的地方信号弱，那么标签在信号弱的地方，就可能得不到足够的能量工作，这样该标签就无法被阅读器识别。在每一轮清点中，电磁场分布会因阅读器发送的电磁信号参数改变而改变，因此每一轮能够清点到的标签和不能清点到的标签都可能不同。采用多轮清点，可以增加覆盖范围内标签的识别率。

《雀村往东》是一件六屏装置，六块屏幕同时循环播放时长相等、内容不同的六段短片，时长为20分50秒。整件作品陈列在一间约五十平方米的展厅中（图1），左下角为入口，在门外便能听见里面传来野兽低吼声，残酷与畏惧感先声夺人。展厅是一个独立封闭的黑暗房间，强化了与影院的相似性；展览与作品同名，也使观众的观展预期被锁定在“这一件”作品上。每个走进房间的人，都像买票进入影院，只为一件作品而来，再无他处可去。即使是那些看看就走的人们，也更像看到无趣电影提前退场的“观众”，而与大型展览中总是急于奔往下一个展厅的“参观者”不同。进入展厅后，观众自然站在房间对角线上，将展厅分为左右两个三角形区域。左半边的三块屏幕均以野狗为主角，依次标为“狗1”“狗2”“狗3”（图2）；右半边的三块屏幕以人为主角，依次标为“人1”“人2”“人3”（图3）。六块屏幕上均为黑白影像，无配乐，无对白，只有环境声和极少量的轻微人声。观众无法同时观看六块屏幕，必须进行取舍，所以视觉上是断裂跳跃的，但六块屏幕发出的连续声音又使整个空间保持了一体性。观众在最初的盲目跨屏观看后，通常会进入两种观看方式：第一种是在各屏幕间穿插观看一会儿，无意深究，随即离开；第二种是对某块屏幕的内容产生兴趣，舍弃其他，专心观看。这两种方式都是局部观看，并不着意于收揽全部信息，而只做选择性的“断章取义”。这种随机拼合的影像片段很难构成完整叙事，会使观者以为这部作品只是用影像营造了某种空间氛围。但如果逐屏观看，即每次锁定一块屏幕完整观看，用约125分钟的时间依次看完六块屏幕的全部内容，就会发现这件作品中隐藏的主角和潜在的叙事。

图1 洛根中心展厅示意图

图2 屏幕从左至右为：狗1、狗2、狗3

图3 屏幕从左至右为：人1、人2、人3

一般而言，“影像”比“电影”的概念更开放，它更强调视像在技术手段和物质载体上的媒介属性，而不强调叙事、表演等情节化表意功能。因此，当代艺术界更多采用“影像”而非“电影”概念。策展人李振华在定位杨福东的作品时遭遇了命名的两难，他认为：“如果将杨福东的作品称为电影，显然是经典化概念作祟，或是一种乡愁，或是对那个逝去时代的缅怀。如果将他的作品都归结为影像（image or moving image），对此模糊不清的、泛化的指涉会影响对他的工作细节，以及作品机理的判断和理解。”杨福东本人从创作之初便有意识地强调自己作为“电影”创作者的身份。从处女作《陌生天堂》开始，他就自称“导演”，写完“剧本”后去“找投资”，组建“剧组”，虽然只有“导演、演员、摄影”三人，但做的事情是“拍电影”，预期的展示空间是“电影院”，希望自己能“推动电影的改革”。初期，他“执拗地选择使用胶片来创作，（认为）只有这样的过程，才是真正的在创作‘电影’，这与20世纪90年代盛行的简单粗糙的、颗粒美学的录像艺术拉开距离，无论是表达媒介还是影像质感”。即便《雀村往东》使用的是数字摄影机，且具有影像装置的多屏形态，但杨福东依然会使用“演员”“主角”“表演”“机位”“景别”“类型片”“伪纪录片”等典型的电影概念来谈论这部作品。在被问到为何不把《离信之雾》归为当时更流行的“电影装置”概念时，他只是说“我坚持它还是一部电影”。2018年的《明日早朝》为“美术馆新电影计划”的首部作品，杨福东直接将“片场”安置在上海龙美术馆展厅内，让电影的创作过程本身也成为作品的一部分。2020年他策展的青年实验影像计划“未来未来”，把美术馆里的影像作品安排到电影院的大银幕上放映。李振华经过再三考虑，还是选择以“杨福东：电影”这样的表述概括杨福东的作品属性与创作理念。当代影评人兼艺术评论家马克·纳什（Mark Nash）更是将《雀村往东》纳入中国第六代导演“拒绝社会主义现实主义叙事方式”的体系，而非作为“美术馆电影”去讨论。

逐屏观看所得的六块屏幕的信息大致如下。人1与人2是叙事性最强的两块屏幕，人1讲述了一个村民从重病到葬礼的过程，包括友邻探望、家人焦虑、追思缅怀等情节，其中吹唢呐送葬的段落是整件作品中最高亢悲怆的声音元素，会吸引大部分观众的目光。人2具有前后呼应的结构感，表现了一只小狗被农夫收留，以及农夫家中的日常状况。其他各屏叙事性较弱，多以场景展现为主：狗1和人3是荒野与田野的大远景镜头，表现小狗的流浪历程或村民的日常劳作；狗2是群狗混战与砖窑起火的片段；狗3表现群狗啃噬动物残骸，以长时间的低机位固定镜头为主，是整件作品中最残酷的景象。逐屏观看后会发现，有一只瘸腿小狗是唯一出现在所有屏幕中的视觉元素，可被视为影片的“主角”。杨福东说这部影片“像是一个关于这只小狗的儿童片”，印证了它的主角身份。“儿童片”这一类型片概念，也明确了杨福东对这部作品的“电影”身份定位。

精装市场带来的增量与套系售卖机会：奥维云网研究数据显示，2017年我国精装修市场规模为127.4万套，同比增长9.9%。在精装修的各项部品中，建材、坐便器、五金件、水槽、橱柜、烟机、灶具等品类的配套类均在94%以上，而热水器、新风、空调的配套率也在25-30%之间。精装的发展正在逐渐颠覆家装公司、建材渠道、家电零售卖场、电商渠道、专卖店的渠道模式。同时精装公司解决了家电账期付款的问题，而且正在开始慢慢和大品牌合作，未来市场前景更加可观。

在“泛影像”时代重启“电影”之名，未必是退守与怀旧，反而是希望通过重置作品的美学谱系，重新思考“叙事”之于艺术的重要意义。2017年徐冰创作的《蜻蜓之眼》也是一次重返叙事的当代艺术实验。徐冰从创作之初就明确这是一部“电影”，且是一部“剧情片”；该片在多伦多国际电影节和洛迦诺国际电影节获奖，也强化了其作为电影的定位。这部作品被界定为“影史上首部没有摄影师和演员的剧情长片”，所有素材均来自通过公开渠道获得的监控视频，这意味着原始素材之间本不存在任何逻辑关系。它的挑战就在于观者能否“从看似无序的图像中找到完整叙事”，这也是徐冰团队在创作初期最担心的一点，但后来他们发现可以通过声音来弥补图像辨识上的欠缺。但是，《蜻蜓之眼》并未解决用随机影像构建叙事的难题，而是回避了难题。它依赖大量画外音，直接将情节信息植入影像，而非依靠视像本身的“蒙太奇”组合来构成表意逻辑。而早于其十年的《雀村往东》不依赖任何对白、旁白，让观众在现场自行剪辑，创建多元的个性化叙事版本。多屏载体不仅没有拆毁叙事，反而埋藏了各种类型与多线叙事的实操可能，避免了大量实验影像在“开放叙事”和“叙事无能”之间的失衡。

《雀村往东》通过对剪辑原理的现场还原，成为一部“元剪辑”电影。无论是胶片时代的物理剪辑，还是数字时代的非线性剪辑，“剪辑”的本质始终是通过对原始素材的时空顺序重组，形成一条新的影像时序链。可以说，剪辑过程始终是非线性的，而结果始终是线性的。但两种剪辑的操作差异巨大，《雀村往东》的“元剪辑性”更接近非线性剪辑软件的操作特质。在胶片时代，画面与声音素材需要首先被转录到同一个声画合成的胶片上，然后再开始剪辑。剪辑师对胶片进行真实物理意义上的“剪”与“接”，一旦发生错误，修改极其繁琐，甚至要退回原始素材返工。在非线性剪辑软件中，画面与声音素材以数字文件的形式被灵活处理，画面与画面、画面与声音，均可形成重叠、并置、反复等关系。剪辑师寻找素材也不受限于时间先后，可对任何一段素材随意复制、编辑、删除，各种特效也可同时处理。剪辑软件上的多轨道并置界面，就是对“非线性”最直观的呈现。《雀村往东》的观众面对六块屏幕，就像剪辑师面对大量原始素材，跨屏观看就像自由选取素材的过程。如同在非线性剪辑软件中那样，观众在大脑中重新组合素材之间的顺序，建立叙事逻辑，编织意义之网，最终在脑海中生成一部电影。《雀村往东》在脑内进行剪辑、创造意义，这使它与大脑的意义创生机制具有同构可能。在深入讨论电影与大脑的内在关联之前，有必要先阐明大脑产生认知的基本特征，并对两个相关的跨学科理论进行逻辑辨析，澄清它们的理论预设和逻辑缺口。

二、逻辑清理：电影与神经学交叉的理论准备

电影的意义至少产生于两个层面：一个是由主创团队创造的意义，包括从构思到成片的整个制作过程，它包含了一部电影在抵达观众视听器官之前的全部信息；另一个是由观众的认知神经系统创造的意义，它是观众在接收银幕信息后自行产生的个性化理解。银幕信息只能让一部电影“显现”，真正让人们看到并理解电影的，是他们的认知神经系统。每个人的大脑为电影赋予了“为我”的意义，使银幕上的“一部”电影在不同头脑中演绎出不同版本。

大脑认知具有自反馈与非互动的特性。以视觉系统为例，人眼通过视网膜—外侧膝状体—大脑皮层三个主要环节产生视觉认知。视网膜接收光信息，外侧膝状体负责将信息整合归类并传递给大脑皮层，大脑皮层负责产生认知、建构意义。外部的光信号一旦被视网膜接收，神经节细胞立即进行光电转换——把光信号转化为电信号，以动作电位的方式发放出去，整个神经系统以电信号进行传输。可以说，“感受体构成了外在世界与内在世界的边界，视网膜对应/匹配的是内在组织，而不是外在世界”。“内在组织”就是指神经系统的生物组织和认知生成机制，观影时的“外在世界”就是放映系统输入视网膜的银幕信息。从控制论的角度看，主体性源于大脑是一个“自创生系统”，其特点是“回路不再具有连接系统与环境的作用，信息不会跨越区隔系统与环境的界线。……我们只能看见系统组织允许我们看到的。环境仅仅只是‘触发’一些变化，而这些变化是由系统自身的结构属性决定的”。这意味着，视觉神经系统是一个自反馈回路，它与具有相同特征的听觉神经系统形成更复杂的交互神经网络，但交互只发生在神经组织内部，不会反作用于外部世界。简言之，大脑是一个通过交叉网络传输信号的内部自反馈系统，它不会直接与外部世界发生互动，而只会发出指令让躯体做出运动。人类以身脑一体的生命系统与世界发生互动，若讨论仅聚焦于大脑，反而应该强调“非互动性”。这正是《雀村往东》比游戏、VR等交互媒介更接近大脑机制的原因。

那么，由剪辑创建叙事的过程又如何与大脑构成元指涉关系？人工智能编剧软件为我们提供了一个有启发的参照系。因为它是基于循环神经网络（recurrent neural network，简称RNN）和长短期记忆神经网络（long short-term memory，简称LSTM）算法来创造叙事，所以，考察RNN和LSTM的基本原理，有助于间接观察大脑与电影在生成叙事/意义上的异同。LSTM是一种特殊的循环神经网络，亦即一种特殊的RNN。这两种算法的示意图清晰呈现出它们的共性与区别（图10）。根据RNN的基本原理，信息输入一层神经网络后，该神经网络不仅向下一个神经网络进行输出，同时在权重矩阵的作用下，再将这一输出重新输入给自己，这就使得该神经网络在下一个时间点不仅接收到外界传入的新信息，而且还仿佛“记得”之前的信息，并使两种信息共同参与后续的认知判断。例如，前一刻神经网络接收到“小狗闲逛”的信息，下一刻接收到“群狗打架”，综合两者后，RNN可能会初步预判“小狗要被欺负”，但当继续接收到“群狗啃噬尸骸”后，RNN可能会调整判断为“小狗加入了狗群”。但RNN只能记住最近的信息，容易遗忘更早输入的信息，这导致它不擅于处理长序列数据。针对这一弱点，LSTM加入了“记忆单元”（memory cell），模拟大脑兼用长短期记忆处理信息的特征，通过加入各种门（gate）结构，对信息进行筛选。其中最有特色的是遗忘门（forget gate），它通过运算激活函数，对上一单元传递来的信息进行取舍判断，将不重要的信息过滤掉，决定是否要与新信息一起向下传递或部分传递。

不同于泽基的科学实验路径，帕特里夏·品斯特（Patricia Pisters）从哲学层面建构了“神经-影像”概念，用以命名一种“属于21世纪全球屏幕文化的新的电影类型”。在其代表作《神经-影像：数字屏幕文化的德勒兹式电影哲学》中，“神经”与“影像”主要以三种方式进行结合。第一，选择与精神分裂题材有关的电影，把它们与德勒兹和瓜塔里提出的资本主义“精神分裂分析症”联系起来，讨论电影如何成为这种社会文化征候的艺术表征，并延伸至政治和伦理维度。第二，结合电影场景中出现的各种屏幕形态和融合型数字媒体实践，探讨无处不在的电子屏幕如何形成既开放又被高度控制的社会现实。第三，基于德勒兹“大脑即屏幕”的类比，将电影和神经系统作同一化处理，使用一系列神经科学术语重新描述与精神分裂有关的电影类型元素，不断强化电影与神经系统的同构关系。品斯特为电影研究引入神经科学视角，证明了“影像不能再被看成是客观现实的再现（representation），而应被看成能在大脑内部制造某些效应的内在力量，也就是说，影像在被观众接受和处理时，创造了新的脑回路”。

但品斯特的逻辑基础和部分结论也值得商榷。第一，“神经-影像”这一哲学概念，本应建立在神经和影像二者作为“意义创生机制”的内在同构性上，但在品斯特的论述中，电影往往只是作为“情节信息”介入神经-影像的建构。例如人物被设定为患有多重人格、妄想症等精神疾病，或人物所处的环境充斥着各类电子屏幕，但这些围绕人物和剧情的基本设定并不能体现电影的媒介机制特性，它完全可以被替换为相同的文学描述或新闻报道。品斯特虽然列举了大量电影作品，但它们的意义只是提供相关话题，作为“表意机制”的电影恰恰是缺席的。第二，由“大脑即屏幕”引申的讨论，缺乏对这一隐喻本身合理性的反思。屏幕被等同于电影，于是“大脑-屏幕”变成“大脑-电影”，再通过强调德勒兹所说的“大脑是内外连续双向运动的边界（boundary），即两者之间的膜（membrane）”，建构起“大脑-屏幕-电影-膜”的四位一体隐喻链。由此，屏幕的“平面”（lay out a plane）属性也被转移给电影，这忽视了电影恰恰是以“空间化”的表意机制超越屏幕表面的二维性。而德勒兹所言的“内外连续双向运动”也不符合大脑自反馈系统的“非互动性”特征。毕竟观众在看电影时，屏幕信息会改变他们头脑中的想法，但大脑中的想法却不会反向改变银幕信息，而只能改变观众对信息的解读。虽然“大脑皮层”听上去像一层“膜”，但整个大脑的外表形态是显而易见的“类球体”，所以常被认知科学家喻为“黑箱”。欧洲“蓝脑计划”（Blue Brain Project）利用“代数拓扑”模型提出，人脑以高维空间的复杂形态运转。他们发现，“大脑在处理信息时，可产生多达11个维度的神经结构。这里的‘维度’是指抽象的数学空间（mathematical spaces），而非其他物理领域”。这意味着，无论作为实体的生物器官，还是抽象的内在运作机制，大脑都是一种“空间化”的存在。

本文以CGDPA为基准,采用定量指标评价IMERG终级产品的精度,包括相关系数ICC、均方根误差IRMSE和相对偏差IRB,计算方法如下:

可以说，电影和大脑正是在“空间”而非“平面”的意义上，才可能达成机制性同构。对这一点的忽视，导致品斯特在运用“神经-影像”概念阐释具体电影作品时判断失准。例如，在分析《搏击俱乐部》片头（图4）时，她认为这段模拟大脑神经网络的特效影像是表现脑内电影“元空间”（metaplace）的绝佳案例，因为它“让观众不再通过人物的眼睛观看，而是真正进入他们的大脑内部”。但她在前文刚刚强调过艺术作为“平面”的价值，而这段片头呈现的显然不是一片膜状大脑。它的制作方式是，先由医学绘图师以“房间”为设计理念，绘制出“大脑穿梭地图”（brain ride map）（图5），制定“从杏仁体到穿出前额的通道”，再由视效团队沿这一路线模拟出摄影机的运动轨迹。跟随快速运动的推拉镜头，大脑内部被塑造成一个遍布线缆又仿如太空般的广袤空间。但虚拟摄影机实际行使的功能，只是传统的纪录式拍摄和纵深场面调度。换言之，这段片头只是利用常规的图像隐喻，像展现房间那样把神经网络图景模拟出来。品斯特只能在象征（emblematic）意义上建立神经与影像的关联，却无法实现她所说的“元空间”指涉，因为后者需要把影像重塑为基于脑神经运作模式的空间化产物。

图4 《搏击俱乐部》片头

图5 《搏击俱乐部》 “大脑穿梭地图”

产生这些问题的根源在于，品斯特选取并分析这段影像，主要服务于哲学概念建构，却忽视了电影创作的基本规律。正如影片的视效总监凯文·马克（Kevin Mack）指出的，这段片头并非孤立存在，而是与整部影片不断纵深推拉的镜头调度风格保持一致。无论是“人物的主观视角、居所内的镜头、在炸弹上飞行的镜头、冲出窗子潜入小货车的镜头，都运用同一技巧”，并与“IBM星球、微软银河系、星巴克星球”的主角独白，共同创造出“垃圾宇宙”的意象。它们既巩固了片头大脑的空间结构意象，也奠定了整部电影用内外视点交替的方式实现“人格分裂”这一文学主题的视觉转译手法，这才是电影化表意机制的媒介特性所在。事实上，只要电影依旧在二维屏幕上播放，“进入大脑”就只能是一种修辞隐喻，品斯特试图在神经与影像之间搭建的“元”指涉就难以实现。

综合泽基与品斯特的理论探索会发现，在脑机接口技术尚未成熟之前，若要间接建立艺术与脑神经系统的机制性同构，那么与大脑特性对应的理想媒介，就应同时具备以下特点：动态表意、创作接受一体化、空间网状、自反馈且不互动。游戏与VR因强调互动性，反而不是最合适的选项；而传统单银幕电影又无法在外部形态上呈现空间网状特征。由此，《雀村往东》独特的个案价值便显现出来：它以多屏环绕的实体三维空间打破单一屏幕的二维约束；观众以创作者的身份进行现场剪辑，在脑内实现电影意义的非线性网状生成过程；精巧隐藏的主角，确保了现场剪辑最终能建立起有意义的叙事；整个过程发生在观众大脑内部，符合自反馈系统的不互动特征。因此，《雀村往东》是更有利于展开电影（艺术）与脑神经这一交叉学科研究的媒介形式的代表。观众进入展厅，就如同进入一个“脑式空间”，以自己的生物大脑驱动“展厅大脑”，这种“以脑为脑”的嵌套式元结构，使观众得以通过自身的大脑运作，反观“大脑如何运作”本身。需要说明的是，在脑机接口技术成熟以前，任何艺术介入大脑的研究都不是直接实证的，而只能是某种理论假设或阐释。《雀村往东》提供的也只是一种理论构想：以“元剪辑”为连结点，通过追踪现场建构叙事的过程，推测大脑生成意义的原理。

三、元剪辑：脑内意义生成与循环神经网络叙事

观众在现场进行脑内剪辑的过程，既是拼接各种影像素材建立电影叙事的过程，也是大脑接收信息、创建意义的过程。实现这两个过程的基础是跨屏观看，亦即注意力转移。“注意”是认知神经学中的经典范畴，通常分为两类：有意注意和反射性注意。有意注意是一种来自内源刺激的主动关注，大脑“自上而下”受“目标驱动的影响”；反射性注意是一种来自外源刺激的被动关注，大脑“自下而上”受“刺激驱动的影响”。在观看《雀村往东》时，有意注意就是观众根据兴趣，主动在不同屏幕上搜寻信息；反射性注意就是观众受到某些视听信息的刺激或吸引而调转目光，例如当屏幕人1响起高亢的唢呐声时，大部分观众会丢下正在观看的屏幕，转向人1。但这两种注意力只涉及大脑如何接收信息，一旦要处理信息并建构意义，大脑就会启动选择机制对信息进行区分。

电影信息涉及视觉和听觉两个感知系统，因此跨屏观看不仅是视觉注意力转移，而且是视听注意力交叉影响的结果。广义的电影剪辑除了剪画面，也包含剪声音，还要顾及声画之间的匹配对位，这样才能构成一个镜头的完整意义。在《雀村往东》中，要创建一个单镜头意义，需要眼睛每次盯住一块屏幕形成画面信息，但六块屏幕的声音连续不断，六个声源并无明显的强弱区分，浑融在同一空间中，形成一个均质的物理声场。这犹如电影声音剪辑（sound editing）提供了所有声音素材，创建出一个完整的声音环境。但是，这里的“均质”仅在物理声学意义上存在，当观众仔细观看这块屏幕上的内容时，该屏幕的声源就会从声场中脱离出来，成为超越其他五个声源的主声源，其他声音则在感觉上沉降为次要的背景声。这个主次区分并非音量的物理改变，而是大脑的主观调控，这就是认知心理学中的“鸡尾酒效应”。它是指在喧闹嘈杂的鸡尾酒会上，人们能自动屏蔽周围的无关声音，听清自己感兴趣的对话。电影混音（sound mixing）正是依据这一原理，调配各轨音频的电平比例，混合出有空间层次感的声景（soundscape）。例如，当主人公处在吵闹环境中，观众本应无法听清人物对话，混音师会优先保证对白音量，将其置于声场前景，使之区别于周围的环境声，模拟生活中的鸡尾酒效应。科波拉的《对话》（）开头就是对这个手法的元媒介反思，它从窃听者的主观听点出发，让闹市中的主人公对话像普通电影中那样清晰可闻，但又以录音设备的白噪音不断提醒观众，这种清晰度并非物理现象，而是来自窃听者的耳机。这段片头用主观听点和混音原理的元结构，形成叙事与媒介上的双重鸡尾酒效应，揭示出电影声音模拟的不是物理现实而是主观感受。《雀村往东》更进一步，让电影叙事学中“主观视（听）点”中的“主观性”，无须再通过视点镜头的正反打间接暗示观众与人物重叠，而是让观众取代人物，在展厅内直接产生鸡尾酒效应，亲自完成对一个镜头的脑内混音。于是，鸡尾酒效应与混音的直接等效性，便有力揭示出大脑与电影的机制化同构。

通过跨屏观看选取素材，再经过心理混音，形成声画匹配的单镜头表意，可以初步建立起电影的最小叙事单元。但要剪出一部剧情片，还要围绕主角构建一系列情节，形成具有一定结构的故事，这便是瘸腿小狗作为主角的重要意义。围绕瘸腿小狗的跨屏观看不再是信息的随机组合，而是对角色性格特征和命运走向的叙事建构。六块屏幕上的内容如同六个机位采集的影像素材，观众可根据不同的类型倾向，提炼情节逻辑，有目的地跨屏取材，创造个人的“导演剪辑版”。在此过程中，观众至少要执行两种剪辑功能：排列类型元素、组合镜头语言。于是，我们会发现，杨福东提供的六屏素材绝非随意，而是隐藏着精巧甚至缜密的构思创意。例如，以屏幕人2上的小狗被农夫收留为情节主线，就可与其他屏幕中的旷野流浪、搏斗、抢食、毙命等情景，组合出多种类型叙事。这可能是一只小狗在野外经历各种磨难，中途险些丧命于某户人家，最终被农夫收留的温馨故事；也可能是一只曾被农夫收养的小狗，一心想去野外流浪冒险，最后曝尸荒野的悲惨故事；或是一只小狗曾被主人抛弃，被野狗排挤，虽被好心农夫短暂收留，但终不忘报仇雪恨，直至在砖窑烈火中与群狗同归于尽的壮烈故事。类似的情节组合可以不断发散衍生，形成对一只小狗性格与命运的多重塑造。

同时，杨福东提供的素材还具有专业的镜头意识。对于相同场景或人物，既考虑到群像与个人的比例分配，也提供了全景、近景、特写等不同景别与角度，为实施更精准的剪辑预留了可能性。例如，在屏幕人1中，对人与狗给出大致相同的景别、方向、躺卧姿态（图6、7），可由观众完成库布里克式的匹配剪辑（match cut）转场，或以爱森斯坦式的蒙太奇创造人与狗的隐喻关联。在屏幕人2的开头和结尾，分别给出瘸腿小狗与牛对峙的纵深向镜头，以及它与羊群相遇的水平向镜头（图8、9），为塑造首尾呼应的闭合式结构提供了必要的轴线变化。组织丰富的戏剧冲突、搭建完整的叙事结构、遵循专业的视听语言，这些最基本的剪辑功能在表面随机的多屏装置形态下，让观众体验到从信息的无序与无意义中，建立起秩序与意义的魅力。