Hearing Is Believing: Sounds Alter Our Visual Perception耳听为实：声音改变我们的视觉感知

Perceptiongenerallyfeelseffortless.Ifyouhearabirdchirping1andlookoutthewindow，ithardlyfeelslikeyourbrainhasdoneanythingatallwhenyourecognizethatchirpingcritter2onyourwindowsillasabird.

一般来说，感知似乎无需费力。当你随着一声鸟语啁啾向窗外看去，你会认出窗沿那唧唧喳喳的小动物是一只鸟。整个过程几乎感觉不到大脑做了什么。

Infact，researchinPsychologicalSciencesuggeststhatthesekindsofaudiocuescannotonlyhelpustorecognizeobjectsmorequicklybutcanevenalterourvisualperception.Thatis，pairbirdsongwithabirdandweseeabird—butreplacethatbirdsongwithasquirrel’schatter3，andwe’renotquitesosurewhatwe’relookingat.

一项刊于《心理科学》的研究表明，这类声音信号不光能让人们更快地辨别出物体，甚至还能改变人们的视觉感知。也就是说，把鸟鸣与鸟相匹配，我们才会看到鸟——但若将鸟鸣换成松鼠吱吱的叫声，我们就会拿不准自己所见的到底是什么。

“Yourbrainspendsasignificantamountofenergytoprocessthesensoryinformationintheworldandtogiveyouthatfeelingofafullandseamlessperception，”saidleadauthorJamalR.Williams（UniversityofCalifornia，SanDiego）inaninterview.“Onewaythatitdoesthisisbymakinginferencesaboutwhatsortsofinformationshouldbeexpected.”

来自加利福尼亚大学圣地亚哥分校的贾迈勒·R.威廉斯是该篇论文的主要作者。“大脑耗费大量精力来处理世上的感官信息，让人们获得完整而连贯的知觉体验。”他在一次采访中提到：“其中一种处理方式就是推测应该期待何种信息。”

Althoughthese“informedguesses”canhelpustoprocessinformationmorequickly，theycanalsoleadusastraywhenwhatwe’rehearingdoesn’tmatchupwithwhatweexpecttosee，saidWilliams，whoconductedthisresearchwithYuriA.Markov，NataliaA.Tiurina（ÉcolePolytechniqueFédéraledeLausanne），andViolaS.Störmer（UniversityofCalifornia，SanDiegoandDartmouthCollege）.

威廉斯说，虽然这种“有根据的猜想”能够帮我们加快信息处理，但如果听到的声音与期待的画面有出入，也可能对我们进行误导。他与尤里·A.马尔科夫、纳塔利娅·A.秋里娜（洛桑联邦理工学院）和维奥拉·S.斯托默（加利福尼亚大学圣地亚哥分校及达特茅斯学院）共同完成了这项研究。

“Evenwhenpeopleareconfidentintheirperception，soundsreliablyalteredthemawayfromthetruevisualfeaturesthatwereshown，”Williamssaid.

“就算人们对自己的知觉怀抱信心，声音依旧会使我们妥妥地偏离真实呈现的视觉特征。”威廉斯说道。

Intheirfirstexperiment，Williamsandcolleaguespresented40participantswithfiguresthatdepictedtwoobjectsatvariousstagesofmorphing4intooneanother，suchasabirdturningintoaplane.Duringthisvisualdiscriminationphase，theresearchersalsoplayedoneoftwotypesofsounds：arelatedsound（inthebird/planeexample，abirdsongorthebuzzofaplane）oranunrelatedsoundlikethatofahammerhittinganail.

在第一项实验中，威廉斯和同事们向40名受试者展示了一系列图像，描绘了两个物体相互转化变形的不同阶段，比如一只鸟变成一架飞机。在这一视觉辨别阶段，研究人员还播放了两种声音中的一种：有关联的声音（在鸟和飞机的例子里，是鸟鸣或飞机嗡嗡作响的声音），或者无关联的声音，如锤子敲钉的声音。

Participantswerethenaskedtorecallwhichstageoftheobjectmorphtheyhadbeenshown.Toshowwhattheyrecalled，theyusedaslidingscalethat，intheaboveexample，madetheobjectappearmorebirdormoreplane-like.Participantswerefoundtomaketheirobject-morphselectionmorequicklywhentheyheardrelated（versusunrelated）soundsandtoshifttheirobject-morphselectiontomorecloselymatchtherelatedsoundsthattheyheard.

之后，受试者需要回忆自己所看到的物体正处于变形的哪一阶段。为了呈现回忆结果，在上例中，他们在滑动量表上选择物体更像鸟还是更像飞机。研究发现，与无关联的声音相比，当听到关联声音时，受试者能够更快选定变形物体，且往往选择与听到的关联声音一致的那种。

“Whensoundsarerelatedtopertinent5visualfeatures，thosevisualfeaturesareprioritizedandprocessedmorequicklycomparedtowhensoundsareunrelatedtothevisualfeatures.So，ifyouheardthesoundofabirdsong，anythingbird-likeisgivenprioritizedaccesstovisualperception，”Williamsexplained.“Wefoundthatthisprioritizationisnotpurelyfacilitatoryandthatyourperceptionofthevisualobjectisactuallymorebird-likethanifyouhadheardthesoundofanairplaneflyingoverhead.”

“与无关联声音相比，如果声音与视觉特征相关，这些特征就会被优先考虑并且得到更快的处理。因此，如果听到鸟鸣声，任何与鸟类相似的物体都会优先进入你的视觉感知。”威廉斯解释道，“我们发现，这种优先并非纯粹的易化作用，而且，听到鸟鸣声与听到飞机飞过的嗡嗡声相比，实际上让人对视觉对象的感知更倾向于鸟。”

Intheirsecondexperiment，Williamsandcolleaguesexploredwhetherthiseffectwasspecifictothevisual-discriminationphaseofperceptualprocessingor，alternatively，ifsoundsmightinsteadshapevisualperceptionbyinfluencingourdecision-makingprocesses.Todoso，theresearcherspresented105participantswiththesametask，butthistimetheyplayedthesoundseitherwhiletheobjectmorphwasonscreenorwhileparticipantsweremakingtheirobject-morphselectionaftertheoriginalimagehaddisappeared.

在第二项实验中，威廉斯与同事们探究了这种效应在整个知觉处理过程中，是否单单存在于视觉辨别阶段，还是说，声音或许是借由影响决策过程来塑造视觉感知的。为此，研究人员向105名受试者发布了与之前相同的任务，但这次他们放出声音时，要么屏幕上还在显示变形物体，要么受试者在原始图像消失后正完成选择任务。

Asinthefirstexperiment，audioinputwasfoundtoinfluenceparticipants’speedandaccuracywhenthesoundswereplayedwhiletheywereviewingtheobjectmorph，butithadnoeffectwhenthesoundswereplayedwhiletheyreportedwhichobjectmorphtheyhadseen.

与第一项实验一样，研究发现，在受试者观看物体变形时播放声音，音频输入会影响受试者决策的速度和准确性。但在受试者报告自己眼中的物体形状时，播放声音则没有影响。

Finally，inathirdexperimentwith40participants，Williamsandcolleaguesplayedthesoundsbeforetheobjectmorphswereshown.Thegoalherewastotestwhetheraudioinputmayinfluencevisualperceptionbypriming6peopletopaymoreattentiontocertainobjects.Thiswasalsofoundtohavenoeffectonparticipants’object-morphselections.

最后，威廉斯和同事们对40名受试者进行了第三项实验。他们在展示物体变形图像之前播放了声音。这项实验的目的是测试音频输入是否会使人们预先关注某些物体，从而影响视觉感知。结果发现，这对受试者的物体变形选择也没有影响。

Takentogether，thesefindingssuggestthatsoundsaltervisualperceptiononlywhenaudioandvisualinputoccuratthesametime，theresearchersconcluded.

综上所述，研究人员得出结论：只有当听觉和视觉输入同时出现时，声音才会改变视觉感知。

“Thisprocessofrecognizingobjectsintheworldfeelseffortlessandfast，butinrealityit’saverycomputationallyintensiveprocess，”Williamssaid.“Toalleviatesomeofthisburden，yourbrainisgoingtoevaluateinformationfromothersenses.”

“辨别世上的物体看似毫不费力，速度也很快，但实际上，这个过程需要大量的计算。”威廉斯说，“为了减轻一些负担，你的大脑会对其他感官提供的信息进行评估。”

（译者单位：湖北三峡职业技术学院）

1chirping鸟叫；虫鸣。"2critter生物；动物。"3chatter唧唧叫；吱吱叫。

4morph图像变形。

5pertinent相关的；相宜的。

6prime事先指点；使（某人）做好准备。