用听觉丰富视觉艺术

李忠东

基斯·萨蒙是苏格兰一位享有盛名的画家，他从古老崎岖的蘇格兰高地得到启示，擅长用富有感情的抽象手法来表现巍峨的山峦和缥缈的天际线。不幸的是，糖尿病导致的视网膜病变，使萨蒙只剩一只眼睛有微弱的视力，这对他的打击可想而知。

然而在微软“不需要眼睛的美术”项目（Eyes-Free Art）的帮助下，这位被鉴定为盲人的画家再次燃起了创作激情。他凭借顽强的意志，近年来坚持由妻子安尼塔·格罗夫斯陪伴登山写生。虽然画中的写实风景有所减少，但是更突出了原野气息的抽象表达。凭借扎实的创作技巧，萨蒙逐渐克服了感官的不足。

“‘不需要眼睛的美术项目使我重新获得了未来，给了我在将来岁月里继续艺术生涯的希望。”他表示，“即使视力不断恶化，我仍然会坚持画下去。利用声音来创作，这是一个学习和适应的过程。”

通过三维立体声音

表现二维绘画

“不需要眼睛的美术”项目是一套创新的声音系统，由微软研究员尼尔·乔希、梅勒迪斯·林格尔·莫里斯和前实习生凯尔·雷克托创作，旨在帮助弱视力的观众欣赏绘画等视觉艺术。而且该系统还可以通过三维立体声音来表现二维绘画艺术，这使失去了大部分视觉的萨蒙受益非浅，让他的绘画艺术变得丰富多彩。科技人员曾用4台微软Kinect、15只装在高处的扬声器和54 段配音，从听觉和空间维度来表达萨蒙的3幅绘画作品。由此可见，它的意义在于，既能够为像萨蒙这样的盲人艺术家提供继续创作的途径，又可以给有视觉缺失的观众提供欣赏美术作品的机会。

由于萨蒙所画的内容都是美国俄勒冈州的地狱谷，所以这套声音系统又叫“俄勒冈项目”（The Oregon Project）。地狱谷是北美洲最高和最深的河谷，比大峡谷更高、更深。蛇河从黄石公园贯穿峡谷，形成爱达荷州和俄勒冈州的边界。

微软Kinect是一种最初用于电子游戏的3D体感摄影机，同时导入了即时动态捕捉、影像辨识、麦克风输入、语音辨识和社群互动等功能。传统游戏通常使用键盘、手柄和摇杆等控制器作为输入动作的工具，而微软Kinect则颠覆了人们对传统电子游戏操作的认知，全面兼容所有的Xbox 360主机型号，能够对使用者面部和身体姿态进行全方位立体式的识别，让使用者全身都充当游戏手柄。同时，摄像头还可以进行640X480分辨率和30FPS帧率的拍摄，而4个麦克风则支持单人语音识别。如今，使用者借助微软Kinect可以直接通过肢体和语言对游戏进行操控。

丰富的音效系统

“不需要眼睛的美术”项目在主题为“艺术与科技”的西雅图 9e2展览上首次展出时，曾引起广泛关注。根据计划，这套声音系统将于2017 年4月在苏格兰爱丁堡艺术学院的帐篷画廊展出。

走进西雅图 9e2展览的展厅，只见在萨蒙每幅绘画的面前都设置有18段声带的3D空间。而微软Kinect的摄像头则忙个不停，追踪参观者在该空间内的动作，并播放不同的声带，让作品更加丰富生动，交互性更强。

例如，当摄像头追踪到观众手臂的挥动时，会据此改变播放的音乐，从而使参观者成为艺术创作过程的一部分。饶有兴趣的成年人大多通过行走来创作不同的音乐合辑，而孩子们则欢快地一边挥舞双手一边跳来蹦去。

不管参观者是盲人还是普通人，靠近画面时都会听到与画中蓝色、绿色、棕色和赭色绘画颜料相呼应的数码配乐。如果再近一些，甚至能听到萨蒙在画室创作时颜料棒在画纸上擦涂的声音，模仿出视力正常者运用画笔勾勒作品细节的体验。而如果站在离画面稍微远一点的位罝，观众则会欣赏到鸟鸣、水流和风吹青草的声音，这些声音都是萨蒙和他的合作者在地狱谷实地录制的。

“从3D 空间的外围走向内围，自然声音与人造声音的过渡十分和谐自然。它把整个艺术元素串联在一起，有氛围感，有空间和山水景色，使人产生一种奇妙无比的感觉。”萨蒙展望道，“如果人们过几年去国家博物馆或美术馆时，这项技术可能已成为参观体验的一部分，那种感觉和体验肯定非同一般。”

创造更具包容性的

视觉艺术体验

很多博物馆都会安排为失明参观者提供解说以及戴着手套触摸雕塑的活动。然而微软研究人员并不满足于此，他们还想营造出一种私人订制的体验，而且这种体验是开放式的，任何人都可以参与其中。

在进行了多种尝试后，他们决定创造一个基于微软Kinect的空间音响系统，保证声音和视觉能够在这个系统中有同样的美感，显得一样重要。乔希不仅是该项目的开发者之一，还是一名在当地社区很活跃的画家和互动艺术家。他认为，视觉探索是一个基于距离远近的个人体验，当一个人离得更近时，就会看到更多的细节。

乔希和同事们开发的“不需要眼睛的美术”项目就是想要模仿这些现象，创造更具包容性的视觉艺术体验。2015年，当他们开发出最初的原型机时，便邀请弱视参观者前来测试——通过编程的音乐，生动地讲述和各种声音，向观众展现墨西哥女画家弗里达·卡罗、法国现代派画家亨利·马蒂斯和其他艺术家的作品。测试者极其满意地享受了参观的全过程，其中更有一名酷爱美术的女士激动地流下泪水。她表示，在自己失明之后便无法再去参观画展，没想到多年后又有机会重温美术梦。

担任某个盲人组织主席的雪莉·理查森则表示：“这套声音系统是一个充满活力和感性探索艺术的方式，它允许你用不同的视角欣赏艺术，而且不依赖于别人的讲解。尤其是它用地狱谷的自然声音再现画家在那里进行创作的场景，更令我激动不已。微软Kinect的人体追踪技术，还有让声音伴随着你在画中移动的感觉，给了参观者丰富的体验，唤起了心底的感情。”

尽管初试的成绩不错，但研发团队心里很清楚：声音还无法完全展现画作的魅力，他们还需要进一步丰富项目的内涵。

在与画家萨蒙合作的基础上，他们又与西雅图电影制作人和摄影师丹·桑顿、苏格兰音效师格雷厄姆·拜伦以及9e2展览主办人约翰·波蓝联手，用9天的时间在9e2展览上展示了这套声音系统，真正将艺术创作与微软技术进行了结合。

目前整个项目仍处于试验阶段，研发团队并没有打算将其商业化，也没有计划向大众开放。他们已经申请了“不需要眼睛的美术”项目的专利，并且打算继续深入研究，创造出更加容易使用、更具艺术效果的体验。

突破视觉的限制

目前对艺术作品全新体验的开发，还不止“不需要眼睛的美术”这一个项目。

亚摩斯·米勒是一名有视力障碍的微软研究员，目前正在研发一个名叫“未上锁城市”（Cities Unlocked）的项目。该项目旨在通过建造3D声景帮助弱视人群在城市中走动。他说：“该项目既允许人们享受个性化的体验，又可以进行社会化的体验。这种天生的包容性符合艺术家的设计思路，证明不论是正常人士还是失明参观者都可以创造令自己心满意足的体验。”

视觉艺术在传统意义上是为视觉体验而生的东西，然而类似于“不需要眼睛的美术”等项目却通过一系列的声音采集、编辑和3D 场景布置，突破了传统艺术的障碍，创造了一种兼收并蓄的混合媒体，让视觉障碍人士也能获得体验。当然，这种体验有别于纯视觉体验，因为尽管画面和3D声场出于同一幅绘画作品，但对于失明者和弱视患者而言，他们感受到的却是和我们完全不一样的艺术，“不需要眼睛的美术”赋予了同一幅绘画作品“第二生命”。虽然这套声音系统或许在短期内无法全面推广，但它代表了未来科技在艺术领域的探索方向。

微软研究人员的实践提醒我们，科技进步最大的意义也许不仅仅是给我们提供更多的娱乐选择，而是尽力改善每一个人的生活质量，特别是让那些身处社会边缘的弱势群体也能分享到科技进步带来的益处与快乐。