游戏声音交互设计——第十七届录音大师班综述

刘晓飞，王 鑫

（中国传媒大学 音乐与录音艺术学院，北京 100024）

随着中国居民消费结构升级，中国的游戏行业正在突飞猛进地发展，尤其是2020年疫情爆发后，在线文化娱乐消费强势崛起，游戏在文化娱乐行业中占据了举足轻重的地位。游戏声音的设计与制作是游戏制作中不可或缺的重要组成部分，也成为了声音行业近年的热点与焦点。游戏制作公司吸引了大量的新晋从业人员，而大量的从业者仍然缺乏正规与系统的学习和培训，整个行业从基本理念到制作技能均处于比较初级的学习与上升阶段。而面对游戏声音设计与制作的新议题，如何适应新需求，调整新视角，掌握新工具，培养新人才，是行业面临的新挑战。

由此，第十七届录音大师班聚焦“游戏声音交互设计”，邀请了国内该领域的六位资深专家，就游戏声音内容创作、游戏音频的设计与制作、游戏音频技术的未来发展等主题进行演讲。下面综述演讲的主要内容，希望读者能从中了解游戏声音创意、设计、制作的最新趋势。

1 音容声貌的虚实之间——游戏声音内容创作浅掠

声音设计师、野地录音师杨杰先生的《音容声貌的虚与实——游戏声音内容创作浅掠》宣讲内容分为：内容资源为设计与功能服务、材质运动的艺术——动作与拟音、无特效不游戏——特效声音、Creatures——想象力与技术的合奏，以及田野的枪声——枪支录音与后期。

杨杰先生首先指出，游戏声音设计和录音的思维方式不同。游戏声音的内容资源是为设计与功能服务的，一个游戏声音设计师的工作主要包括设计制作内容资源、设计确定功能及实现方式、制定时间表与计划、交互数据整合、测试与混音等。在内容资源为设计与功能服务部分，杨杰从游戏声音的基本机制、设计与研发基本流程、基本工具链和数据格式四个方面进行介绍。

图1 杨杰先生

在材质运动的艺术——动作与拟音部分，杨杰先生阐述了游戏与影视拟音的不同之处。以脚步声为例，角色性别、体重、年龄、着装、鞋型、表面材质、步态等，是游戏与影视拟音活动中均需要考虑的要素。在游戏中，脚步的每次落地都会触发一个事件。对于叙事、情绪和镜头，则是游戏中因玩家而异的交互体验，这部分是不可控的，因此无法通过解决镜头问题来呼应玩家心理。步态决定动作，而动作需要相对明确的标识性，通过玩家的多次重复后即可记住该声音所指代的对象，但为了避免听觉疲劳，声音设计师需要从大量样本的录制、多重声音分层次叠加，进而平衡重复、不重复之间的微妙关系。同时，镜头和声源的3D实时计算使得听觉流畅性、角色或玩家的相对关系变得更加重要。在进行录制之前要进行预设计。为了考虑容量的问题，有的材质也会重复使用。通过鞋型、材质类型与步态的3D矩阵结构的动作声音设计，完成游戏声音设计中脚步拟音从量变转化为质变。拟音的后期制作中需要具备极度的耐心与细心，除处理样本时进行头部、尾部留空及保留气口长度外，也要注意解决响度问题和命名问题。杨杰先生建议制定拟音清单与计划，每一类录音样本音量做记录，所有的补录都用记录的样本音量做参考，并完全依据这套数据进行参数管理，以确保不同时期录制的不同样本素材声音其频响保持一致。杨杰先生强调，交互是游戏的重点所在，游戏动作拟音还要考虑角色对象、动作及材质的听感特征是否明确、内存容量与游戏体量是否匹配、角色对象的个性特征是否鲜明。

在特效声音的介绍中，杨杰先生指出国内游戏历史、传统文化与仙侠文化以及用户习惯“需求”等原因，使得数据结构要为表现力服务。例如一个跃起的动作包括起势、起跳、空翻、下坠和落地5个动作阶段，连续流畅的听感需要多个样本来予以解决。作为游戏声音设计师，要通过听觉可信度、丰富节奏、丰富层次、扩充单一对象的创作空间，来完成虚实结合的目标；通过挖掘所有的可能性，将其变成可以听到的内容，同时也要关注时间和成本的投入。

杨杰先生用大量的实例对游戏中的怪物声音和枪支录音及后期编辑进行了阐述。在对怪物声音进行设计说明时，他提到：怪物的设计目标为听觉的可信度、肢体行为与声音的匹配、声音与交互体验的匹配、确定资源量产方案与成本，以及确定技术实现管线。听觉是否可信取决于游戏声音设计师的生活能力和观察能力。关注生物学特征、确定限制条件，例如美术和角色定位、动手尝试所有可能性以避免空想，使用合成器、拟音与人声录音是实现其设计目标的重要手段。对于枪支录音以及后期编辑，杨杰先生认为，前期计划与准备至关重要。根据枪声交互的特点来选择枪型，使得频响尽可能统一，明确表现出不同强度的杀伤力，强调枪声的节奏以获得机械的美感和节奏感。重建可交互的声音，选择合适的传声器和摆放位置，录音完毕后进行数据清理、标注说明、噪声清理、剪辑、混音测试，同时注重玩家的学习成本和样本饱和度，进行量产。

2 游戏音频的设计与创意

音效专家陈柏翰先生讲座《游戏音频的设计与创意》分为序章（设计及创意的动机）、游戏专案的音频设计、一颗火球术产生的讨论、复杂又奇妙的脚步声、一切从玩法入手及三个小锦囊。

陈柏翰认为，游戏开发并非只有唯一的答案。一切设计的开始起源于了解需求和掌握资讯。通过了解游戏的组成、玩法来实现创意，依照游戏类型、载体、风格来关注不同的重点，从而进入研究和收集的阶段。陈柏翰先生以《哈利波特》中地图、猫头鹰、摇动的药瓶等范例，阐释如何通过声音细节决定真实度和世界观，通过真实与虚拟的冲突营造魔法感。

在阐述风格化的核心设计时，陈柏翰认为声音的设计应具备独特性，例如通过该时代的乐器、乐风和乐种来呈现出时代的风格、生活态度、文化特征，将游戏声音的呈现剧场化、舞台化、电影化，进行写实与意境的结合。利用采取重新采样编辑、相近乐器实录以及特殊音色的VST（虚拟音乐）等手段，配合游戏整体基调，强化游戏的独特性、美术观感延伸、玩法的趣味性。以游戏《阴阳师》中式神的音效设计为例，陈柏翰提出音频整体必须具备独特性，在考虑大众接受性的前提下，每个声音出现的目的要明确：话题性提供传播度，并有助于游戏中角色的立体化、IP化，造成话题；互动性提供操作反馈，通过声音来传达画面无法提供玩家的信息，从而加强操作感，趣味性则通过设计少量特别音效来跳脱出听觉麻痹的状况。

火球术是魔法特效上必备的元素。陈柏翰先生以火球术的特效为例，介绍了音效拆分及其概念。音效可以拆分成一次性（oneshot）和循环（loop）状态以及释放、弹道、命中三个阶段。设定想实现的声音效果、寻找游戏参数和结合声音引擎，每一个创意都要和游戏数值相结合，成为互动元素的关键所在。

在脚步音频互动设计部分，陈柏翰先生回顾了脚步演进史。他指出，脚步的互动设计重点在于地表材质（自身的材质和接触物的材质）、模型物件（身上发出响声的物件）以及动作程度（走路、跑步、冲刺、起跳、落下）。在有限样本的情况下，可以通过音效层数的叠加、随机组合与均衡、音高及音量的调整，使得声音听起来自然而富有弹性，也可以随着玩家的血量和情绪来进行变化，或者以写实手法进行设计。在Ambience的组合、变化和听感介绍中，陈柏翰先生建议游戏音频设计师将玩法考虑其中，通过点声源的随机和分散式加入，以及立体复合式的线、面声源的组合，调整触发的频率和位置，形成一个随时间、四季发生变化的声场，通过听觉对玩家产生心理暗示。

最后，陈柏翰先生提供的三个小锦囊是：通过生活中的积累来注重声音细节和听觉感受；无畏他人眼光、进行大胆尝试和实践；保持积极的求知欲和学习与高速的产业进化同向同行。

3 杜比全景声的游戏应用

音乐制作人、声音设计师李佳骐先生的演讲《杜比全景声的游戏应用》，分为空间音频的技术发展、体验杜比全景声游戏的方式、杜比全景声在移动平台的应用、杜比全景声的开发方式和国内游戏声音设计领域的现状等五个方面。

空间音频技术的发展经历了立体声、环绕声到全景声。李佳骐先生认为，如果将立体声音频比作是一条线，5.1、7.1环绕声音频技术则是一个面，而杜比全景声加入了天空声道，让声音有了高度，一个球状的包围声场可以让声音更加真实、沉浸。声音在高度上的分层进而产生声音设计的新思路，声音设计师有了更大的发挥空间，为游戏玩家带来更沉浸的体验、更准确的定位、更炫酷的设计感和更强烈的笼罩感。

李佳骐先生对国内游戏声音设计领域的现状进行了梳理。伴随着游戏领域发展的逐步提高，国内游戏声音设计受到越来越多的关注。但国内游戏声音设计领域标准参差不齐，从业者水平差异大、行业规范尚未成熟、外行领导内行等。按照《游戏音频设计流程与开发》行业团体标准，他认为成熟行业的游戏声音设计师比例应为每50名开发者配备1～2名游戏声音设计师。最后，他欢迎关注该行业的师生加入游戏声音设计领域，并指出热爱是克服一切困难的武器。

4 游戏音频技术的未来发展

Audiokinetic 大中华区的产品专家及开发者关系负责人侯晨钟先生的讲座《游戏音频技术的未来发展》，从技术音频学习指南、游戏音效设计相关的技术发展和游戏音乐生成及交互控制三个方面进行阐述。

在技术音频学习方面，侯晨钟先生对比了不同的编程工具，比较推荐的是PureData、CSound和Faust，但是由于这些语言是图示化编程界面，且与工作的关联性严重依赖社区维护，因此，仍然建议同学们从底层的代码学起，可以从合成/DSP线、游戏音频开发整体概念线、批处理/工具开发线、游戏逻辑线和自行实践线等方面切入。

图2 陈柏翰先生

图3 李佳骐先生

在游戏声音技术发展趋势的部分，侯晨钟先生首先介绍了与音效设计相关的三个方面，分别是制作工作流、程序化音频(Procedural Audio)和基于对象的空间音频（Object Audio，OBA）。在音频工作站的选择上，他强烈推荐Reaper，通过WAAPI Transfer和ReaOpen等工具直接完成reaper与Wwise中间件的对接。RenderBlocks这款付费工具可以非常便捷地在reaper中完成音频资源的编组整合和命名。程序化音频是采用合成器生成音效或者各种声音元素，与真实采录的声音资源相比，具有以下的优势：数据量低，不依赖资源库，可用少量的patch做丰富的变化，不担心版权问题，容易获得独特性。随着三维声的不断发展，在游戏声音中也开始引入基于对象的空间音频。声音对象的空间音频具有交互性、个性化、可扩展性和沉浸式等特点。在Wwise中，空间音频通常被设计成三个管线，分别是基于声道的管线（例如7.1.4），用于重放环境声；基于对象的管线，用于重放需要精准定位的声源；不经过空间音频处理的立体声管线，用于重放音乐等。

在游戏音乐生成及交互控制方面，侯晨钟先生首先提到如何通过音乐信息提取完成交互设计。例如通过Sonic Visualiser提取游戏音乐的节奏对游戏角色进行动作调整。在游戏中，为了增加音乐的多样性，通常包含纵向方法、横向方法和生成化方法。侯老师通过设置和声进行等规则，基于OpenMusic尝试了多种音乐类型的生成。这种生成音乐方式可以在短时间内生成大量的音乐资源，在要求程度不高的情况下有其便捷性。为了衔接游戏中不同场景的音乐，Transition可以使用音高插值形成经过性段落的尝试，对音高进行调性的调整，从而获得更合理的听感，产生出好玩的音乐色彩变化。另外，利用Tiling Canon的规则可以尝试生成音乐，也可以批量预生成MIDI数据递交给Wwise，通过随机选取形成持续变化的听感音乐。

5 游戏音频内容创作浅析与AI音频探索

声音制作专家谈嘉海先生常年致力于声音设计以及户外录音工作，他从游戏音频的概念、游戏声音设计师需要具备的能力、游戏开发流程、实例演示、自我提升以及AI音频的探索等方面进行宣讲。“游戏音频为我们带来了什么”，他表示，游戏音频为玩家带来了信息与反馈、氛围的营造、情绪的传递和气质的展现等。其中，反馈是最具游戏交互特点的，即游戏音频会带来反馈，而影视等传统线性媒体则无法提供实时反馈。玩家可以单纯凭借声音就能够判断操作是否被接收、任务成功与否、获得系统主动提醒，以及感知情绪与氛围的变化等。

游戏音频由音频内容制作、软件开发、创造性艺术三大部分构成。在大型游戏开发中，具体的职位分工有音频总监、声音设计、配乐、语音、混音、技术音频、音频QA等。而在一些小型的游戏项目中，可能只有音频策划来管理音效、配乐、语音、混音和音频QA。因此，游戏音频是一种跨多学科、多工种的商业艺术声音创作。

谈嘉海先生指出，游戏行业与电影行业一样，都是大量团队协作的制作形式。游戏音频需要从业者有创作、技术与协作三方面的能力，并以森林里的火堆场景、现场录制火堆素材来示范这些方面的能力。谈嘉海先生用分析游戏中钩索的背景设定、外形材料、使用机制等方面为例，来解释说明在声音设计的过程中，需要建立自己的规则与限制——背景设定、可信度和原创性等，并说明了新颖性和独创性的价值。

为了更好地表达画面所传递的信息，利用声音配合画面讲好故事，从而进行游戏角色的标识性元素声音设计，一般会采用“前期录制素材+后期再次创作”的方式创作出想象中的声音。

音效在游戏音频中必不可少。谈嘉海先生把音效形容成载着“功能性”的船，能够实现“快速而准确地传递信息”这一目标的“功能性”则是船上的货物，货物的安全至关重要。当它能又快又稳地到达目的地、或顺利航行的次数增多时，“爽快感”就油然而生了。

图4 侯晨钟先生

图5 谈嘉海先生

对于提升自身水平的方式，谈嘉海先生提出两点建议：第一，需要多玩、多听、多分析，多思考好的设计背后的思路才能创作出好的声音；第二，尝试户外录音。他用日本动画里夏天特有的蝉鸣声举例，指出新颖性和独特性是永恒的追求。大自然是最好的老师，我们能从声音中发现时间、地域和动植物的变化，进而提升自身的录音与设备知识。

谈嘉海先生还介绍了AI音频的探索。语音合成与迁移主要使用端到端声学模型+神经声码器，而音乐生成则主要使用基于乐理规则的生成模型和机器学习。

6 游戏音频与互动音乐设计

FunPlus音频总监、北京现代音乐学院声音设计教研室主任张志伟先生的《游戏音频与互动音乐设计》讲座，从游戏音频开发流程和交互音乐的设计两个方面进行宣讲。

游戏音频设计是由音乐、音效、语音和逻辑四个模块构成。其中，逻辑是有别于影视声音设计的重点所在。玩家在进行游戏过程中，很多声音是被游戏的行为所操控的。游戏项目的开发时间较长，因此游戏音频的开发非常需要规范周密的流程——先制定好预期目标和对应计划，再用最低的成本尝试并完成项目。在有关游戏音频开发流程的介绍中，张志伟先生指出游戏的核心玩法决定音频底层架构。通过故事及风格的确立来决定年代和IP等音频风格，利用临时音频资源和系统进行短时版本验证。验证通过以后，对长时版本再采用正式音频资源进行互动混音。进入到限时测试阶段时，则采用正式资源和语音。在公测阶段，继续进行音频优化，待游戏正式上线后，继续投入到新副本、赛季、角色的制作之中。

围绕“Audio能为游戏带来什么”论题，他首先指出游戏音乐的风格、类型是多种形式的，也是互动和交互的。音乐需要进入游戏之中，必须和游戏中的行为匹配。其次，游戏音乐是互动音乐——会“察言观色”的乐团。互动音乐需要基于FMOD、Wwise、ADX2等三个主流引擎工具以及自研工具来实现，更需要艺术家与设计师、程序员多人协同配合。

图6 张志伟先生

张志伟先生用“变脸”和“下一个路口”来形象地比喻主流互动音乐的两种方式。随着游戏角色进入的空间、环境、维度等发生变化，音乐也要实时不间断地“变脸”来配合空间环境切换和维度的转变。张志伟先生分享了自己的制作技巧——在音乐旋律不变的基础上，以小节、节拍为基准，进行纵向配器的变化，切换各种曲风，就可以巧妙地实现音乐的互动。“下一个路口”的互动音乐方式则是音乐进行横向的变化。音乐设计师要保持远瞻性，永远要考虑后续途径，即“下一个路口”，例如随着战斗的进展和游戏角色血量的减少，曲风也会随之发生变化。目前，人工作曲还是互动音乐重要的创作方式。因此，作为音乐设计者，在尊重音乐本身力量的基础上，也要尽可能地拓宽作曲风格，并多多学习录音、混音等技能。互动音乐对艺术家提出了更新更高的要求。

张志伟先生的精彩总结是：“互动是为了提升玩家与音乐的链接，传递游戏的表达，提升游戏的体验。”

六位行业专家的讲座深入浅出、案例生动翔实，带来了前沿技术和实战经验，引发师生对于前沿技术的学习渴望。正如录音系系主任王鑫总结所说：本届大师班契合行业需求，主题聚焦游戏声音交互设计领域，探讨前沿话题和创新思维，为国内高校师生和从业人员搭建了学习和交流的平台，推动了游戏音频技术专家和学者间的交流互动，以共同促进游戏音频行业的发展。