交互式光感电子古筝设计模式的探索与比较

王 玉

(1.同济大学 设计创意学院，上海 200092；2.上海视觉艺术学院 流行音乐舞蹈学院，上海 201620)

1 研究背景

乐器新媒体化是音乐科技创新设计的重要研究方向之一.新媒体交互设计与传统乐器的创新融合愈加常见.在音乐表演领域，这种融合与表演形式的创新相互激励，“乐器作为音乐家身体的延伸”的概念得到了新的诠释，拓展了传统乐器的表现形式.例如，美国麻省理工大学媒体实验室的研究人员将音乐家Jacob Collier的音乐视频作品转换成了“一人乐队”的演出形式，并为其开发了名为“人声和声器”(Vocal Harmonizer)的电子键盘乐器——这些工作增强了音乐家演出的原创性和魅力.新媒体乐器往往作为特殊的、实验性的乐器出现.它的设计既要吸取现有乐器设计的经验，又要适当利用新媒体技术的各种特性.Essl[1]于2006年提出了一套设计新实体乐器的框架与方法，该研究初步探索了触觉等多个感觉通道在乐器设计中的工作机制.在此基础上，不同的研究者尝试探索并设计了新的乐器及乐器的交互模式，例如Lauren[2]研究并发展一种了增强型乐器(混合钢琴)，通过探索多模态和触觉反馈的概念，将演奏视为感知引导的行为，以提高演奏者的体验.He等[3]利用物理手势采集系统对古琴的左手演奏技术进行分类，探索了古琴的交互模式.曾令筏等[4]探索了一种基于光学隧穿效应的新型拾音器方案.Brazil[5]从人机交互的角度探索了声音交互设计的方法.这些工作启发更多学者开展新媒体乐器的交互设计与研发工作[6].

对研究领域内的文献调研表明，对于电子乐器的新媒体交互化和人工智能化值得进行深入地探索.国内的李复斌、陈宬等论述过民族乐器改革的必要性及目前的改良现状.对于部分民族乐器的工作原理和电声化改造的研究已有一些研究基础和研究成果，但尚缺乏较完整的、注重交互设计与音乐科技结合的研究工作[7-8]，尚缺乏设计以及实现一个具体的新媒体乐器作为载体来体现该方面理论研究的应用.

综上所述，国内新媒体乐器方面的研究与发明专利较少，缺乏系统的研究以及建立具体的应用案例，在新媒体技术、音乐科技与乐器文化结合方面有待深入的探索并亟需提供一个可供研究的新媒体乐器原型系统作为研究载体.因此，本研究在现代设计思想和方法的指引下，结合新媒体交互设计与音乐科技创新技术，以传统乐器古筝为原型系统，探索并系统比较了两种综合运用光学触控传感设备及物理反馈组件、智能硬件设备以及配套开发交互程序的新媒体乐器设计模式，建立了一种有效可行的面向新媒体光感乐器的设计框架，并最终形成了一种新媒体乐器装置——“交互式光感电子古筝”.不同于目前已有的激光竖琴等借助激光控制的音乐装置[9]，本“交互式光感电子古筝”系统不仅将光作为一种媒介置于新媒体乐器的开发设计之中，并基于前人的研究[10]，着重于将光的演奏触控信号转变为通用的数字乐器接口(Musical Instrument Digital Interface,MIDI)信息，以拓展传统乐器的表现与交互新形式，并为新媒体乐器的创新设计提供借鉴和指导.

2 构建设计模式

新媒体乐器主要是指与新媒体技术相结合的乐器.新媒体乐器的交互设计主要包括两个部分：1)设计演奏者与乐器之间的控制-反馈过程；2)设计音响、显示设备等多通道感觉(听觉、视觉、触觉等)体验组件上所呈现的效果.

新媒体乐器“交互式光感电子古筝”的设计基于传统乐器古筝的雏形，并以其为原型系统进行设计模式的构建.但此设计研究并非以利用新媒体技术还原古筝的演奏方法与特性为目的，而是在于整合贯通传统乐器设计、音乐科技与新媒体交互技术，创新拓展乐器表现的新形式与多感官演奏体验，建立新媒体光感乐器的设计框架并实现具象实物载体.

2.1 整体设计模式

基于传统古筝的雏形以及演奏者在演奏过程中与琴弦交互的过程，“交互式光感电子古筝”的设计选取21对对射式光学传感器形成的激光感应弦作为感知触控设备，模拟“琴弦”的触控过程.其中，演奏者与光感古筝的控制过程为：演奏者通过不同演奏技法的手势动作触发激光感应弦，激光弦将演奏者的多样化触控操作转为演奏信息再进行传递.由于激光的特性，其演奏模式也不限于原始古筝的拨弦、刮奏等形成的单音与复音，甚至可以用烟雾进行激光感应弦的触发控制.滑音等装饰音演奏则用Pitch Bend装置模拟实现，转调则通过集成相应程序的转调拨码开关实现.光感古筝对于演奏者触控的反馈过程则包括将演奏者的演奏触控操作转化为声音信息或视觉联动信息等.

表1 信息转化对应表Tab.1 Information transformation correspondence table

本设计模式主要探索将激光触控信号转化为可听化声音信号的过程.其中，光学传感器模拟的激光感应弦可产生的信息及其转化对应如表1所示.

声音信号的转化与实现方法主要有2种.其一，将激光感应弦所采集的演奏者触控信息转化为MIDI信息并传给计算机相关音序平台，通过采样音色库进行声音转化产出，最终通过音响组件发声.此过程的声音产出模块与光感乐器主体为两个独立的模块，可自由组合.其二，将声音产出装置集成于光感乐器主体之中，此时光感古筝系统自带发声模块.集成性的一体化光感乐器制作趋于成熟阶段的产品产出.在探索阶段，本研究选取第1种方法构建新媒体光感古筝的设计模式.

2.2 两种信息转化模式的探索和构建

基于将激光感应弦的采集信息转化为MIDI信息进而实现声音产出的前提，本文主要从以下两种设计模式进行“交互式光感电子古筝”的光弦采集系统实现信息转化的设计探索.

模式1：通过MIDI输入设备键盘模块实现信息转化

该模式的转化信息流为：激光感应弦(光电传感器阵列)采集演奏者的演奏操作信息并将其传给微控制单元(Microcontroller Unite,MCU)，再通过执行模块(光耦继电器(Optocoupler relay))将信息传给MIDI键盘通讯模块进行MIDI信息转化，最终由MIDI键盘通讯模块将转化好的MIDI信息传送给计算机或其他可读取MIDI信息的终端设备，经由连接的音序软件、采样音色库及音响系统实现发声.

模式2：通过MIDI协议设计相应程序实现信息转化

MIDI协议即乐器数字接口协议，是一种标准化的技术，其底层端口是由Electronic Industries Alliance制定的异步传输标准接口协议(RS-232通讯协议).可通过三线完成设备之间、计算机之间或计算机与设备之间的通讯.

在特定Baud rate下，根据标准格式可将音符等数据传送给上位端.标准MIDI协议通讯可实现1 ms以内传送1个音符数据，上位端合成软件可实现复音算法.因此，可直接通过支持MIDI协议的MCU与计算机实现通讯.模式2的转化信息流为：激光感应弦采集人的演奏控制信息，并将其输送到MCU进行处理，最终输送给计算机的音序软件，通过与采样音色库连接的音响系统实现声音输出.

对比模式1和模式2的构建逻辑，可以看出两种模式在信息采集端与声音输出端是一样的，即共用光电传感器阵列采集演奏者的演奏信息，并通过上位端音序软件进行声音的输出.从转化信息流的复杂性来看，模式1的信息流相比模式2更为复杂，但相较于模式1直接利用MIDI键盘通讯模块转化信息，模式2的开发难度则更大.

3 实现及比较

3.1 演奏者信息采集端的实现

演奏者的演奏触控信息采集端通过将21对对射式光学传感器形成光电感应阵列，来模拟古筝原型系统的21根琴弦.激光传感器的布置方式为相邻排列的方式组成阵列式，相邻两根激光感应弦之间的距离设置为15 mm，每对激光传感器两端距离(激光感应弦长)设置为20 cm，如图1所示.

图1 激光传感器布置Fig.1 Layout of laser sensor

选取M5小型激光对射传感器作为激光感应弦，其基本参数如表2所示.

表2 激光传感器的基本参数Tab.2 Basic parameter of laser sensor

NPN常开的输出方式是该激光传感器的固有工作属性，如图2所示，NPN常开可理解为一个位于负载低侧的开关，开关闭合即产生电流，常开表示当激光对射，其元器件内开关断开，负载检测到高电平.可据此设计相关的电路，满足激光感应弦采集端的触控信号采集需求.此处的负载实物为2个电阻，因开关闭合信号无法直接被读取，需利用2个电阻将其闭合信号转化为电压变化的信息.

对射式激光传感器的发射端发射激光信号，接收端接收，此时其内部开关断开，依据光电效应(Photoelectric effect)产生电信号，实现将演奏者的演奏信息转化为电信号.其具体交互控制过程为：演奏者无触控操作，则激光感应弦不被遮挡，传感器的发射端与接收端激光对射，接受端内元器件开关断开.演奏者发生光弦触控操作，则激光感应弦被遮挡，激光信号因遮挡而阻断，接收端内元器件开关闭合.

由于MCU的输入与输出只可接收模拟量在特定范围内的变化信息或电平的高低信息，开关信号不能直接被MCU系统所接收，需设计如图2(见 第274页)所示的附加电路，通过2个电阻分压，使内部元器件开关在激光射入时检测到高电平信号，在激光被遮挡时检测到低电平信号.

3.2 模式1的实现

模式1通过MIDI输入设备键盘模块实现信息转化，本设计模式的实现基于对成品MIDI键盘按键模块的拆解和分析，将光感采集端的触控信息传送至MIDI键盘按键模块(键盘电路、Pitch Bend等)，再通过MIDI键盘内部的逻辑控制元器件接收并读取按键触控和Pitch Bend触控状态信息，继而向上位机传送信号.

键盘按键模块通过两个开关和内部控制单元来接收、判断并读取按键的触控状态与按压信息.按键模块的两个开关为常开型，当发生触控按压操作时，开关1先于开关2导通，形成时间差.利用此时间差，MIDI键盘的控制模块可算出与时间呈反相关的力度信息.按压琴键的触控信息实际对应为2个开关的闭合时间差，可设计如图3所示电路对键盘触控模块进行处理.将可控的Optocoupler relay并联在开关两端，模拟原始琴键模块中电路开关的断开或闭合，键盘的Pitch Bend模块可直接使用.

图2 传感器附加电路图Fig.2 Additional sensor circuit diagram

图3 模式1的电路原理图Fig.3 Schematic diagram of the circuit in mode 1

如图3所示，MCU(STM32F103VCT6)通过附加电路读取激光感应弦的触控输入信息，经MCU处理输送至Optocoupler relay(TLP172G)，最后转为附着于Optocoupler relay上控制开关的状态信息(即其闭合产生的时间差)以实现MIDI键盘模块的信息流传递.

当激光感应弦未被遮挡，Optocoupler relay的开关闭合.反之则开关断开，程序发送音符关(Note off)信号，开启时间记录模式，直至演奏触控操作过程结束，激光感应弦的状态由遮挡转变为未遮挡，两个Optocoupler relay以一定范围内的延时依次闭合，时间记录模式关闭，程序发送音符开(Note on)信号.直至激光感应弦被再一次触发，两个Optocoupler relay的开关断开，此过程不断循环.两个Optocoupler relay先后闭合的时间差和其独自的开关由断开状态到闭合状态的时间差共计2组来控制拨弦的力度.由于这2组时间差并不对等，通过MCU内正相关函数程序将其关联，以精确实现通过触控激光感应弦的速度来控制音符力度参数的过程.

模式1的程序设计思路如图4所示.

图4 模式1的程序设计思路图Fig.4 Workflow chart of mode 1

模式1的实现程序分为大小两个循环.大循环为主循环，小循环用于计算触控激光感应弦产生的被遮挡时间差.主循环每10 ms产生1次中断进入小循环，从小循环运行退出后再回到主循环，此过程不断重复.

3.3 模式2的实现

模式2通过MIDI协议设计相应程序实现信息转化，本设计模式的实现基于对MIDI协议的分析.MIDI通讯的底层为RS-232通讯，本设计模式采用USB MIDI转接器连接“交互式光感电子古筝”的主体与计算机.经分析，本模式的相关MIDI协议信息部分如表3所示.

表3 相关MIDI协议信息Tab.3 Related MIDI protocol information

在进行演奏触控操作时，采集端向上位机发送表3所示的相应帧数据，上位机接收、读取并产生对应的声音信息.

为实现快速转调，本模式另设有12位转调拨码(Dial switch)模块，每1位拨码位对应1个转调开关，其调的设置可根据需求做相应的程序预制与调整.拨动某位拨码即可实时转入预设调.此模式设计中，采集系统的MCU实时读取12位拨码的状态信息，即可判断当前的调.

在模式2的实现中，设计将Pitch Bend模块直接集成于光感采集端.由于Pitch Bend模块的运行原理为滑动变阻器的电压输出变化与弯音数据的对应，在Pitch Bend模块的使用中，只需要通过MCU的模数转化端口进行电压变化信息的读取，继而换算相应的弯音数据，即可实现“交互式光感电子古筝”的弯音演奏.可设计如图5所示的对应电路.

图5 模式2的电路原理图Fig.5 Schematic diagram of circuit in mode 2

模式2主要通过依据MIDI协议所设计编写的相应程序来控制光感采集端的信息转化，相较于模式1中利用成品MIDI键盘的触控模块，模式2是完全由所设计的程序来控制所有变量.其中，力度变量数据需通过设计相关函数将其与拨弦速度(激光感应弦被遮挡的时间)关联，根据实际的演奏体验和激光感应弦的反馈特性，初步设计二者的对应关系如表4所示(随着采集端的体验实验与完善，其函数可在其后进一步改善).

表4 力度与拨弦速度的关系对应表Tab.4 Corresponding table of the relationship between strength and plucking speed

模式2的程序设计思路如图6所示.

图6 模式2的程序设计思路图Fig.6 Workflow chart of mode 2

模式2的实现程序与模式1相似，同样为大小两个循环，大循环为主循环，小循环用于计算触控激光感应弦产生的被遮挡时间差.其不同之处在于主循环的程序逻辑，此部分相较于模式1，增添了对于Pitch Bend和12位实时转调拨码开关的数据读取程序，用于判别当前的调和读取弯音信息.

3.4 两种模式的实现效果与对比

经实验，模式1和模式2的设计均可实现将演奏者触控激光感应弦阵列产生的信息流传送至上位机.其中，模式1的设计存在一些弊端.因模式1基于成品MIDI键盘的触控感应模块进行信息流的读取与转换，其演奏音域受到MIDI键盘按键主体的限制，各激光感应弦之间所对应的音及音与音的关系是固定且不能任意改变的，而其形成的“交互式光感电子古筝”的布线较为复杂，装置成品的表现力受到一定限制.再者，MCU控制的Optocoupler relay的闭合过程被MIDI键盘控制模块识别会造成一定范围内的延时，当演奏者触控激光感应弦时，会产生一定的时间误差，影响音符开启的速度与力度.

模式2则不存在上述因延时而造成误差的问题.模式2的设计实现时，Pitch Bend模块可正常运行且实时改变声音的弯音效果.12位转调开关的设计可实现实时转调和音区的变化.而且实体布线方便，结构较为简洁，控制单元模块可直接集成并固定于“交互式光感电子古筝”的面板上，局限性较小.

对比之下，模式1的设计不适合作为“交互式光感电子古筝”的成品实现，而模式2的设计适合作为一种新媒体光感乐器的设计框架.

3.5 设计实现成品的介绍

新媒体乐器“交互式光感电子古筝”主要由21对激光传感器模拟古筝的21根琴弦，同时设置有Pitch Bend控制滑音，12位的拨码开关实现转调.设计成品如图7所示.

图7 “交互式光感电子古筝”系统的组图Fig.7 Group diagrams of “the interactive laser sensing electronic Zheng”system

“交互式光感电子古筝”系统可实现将激光信号直接转变为MIDI信息，并将其通过MIDI接口输出，其核心为单片机电路系统，用于处理采集的光感信号并进行转化.

演奏者通过手指遮挡激光感应弦实现拨弦演奏，在拨弦力度的控制上，“交互式光感电子古筝”系统以拨弦的速度去控制力度.发声系统则是通过预先调制的采样音色库和连接的音响系统进行发声.在演奏体验方面，可实现拨弦、扫弦、刮奏等演奏技法，也可以通过Pitch Bend控制滑音.在演奏的表现方式上，“交互式光感电子古筝”可以实现复音滑音的创新演奏法.此外，由于激光的可塑性，也可以通过烟雾触发激光感应弦来演奏.

由于本系统可实现将激光演奏信号直接转变为MIDI信息，因此在交互的反馈过程中，不仅可以通过MIDI信息作为桥梁，连接各类音色库进行声音反馈(其可视化效果见图8)，还可以将演奏的MIDI信息传送至上位端的视觉软硬件系统，为演奏旋律及不同的演奏技法等做视觉效果的设计.在演奏时，实时进行声音可视化的反馈(图8).甚至可以设计将激光演奏信号转换的MIDI信息输送至AI音乐生成系统及AI视觉图像生成系统进行实时的音乐与视觉生成反馈，其反馈的结果是多样的.

图8 “交互式光感电子古筝”系统的视觉反馈组图Fig.8 Group diagrams of the visual feedback for “the interactive laser sensing electronic Zheng”system

4 结 语

本研究以光感电子古筝的交互式设计为例，探索乐器新媒体化的设计模式及设计思路.本研究以传统乐器古筝为原型，系统比较了两种综合运用多层面软硬件技术的设计模式，分析了两种模式各自的优劣点，最终以其中一种模式形成了一种新媒体乐器装置——“交互式光感电子古筝”.该装置作为一个典型的乐器新媒体化的原型系统，实现了将激光演奏信号直接转变为MIDI信息的转换方式，拓展了传统乐器的交互设计思路及乐器反馈的多样性，可以为新媒体乐器的创新设计提供了借鉴和指导.