音乐物联网的设计与研究

2023-01-07井艳红

数字通信世界 2022年1期

井艳红

（郑州西亚斯学院音乐戏剧学院，河南郑州 451150）

1 研究背景

物联网的概念和相关技术为万物互联提供了物理基础和保障，各个行业或者领域也都在借助互联网的力量在信息化的浪潮中探索如何进一步发展。音乐事物作为人类社会广泛存在的形式，将音乐事物与物联网相关的研究正方兴未艾[1]。文献[2]探讨了智能车载系统中的音乐服务与交互设计，结合未来车联网的可连接服务系统。与此同时，国际计算机音乐大会、音乐表达新界面国际会议等此领域最尖端的学术会议也逐渐将探讨的热点转向了人机交互电子音乐[3,4]。文献[5]的学者设计了基于物联网的智慧音乐系统。

近期，音乐物联网（IoMusT）[6,7]的概念被一些学者提出，Hazzard等人[6]在乐器的背景下使用了QR码，可以帮助用户了解乐器及其社会历史的在线数据。Turchet等人[7]建议将物联网的概念扩展到音乐领域，将IoMusT视为物联网的一个子领域，其基础技术和基础设施连接了音乐家和观众并在互操作设备生态系统得以实现，以支持新颖的音乐家-音乐家、听众-音乐家和观众-观众互动。IoMusT是一个涉及多学科、多专业的综合工程，所涉及的各个技术环节国内外学者都做了大量的研究也都给出了成功的解决方案，所以在技术上实现音乐事件的互联网化是完全可行的，但以往的研究都是单一的从某一个方面着手，缺乏一个统一的研究框架，完整的研究体系还不健全。本文计了一个小范围的IoMusT系统，在其周围实现了一个生态系统。

2 IoMusT基本组成

（1）网络音乐表演系统。互联网的出现使网络音乐表演（Networked Music Performances, NMP）的潜力急剧扩大，这导致了与创建NMP系统各方的积极参与。它们可以发生在有线网络上，如局域网或广域网，也可以发生在无线网络上，本地设备可以通过诸如移动设备之类的便携式集线器经由人体区域网络（Body Area Networks, BANs）或个人区域网络（Personal Area Networks, PANs）来互连。目前，网络已经在城市中心实现了一种普遍性，可用性通常不再是问题。

（2）互动表演。互动表演通常指通过身体动作和手势，为配备传感器的现场表演者（如舞者或音乐人）实时控制媒体元素和事件。随着数字乐器的出现，表演者的机械动作与自然的听觉效果分离开来，将控制属性映射到感知属性的可能性是无限的。因此，在数字音乐乐器设计中，映射技术代表了一个主要的挑战，这是在音乐表达努力的新接口中解决的。

（3）泛在音乐（ubimus）的广泛性。ubimus通过创造性支持工具提供音乐活动的无处不在的人力资源和物质资源系统。小型计算单元可以远程控制以收集数据，并与人和物力资源交互作用。定制硬件和现成组件的组合可以促进计算设备和外围设备的发展。如作为IoMusT艺术应用的一个例子，内存树项目使用部署在远程物理位置，但可以通过互联网访问简单的录制和回放设备。

（4）Web音频、云计算和边缘计算。网络音频用于在Web应用程序中处理和合成音频的高级JavaScript API与以前的音频相比，它是一个进步网络技术，如插件（Flash, QuickTime）或HTML5音频元素，允许基本的流式音频播放。Web Audio支持现代数字音频工作站中的一些功能，如音频信号的路由、高动态范围、低延迟的采样准确声音回放、混合处理（例如动态和基于延迟的效果、均衡、空间化）以及合成。最近的作品将网络音频用于以技术为媒介的参与式现场表演，包括手机。

（5）可穿戴设备。在过去的十年里，市场上可穿戴设备的数量大幅增加。这些智能设备可以作为附件佩戴在身上，能够跟踪身体活动（例如手势、体温、皮肤电反应、心率），也可以通过互联网或与其他智能设备点对点连接进行无线数据交换。最近，有人提出了一种新颖的可穿戴设备，即音乐触觉可穿戴设备，其目标是音乐家和观众。这些设备可能包括触觉刺激、手势和生理参数的跟踪以及无线连接特色音乐触觉可穿戴设备，为了在同一位置和远程设置，通过利用触觉增强音乐家之间以及音乐家和观众之间的创造性交流。

3 IoMusT系统设计

如何归纳音乐事件，分析音乐事件的特性进而给出音乐事件的工程定义是IoMusT架构设计的关键。

从技术角度来看，IoMusT系统的核心组成部分分为以下三类。

音乐事物。将音乐事物定位为事物的一个子类，因此它们继承事物的特性，如传感器、执行器、连接选项和用于收集、分析、接收和传输数据的软件，其关键因素是互操作性和同步性。音乐事物是可以在音乐环境中用来产生音乐内容或观察与音乐体验相关现象的实体，可以连接到本地或远程网络并充当发送者或接收者。例如，音乐事物可以是智能乐器、音乐触觉可穿戴设备或用于控制、生成或跟踪对音乐内容响应的任何其他联网设备。

连通性。基础设施支持音乐事物之间的多向无线通信，包括本地和远程。本地网络或互联网上音乐的互连通过硬件和软件技术进行管理沟通。音乐表演对通信有特殊的限制。具体而言，在典型的实时使用情况下，连接基础设施应确保通信具有低延迟、高可靠性、高质量和紧密同步的特点。这些需求类似于实时远程手术、虚拟现实和增强现实以及实时自动化，但在绝大多数物联网应用中并不需要。

应用和服务。可以在连接的基础上构建各种类型的应用程序和服务，其目标用户包括音乐家（如作曲家、表演者、指挥家）、音频工程师（如现场或录音室的音响工程师）和听众。这种应用程序和服务可以具有交互或非交互式性质。为了建立交互式音乐应用程序，实时计算具有特殊的重要性。与物联网类似，IoMusT可以利用Web API和物联网架构，设计用于音乐目的应用与服务。音乐可以通过Web API公开服务。应用程序是音乐事物网络架构中更高层次的一部分，允许用户直接与内容或音乐事物交互。

IoMusT基础设施支持互操作设备的生态系统，这些设备将音乐家与其他人以及观众连接起来，这使得在同一地点和远程环境中的交互可能性倍增。这样的生态系统为创造性人工制品的设计提供了肥沃的土壤，提供了新颖的启示类型，包括监控创造性控制或与音乐家和观众成员相关音乐内容的响应的方法。通过将物联网应用于音乐领域，设想从传统的西方书面音乐传播链（即作曲家编写由乐器演奏者解释的音乐内容，并由被动观众接收）转向一个互动可能性无穷的音乐网。例如小规模的场景，音乐厅内的音乐表演；例如大规模场景，在虚拟环境中聚集数千名参与者的大规模开放在线音乐表演。

4 IoMusT生态系统的实施

本文设计了一个小范围的IoMusT系统，在其周围实现了一个生态系统，其中五个音乐事物的原型依靠语义音频和边缘计算技术相互通信以此来验证IoMusT的可行性，其中包含所开发系统的硬件和软件组件，包括以下组成部分。

（1）音乐原型。课题组开发了五种原型，包含了音乐的关键特性，即嵌入式平台和无线连接。具体地说，作为一个平台，使用Bela板进行低延迟音频和传感器处理（正常版本称为“Bela mini”的袖珍版本）。无线连接通过连接到Bela板（支持IEEE 802.11ac Wi-Fi标准）的NETGEAR A6100-100PES Wi-Fi USB加密狗实现。

一个原型被赋予了生产者的角色，三个是消费者的角色，一个是聚合者的角色。与聚合器不同，生产者和三个消费者被配置为生成声音。无论是生产者还是消费者，都使用一个小喇叭来传递声音。声音引擎采用libpd编码，是一种将纯数据计算机音乐环境移植到嵌入式系统库中的方法。制作人的声音引擎包括一个合成音符的发生器（通过一个基本的正弦振荡器），其密度在每秒1 200个音符的范围内随机变化。每一个产生的音符的参数随机如下：频率范围在三个倍频程的一个大音阶的频率之间；持续时间为10～150 ms。遵循边缘计算的原则，我们不会将产生的音频信号或表征notes生成器随机行为的数字流传输到语义服务器。相反，我们将每5 s计算的四个参数（密度、频率、持续时间和振幅）的平均值流化。这些计算是由libpd补丁执行的。数据通过一个python脚本通过SPARQL更新请求流化，该脚本通过OSC消息从libpd声音引擎接收数据，并根据音频特征本体映射请求。

（2）音频特征本体。为了确定这个应用程序场景的正确方法，我们将重点放在应用程序的上下文上。背景中的主要实体是四个高级音频特征，即平均振幅、平均频率、平均持续时间和平均密度。然后，客户机利用本体来表示或解释信息。对本体进行了扩展，为推断的状态定义了一个新的类，并定义了一个新的对象属性，将当前性能的实例与状态的实例链接起来。

（3）语义服务器。SEPA运行在一台支持IEEE 802.11ac Wi-Fi标准并运行ubuntulinux17.10的戴尔Alienware 17r2笔记本电脑上，使用了SEPA的Java实现版本0.8.4。为了增强应用程序的性能并满足IoMusT域的要求，语义服务器仅承载上下文的当前状态。从语义的角度来看，这个用例的上下文包含以下实体：当前性能；制作者提取的最后一个高级音频特征；我们的聚合器KP推断的最新状态。

（4）网络。所有设备都使用Wi-Fi路由器TP Link TL-WR902AC进行连接，该路由器在5 GHz频段采用IEEE 802.11ac标准。Wi-Fi系统组件以减少延迟和提高吞吐量为宜，路由器配置为接入点模式，禁用安全性，仅支持IEEE 802.11ac标准。