音频可视化在车辆外灯系统灯光秀的应用研究

郝鹏飞

（上海禾骋科技有限公司，上海 200436）

1 引言

车辆外灯系统灯光秀是近几年兴起的全新应用场景，结合声、光、电实现效果，顺应了年轻人对车辆个性化功能的追求。灯光秀由外放音乐和灯光效果共同组成，功能激活时灯光会随着音乐的节奏舞动。实现音乐外放有两种方式：一种是采用内置扬声器，在进行灯光秀的时候将车窗降下，音乐从车内传播到车外；另外一种是利用外置扬声器直接播放音乐。灯光效果则由使用了LED光源的灯具实现，决定效果的两个关键因素是可独立控制的LED颗数以及LED光源的布置形式。目前车辆外灯系统灯光秀是通过存储效果脚本（按照时间顺序定义不同LED点亮状态的信号）的方式实现，由于避开了音频实时处理的限制，脚本可以实现很好的灯光秀效果。但缺点是制作脚本需要投入很大的成本，更新升级周期长，脚本占用空间大。另外，如果存储脚本，则需要前照灯控制器有较大的存储空间，才能实现多种效果；如果不储存在前照灯控制器内，就需要对脚本打包进行传输后才能实现效果，延时问题就很难解决。因此，想要扩展灯光秀的多种效果，实现快速更新升级，就必须找到一种全新的实现方案。

2 音频可视化

外灯系统灯光秀的设计，实际上是音频可视化的一种设计方案，在对音频的特征提取之后映射成灯光相应的可视化效果，如图1所示。

图1 音频与灯光效果的对应关系

其中，提取音频的频率信息映射到灯光系统的LED点亮位置，音频的强度信息映射收到灯光系统LED的亮度，将灯光效果映射定义完成之后，按照音乐节奏将每一节拍的效果连续起来便实现了音频灯光的可视化效果。

2.1 音频特征提取

音频可视化过程中，提取音频强度、音频频率较为容易，因为在多媒体设备中，音频信号一般是PCM编码的音乐信号，属于离散数字信号。目前对自然音频（如wave、wma、mp3等格式的音频）的内容分析和特征提取可实现的方法有不少，如FFT、Wavelet、固定窗口等，本文通过FFT（快速傅里叶变换）方式提取所需的音频强度和频率信息关系如下，其中，频率分级数量的可根据灯光系统LED分组的数量进行设计，如图2～图4所示，图3提取的音频频率数量是图2的2倍，图4提取的音频频率数量是图2的4倍。

图2 音频特征提取信息（1）

图3 音频特征提取信息（2）

图4 音频特征提取信息（3）

2.2 音频节拍检测

音乐节奏与灯光的点亮时序匹配好才能保证灯光效果的品质，可以通过音频的节拍与灯光LED的点亮时序映射实现。目前，对于PCM编码的音乐文件，实现的方法也较多，并且检测效果也能够满足要求，但对于整车集成的需求来说，兼顾检测效果的同时，还要求节拍算法尽量简单、占用资源尽量少。满足要求的有以下两类算法。

一类是金文灿等人采用的比较音乐短时能量的方式来判断节奏点，即通过判断短时能量的极值点来确定节拍点。提取时间的间隔采用了50ms，理论上满足节拍间隔的要求（一般情况下，节拍周期在0.33～1.33s之间）。极端情况下，即使每50ms有一个节拍，灯光LED每50ms变化一次，对于人眼的感知来说，变化已经够流畅了，节奏太快已经失去意义（视觉暂留时间在科学上通常被认为是0.1～0.4s）。

另外一类是杨洁等人采用的方法，考虑到人耳对音乐节拍的感知情况（每分钟音乐节拍出现的个数在45～180之间），采用降采样率的方式、将音频采样率从44.1kHz降到630Hz，实现了准确的节拍检测并通过算法处理降低了算法的资源占用率。

3 灯具效果设计

传统的灯具一般分布在车身的左右两侧，要实现灯光秀效果会有一个致命的缺陷，那就是中间部分效果无法连贯。因此、要实现灯光秀功能，应尽量采用贯穿式的LED灯具设计。

按照音频可视化的映射规则，分别将音频频率、音频强度与灯光LED分组数量、亮度等级一一对应，如图5所示。

图5 基于音频可视化的灯光效果

其中，在音频强度与LED亮度的对应关系中，亮度100%为昼间行驶灯的亮度，而10%大致相当于位置灯的亮度，为了弱化亮度从10%直接变化到100%的跳变，使得效果过渡更柔和，中间增加了50%的亮度值，在实际的设计中也可以不考虑这一亮度等级。同样，与亮度对应的音频强度分级范围也可以根据实际情况作相应调整。

在频率与LED点亮位置的对应关系中，频率的带宽及整体范围，需要根据灯具设计中LED的排布、数量以及最终呈现的效果作相应处理。

将灯光效果映射定义完成之后，按照音乐节奏将每一节拍的效果连续起来，便实现了音频灯光的可视化效果，如图6所示。

图6 基于节拍点的灯光连续效果

4 动画效果制作

在实际的开发过程中，灯光秀的造型渲染动画与底层的功能实现之间，存在着巨大的空白区域，沟通成本非常高。为了解决这一难题，基于前文所述的可视化原理，选取目标音频后，对音频强度、音频频率进行提取并检测音频节拍，按照映射关系就可以完成造型动画的制作。如果没有条件利用软件算法检测音频节拍，也可以利用音乐的曲谱信息——音符和拍速计算节拍，然后进行动画效果的制作。如“四分音符=120”，表示每分钟演奏120个四分音符。四分音符表示1拍的时间是：60/120≈0.5s。

需要注意的是，音频特征的提取与灯具LED的布置要相互匹配，才能实现较好的渲染动画效果。某车型灯光秀的渲染效果（贯穿灯部分）如图7所示。

图7 某车型灯光秀的渲染效果（贯穿灯部分）

5 架构设计

车辆外灯系统灯光秀需要中控屏界面、信息娱乐主机或计算平台、车身控制单元、外灯控制器、外部灯具、功放、车门控制器、车窗、扬声器（内置或外置）等模块共同参与实现。用户可在中控屏设置灯光秀开启、选择效果等操作；信息娱乐主机将灯光秀信息发送给车身控制单元，由车身控制单元进行进一步的处理，同时信息娱乐主机控制多媒体输出，由功放控制扬声器实现音频的播放；车身控制器实现灯光秀功能的条件判断与逻辑处理，当仅有内置扬声器时，需要控制车门控制器实现车窗的升降；外灯控制器实现最终的灯光效果。系统方案如图8所示。

图8 灯光秀架构方案

其中，核心的音频处理部署在信息娱乐主机或计算平台内部，对多媒体的音频进行特征提取以及节拍检测，并将音频特征、节拍点信息与灯光LED位置、亮度、时序融合处理后，形成信号流输入给外灯控制器。

6 结束语

灯具的造型（尤其是贯穿式前后灯）以及灯具电子控制的快速发展，使得车辆灯具也快速地融入了汽车智能化的浪潮之中，一些新的使用场景应运而生，灯光秀就是其中之一。

目前灯光秀是通过基于时间顺序制作灯光效果脚本，前照灯控制器接收脚本后进行解码并控制灯光LED的不同位置、不同时间的亮/灭，从而实现相应的动态效果。

本文通过对音频可视化技术的筛选，将其中的部分技术（如音频特征提取、音频节拍检测）与车辆灯光系统灯光秀结合，实现了基于功能逻辑的灯光秀效果渲染，为造型效果与工程实现起到了很好的桥梁作用，极大程度降低了造型师与工程师的沟通成本，有利于灯光秀效果渲染的快速更新与评审。同时，由于音频可视化领域，音频特征提取、节拍算法都有较成熟的技术，本文应用这些成熟的技术，对灯光秀功能进行了架构设计，可实现基于音频的实时灯光秀效果。

当然，也可以看到，由于灯光秀效果受主观因素影响较大，即使在理论上与台架验证完成，在实际车型开发过程中依然需要重新优化。综合看来，有以下几个主要影响因素：灯具造型LED布局与音频特征中频率分级的匹配；信息娱乐主机（计算平台）的算力情况；信号流的传输速率。

这些影响因素都需要在开发过程中考虑，结合期望的灯光秀效果予以取舍平衡。期待本文的研究能够为同行提供一些参考方向，对灯光秀这一新兴应用场景推陈出新。