多处理引擎的异构系统引领边缘AI高效部署

Rob Fisher

在过去的两年里，边缘人工智能（Edge AI）实现了加速发展，这主要得益于小型化神经网络架构的进步，从而可以在微控制器级（MCU）的器件上实现高精度。这增加了边缘 AI应用和设备的数量，这些应用和设备可以通过这项技术以较低的成本实现。这方面的一个示例就是关键字识别，它已经成为智能家居设备交互的标准方式。

边缘AI可以体现为多种形态，从非常小型的、低功耗的推理引擎，到高功耗的、具有特定功能的、與基站或智慧城市视频监控等数据源同处一方的大型方案。在这些更大型的装置中，异构架构（即针对特定任务的专业加速器）正在提高效率，通过减少设计复杂性来降低功耗。Imagination Technologies公司的图形处理器（GPU）、AI加速器和即将推出的RISC-V中央处理器（CPU）的IP产品组合，将为这些边缘AI应用提供全新的功能。

许多用于边缘AI应用的系统级芯片（SoC）将包含许多不同的处理引擎，这些引擎能够高效地划分和卸载工作负载。分离工作负载还有一个好处，就是可以使用不同的加速器并行执行多项任务，从而实现高效的多任务处理性能。这种多处理引擎的异构系统旨在提供不同的计算架构来有效地执行整个系统所需的特定任务。用于现代个人电脑（PC）中的GPU就是一个很好的示例，它们使用一种高度并行的计算架构，从而可以更高效地进行图形处理，并支持主机CPU将该任务“卸载”到更高效的引擎上。在开发边缘AI系统时，这一原则也同样适用。

边缘AI要求在保持或提高计算性能的同时降低功耗，这一压力始终存在。伴随着异构架构的使用和处理器技术的优化，机器学习算法的进步也为提高能效提供了途径，同时也提高了计算性能。二进制神经网络（BNN）的引入就是一个示例。BNN试图通过将网络权重和激活量化到单个比特来实现更高的效率，从而减少内存需求和计算单元的大小。

实现最低功耗推理系统的一种策略是在各种低功耗模式下运行，这些模式可以逐级推理出周围的环境情况。例如，一只带有语音控制功能的智能手表可能具有三个功耗级别：0、1和2。在0级功耗模式（即最低功耗模式）下，手表无法执行明显的推理功能，因此只能监听可能预示即将发生活动的高环境噪声。

当监听到出现明显的活动时，手表将切换到模式1。模式1会消耗更多的电量，但仍不能完全满负荷运行。这种模式支持手表监听一个关键字，然后触发最终模式，即模式2，该模式将使用捕获到的音频来推理和执行命令。使用这种逐级增加电能消耗的方法，每次都会增加对周围环境的推理，支持系统管理电能，以便只有在高度确信是必要的情况下才增加电能消耗。

机器学习和人工智能的发展正在推动全球的创新和发展。中国作为人工智能发展和应用超前的重要市场，为经验丰富的机器学习工程师提供了与来自世界各地的产品开发和工程团队合作的机会，从而获得开展全球性业务的经验。