基于多模态的智能穿戴设备功耗控制系统研究设计

2021-07-28马振宇赵娟

数字技术与应用 2021年6期

马振宇赵娟

(广州英码信息科技有限公司,广东广州 510663)

0 引言

穿戴移动式动态心肺监测仪用于心脏疾高危病人的日常居家监测,能够预防心脏猝死等疾病。目前,医院普遍使用的心电、心音设备为12导联动态检测仪(holter),功能单一,在同一时间段,采集用户的心电信号或者心音信号,不能综合监测用户的多个信号从而集中判断并发情况。Hotler的功耗比较大,体积也很大,一般只能待机1～2天。因为心脏的部分病症从检测到异常到猝死只有10分钟,必须连续采集心电心音的数据才能及时预警急救。Holter需要把数据传输到后台服务器计算心电监测,计算滞后严重,不能满足心肺的实时计算和全天候即时预警的需求。

在对体积严格的穿戴移动式人工智能应用的场合,能效(能效=算力/功耗)是衡量系统的最重要指标。人工智能边缘计算芯片最重要的资源是算力,最消耗功耗的场景也是在进行人工智能推理计算的时候,仅仅只是芯片本身控制功耗或者开关外围电路不能有效控制功耗,需要系统的角度对计算资源进行控制才能达到能效最优。

参考文献[1]介绍了多模态控制的方法,给本文的功耗控制提供了理论基础和思路启发。文献[2]提出的多模态人工智能方法,也启发了本文的人工智能算法的模态控制。文献[2]介绍了低功耗AI芯片的体系架构,为功耗控制策略提供了硬件基础,如图1所示。

图1 穿戴式人工智能动态心肺监测仪示意图Fig.1 Schematic diagram of a wearable artificial intelligence dynamic heart and lung monitor

1 穿戴式人工智能动态心肺监测仪硬件设计

本设备的硬件框架图如图2。主要由多模态信号采集模块、AI数据处理模块、电源管理、电池、人机操作接口、无线通信模块、语音模块组成。

图2 硬件框图Fig.2 Hardware block diagram

(1)多模态信号采集模块集成了十二导联心电信号采集,胸阻抗信号采集,同时可以采集心、肺音信号和血氧信号。

(2)数据处理和主控制模块。数据处理模块采用FPGA和低功耗SOC芯片相结合的架构;FPGA内部具有数万个逻辑单元和乘加器,通过选择合适的架构,设计成并行计算的人工智能数据处理单元及硬件加速器,单芯片处理能效率最高可以达到1TOPS/W以上,计算能力强大,可快速对心肺信号处理和人工智能算法推理,实时对心肺功能的异常预警和干预。

2 穿戴式人工智能动态心肺监测仪软件设计

2.1 软件设计框图

软件系统架构如图3所示分为三层,主要有主控制单元和运算单元两个主要的功能模块,硬件载体分别是SOC控制单元和SOC计算单元及FPGA芯片:

图3 人工智能边缘计算模型流程Fig.3 Artificial intelligence edge computing model process

(1)主控制单元:运行在SOC控制芯片上,基于FreeT TOS之类的轻量级实时嵌入式操作系统做多模态任务控制和计算数据调度,实现系统的功耗和并行运算的最优控制。

(2)运算单元:有两部分,一部分运行在低功耗SOC的神经网络模块里,主要做实时性要求比较高的12导联ECG计算;另一部分运行在FP G A高性能人工智能运算模块里,主要运行心、肺音和其他实时性要求不高但数据量比较大的信号的计算。

2.2 人工智能边缘计算模型

设备的人工智能边缘计算模型流程如图4所示。因为本设备主要是针对心肺信号,系统采用的是轻量化的GRU或者LSTM模型。

图4 多模态控制框图Fig.4 Multi-modal control block diagram

表1表示对本实施例的心音监测部分的计算模型在轻量化后对系统的计算资源的评估,因为在本设备的多模态数据输入中,心音是计算量最大的部分,但是对实时性要求不高,需用用计算能力强的芯片进行计算。而多导联心电信号的特性是实时性要求高,需要连续计算,但是波形不复杂,采样频率低,比较适合低功耗、计算能力一般的多路计算资源进行计算。

表1 边缘计算模型参数Tab.1 Edge computing model parameters

3 多模态功耗控制设计

3.1 多模态功耗控制思路

因为本设备的输入是多模态的数据输入源,但是对于心肺监测的应用而言,并不需要每次都启动所有的计算资源进行计算。比如心房颤动,只需要12导联的心电波形即可,并不需要心音检测;而心力衰竭需要心音检测,但是6个导联的心电波形即可。因此,我们可以根据应用端的模型的需求,调配计算资源的使用,从而达到优化系统功耗的目的。系统的计算资源就包括芯片级别的SOC和FPGA。再往下一个层级就是两个芯片内部的各个计算模块,他们可以分别单独控制。同时芯片的计算主频和电压也是影响功耗的重要因素,所以也是本方法的控制对象。系统的计算资源就包括芯片级别的SOC和FPGA。再往下一个层级就是两个芯片内部的各个计算模块,他们可以分别单独控制。同时芯片的计算主频和电压也是影响功耗的重要因素,所以也是本方法的控制对象,如表2所示。

表2 穿戴式设备的计算资源与功耗控制层级Tab.2 Computing resources and power consumption control levels of wearable devices

基于以上分析,这个多模态功耗控制的基本思路是根据系统运行的需求或者状态采用不同调度策略的控制方式,即根据系统的实际运行状态,不同运行条件下调度最合适的资源,实现系统计算及时性和功耗消耗结合后的能效最高。

3.2 多模态控制设计实现

多模态控制框图如图5所示,这个方法是采用闭环控制,首先获取应用模型的计算资源需求和完成时间要求,然后通过多模态控制决策计算,得到最优的计算资源调度。进入到系统后实际运行,同时通过监测系统的实际功耗及计算结果评估。以功率最低为控制指标,将模拟时间和实际时间反馈到多模态控制决策计算进行持续优化,得到最佳完成时间和最佳硬件资源。

4 实验结果

表3是不同计算资源对应的运算速度和功耗。结果表明基于同一个应用模型,投入不同的计算资源,产生的能效比不一样。比如第1行和第2行,投入同样的8核cluster,主频从175Mhz降低到15.4Mhz,降低了11.4倍,但是功耗从70mW降低到3.7mW,功耗降低了18.9倍。证明在速度满足的情况下,通过降低主频可以实现功耗最低。