喻之斌研究团队提出基于纵向标签的时空共享调度协调机制
2020-02-10
中国科学院深圳先进技术研究院异构智能计算体系与系统研究中心喻之斌研究团队在时空共享调度抽象方面取得进展。相应成果为“Wang YZ, Li LL, Wu Y, et al.TPShare: a timespace sharing scheduling abstraction for shared cloud via vertical labels [C] // ISCA2019, 2019:499-512(TPShare: 云环境下基于纵向标签的时空共享调度抽象)”。
随着共享云计算资源异构性与任务异构性不断扩大,松耦合的调度架构设计模式得到普遍应用。但在该架构下,不同层次的调度器之间缺乏信息的沟通和调度策略的协调,导致调度效率低下。该研究提出基于纵向标签的云操作系统与应用框架间的调度协调机制 TPShare,重点解决如何调高云操作系统吞吐量和资源信息感知度,进而提高调度质量,确保应用性能等问题。
针对 Mesos 云操作系统,以及 Spark、Flink应用框架设计实现了 TPShare 协调调度原型。其中,通信协议主要采用基于纵向标签的时间/空间消息传递机制。而主要优化方法包括细粒度资源供给方案、负载感知的资源过滤机制和应用端全局资源感知的资源扩展技术。
通过在 8 节点集群上部署以及与原始 Mesos的对比实验发现,TPShare 可以有效提高云操作系统调度的吞吐量,提高调度质量。如在干扰环境下,平均降低尾部延迟约 2 倍。
研究纵向的调度协同理论和方法,不仅能为体系结构设计和优化提供新的指导,而且提高了资源效率,保证了用户体验和云服务提供商的经济效益,因而具有重要的理论价值和实际意义。
图1 基于标签的跨层次协调机制 TPShare
图2 不同负载下 Streaming repartition 尾部延迟的对比