华为异构计算开源生态蓝图初显

韩丽佳

当下，ICT及其产业应用的发展速度愈来愈快，对计算能力的要求也愈来愈高，同时，芯片行业的制程工艺临近物理极限，摩尔定律逐渐失效。

2017年图灵奖得主、加州伯克利大学计算机科学教授、谷歌杰出工程师David Patterson也曾表示：“现在，摩尔定律真的结束了，计算机体系结构将迎来下一个黄金时代。”

虽然物理极限逼近，但这不能阻碍人类创新的步伐，一个极限出现就意味着另一个新阶段的开始。

对此，华为开源首席专家侯培新表示：“采用冯·诺依曼架构的传统通用计算处理器已逐渐无法满足业界的需求，一直以来备受关注的异构计算，自然就成为传统通用计算的一个重要补充。”

异构计算的独特优势

在后摩尔时代，以域专有架构为代表的异构计算能够得到重视，是因其有独特的优势点。

谈起域专有架构的特点趋势，侯培新指出了其中三个主要方面：

第一，在芯片的物理结构层面，不同于传统的通用计算single die的硬件架构，域专有架构强调由更多具有专一功能的单元组成，即从single die演进到multi die。

这种架构的好处在于每个die功能更简单专一，通过将不同功能的die组合在一起，更具灵活性，可以设计出来更加适配上层业务需求的硬件。

第二，在专用硬件层面，域专有架构更强调设计专用硬件。华为推出的基于昇腾AI处理器专用硬件Atlas系列产品，从硬件层面针对深度学习领域需要大量整网乘加、矩阵运算这样的业务场景，进行最优化设计，从而大大提升业务的性能与能效比。

第三，在软件编程层面，域专有架构往往也会催生或推动一些新的编程范式，比如华为已经开源的深度学习编程框架MindSpore，一方面能使算法工程师用更方便、更直接的方式直接描述算法与网络，另一方面也会根据下层硬件的能力自动将神经网络用最优的方式放在最合适的硬件单元上去运行。

当算力发展的重心集中在以域专有架构为代表的异构计算，同时构建围绕异构计算的开源生态时，ICT产业的发展将进入更高一级的“快车道”。

打破“烟囱式”的开发模式

虽然以域专有架构为代表的异构计算在物理结构和软硬件协同等方面都具有显著的优势，但侯培新表示：“目前，异构计算的发展仍然处于非常初期的阶段，这其中很重要的制约因素就是异构计算尚未拥有如通用硬件一样的开源生态。”

制约因素可以概括为兩点：

一是异构计算开发者生态的缺失，应用开发者不熟悉异构硬件特性，而硬件开发者则不熟悉应用需求，并且两者都没有可以寻求帮助的异构资源平台。

二是异构云平台的硬件适配能力差，接口标准不统一。

这些制约因素导致了异构计算产业由少数厂商驱动的“烟囱式”开发模式，致使异构计算产业无法形成规模化的发展。

针对这个问题，华为从三个方面部署异构计算的开源生态体系：

1.让云管理平台对异构计算硬件资源进行管理。不同于非云场景下，静态的、固化的硬件能力，在云时代，异构硬件的架构和能力是动态的、变化的。所以，针对异构计算硬件资源的动态管理平台就应运而生了。

华为在OpenStack社区，与社区伙伴一同发起的Cyborg项目，就旨在为异构计算硬件提供一套通用的管理框架，比如增、删、改、查、发现及FPGA烧录等环节。

这套框架将能使管理云或者租户以一套标准的API，来为人工智能等任务，分配最佳的异构硬件资源;与此同时，通过标准化的面向异构硬件的元数据模型，来管理像昇腾、GPU、FPGA等各种不同的异构硬件。

在开源社区CNCF和Kubernetes社区中，华为提出了kube-acc项目方案，旨在为容器化业务提供面向不同异构硬件的通用管理框架。

2.让更多开源软件与异构硬件相适配。一些已有的或新生的开源软件需要运行在异构的、更适合业务场景的硬件上，这就需要一个中间的联结者。

因此，华为面向业界主要上游开源社区推出了ARM CI项目，以此保证CNCF、OpenStack、Apache等社区中的重要开源项目本身，能够在能效比更高的ARM环境下轻松构建与部署。

“随着ARM CI推进进入主流社区的基础设施，社区开发者可以第一时间发现在ARM架构上的问题并进行修复，这降低了开发者摩擦力。”侯培新博士说道。

3.打造面向异构计算的开源集成平台。异构计算开源生态的构建是一个长期的、不断迭代的过程，在这个过程中，我们需要一个开源集成平台，来将成功使用案例和相关资源展示给异构计算产业的开发者和管理者，让他们看到异构计算真正的价值。

华为公司希望同业界伙伴一起，推动建立面向异构计算的开源集成平台社区，通过集成异构计算相关开源组件、针对不同业务场景的端到端测试，以及一些新的事实标准制定，为用户提供开源的异构计算参考架构，让厂商构建更有生态活力的解决方案。

总而言之，异构计算对当前数字化、智能化世界来说是一个好东西，但是如何用好这个工具，如何为异构计算功能的发挥创造一个更有利的生态环境，才是应当要考虑的问题。

“山一程，水一程”，摩尔时代即将结束，却不意味着软硬件计算能力创新发展的结束，“山路”已过，还有“水路”，我们从不缺乏前行的勇气和创造力。

侯培新表示，围绕异构计算的开源生态正在逐步形成，随着新业务对算力及最佳能效比的持续追求，我们相信一个开放的、开发者受益的异构计算生态一定会到来。