一切皆可计算么？让HPC与AI融合来实现

焦旭

增强网络安全成为启动数字化转型项目的推动因素。然而，实施过程中如果出现错误则会产生高昂的代价。

近年来，高性能计算（HPC）领域的技术发展已经渐渐走出纯粹的计算技术，在普遍性的行业应用中产生价值。

以往HPC主要集中在传统行业领域的研究，如石油、气象、材料、物理和地球科学等。如今，随着HPC技术的快速发展，互联网与传统行业不断地渗透和融合，推动了工业4.0、智能语音、人脸识别、智慧医疗、可穿戴设备等各个领域的快速发展。随着应用领域越来越广泛，HPC势必走入一个全新的时代。

不久前，2018全国高性能计算学术年会（HPC China 2018）在山东青岛举行。本次会议以“HPC+一切皆可计算”为主题，有超过两千名来自HPC领域的科研机构、高校、厂商的专家代表参加了此次会议，共同围绕HPC技术的研究进展、应用创新等主题，探讨行业发展趋势与应用实践经验，旨在促进产、学、研各界的深度合作，推动中国HPC技术与应用的发展。

一切皆可以计算么

在HPC技术的实际应用中，真的能够实现“一切皆可以计算”的美好愿景么？

事实上，HPC的技术发展还面临着一些难题和挑战。我们知道传统HPC采用封闭计算，这是HPC普及的最大市场阻力。所以，基于开放、标准的x86架构，以及利用集群技术实现HPC系统无疑已经成为技术主流，而不具有开放性的系统终将被淘汰或边缘化。

其次，随着对计算机系统性能的要求不断提高，HPC平台既需要提供模块化部署，同时，也应具有较强的扩展能力，可以方便地实现节点增加、系统扩充和升级。HPC与应用密切相关，因此其架构需要面对多样化需求的挑战，也就是需要用灵活性应对多样化的应用。

此外，功耗也是HPC发展面临的重要挑战之一，降低功耗是HPC硬件创新的重要方向。在数据量以EB级速度增长的情况下，低成本、高效率的HPC将成为首选。

最后，HPC项目建设是一项复杂的系统工程，涉及面广且技术门槛高。因此，从前期系统规划到实施都需要技术支持在内的端到端解决方案，包括从基础架构服务、验证到配置服务，既要方便部署，又能简化维护和管理，减轻运维人员负担。

针对这些难题和挑战，英特尔院士、英特尔HPC战略总监Mark Seager在本次学术年会上作了题为《与人工智能（AI）相结合的HPC和高性能数据分析，是数字经济转型的必要元素》的演讲。

Mark Seager指出，AI市场将从2017年的25亿美元成长为2022年的80～100亿美元，年复合增长率达到30%。高速成长的AI市场凸显对计算力的需求，而现有IT基础架构甚至整个AI应用生态都并不能很好地满足AI市场的需求。

谈及HPC能否用来支持AI对计算力的需求。Mark Seager表示，HPC是完全可以用于AI应用的，包括训练和推理都可以发挥作用。比如，在计算领域有性能越来越强大的新至强可扩展处理器，在网络方面有高速通信网卡OPA，在存储方面有创新的傲腾，它们都可以让AI应用受益。“HPC+AI可以把所有产业都结合起来，而AI很大程度上就是由数据驱动的。”Mark Seager如是说。

HPC与AI：融合的未来

眼下，AI变革中最令人惊叹的是其变化的速度。它已经改变了各行各业的面貌，从健康和精准医疗到交通运输再到自动驾驶，无不受其变革性的影响。随着AI技术日益成熟并得到广泛运用，我们将会看到更多的新奇应用不断涌现，而且AI也将会与现有的工作负载和技术融合在一起。

HPC正在加速这种变革趋势，通过将AI的强大功能应用于现有的高性能计算工作流程（HPC-on-AI），以及极大地扩展人工智能算法的规模以充分利用高性能计算系统的能力（AI-on-HPC），都取得了非常可喜的初步成果。

众所周知，在AI领域“数据为王”，这意味着软件和硬件可以“先放在一边”。AI软件的主要研发重点是为数据科学家提供帮助，使他们能够使用熟悉的软件工具，而这些软件工具能在当前和未来的硬件解决方案上随时随地运行。大部分正在开发的新硬件都是为了满足当前AI爆炸式发展所带来的需求扩大问题。

鉴于此，可扩展性变成为“AI与HPC”的关键，只有满足这一要求，才能解决所面临的大计算和大数据的挑战，并从现有大量的测量、建模和模拟数据中获益。因此，HPC与AI的相互融合，可以在HPC硬件上运行相同类型的数据和计算密集型工作负载，无论是尖端超级计算机、小型机构群集还是在云端。

不管是HPC-on-AI，还是AI-on-HPC，目前所看到的成功已经证明这种融合方式有着光明的前景，通过两者强有力的协同效应，来促进新的发现和创新。

英特尔高性能计算方案和销售总经理 Nash Palaniswamy表示：“现在主流的AI算法本质上是矩阵乘，这在HPC的环境里已经使用大概几十年了，只不过现在我们有专门硬件来进行矩阵乘的加速，但是这个方式也是一个非常传统的HPC的方式。”

三大方式与一次性解决

不过，一个不可回避的现实是，今天在大多数AI实际应用中似乎与HPC关联不大，不少AI都建起了一个新的硬件平台。背后的原因在于这两者在计算时具有明显不同的特征，传统HPC目前还不能很好地支持AI。

为此，英特尔提出了三种融合方案：在现有HPC基础设施上运行AI应用;在建模与仿真工作流程中加入AI，以加速創新和发现;将HPC与AI模式相结合。

Nash Palaniswamy指出，在整个AI开发流程中，实际上训练工作大约占到了全部时间的30%，训练之前要花费大量时间准备数据、格式化数据、处理数据、再输入进去，把数据用不同方式呈现。但其实，训练应该只是整个流程中非常小的一个部分。英特尔希望搭建一个一致性的平台，不需要再去切换更多的平台，一次性解决AI开发难题。

针对AI，英特尔也将在下一代至强处理器中加入深度学习的加速器英特尔DL Boost，在进行INT8运算时，最高可以提升约11倍性能。除了硬件之外，软件框架也是AI领域非常重要的一个基础。今年3月，英特尔宣布开源 nGraph，这是一个面向各种设备和框架的深度神经网络模型编译器。

Nash Palaniswamy透露，英特尔最新一代至强可扩展处理器Cascade Lake会在明年面世，该处理器会提供更强大的性能，同时还会增加一些人工智能深度学习加速器功能在里面，从而极大程度地提升INT8的性能。同样，傲腾数据中心级持久内存也是一个非常重要的创新，单根最大可以支持到512G，可以插在内存插槽上。

“从英特尔的策略来讲，将不仅仅关注AI，更要推动整个数据中心化趋势下基础设施的更新和创新。未来通过对AI、HPC、BigDL等技术的持续投入，为用户提供更加完善、更加强大的产品和解决方案。”Nash Palaniswamy表示。英特尔在这些方面的改进让HPC和AI应用受益匪浅。

注重开发与人才培养

在整个生态中，英特尔还非常注重开发者和人才的培养，以及市场推广，希望用开源的方式推动AI实现更快发展。目前，英特尔建立了AI学院和AI开发者社区，在全球已有超过11万个开发者。同时，英特尔与全球超过90个大学在AI领域达成了合作。

在本次学术年会期间，还举办了第六届“英特尔杯”全国并行应用挑战赛（PAC2018）与第二届国产CPU并行应用挑战赛（CPC2018）的决赛及颁奖典礼、HPC China2018大会优秀论文奖与HPC Plus优秀论坛颁奖典礼。旨在激励HPC领域人才不断钻研、刻苦奋进，积极为HPC发展贡献力量。

据了解， PAC由中国计算机学会高性能计算专业委员会（CCF TCHPC）指导、教育部计算机类专业教学指导委员会联合英特尔（中国）有限公司、北京并行科技股份有限公司共同倡导发起。期间还进行了诸如Analytics Zoo——大数据分析和人工智能流水线、中国银联国家实验室人工智能案例、ParateraHPC工具性能调优等实践案例的分享等。

组委会选择华为云EI大数据MRS服务作为大赛结果评选的独家评审平台，采用英特尔至强处理器作為推荐平台，由英特尔（中国）有限公司提供围绕并行计算以及英特尔至强的相关培训内容，帮助参赛选手深入了解并顺利运用尔至强平台进行并行程序的开发以及优化。