高性能计算及其在航空发动机中的应用

■ 刘婷 付强/中国航发研究院

高性能计算是一个国家科技水平发展的重要标志，它很早便应用于航空发动机的研发，可以缩短研发周期和降低研发成本，是航空发动机研发的关键技术手段。与此同时，高性能计算在航空发动机研发的应用中依然面临着一些挑战。

航空发动机的研发正在从传统的试错式设计向预测设计转变，建模与仿真技术是研发过程中必不可少的环节。随着对发动机性能指标要求的不断提升，以及缩短研制周期和降低经费的需求，未来进行航空发动机研发时所使用的仿真技术将朝着更复杂的趋势发展，即利用高保真建模提升对物理过程的认识深度、利用多学科设计优化产生最佳设计、利用虚拟样机建模降低研制费用、风险和周期。目前来看，只有高性能计算技术才能满足上述需求。

高性能计算概述

高性能计算的内涵与特点

美国信息技术与创新基金会于2016年发布了一份高性能计算报告，其中提出高性能计算（HPC）是指需要使用“超级计算机”和大规模并行处理技术，通过计算机建模、仿真和数据分析来解决复杂计算问题的系统。目前通常将使用计算资源超过1T（每秒执行1012次算数浮点运算）的计算过程称为高性能计算。高性能计算将多种技术结合在一起，包括计算机架构、程序、算法以及单一系统下的应用软件等，可以快速有效地解决复杂问题。台式计算机或工作站通常只包含单个处理芯片（中央处理单元或CPU），而HPC系统实质上代表CPU组成的网络，每个CPU包含多个计算核以及本地内存来执行各种软件程序。超级计算机上运行的软件程序被划分成许多较小的独立计算任务，可以在这些核上同时执行，称为“线程”。现代超级计算机可能包含10万个计算核甚至更多，为了使超级计算机有效运行，其计算核必须精心设计，以便有效地传递数据。

HPC的特点可以归纳为以下几个方面。

一是提高仿真精度。HPC系统可以在一个问题上部署数百、数千甚至数百万个处理器，将设计决策从不确定的近似转变为精确的解决方案。

二是缩短计算时间。一个复杂的问题用台式机计算时可能需要运行数天时间，但在HPC系统上可以在数小时甚至数分钟内完成相同的工作。

三是耦合解决方案。台式机或许能为较大系统的一部分建模，但HPC系统可以同时对系统的多个部件进行实时建模。计算“多物理场”时所有部件并行计算会缩短设计周期，同时提高设计质量。

四是提升结果置信度。对设计产品验证时通常需要大量模拟来缩小结果的“不确定性范围”。与台式机相比，HPC系统可以执行10万倍以上的模拟，这些高分辨率的计算提供了无与伦比的统计信心。

五是实现设计优化。只有HPC系统才能让设计人员高效、经济地比较数百或数千种设计，从而在庞大的设计空间快速锁定优化的设计方案。

因此，高性能计算特别适用于计算密集型研究领域，尤其是在模拟复杂、迭代、多变量物理系统的行为方面不可或缺，在航空航天、能源、气象等领域一直占据着重要地位。

高性能计算发展历程

超级计算机的运行速度在过去20年中呈指数增长。在1993年时，世界上最快的超级计算机速度仅达到59.7千兆次；到了20世纪90年代末，最快的超级计算机才打破T级屏障。但到2005年年底，最快的超级计算机已达到P级（每秒执行1015次浮点运算）范围。当前，中国、欧盟、日本和美国都在向E级计算（每秒执行1018浮点运算）发展，近期我国的“天河三号”E级原型机系统已在国家超级计算天津中心完成研制部署（如图1所示），将逐步进入开放应用阶段，中国的百亿亿次计算即将来临。

图1 “天河三号”高性能计算机系统

航空发动机研发对高性能计算的需求

在国家层面上，美国已将高保真建模、仿真与高性能计算作为提升其制造业全球竞争力的关键技术。2009—2010年，美国成立国家数字工程与制造联盟（NDEMC），由GE公司、波音公司、洛克希德-马丁公司等制造企业联合相关高校、研究机构、政府部门等HPC理事会咨询会员共同组成。NDEMC开展了一系列高性能计算能力发展策略研究，发表了5份白皮书，并先后策划了多个专项计划，旨在推动国家高性能计算能力在制造企业中的应用。与此同时，包括我国在内的许多国家也建立了公私合作关系，旨在推动本国制造业广泛使用HPC。

在企业层面上，GE公司、罗罗公司和普惠公司等已经在高保真建模、仿真和高性能计算等方面获得了先进生产力和竞争优势。正如GE公司的研发人员提到，公司正在通过对发动机的各个部件（压气机、燃烧室、涡轮等）进行全面建模来缩短发动机的设计周期，并且通过模拟技术非常有效地检测发动机的设计缺陷，使得GE公司的发动机寿命增加了两倍，由此所节约的成本超过1亿美元。但大量的仿真应用需要高性能计算技术的支撑，例如，对发动机的压气机进行优化替代设计方案的评估需要3.1×1018浮点运算，或者在1T的速度下持续运算一个月；而对于整台发动机设计方案进行评估，则需要50T级的持续计算能力。GE全球研发中心的技术总监加里·伦纳德指出，HPC技术对于发动机涡轮性能的改善使得公司每年在燃油/燃气消耗量上降低2%～4%，这将为用户节省30亿～60亿美元的费用，且超级计算机已经使GE公司的新型发动机研发周期缩短至少半年时间，因此HPC可能已成为GE公司目前最重要的设计手段。同样地，罗罗公司从单个部件和子系统的设计、分析、优化到整机的模拟也都依赖高性能计算，尤其是对于复杂几何形状的高保真建模和多物理、多学科仿真。在设计周期内，上述建模和分析过程必须在可接受且极具挑战性的时间尺度和精度内完成，且执行模拟的平台必须具有鲁棒性、稳定性、可扩展性和可靠性，罗罗公司认为HPC是唯一能满足如此高要求的计算资源。

在学科技术发展层面，航空航天业是将计算流体力学（CFD）应用于设计过程的先驱之一，其主要动机一直是减少昂贵的物理试验（如风洞试验）和在设计周期内建造原型机的数量，目前CFD技术已经朝着高保真的仿真方向发展，亟须高性能计算能力作为支撑。在20世纪70年代早期，跨声速机翼的计算（使用流动方程的线性无黏假设）证明了CFD在节约成本和提升设计质量的潜力。对于基本控制方程的连续精化近似应用于复杂三维模拟，从非线性非黏性近似开始，并在20世纪90年代以雷诺平均纳维-斯托克斯（RANS）方法达到顶峰。虽然RANS方法仍然是航空航天应用CFD的行业标准，但因受到湍流模型的不确定性影响，至少对于工程实践中使用的当前模型而言，仅通过使用试验或直接数值模拟（DNS）数据进行校准，不能使其准确度进一步提升。此外，由于湍流模型精度的限制，即使通过增加计算网格的空间和时间分辨率，也不一定能提高RANS方法的预测精度。这就引发了航空航天研究人员对另一种湍流计算方法——大涡模拟技术（LES）的关注。LES是通过求解低通滤波的纳维-斯托克斯方程和质量守恒方程直接计算大尺度场，并结合唯象模型来解释小的未解析尺度对大尺度场的影响。但LES在求解平滑壁附近的小涡结构方面存在缺陷，因为它需要与DNS相当的巨大网格分辨率。由于这种限制，业界又发展了混合RANS/LES方法。不断进步的CFD能力在20世纪90年代帮助普惠公司将航空发动机验证所需的台架试验数量减少了50%。然而在过去的10年内，普惠公司在发动机研发过程中所使用的台架试验次数仅减少10%，这说明当前的行业标准模拟工具在解决由于航空发动机可操作性和性能阈值达到极限时出现的关键技术挑战的能力方面已经趋于稳定。为了加速航空发动机行业的发展，新的基于高保真仿真的工程设计工具，如LES和混合RANS/LES必须成为工程设计周期的标准组件，而这需要高性能计算水平的支撑。

图2 CREATE高压压气机数值模拟

高性能计算在航空发动机中的典型应用

压气机

2011年，赛峰集团对CREATE高压压气机在设计工况下的非稳态流动情况进行模拟（如图2所示）。模拟采用非稳态URANS方法，网格数量高达6亿，在IBM Blue Gene/P超级计算机上运行125万个CPU小时，使用2048个计算核，计算时间不到一个月；2014年，赛峰集团对CREATE高压压气机1/8扇区连同试验装置进行了喘振工况下的数值模拟，动叶转了118圈后获得喘振的一个周期，与试验值132圈相差10.6%；计算共耗时100万CPU小时，约两个月。

燃烧室

2008年，欧洲科学计算研究中心（CERFACS）与赛峰集团合作，使用由CERFACS和法国石油研究所（IFP）共同开发的非结构化代码AVBP，对直升机发动机的全环燃烧室点火与火焰传播过程进行模拟（如图3所示）。使用网格数量为1900万，计算在Cray XT3超级计算机上开展，调用了700个处理器，整个点火序列使用了11.2万CPU小时，相当于160h的实际运行时间。

图3 不同时间序列下燃烧过程模拟

2014年，GE公司全球研发中心计算燃烧实验室的研究人员与康奈尔大学合作，利用劳伦斯利弗莫尔国家实验室的Seirra和橡树岭国家实验室（OLCF）的Titan超级计算机进行航空发动机燃烧室中燃油喷嘴的设计（如图4所示）。图4（a）中燃油喷雾的数值模拟在Sierra上进行，研究人员使用了50万～100万CPU小时的模拟时间；图4（b）是使用Seirra和Titan对燃油喷嘴内部物理过程进行数值模拟，使用的时间和处理能力相当于同时运行10000台常规计算机超过9个月。这些高保真的计算机模拟有助于GE公司的设计人员了解燃料和空气如何混合和燃烧，从而提高发动机的效率，并最终减少试验次数。

图4 超级计算在燃油喷嘴设计中的应用

涡轮

2013年，GE公司全球研究中心与橡树岭国家实验室合作，利用后者的Jaguar超级计算机开展4级低压涡轮非定常流动仿真（如图5所示），使用的代码是GE公司内部研发的叶轮机设计专用程序Tacoma。为了在简化计算量的同时不过于降低保真度，计算时只分析1/14扇区，总共包含8个叶片排的67个叶片通道，总网格数约为2亿。软件调用了Jaguar的大约8000多个处理器，计算时间约为80h，占Jaguar可用处理器的3.5%左右。

多部件应用

2010年，CERFACS对燃烧室进行了建模仿真，并考虑了与第一级高压涡轮导叶的相互作用（熵、涡量和噪声）。计算时仅考虑18个燃烧器中的一个（如图6所示），使用自研软件AVBP，网格数量为590万；2017年，赛峰集团使用Onera的结构化代码elsA，对风扇/短舱进行气动声学仿真，研究进气道结构对气动噪声的影响，计算时采用的网格数为7000万，利用国家高等教育计算中心（GENCI）的超级计算机，调用了600个处理器，计算时间持续200h。

图5 4级低压涡轮非定常流动仿真

图6 燃烧室/涡轮气动模拟

整机应用

2007年，普惠公司与斯坦福大学基于美国能源部国家核安全局（NNSA）的ASCI计划对PW6000整机进行CFD模拟，其中压气机和涡轮使用RANS计算，而燃烧室使用LES方法，两者基于一个耦合的多代码、多物理场集成环境实现数据传输。使用劳伦斯利弗莫尔国家实验室的超算资源，网格数9400万，使用300万CPU小时计算时间。

高性能计算资源的应用

GE公司、普惠公司、罗罗公司等先进航空发动机企业均购置了自己的高性能计算设备，如GE公司全球研究中心于2011年购买了一台Cray XE6m超级计算机，用于支持其各学科仿真研究。除此以外，每一个企业内部都拥有一支高性能计算和建模团队，致力于高性能计算硬件、软件开发和系统部署，以辅助工程部门更好地模拟发动机的物理特性。

即便如此，企业内部的高性能计算资源仍然难以满足巨大的计算需求，需要来自国家的资助，因此建立了许多国家级的高性能计算中心。发达国家通过制定高性能计算资源共享的战略，资助本国企业使用HPC资源，如美国政府于2010年制定了“新型计算对理论和试验的影响”（INCITE）计划，为全球需要大量计算机时间、支持资源和数据存储的学术机构、政府机构和企业提供奖励，以实现科学和工业竞争力的转型进步。类似的计划还有橡树岭国家实验室工业HPC合作伙伴计划和欧洲高级计算伙伴关系计划等。

发动机制造公司基于上述计划，通过与国家实验室和大学合作，获得高性能计算硬件、软件和技术资源，如GE公司通过相关计划分配获得了2000万h的处理时间来预测低压涡轮的不稳定性。除了GE、普惠等发动机制造企业，美国也十分重视中小企业的高性能计算能力发展，为此也制订了相应的计划，如“蓝领计算”计划主要帮助民营中小型企业以可承受的成本获得HPC技术和资源。

随着云计算等新一代信息技术的发展，访问HPC资源的模式也在逐步发生改变，“云端”HPC资源正成为可能，即企业不再需要为其分散于世界各地的研发制造机构重复购买计算集群并安排专门的维护人员，只需在企业部署一套高性能计算资源，利用云服务（IaaS、PaaS、SaaS）为其提供按需使用的服务，以及快速扩展、收缩或释放配置资源的能力。当然，云计算仍然处于发展的初期阶段，在工程领域尤其是航空发动机领域应用时，需要重点考虑诸如安全性、知识产权保护、可靠性、存储和许多其他挑战。

高性能计算面临的挑战

高性能计算已经广泛应用于航空发动机的研制过程中，能够在较短时间内为设计人员呈现出更高尺度分辨率、高时间保真度的物理现象，但仍然无法完全满足当前及未来发动机研制的需求。一方面是物理机理存在不足，比如非定常流动下对于边界层分离的精确建模能力尚有欠缺等。另一方面则是HPC技术应用于航空发动机设计时其本身所面临的挑战，具体有以下几点。

一是硬件系统功耗。当前最先进的计算系统会消耗大量的功率以尽可能地扩大规模，使用了大规模的结构化组件，且无法提供必要的计算和通信速度水平。因此未来需要开发先进的HPC硬件技术，特别关注功耗、错误保护和恢复。

二是高水平软件提取能力。下一阶段，高性能计算能力将朝着E级计算发展，系统复杂性的增加需要更高水平的自动化，使得用户能够更简便地获取计算资源。目前所开发的软件的基础架构无法扩展到未来HPC系统的复杂程度，且其抵御错误的能力不足。因此需要持续开展中间件技术研究，特别是操作系统、编译器、通信和I/O库以及部署和监测系统。

三是先进的编程环境。未来HPC生态系统开发的另一个关键组成部分是开发基本的、高度可扩展和抵御错误的算法，可分解的软件架构和编程环境，使研究者能够在合理的抽象层次上表达算法。

四是软件代码可扩展性。未来的HPC系统将需要更大规模的并行化。但即使在当前的多核平台上，也非常缺乏鲁棒的、可扩展的求解器，尤其是CFD求解器。因此需要开发能够平衡负载和通信的并行软件代码，且具有模块化的特点，能够允许用户轻松透明地替换组件。

五是缺乏可扩展的前处理和后处理方法。为了简化和加速整个仿真的工作流程和航空发动机的设计过程，必须解决基本可扩展的前处理和后处理方法，包括前段的几何表示和网格生成，以及后端的大型数据集的可视化、数据库生成和一般知识提取。

六是无法访问HPC资源以进行代码开发。可靠地访问高性能资源对于设计、测试、展示和应用新的仿真技术至关重要，因为算法的选择和软件实施策略直接受软件开发过程中可用硬件类型的影响。目前很少有代码能够利用HPC硬件，同时又推动对吞吐量或容量计算的需求，因此需要为高度可扩展的软件开发程序分配一部分HPC计算资源。

结束语

高性能计算已成为航空发动机研发所必须的关键技术，利用HPC进行高保真数值仿真和设计空间寻优，对提升航空发动机设计水平、降低研发周期和经费的意义不言而喻。虽然目前高性能计算和航空发动机基本理论的发展均面临挑战，导致HPC在航空发动机中的应用仍受到一定局限。但可以预见，随着关键技术的不断突破，未来高性能计算在航空发动机领域的应用前景将更加广阔。