面向国产超算平台的通用能源管网仿真计算模型

韩璞 商建东 薛飞 谢景明 王洪生 王海

摘 要：

为实现城市能源管网仿真软件的自主可控，基于国产异构高性能计算机“嵩山”超级计算平台，提出一种通用的城市能源管网仿真计算模型。通过优化管网中“非管”组件模型，提高了计算模型对国产异构并行计算机系统的适配性；将不同管网组件的计算过程进行封装，弱化了网络组件在仿真计算过程的依赖性，提升模型在工程实现上的可并行性。供水、燃气和热力三种场景的并行仿真实验，证明了计算模型在解决城市能源供给网络的仿真计算上具有一定的普适性；通过管网实测数据与仿真模型中模拟数据对比结果表明仿真管网压力的误差率在4%以下，其温度的误差率低于2%，同时也说明了提出的管网仿真计算模型在国产超算平台上具有良好的计算通用性。

关键词：异构计算；能源管网；仿真模型；流体网络；并行计算

中图分类号：TP308   文献标志码：A    文章編号：1001-3695（2024）03-033-0866-07

doi： 10.19734/j.issn.1001-3695.2023.06.0299

Universal computational model for energy supply network simulation

based on domestic supercomputer system

Han Pu1，2， Shang Jiandong1，3， Xue Fei4， Xie Jingming3， Wang Hongsheng3， Wang Hai5

（1.School of Computer & Artificial Intelligence， Zhengzhou University， Zhengzhou 450001， China; 2.School of Information Engineering， Nanyang Institute of Technology， Nanyang Henan 473004， China; 3.National Supercomputing Center in Zhengzhou， Zhengzhou 450001， China; 4.Henan Paifu Information Technology Co.， Ltd.， Zhengzhou 450001， China; 5.School of Mechanical Engineering， Tongji University， Shanghai 200092， China）

Abstract：

In order to realize the independent and controllable simulation software of urban energy pipeline network， this paper proposed a universal urban energy pipe network simulation calculation model based on the domestic heterogeneous high-performance computer “Songshan” supercomputing platform. It enhanced the adaptability to domestic heterogeneous parallel computer systems by optimizing the model of the non-pipe component and simplifying its input and output parameters. Then， it encapsulated the calculation process of different pipe network components， which could reduce the computational dependency of each connected component in the simulation calculation process and improve the parallelism of the engineering implementation of the calculation model. Finally， it also proposed a parallel system solution for energy pipe network simulation with this simulation calculation model. The generality of the suggested computational model had been proved by simulation tests of three separate real pipeline networks for urban water， gas， and heat. The simulated pressure has an error rate of less than 4% and its temperature has an error rate of less than 2%， according to comparisons between the actual network measurements and the simulated data in the network simulation model. These results also show that the proposed pipe network simulation model in the paper provides excellent computational versatility on domestic supercomputing platforms.

Key words：heterogeneous computing; energy supply network; simulation model; fluid network; parallel computing

0 引言

能源管道网络是现代城市基础设施中重要的组成部分，人们借助这种网络获取所需的水、燃气等能源物质［1］，但随着城市规模的不断扩张，能源管网的规模和形式也愈发庞大和复杂，对这种隐匿于地下城市“动脉”的管理和维护工作也变得相当困难［2］。通过仿真技术构建能源供给网络数值模型，为能源供应商们提供了一种高效的管网运行与监测手段［3～5］。目前较为流行的仿真工具多为一些国外商业软件［6］，如Syner-GEE［7］、ATMOS SIM［8］等。这些软件系统虽然能够实现对管道网络的建模、仿真，但它们具有一定的商业垄断性；另外，能源管网数据多数情况下属于涉密信息，长期将这些国外商业软件应用于国内能源供应领域，可能对国家能源安全产生一定的信息安全隐患，因此设计和完善具有自主产权的能源管网仿真工具为维护国家和能源行业信息安全具有十分重要的意义。

为了突破国外商业软件的垄断和维护国家能源供应网络信息安全，国产化仿真系统软件迎来了巨大的发展。例如，在油气的长线传输仿真领域，以RealPipe-Gas为代表的天然气管网瞬态运行的通用仿真软件实现了天然气管道仿真技术的自主可控［9］。然而，在能源管网仿真过程中，涉及大量的流体计算方程的求解［10，11］，这一过程需要耗费大量的计算资源辅助完成，传统计算机硬件在此类计算密集型的系统软件的性能提升方面存在很多限制［5，12］。但高性能计算机和并行软件开发技术的发展，为提升管网仿真计算性能奠定了基础［13］。谢兴勇等人［14］利用高性能计算中的异构计算方法在“嵩山”超级计算平台上证明了高性能计算机在管网仿真计算具有一定的优势。然而，文献［14］在“嵩山”计算机上仅针对城市供水管道网络，实现了管网的数值建模与仿真，其应用场景具有一定的局限性；同时实验中使用了非实际的供水场景算例，只完成仿真系统的计算性能方面的验证，也没有对仿真模型数值精度进行评价。

为了补足国产能源管网仿真软件短板和解决城市能源供给复杂场景的仿真计算问题，本文调研了城市多种能源供应网络仿真过程中的计算方法，结合国产超级计算平台这种异构硬件架构，在前期工作［14］的基础上提出了一种适用于自来水、燃气和热力三种能源供给网络场景的通用能源管网仿真计算模型。该模型将网络中流体方程的求解与管网仿真系统逻辑分离，提高了模型的可拓展性；在杨周凡等人［15］提出的基于“网络元”的管网建模方法的基础上，通过重构管网组件类型，实现一种通用的管网仿真计算框架，增强了框架对异构计算平台的适应性。

在三种不同能源供给网络场景中，本文通过系统模拟的管网压力、温度数值与实测数据的对比结果表明：多数观测点处的仿真与实际仪器测量数值误差低于5%，证明了仿真计算模型具有良好的實用性。

1 “嵩山”计算平台与异构并行计算

“嵩山”超级计算机是国产新一代具有自主知识产权的异构计算机集群，沿用当前主流的高性能计算机“CPU+GPU”硬件架构，对高计算密度的应用程序的性能提升具有良好的辅助作用［16，17］。“嵩山”超级计算机部署于国家超级计算郑州中心，其理论峰值计算能力100 PFlops，存储容量100 PB［18］；单个计算节点采用“一拖四”（一颗CPU和四颗DCU）模式配备。“嵩山”超级计算平台在提供强大计算能力的同时，也为国家高性能信息计算发展和行业领域信息安全提供了有效的战略保障。

DCU（deep compute unit）是海光信息技术股份有限公司自主研发的一款类GPU国产计算加速卡，与CPU共同构建高性能计算机的硬件架构，也是“嵩山”计算平台中主要的加速设备。DCU具有独立的硬件体系架构，通过PCI-E总线与CPU相连，内部有多个CU（compute unit）构成计算单元阵列，接受CPU的调度，但程序在DCU上的运行则是可以独立运行，这为应用程序的并行计算提供了硬件支撑。图1是“嵩山”超级计算平台中单个节点的硬件架构，整个硬件体系中包含四个DCU卡，每个DCU卡的计算单元阵列中包含60个CU，DCU上的指令处理器协调计算资源的调度和任务分配［19］。计算节点中的各计算组件通过PCI-E总线进行数据和指令传输，系统中的计算任务由CPU进行控制。

为了充分利用图1中计算资源，传统编码和程序运行方式需要针对这种硬件架构重新改写。在“嵩山”计算机上，由于其硬件架构的特殊性，需要使用HIP+MPI编程模式，其中HIP提供了与DCU交互的编程接口（如DCU内存分配、数据传输以及核函数的启动等），MPI则是一种线程间的通信机制和接口函数库，用于协调并发执行的线程间的同步和数据共享。

与常规的CUDA编程模式［20］相似，CPU+DCU这种异构平台下的并行应用程序中代码被分成主机端代码和设备端代码两部分。主机端的代码由CPU执行；而设备端代码则是以核函数的形式由DCU独立运行。如图2所示，左侧主机端代码中通过一系列HIP接口，调度和使用DCU上的计算资源，而右侧DCU中各个线程的执行，则是由预先设定的核函数负责。需要说明的是，图2右侧线程依据HIP编程模型的thread-block-grid组织结构，可以被组织成一维、二维或三维的模式，从而使得线程能够以类似空间结构的逻辑形式映射至不同的CU中，这与通用GPU编程方式相似，可以高效管理DCU中并发执行的线程。

2 管网模型与仿真系统计算架构

城市能源管网是一种结构复杂连通网络，网络由大量的输配管道、设备和连接件组成。因此，在构建管网仿真系统的过程中，需要对网络中的不同“组件”进行数值建模，并使用以下三个控制方程进行描述。

4 仿真结果与分析

本文实验在“嵩山”超级计算机上完成，其硬件配置在第1章中已经进行说明。所有仿真实验的编译和测试等工作在CentOS 7.6上使用GCC 7.3.1和HIPCC 4.0.1进行。

4.1 实验方案与数据来源

为了验证本文计算模型在城市能源管网仿真上正确性和可行性，选取三个实际能源供应场景。在完成仿真模型的数值建模后，又在管网中加装一定数量的温度或压力测量仪器，通过对比模型中相应观测点上的仿真数据，验证本文模拟仿真计算模型的准确性和通用性。

三种实验场景分别来自于我国江西省某县城的供水管网（water model）、浙江某地燃气管网（gas model）和我国西北地区某城市中一个行政区的热力网络（thermal model）。它们详细参数如表1所示。表1中管子数量和非管组件的数量之和代表管网的规模，它与仿真模型的计算量密切相关；观测点的数量是在实际场景下人为设置的物理测量仪器的数量，这些观测点用于核对管网模型的仿真精度。

4.2 仿真结果对比与分析

根据图4、5中管网并行仿真计算方案和数据同步方法，将表1中的三个管网模型在CPU+DCU架构的计算节点上完成相应的能源管网系统仿真实验。仿真过程中，不同的能源供需参数（压力、流量等）作为管网模型边界条件，随机选取了某一时刻，将观测点上仿真数值与实际仪器测量数值进行对比，并按照式（5）计算两者的误差率（deviation rate，DR）。

DR（t）=|Sim_Vkt－Mea_Vkt|Mea_Vkt×100%（5）

其中：DR（t）为时刻t第k个观测点处的仿真数值误差率；Sim_Vkt与 Mea_Vkt分别代表模型仿真数值和测量值。本节将从表1中三个场景中，随机采集某个时间管网观测点出的观测数值，通过对比仿真结果，计算对应的误差率，评价本文方法在解决管网仿真计算中的有效性。

4.2.1 供水管网（water model）仿真結果对比

在供水管网的仿真实验中，本文选取了该网络在2021年7月10日上午7∶30的工况水流压力进行对比。图7是该时段115个水压观测点上实测水压数值与仿真水压，可以看出仿真压力与实测压力的数值变化趋势基本一致，而各观测点上的误差率的变化如图8所示。从图8可以看出，仿真模型在多个观测点处的误差率为4%左右。

4.2.2 燃气网络（gas model）仿真结果对比

燃气管网仿真实验中，将2022年9月26上午11∶30的管网数据进行对比实验。图9是该时刻31个观测点的燃气压力对比，从图中可以看出，除少数观测点以外，其他多数观测点仿真数值与实际测量值基本一致，其误差率如图10所示。从图10中误差率的变化可以看出，多数燃气管网观测点上仿真模型与实际测量数值相近，其误差率均低于2%，说明本文提供的管网仿真计算模型具有较高的准确性。

4.2.3 热力管网（thermal model）仿真结果对比

相对前两种能源供给输配网络，热力管网模型相对较为复杂，整个网络有供水网络和回水网络两部分组成，同时本文不仅对供水管网和回水管网的压力进行比较，还对管网的温度也进行误差对比。选用2022年2月23日21∶50的工况数据与仿真管网模型进行对比。

图11为热力供水网上各观测点仿真与实测水压的对比情况，图中仿真压力的整体变化趋势与实际测采集压力的变化趋势基本相符，而两者的误差率如图12所示，观测点上的误差率均在5%以下。图13为该热力管网的供水网络温度对比情况，图中可以看出，仿真温度与实际测量温度存在一定的差别，但由于图中温度计量单位为开尔文（K），从图14中误差率来看，其误差仅为2%左右。

整体来看，热力管网的模拟结果与实测数值基本一致，仅在个别观测点上存在误差较大的情况。从它们对应的误差率可以看出，整个热力管网的压力只有一个观测点误差率超过10%，其他多数观测点的模拟数值误差率在5%左右；而供水网络和回水网络中的温度仿真误差均在2%以下，基本上已经达到实际工业场景下的误差要求。

5 计算模型部署与应用

第4章通过三种不同的能源管网模型的仿真计算结果与实际管网压力、温度等计量设备的测量数值的对比，可以证明本文方法在实际的工程应用中具有一定的可行性。本章通过介绍部署在国产超级计算平台上对国内某城市工业园区的燃气管网（CGN）的模拟仿真过程，进一步证明本文管网仿真计算模型在解决实际行业需求方面的应用价值。

整个仿真计算过程可以分成管网建模、仿真计算和可视化三个阶段，其中本文计算方法主要应用于第二阶段的工作。数值仿真计算之前需要对整个管网拓扑进行建模，模型中包含各类网络组件的参数（如管道长度、管径、摩阻等）和管网边界条件的设置；然后，将模型导入仿真系统以后，对象化后的网络组件的计算被分派至不同的DCU上并发完成；当计算结束后，仿真系统将仿真结果（管道压力、流量）交由可视化系统予以呈现。

本章模拟的燃气管网涵盖200多平方千米的城市行政区域，燃气用户30余万户，管网总长度在1 800 km以上。实验构建一个由32 817个网络组件的燃气管网模型，其中包括10个气源（输入）和1 444个用户（输出），模型的详细信息如表2所示，而这些组件的拓扑关系如图15所示，图中区域按照燃气供应压力分成了高、中、低三种区域，左边青绿色区域为高压区域，其代表管网的骨干供应网络，中间和右下青色区域为中压区域，右上紫色区域为低压区域，服务于燃气的终端用户。

数值模型中定义了整个网络的物理特性，而在仿真计算开始前，网络模拟计算还需要设置管网模型的边界条件：源和终端用户上的压力、流量和温度等初始值。表3列出部分气源和用户的初始的压力、温度和流量值。

模拟仿真计算过程中，各实例化组件的水力求解任务被分配到不同的DCU并发执行，并周期性地校验模型收敛误差，当计算结果达到收敛标准后计算结束，并对仿真的结果进行可视化处理。仿真计算的结果中包含所有组件的水力工况状态，如管道的连接件的压力、流量温度，以及管道的压力分布和流量分布等。表4包含管道组件的两个端口的压力、温度和流量的仿真计算结果；而表5则是非管组件的仿真计算结果，它们按照端口的数量分别列出，其中三通只有3个端口，而二通和减压阀等组件的端口数量是2。

上述表格中的数据可以使用通过可视化工具进行表示，图16为管网在当前边界条件下的稳态压力。从图中可以看出，红黄色左侧网络属于高压区域的压力明显高于中低压区域；同时，越接近网络的末端区域，其压力也随着减小。

6 结束语

针对城市能源供应网络，本文提出了一种并行的通用仿真计算模型。模型中将复杂管网流体计算过程进行类型封装，弱化了管网组件的仿真计算过程的依赖性，并结合“嵩山”超级计算机平台，赋予模型良好的可并行性，提高了管网仿真系统在高性能计算平台上的运算性能。

三种能源输配管网场景在“嵩山”超级计算平台的实验可以证明，本文模型在管网仿真应用领域具有较强的通用性，为能源管网仿真软件的“自主可控”奠定了基础，也为国内能源供应企业提供了安全、可靠的仿真件计算工具和实验环境。

尽管文中针对能源输配管网提出的仿真模型和计算方法基本上可以为多数能源行业提供较高精度的网络仿真工具，但为了充分发挥高性能计算机仿真计算方面的优势，在提升和优化模型计算性能等方面还有一定的研究空间。

参考文献：

［1］万冬桂. 城市地下管网建设和管理浅析［J］. 未来城市设计与运营，2022（6）： 65-67. （Wan Donggui. Analysis of construction and management of urban underground pipe network［J］. Future City Studies， 2022（6）： 65-67.）

［2］雷雄偉. 城市地下管网隐患调查实践与探讨［J］. 城市勘测，2018（S1）： 56-58. （Lei Xiongwei. Practice and discussion on hidden danger investigation of urban underground pipe network［J］. Urban Geotechnical Investigation & Surveying，2018（S1）： 56-58.）

［3］Turner W J，Kwon P S J，Maguire P A. Evaluation of a gas pipeline simulation program［J］. Mathematical and Computer Modelling，1991，15（7）： 1-14.

［4］王英竹. 二次供水系统水力模拟与节能降耗研究 ［D］. 西安： 西安建筑科技大学，2021. （Wang Yingzhu. Research on hydraulic simulation and energy saving and consumption reduction of secondary water supply system［D］. Xian： Xian University of Architecture and Technology，2021.）

［5］乔帆，杨光，李业强，等. 基于仿真计算的城市管网爆管事件关阀策略［J］. 煤气与热力，2023，43（3）： 11-15. （Qiao Fan，Yang Guang，Li Yeqiang，et al. Valve closing strategy for pipe burst event in urban pipe network based on simulation calculation［J］. Gas & Heat，2023，43（3）： 11-15.）

［6］陈国群，郑建国，柳建军，等. 油气管网仿真技术现状与展望［J］. 油气储运，2014，33（12）： 1278-1281. （Chen Guoqun，Zheng Jianguo，Liu Jianjun，et al. Current situation and outlook of oil and gas pipeline network simulation technology［J］. Oil & Gas Storage and Transportation，2014，33（12）： 1278-1281.）

［7］贾筱东. SynerGEE Gas模拟仿真软件的应用与发展［J］. 中国石油和化工标准与质量，2017，37（14）： 88-89. （Jia Xiaodong. App-lication and development of SynerGEE Gas simulation software［J］. China Petroleum and Chemical Standard and Quality，2017，37（14）： 88-89.）

［8］王建国. ATMOS模拟仿真系统在天然气管道的应用［J］. 天然气技术，2008，10（4）： 42-44，79. （Wang Jianguo. Application of ATMOS simulation system in natural gas pipeline［J］. Natural Gas Technology and Economy，2008，10（4）： 42-44，79.）

［9］郑建国，陈国群，宋飞，等. 大型天然气管网仿真模型及其求解技术研究［J］. 系统仿真学报，2012，24（6）： 1339-1344. （Zheng Jianguo，Chen Guoqun，Song Fei，et al. Research on simulation model and solving technology of large scale gas pipe network［J］. Journal of System Simulation，2012，24（6）： 1339-1344.）

［10］李长俊，张员瑞，贾文龙，等. 大型天然气管网系统在线仿真方法及软件开发［J］. 油气储运，2022，41（6）： 723-731. （Li Changjun，Zhang Yuanrui，Jia Wenlong，et al. Online simulation method and software development of large-scale natural gas pipeline network system［J］. Oil & Gas Storage and Transportation，2022，41（6）： 723-731.）

［11］李春奇，袁献忠，李俊，等. 天然气管网动态仿真三种隐式差分法对比研究［J］. 西安石油大学学报： 自然科学版，2023，38（1）： 145-149. （Li Chunqi，Yuan Xianzhong，Li Jun，et al. Comparison of three implicit difference methods for dynamic simulation of natural gas pipeline network［J］. Journal of Xian Shiyou University： Natural Science Edition，2023，38（1）： 145-149.）

［12］Carter R，Denton G. Parallel computation for simulation users and simulation developers［EB/OL］. （2011-05-24）. https：//onepetro.org/PSIGAM/proceedings-pdf/PSIG11/All-PSIG11/PSIG-1121/1663 663/psig-1121.pdf.

［13］谢兴勇，谭飞，黄启益. 基于高性能计算的仿真平台建设运维策略探讨［J］. 数字技术与应用，2021，39（9）： 98-102. （Xie Xingyong，Tan Fei，Huang Qiyi. Discussions on the design strategies of numeric simulation platform based on the high performance computing［J］. Digital Technology & Application，2021，39（9）： 98-102.）

［14］杨周凡，韩林，李冰洋，等. 基于“嵩山”超级计算机系统的大规模管网仿真［J］. 计算机工程，2022，48（9）： 155-161. （Yang Zhou-fan，Han Lin，Li Bingyang，et al. Large-scale pipeline network simulation based on “Songshan”supercomputer system［J］. Computer Engineering，2022，48（9）： 155-161.）

［15］王海，王海鹰，周海珠. 多热源环状管网的面向对象水力计算方法［J］. 浙江大学学报： 工学版，2012，46（10）： 1900-1909. （Wang Hai，Wang Haiying，Zhou Haizhu. Analysis of multi-sources looped-pipe network based on object-oriented methodology［J］. Journal of Zhejiang University： Engineering Science，2012，46（10）： 1900-1909.）

［16］Bakhoda A，Yuan G L，Fung W W L，et al. Analyzing CUDA workloads using a detailed GPU simulator［C］// Proc of IEEE Internatio-nal Symposium on Performance Analysis of Systems and Software. Piscataway，NJ： IEEE Press，2009： 163-174.

［17］謝景明，胡伟方，韩林，等. 基于“嵩山”超级计算机系统的量子傅里叶变换模拟［J］. 计算机科学，2021，48（12）： 36-42. （Xie Jingming，Hu Weifang，Han Lin，et al. Quantum Fourier transform simulation based on “Songshan”supercomputer system ［J］. Computer Science，2021，48（12）： 36-42.）

［18］谢浩山，刘晓楠，赵晨言，等. 基于“嵩山”超级计算机系统下HHL算法的模拟实现［J］. 计算机科学，2023，50（6）： 74-80. （Xie Haoshan，Liu Xiaonan，Zhao Chenyan，et al. Simulation implementation of HHL algorithm based on “Songshan” supercomputer system［J］. Computer Science，2023，50（6）： 74-80.）

［19］杨小艺，赵荣彩，王洪生，等. 面向DCU非一致控制流的编译优化［J］. 计算机应用，2023，43（10）： 3170-3177. （Yang Xiaoyi，Zhao Rongcai，Wang Hongsheng，et al. Compilation optimizations for inconsistent control flow on deep computer unit［J］. Journal of Computer Applications，2023，43（10）： 3170-3177.）

［20］Duc K V. High-performance computing with CUDA［J］. Journal of the Japan Society for Computational Engineering & Science，2010，15： 2421-2426.

［21］Wang Peng，Ao Shangmin，Yu Bo，et al. An efficiently decoupled implicit method for complex natural gas pipeline network simulation［J］. Energies，2019，12（8）： 1516.

［22］Wang Hai，Liu Xiaojing，Zhou Weiguo. Transient flow simulation of municipal gas pipelines and networks using semi implicit finite volume method［J］. Procedia Engineering，2011，12： 217-223.

［23］杨怀磊，曾思美，王万东，等. 三维煤气管网仿真系统设计与实践［J］. 中国安全科学学报，2011，21（1）： 43-49. （Yang Huailei，Zeng Simei，Wang Wandong，et al. Design and realization of gas pipeline network 3D-virtual reality system based on GIS［J］. China Safety Science Journal，2011，21（1）： 43-49.）

［24］郝兴. 油气管网仿真建模软件架构设计及关键技术研究［D］. 大庆： 大庆石油学院，2010. （Hao Xing. The architectural design of the oil and gas pipeline simulation modeling software and the key technology research［D］. Daqing： Daqing Petroleum Institute，2010.）

［25］王海，李錚伟. 复杂水系统分析引擎CAENAE-W： 原理、开发及验证［J］. 暖通空调，2021，51（1）： 16-22. （Wang Hai，Li Zhengwei. Complex water system analysis engine CAENAE-W： principle，development and verification［J］. Heating Ventilating & Air Conditioning，2021，51（1）： 16-22.）

［26］Kim S M，Choi K S，Jung J H. Improvement of CFD code for two-phase flow with boiling and natural convection for evaluation of core-catcher cooling performance in OpenFOAM［J］. Nuclear Enginee-ring and Design，2023，408： 112316.