预测污染,高性能计算有责
2016-03-16袁怡男
袁怡男
前段时间,在厦门举办的英特尔高性能计算峰会上,来自不同领域的行业用户和专家展示了很多基于高性能计算的创新应用成功案例。其中,来自中国科学院大气物理研究所大气边界层物理与大气化学国家重点实验室的副研究员唐晓博士分享的内容特别引人注目。
大气预测需要高性能计算
雾霾,已经成为了当前我国最受关注的热点话题之一,它对公众的健康、生活质量等造成了相当严重的影响。而如何进行预测并探索大气污染的成因也成为了当前最迫切需解决的难题。对大多数人来说,在恶劣天气到来之前可能我们都会收到一些预报预警信息,但其准确性不可能是百分之百。这是因为近年来我国大气污染排放格局的变化非常大,预测的难度也随之大大提高。可以说这并不是—项简单的工作。
其实大气的污染过程不完全像天气的动力演变过程。对天气来说,物理过程起主导作用,而大气污染还包含了很多化学的过程,二次反应。唐晓博士表示:“90年代我国的大气污染叫煤烟型污染,我国在能源利用方面几乎70%都是燃煤,排放的二氧化硫浓度很高;而现在我国的大气污染由煤烟型污染转变成了以臭氧和PM2.5为典型代表的大气复合型污染。虽然近十多年来,全国二氧化硫总排放量一直在下降,但在这个过程当中,一次污染物经过化学反应也发展成了二次污染物。这些污染物排放量,它们之间的化学演变规律、当时当地的气象条件等等都要加入到预报的模型中。所以大气污染预测所涉及的计算量非常大,普通PC、工作站根本无法胜任,必须依靠高性能计算来解决。如果没有高性能计算的设备,怎样把实时的监测数据放到我们模式系统里以及怎样进行更好的更精准的预测等都将是我们面临的问题。”
其实在唐晓博士看来,进行大气污染预测是一项技术含量很高的工作,弄清楚大气污染时空演变规律与形成机理是大气污染防控和预测的大前提,依托高性能计算而建立的先进的数值模式则是支撑大气污染模拟与预测的核心研究工具。
可喜的是,利用基于英特尔架构的高性能计算集群,中国科学院大气物理研究所自主研发出了一套“嵌套网格空气质量数值预报模式系统”。据了解,这个模式系统已经发展了20年,可以实现中国及主要城市地区未来七天的空气质量预报,并通过污染传输数值模拟来定量解析大气污染来源。据唐晓博士介绍,随着环境不断地变化,这个模式系统也在不断地发展。这个模式已经在奥运会等赛事上有过比较充分的应用。
大气计算的难点与挑战
针对大气计算的复杂性,唐晓博士也做了进一步解释。他认为目前大气计算(也包括PM2.5灰霾计算)所面临的挑战性主要在于模式这一块。他说到:“我们模式里面设计的过程与大气化学模式,涉及了地球表面和大气的主要物理化学过程。但是随着科学研究需求的增加,我们还需要更加细致。这里所说的细致包括模式过程细化和模式分辨率的提高,如果做一个全国的,比如说一公里这样的维度就得109,到垂直上网格可能需要模拟20多层的概念;水平上一个国家可能需要107个网格,与垂直相乘以后就是一个很高的维度。”另外,大气计算所面临的挑战性还体现在化学计算这—块。唐晓博士透露“我们花费的计算成本是非常高的,因为我们可能有200多个化学反应,这不是一个个很简单的独立反应,而是需要几个反应之间达到一个平衡状态,我们知道化学方程式实际上都是平衡的,这部分对我们的计算量提出了很大的挑战。”“另外—方面,化学计算的数据量也非常大。我们一天预报的数据量可能有上百个GB每天都是这样大的量。尽管我们也有能力达到TB级别,但是我们在简化地预报这个数据,这个数据量需要进行可视化处理然后给用户看,因为预报的时候不是完整展示这个数据的分析过程,我们需要把这个数据用一种可视化的形式进行辅助展示。”唐晓博士对我们说到,“原来我们并行计算的模式,整个三维的空间分块,分到不同的地方去算,只要我们有足够多的并行计算单元就能减轻计算量。当我们现在画图的时候,可能需要把它作为一个整体的展示,当我们数据量海量的时候,我们画图的图形处理也是一个很大的瓶颈,这也是我们目前跟英特尔方面,软硬件协同合作一起来做这个事的重要原因。”
预测污染为啥用x86架构的高性能计算?
据了解,目前大部分应用在大气污染预测领域的高性能计算都采用了x86架构,在谈到采用x86架构的原因时,英特尔的专家解释说:“就目前的总的趋势来说,大家越来越有钱了,可以把这个事(高性能计算应用在各领域)做得越来越细,做细了之后就发现这个事情非常复杂。对于大气污染来说,可能是有很多的化学反应和物理过程,整个在算法上和软件的复杂度上更高、变化更多。这样的话就需要一个比较通用的平台,同时性能又要有保障,因为有可能里面会加入一些新的模块,这些模块可能是来自于其他-些x86平台软件的贡献,这些都是完全有可能的。但是大气污染随时都在发生变化,也许过了五年以后,使用中的大气污染测算的模块跟现在的组成成份就不一样了。在这种情况下,平台的通用性以及它的模拟l生能都是很重要的,否则会为这套系统的研发带来非常大的障碍。另—方面,唐晓博士带领的团队在整个大气污染预测领域所做的模拟和数字算法过程中一直采用的是英特尔平台,大气所为什么没有用RISC而是一直用英特尔平台,在某种程度上是因为他们要研究更复杂的情况,软件的变化度非常大。”
高性能计算才能提高预测准确性
现在我们说到污染问题,大多会提“PM2.5”的概念,而之前我们提得更多的是“PM10”这个概念,其实PM10从广义上来说包含了PM2.5。PM10和PM2.5的差别在于,它们实际上都是颗粒物,“PM10”中的“10”指的是10微米直径,包含了10微米以下的所有粒径污染物,这里面也一部分粗的颗粒,这些粗的颗粒可能是工业排放或者扬尘,“PM2.5”主要是指细的颗粒污染物。随着污染的演变,原来“粗”的污染被控制得很好,浓度下来了。但因为一次污染和二次污染是非线性的关系,后来发现PM2.5的问题突出了,因此现在大家更关注PM2.5。endprint
这就是说,现在大众和相关机构对污染预测的精准度和精细度提出了更高的要求。考虑到如今高性能计算已经应用于污染预测领域,我们也产生了疑问:如果进一步提高高性能计算的性能对污染预测的准确性、时效性等方面有没有帮助呢?对此,唐晓博士回答说:“我们现在预测其实有不同层次的,我们目前常规的就是做一个七天的预测,这个七天可能指的是未来一个星期。这段时间里我们看看污染浓度的变化趋势,但我们目前侧重的是看临近三天的变化。就目前模型的准确性来说,比较难的是四天以后的预测,我们很难把它报得非常准。但在高性能的平台支持下,我们现在每天可以做两次预报,为什么要做呢?主要是把最新的观测信息纳进来,因为模式之前的预测可能报得不准,但是我们可以把最新的观测信息同化进来,这时候模式预测出来的结果就准确得多。在高性能平台的支持下,我们对短期的预测会报得更准,针对长达七天、十天的预测,我们也能根据这个趋势和态势更好地推算。”
唐晓博士透露,中科院的这套系统还考虑到了对政策的支持。据了解,目前污染应急预案中大多包括好几组情景,这些情景主要落地到“污染源”的层面,从而变成一个“污染源”清单,关闭相关企业就拿掉了源清单里的数据,那么排放就变为0。所以在中科院的这套系统里面主要以数字化的形式来体现,当这种应急防控需要时,系统通过情景模拟,模拟的结果可为管理者提供参考。
此外,唐晓博士还进一步谈到了在高性能计算助力下,计算量扩充后的需求问题。“数字模型某种程度上对计算的需求非常大,拿碳单键的归类来说,两个碳单键间的连接有很多种,现在我们采用简单聚类方式,放在化学模型里会引入不确定性,这会导致模式不准。当我们想提高的时候就得把它分得更细,这时候计算量的增加是海量的,所以要用到多强大的高性能计算资源取决于计算精度需求。”唐晓博士说:“像我们最开始自己用流程的时候,可能用几个小的集群也可以算,但那时候就要牺牲我们的精度。而类似我们现在的‘在线源解析等技术,对我们的计算能力提出了更高的需求。”
数据利用与优势
谈到中科院大气所这套模式系统的数据利用时唐晓博士介绍说“我们做了一个很关键的技术,就是把模型和观测数据同化起来,因为模型的规律(比如这个点的浓度和周围的关系还是比较清楚的),我们通过这种关系结合模型可以推出周围那些没有观测到的地方的大概浓度。我们现在有个实时的同化系统,当观测到的数据进入模式,我们很快能得到一个再分析的场,通过这个场就能知道全国浓度分布的大概样子,包括它的动态变化等这部分也有很大的计算量,是很大的挑战。”
不过,通过与英特尔等公司的合作,唐晓博士所在团队正在与相关环保部门合作建立了一个从全国到省级到小城市的类似逐层递减的预报技术体系,这个技术体系在全国层面有一个超大规模的高性能计算中心,这个计算中心支持全国的背景信息数据。据唐晓博士透露,他们发现在通用计算平台上,他们的效率计算很高,在效率足够高的时候,用一个小规模的专用机就可以支持当地的需求,为国家环境部门提供一些背景的数据,这样就能满足当地的需求。
总结
正如唐晓博士所说,精细化模拟和预测大气污染是非常困难的。如今国内乃至全世界的污染问题已经相当严峻,为了让预测更加准确,中科院大气所的这套模式系统需要不断增加数据采集来源、模拟更丰富的物理化学反应过程,这些都离不开软硬件协同提供计算支持。
中国近年来的高性能计算发展速度很快,于是我们能够看到各种 “蓝”、雾霾预警都越来越准确。这就是IT硬件技术发展和科研人员在应用方向的努力相结合所带来的丰硕成果。未来,我们同样期待这一套系统能够在污染源控制方面起到更大的作用!endprint