AI大模型如何助力天气预报?
2024-07-12陈冰
陈冰
随着人工智能风潮席卷全球,天气与气候预报系统正在加入到这场技术变革之中,人们热切地期待人工智能能够助力解决和应对气候变化这一全球性问题。
事实上,国内的气象大模型正在这一领域不断发力。早在去年7月,《自然》杂志发表了华为云盘古大模型研发团队研究成果——《三维神经网络用于精准中期全球天气预报》。论文显示,盘古气象大模型是首个精度超过传统数值预报方法的AI模型,速度相比传统数值预报提速10000倍以上。《自然》评价认为:“盘古气象大模型让人们重新审视气象预报模型的未来,模型的开放将推动该领域的发展。”
紧接着,在当年12月举行的《联合国气候变化框架公约》第二十八次缔约方大会上,由上海科学智能研究院、复旦大学和中国国家气候中心联合研发的伏羲次季节大模型在“气候风险应对:技术创新与金融支持”的国际研讨会发布。与现有国际权威模型相比,伏羲次季节大模型的预报精度更准、预报周期更长、运行速度提升千倍。
在此之前的9月1日,复旦大学2023级新生开学典礼在光华楼前大草坪举行。此前,上海已接连三日雨水不断,当人们以为第四天也如天气预报所说“今天有雨”,只得取消室外活动时,复旦大学却反其道而行之——近20年来首次举办户外开学典礼。典礼进行时阳光普照,校长金力道出缘由:“‘伏羲说,今天上海不下雨。”
这无疑是“伏羲”在现实生活中最生动的一次应用。经过1年的迭代更新,2024年6月3日,伏羲气候气象大模型发布了2.0版本,相较于去年推出的 1.0 系列,“伏羲”2.0 的中期天气预报大模型和次季节大模型,面向新能源、航空运输等行业取得进展。
6月18日,中国气象局宣布推出三种先进的AI气象大模型系统:风清、风雷和风顺,旨在提高气象预测的准确性和效率。这些系统各自针对不同的气象预测需求,展现了人工智能在气象领域应用的最新进展。
在过去两年里,人工智能天气新模型层出不穷。除了中国发布的一系列大模型外,包括谷歌、微软和英伟达在内的国外科技公司也在人工智能天气建模领域取得突飞猛进的进展。
人工智能在气候变化风险管理领域有诸多可利用空间,而且在产业经济领域中有诸多深化应用的方向,可降低绿色低碳转型中面临的多种风险。
上海科学智能研究院院长漆远指出,世界范围内真正有能力开发气象预报系统的国家很少,当前天气预测中心高度集中在发达国家和中国。“当人工智能的训练仅凭一张卡就可以跑起来的时候,成本会非常便宜,发展中国家也可以使用它,一起享受人工智能在气象系统中的效益,促进气候公平公正。”
天气预报为啥总不准?
看似简单的天气预报,背后是一项复杂的系统工程,涉及数据收集、数值模式模拟、预报人员综合判断分析等。简单来说,天气预报的第一步首先是数据收集。气象学家从地面气象站、气象卫星、雷达、飞机、浮标和海洋站等来源收集大气数据。这些数据包括温度、湿度、风速、风向、气压、降水量等。
目前,我国已建立地、天、空一体化的气象综合观测体系,通过气象卫星、天气雷达、地面观测站等,收集气温、气压、湿度、风向、风速等气象资料,持续监测天气变化。
接下来就是进行数据分析和数值模拟。海量的观测数据收集到中国气象局,形成大数据库,再通过高性能计算机“气象超算”,利用天气气候等数十个数值模式不断计算,得到数值模式结果。当前,我国天气预报已由站点预报转变成全球化的格点预报,形成了0到30天的无缝隙智能数字预报体系。
在得出数值模式结果后,预报人员会根据模型结果和自己的经验综合判断分析,根据具体情况共同“会诊”、人工“订正”,最后形成对外发布的预报预警产品。
尽管收集到的气象资料在不断丰富,但对于一些偏远区域,如高原、海洋等,可得到的观测资料依旧较少。因此,作为“原材料”的初始观测资料会存在误差,得出的数据也会有出入,最终形成天气预报的偏差。
业内人士指出,天气的变化受到地球周围大气运动变化影响,大气内部的动力和热力过程,其相互作用的数值模式非常复杂,任何一套模型都无法完美再现大气运动,必须不断研究、积累,不断地发展完善数值模式。
当前,大尺度天气系统的预报比小尺度天气系统预报更准确。受限于数值模式的时空分辨率、计算机资源等影响,对于局地小尺度的天气系统,如局地雷暴、强对流天气等,仍不能够精确地模拟。尺度越小,需要的计算资源越大,尤其是在全球气候变化的背景下,精准气象预报是一个非常大的挑战。
AI大模型助力“沙漠地带”
全球当前主流的人工智能气象预测模型主要集中于0到15天的天气预测。复旦大学研究团队在气候大会上发布的“伏羲”次季节大模型,是一种介于天气预测和季节预测之间的预测,是对某一地区未来几周的天气情况进行预测,由于时间范围更长,迄今为止还属于气候科学领域的“沙漠地带”。提升次季节预测能力,既是该学科领域迫切的发展需求,也是国际前沿的科学技术问题。
上海科学智能研究院院长、复旦大学教授漆远告诉《新民周刊》,全球气候风险严峻,需要找到更有效的技术创新路径来应对。此番发布的“伏羲”次季节气候大模型通过对强高温、强降温、强降水等主要天气过程的次季节预测,实现了传统技术手段无法达到的高精度,可以助力更好地应对气候变化。
国际权威机构欧洲中期天气预报中心(ECMWF)评测,由人工智能驱动的伏羲气候气象大模型可以提前15天预测全球天气变化,比如气温、风速和气压等天气参数,在多个评测指标上超过ECMWF和主流大模型结果,同时计算速度也比传统模型快千倍。
在此基础上,研究团队对伏羲气候气象大模型进行进一步优化,终于推出预测周期长达45天之久的伏羲次季节大模型。相较于伏羲中短期模型,三倍的预测周期时长充满变数。伏羲大模型先把随机采样引入与ChatGPT类似的Transformer架构,再通过集合预报来反映次季节预测的不确定性。
特别需要指出的是,伏羲次季节模型的工作原理不同于传统的天气模型。传统的天气预报,比如由位于英国雷丁的欧洲中期天气预报中心运行的“欧洲”模型,是借助数学公式来描述大气和海洋中空气和水运动的物理原理,以预测天气系统的时空变化。由于这类数值天气模型对计算能力有着极高要求,传统模型不仅运行昂贵且耗时,精度也常常受到限制。
而人工智能天气模型则不必为数学公式“发愁”。漆远介绍道,这类模型首先需要接受训练,即识别大量历史气象数据中的模式。当接收到最新气象数据时,人工智能天气模型通过应用从历史模式中习得的知识来完成预测。该过程的计算强度要小得多,并且可以在小型计算机上于几分钟甚至几秒钟内完成预测。
事实上,伏羲次季节模型并不只以天气预报为主要目的。“我们最近的工作,一方面是延长预测周期,另一方面是预测极端天气事件。”漆远说,气候灾害预警正是该模型的另一重要价值所在。研究团队将预测期限进一步增加,以期尽早地预测潜在的极端天气事件,为应对和减缓措施争取到更多时间。
伏羲系列气象大模型2.0。
漆远进一步指出,人工智能在气候变化风险管理领域有诸多可利用空间,不仅能够改变气候科学的基础研究范式,突破气候复杂系统模式预测的局限性,在更长时间范围内实现对气候风险的精准刻画,而且在产业经济领域中有诸多深化应用的方向,可降低绿色低碳转型中面临的多种风险。
助力更多行业发展
自伏羲气象大模型亮相以来,科研团队不断提高模型的精度,推进它在不同行业中的应用。上海科学智能研究院地球科学负责人、复旦大学研究员李昊介绍,相较于去年推出的1.0系列,“伏羲”2.0的中期天气预报大模型和次季节大模型,面向新能源、航空运输等行业取得进展。
台风、暴雨、干旱、洪涝……气候变化的加剧导致极端天气事件频发,威胁多个行业的稳定与发展。在海运过程中,洋流、风向、台风、航线选择等对航海安全、成本等影响巨大。通过高精度的全球天气预报,远洋气象导航对降低航行成本及规避恶劣天气具有重要意义,但长期以来,航海中的气象导航被日本、荷兰等国外厂商垄断。
在与中远海运的合作中,“伏羲”2.0进行优化升级,首个面向气象导航优化的全球气象大模型应运而生,为国家航海安全保驾护航。李昊说:“在面向气象导航对伏羲大模型进行优化的过程中,我们提高时空分辨率,实现未来15天0.1度逐小时气象预测;构建海气耦合模型,纳入风浪、涌浪、海温等要素,提升全球风、浪、流、能见度等预测精度;进行极端天气优化,提升台风、极端降水等更多灾害性场景的预测精度。”多层次焕然升级的“伏羲”2.0,有望助力解决远洋气象导航长期依赖国外服务厂商问题,落实“国船国导”。
面向新能源产业,“伏羲”2.0是全球首个针对新能源优化的气象大模型,相当于为风电场和太阳能电站装上智能导航系统,能带来更准确的风速、辐照和发电能力预测,优化风电和太阳能发电的效率、平衡电网负荷、减少弃风弃光等。
令人期待的是,借助“伏羲”,未来可能不再存在飞机晚点、延误等令人恼火的飞行体验。上海科学智能研究院院长漆远表示:“云量的优化对航空业的飞行安全至关重要。我们能够利用‘伏羲,对航空关注的低云量、总云量等多个要素进行观测,从而预测飞行中可能遇到的积冰、颠簸、光线明暗不均等各种天气现象,提升飞行体验,降低行业成本。”
研发团队指出“伏羲”下一步的升级计划是:推进“端到端”气象大模型,构建基于气象大模型的同化系统,实现多种卫星资料同化(微波、红外等),摆脱对传统模式的依赖;开发地球系统大模型,实现大气、海洋、陆面、冰冻圈的预报,探索大气污染、气候风险预报;构建基于大模型的国产化再分析数据集,利用大模型构建完全独立自主的国产化再分析数据,摆脱模型训练对国外数据的依赖。
李昊团队去年发布了45亿参数量的中短期天气预报大模型,预测效果在公开数据集上首次达到业界公认的ECMWF(欧洲中期天气预报中心)集合平均水平,并将预测速度从原来的小时级缩短到了3秒内。“基于复旦大学智能计算CFFF平台的千卡并行智能计算,45亿参数量规模的大模型只用一天就完成了训练。传统的计算平台是很难做到的。”李昊说,升级后的“伏羲”2.0相对数值模式计算速度有千倍以上的提升。这种突破不仅提升了预报的精度和时效性,也能为相关产业带来显著的经济效益。
国内高校最大的云上科研智算平台CFFF在复旦大学正式上线。
以阿里云绿色数据中心为例,设置在乌兰察布的数据中心结合当地天然的气候优势,使得智能计算CFFF平台可实现年平均PUE(数据中心消耗的所有能源与IT负载消耗的能源的比值)小于1.2,每年节省总电力超过2000兆瓦时,节省电费数百万元,年均节碳量达1500吨。
眼下,复旦大学、中远海运科技股份有限公司、国家气候中心、上海数据集团有限公司、上海市漕河泾新兴技术开发区运营管理有限公司、上海科创投集团、上海科学智能研究院、国网电力实验室等13家单位联合成立智能气象创新生态联盟,通过联盟,各方将共享资源,共同推进伏羲系列气象大模型的产业化应用,构建开放、协作、创新的气象产学研生态系统。
“如果说伏羲系列气象大模型在上智院和复旦大学的诞生突破是从‘0到‘1,那么智能气象创新生态联盟就是为了解决基础性技术突破后的产业化接力问题,完成‘1到‘10乃至‘100的关键步骤。”生态环境部应对气候变化司一级巡视员蒋兆理说,“当前大数据、云计算、人工智能等新兴技术正在加速向经济社会和公共治理的各个领域融合渗透,今天的联盟只是一个开始。”
PUE
Power Usage Effectiveness的简写,是评价数据中心能源效率的指标,是数据中心消耗的所有能源与IT负载消耗的能源的比值。
PUE = 数据中心总能耗/IT设备能耗,其中数据中心总能耗包括IT设备能耗和制冷、配电等系统的能耗,其值大于1,越接近1表明非IT设备耗能越少,即能效水平越好。