AI 预测蝴蝶效应?谷歌最新天气预报模型 SEEDS 登 Science 子刊

新智元报道  编辑:Mindy【新智元导读】天气本质上是随机的,为了量化不确定性,传统方法通常需要高昂的成本来物理模拟大量预测。谷歌最新研究登 Science 子刊,用生成式 AI 模型高效生成规模化的天气预报集合,为天气和气候科学开辟了新的机会。1972 年 12 月,在美国华盛顿特区举行的美国科学促进会年会上,麻省理工学院气象学教授埃德・洛伦兹发表了题为「巴西一只蝴蝶的扇动是否会在得克萨斯引发龙卷风?」的演讲,这贡献了「蝴蝶效应」这一术语。在他 1963 年的一篇论文中,他发现在时间积分与数值天气预测模型里,即

AI 预测蝴蝶效应?谷歌最新天气预报模型 SEEDS 登 Science 子刊

  新智元报道  

编辑:Mindy

【新智元导读】天气本质上是随机的,为了量化不确定性,传统方法通常需要高昂的成本来物理模拟大量预测。谷歌最新研究登 Science 子刊,用生成式 AI 模型高效生成规模化的天气预报集合,为天气和气候科学开辟了新的机会。

1972 年 12 月,在美国华盛顿特区举行的美国科学促进会年会上,麻省理工学院气象学教授埃德・洛伦兹发表了题为「巴西一只蝴蝶的扇动是否会在得克萨斯引发龙卷风?」的演讲,这贡献了「蝴蝶效应」这一术语。

在他 1963 年的一篇论文中,他发现在时间积分与数值天气预测模型里,即使微小的起始条件误差,也会在数值模型中迅速扩大,导致预测结果的不确定性迅速增加,这被称为混沌现象。

因此,天气预报的可靠性受到了限制,尤其是在极端天气事件的预测方面,比如飓风、热浪或洪水。

出于上述原因,目前的天气预报其实都是概率预报。

这些预报使用了一种叫做集合预报的方法,通过在初始条件中引入一些随机性,然后运行多个不同的模型来生成多种可能的结果。

通过对集合中的所有预报进行平均处理来减少误差增长,并且集合中的预报的变化量量化了天气条件的不确定性。

尽管有效,生成这些概率预报的计算成本很高。它们需要在大规模超级计算机上多次运行高度复杂的数值天气模型。

尤其是极端天气,通常需要更大的集合来评估。例如,为了预测发生概率为 1% 的事件的可能性,需要一个包含 1 万个成员的集合,且相对误差小于 10%。

但准确和及时的天气预报,是人们日常生活所必需的。从准备一天的活动需要带什么出门,到面对危险天气的时候要提前做什么准备。

谷歌最新研究给天气预报带来了一个新的进展:Scalable Ensemble Envelope Diffusion Sampler(SEEDS)是一个生成式的 AI 模型,可以高效地生成规模化的天气预报集合,成本仅为传统基于物理的预测模型的一小部分。

这项技术为天气和气候科学开辟了新的机遇,它同时也代表了概率扩散模型在天气和气候预测中的首次应用。

AI 预测蝴蝶效应?谷歌最新天气预报模型 SEEDS 登 Science 子刊

生成式 AI 准确生成天气预报集合

在上述论文中,谷歌提出了可扩展的集合包络扩散采样器(SEEDS),这是一种用于天气预报集合生成的生成式人工智能技术。

SEEDS 基于去噪扩散概率模型,这是一种由 Google Research 部分开创的最先进的生成式人工智能方法。

生成式人工智能以生成非常详细的图像和视频而闻名,这一特性对于生成与真实天气模式一致的集合预报特别有用。

SEEDS 可以根据操作性数值天气预报系统中的一两个预报来生成大量的集合。

生成的集合在技能指标上与基于物理的集合相匹配或超过,比如均方根误差(RMSE)和连续排名概率评分(CRPS)等;不仅如此,还为预报分布的尾部(如 ±2σ 和 ±3σ 天气事件)分配了更准确的可能性。

AI 预测蝴蝶效应?谷歌最新天气预报模型 SEEDS 登 Science 子刊

AI 预测蝴蝶效应?谷歌最新天气预报模型 SEEDS 登 Science 子刊

传统物理方法和 SEEDS 的生成对比

最重要的是,与需要数小时计算时间的超级计算机相比,该模型的计算成本几乎可以忽略不计。在 Google Cloud TPUv3-32 实例上,其吞吐量为每 3 分钟 256 个集合成员(分辨率为 2°),并且可以通过部署更多加速器轻松扩展到更高的吞吐量。

下图对比了 SEEDS 与操作性美国天气预报系统(全球集合预报系统,GEFS)在 2022 年欧洲热浪期间某个特定日期的预报结果。

其中 A 是真实观测的代理,(Ca-Ch)是 SEEDS 模拟出来的 8 个样本,而(Da-Dh)是来自 GEFS 的预报。虽然肉眼可能很难直接看出明显的区别,但 SEEDS 更能捕捉到交叉场和空间相关性,这会与真实的天气更加贴近。

这是因为 SEEDS 直接模拟了大气状态的联合分布,它实际上捕捉了大气状态的空间协方差和中对流层高度和平均海平面气压之间的相关性,这两者常被气象学家用于预报评估和验证。(一些专业的解释:平均海平面气压的梯度驱动着地表的风,而中对流层高度的梯度则产生了移动大尺度天气模式的高层风。)

AI 预测蝴蝶效应?谷歌最新天气预报模型 SEEDS 登 Science 子刊

更准确地覆盖极端事件

SEEDS 集合能够从一两个种子预报中外推,展示了可能的天气状态的范围,对事件的统计覆盖更好。

也就是说,高度可扩展的生成方法能够创建非常大的集合,可以通过任何不同状态阈值设置的天气样本,来描述非常罕见的事件。

比如说下图展示了 2022 年 7 月 14 日当地时间 1:00 在里斯本附近发生的极端高温事件的 2 米温度和总柱水汽的联合分布。

对于每个图,谷歌研究团队使用 SEEDS 根据 2 个物理模型的种子预报,生成了 16384 个成员的集合,显示为绿色点。

正确天气事件来自 ERA5,用星号表示。

用方块表示用于传统方法生成集合的预报,用三角形表示剩余的传统方法集合成员。

AI 预测蝴蝶效应?谷歌最新天气预报模型 SEEDS 登 Science 子刊

可以看到蓝色方块和黄色三角形根本不接近星号,也就是说,传统方式根本不可能提前观察到这种极端情况,其 31 个成员中没有一个预测到与观察到的那样温暖的近地表温度。

实际上,从高斯核密度估计中计算的事件概率低于 1%,这意味着少于 100 个成员的集合不太可能包含与此事件一样极端的预报。

而 SEEDS 生成的绿色点,却可以提供更好的统计覆盖,基于它精准的生成能力和高效的生成速度。

天气预报新模式?

上述实验展示了一种混合预报系统,SEEDS 利用基于物理模型计算出的少数几条天气轨迹来更有效地生成更多预报的扩散模型。

这种方法提供了一种替代当前操作性天气预报范式的方法。

同时,通过统计模拟器节省的计算资源可以用于提高基于物理模型的分辨率或更频繁地发布预报。

这或许是天气预报的未来新模式,也可能 SEEDS 仅代表了未来几年 AI 将加速操作性数值天气预报进展的众多方式之一。

但谷歌研究展现出来的是生成式人工智能在天气预报模拟和后处理中的实用性,对于准确量化未来气候的不确定性和气候风险评估,提供了一个新的方向。

参考资料:

https://blog.research.google/2024/03/generative-ai-to-quantify-uncertainty.html

本文来自微信公众号:新智元 (ID:AI_era)

相关资讯

华为基于AI「盘古气象」登Nature!比全球最好的数值天气预报系统IFS快10000倍以上

编辑 | 子罗天气预报早已融入人们的生活,但天气预报的数据从何而来,如何提高其准确性,AI 如何发挥其作用?天气预报是科学计算的重要应用,旨在预测未来的天气变化,特别是极端天气事件。目前,最准确的预报系统是数值天气预报(NWP)方法,它将大气状态表示为离散网格,并数值求解描述这些状态之间转变的偏微分方程。然而,这个过程的计算成本很高。最近,基于 AI 的方法已将天气预报速度提高几个数量级,但预报精度仍然明显低于数值天气预报方法。今年 4 月份,上海人工智能实验室发布「风乌」大模型,全球气象有效预报时间首破 10天。

台式PC上可运行,DeepMind天气AI以0.25°分辨率预测全球10天内数百个天气变量,仅1分钟

编辑 | 萝卜皮全球中期天气预报对于许多社会和经济领域的决策至关重要。传统的数值天气预报使用增加的计算资源来提高预报精度,但无法直接使用历史天气数据来改进基础模型。Google DeepMind 团队介绍了「GraphCast」,一种直接从再分析数据训练的基于机器学习的方法。它可以在一分钟内以 0.25° 的分辨率预测全球 10 天内的数百个天气变量。研究人员用 1380 个验证目标进行了测试,GraphCast 在 90% 的验证目标中显著优于当前最准确的操作确定性系统,其预测支持更好的严重事件预测,包括热带气旋

物理与 AI 的融合,中国科学院大气物理研究所物理耦合图神经网络,提升降水预报技巧

编辑 | ScienceAI大模型时代,纯数据驱动的气象、气候模型效果逐渐追赶甚至赶超数值模式。然而,目前气象、气候大模型也仍然存在不少问题。比如物理一致性不高、辐散风预报效果不好等等,这些问题限制了对于降水等复杂天气气候现象的预测能力。目前,将物理、大气动力与深度学习模型结合成为提升模型能力,解决目前瓶颈问题的一条重要途径。近日,中国科学院大气物理研究所黄刚研究员团队基于地球系统数值模拟装置(寰)的数据和算力支持,从物理变量耦合关系角度出发,结合图神经网络对多变量进行物理软约束,提升了数值模式的降水预报技巧,在物