DeepMind 大模型再登上 Nature——
气象预测大模型 GenCast，8 分钟内完成 15 天的预测，而且不管常规还是极端天气都能分析。
在 97.2% 的场景中，GenCast 的表现都超过了全球顶尖的中期天气预报系统 ENS。
不同于 DeepMind 之前推出的 GraphCast 的确定性预测，GenCast 关注的是各种天气情况的概率。和 GraphCast 一样，GenCast 也已经开源。
它基于扩散模型实现，分辨率为 0.25 度经度 / 纬度（在赤道处约为 28×28 公里），相当于将地球表面分割成了超过 100 万个网格。
每个网格都涵盖 80 多个地表和大气变量，相当于每次预测都有数千万甚至上亿条数据生成。
测试结果表明，在 1320 种实验条件中，GenCast 在 97.2% 的任务中，都比 ENS 更准确。
对于 GenCast 的表现，论文作者、DeepMind 研究人员 Ilan Price 表示：
我们确实取得了巨大的进步，通过机器学习赶上了并超越了基于物理的模型。
准确率超最强传统方法
传统天气预报基于数值天气预报（NWP）算法实现，核心是对模拟大气动力学的方程求近似解。
不过，相比于单一确定性的预测，气象机构越来越依赖集合预报，生成多个基于 NWP 的结果，对各种可能的情景进行建模。
GenCast 做的也是集合式预报，当然基于的原理不是 NWP 而是 AI。
开头提到的 ENS，就是目前最先进的集合预报系统，来自欧洲欧洲中期天气预报中心（ECMWF），未来将被纳入其确定性预报系统 HRES。
但即便是这种最强的传统方式，也无法战胜 AI 系统。
在常规预报当中，DeepMind 团队利用训练数据中未涵盖的真实历史（2019 年）数据，设置了 1320 种实验条件，涉及不同的物理变量、预报时长和垂直高度。
结果在 97.2% 的场景当中，GenCast 的 CRPS 都显著优于 ENS，如果只看对 36 小时之后的预测，GenCast 在 99.6% 的条件下都能胜出。
（CRPS 衡量了预报与观测值之间累积概率分布的差异，数值越小说明预报越准确）
对于高温、大风等极端天气事件（实验中按发生概率分为 1%/0.1%/0.01% 三档），除了在个别场景下，GenCast 的预报的相对经济价值（REV）显著优于 ENS。
（2t 代表距离海平面 2 米高处温度，10wind_speed 代表 10 米处风速，msl 代表平均海平面气压，蓝线代表 GenCast）
除了基础的预测，在下游应用上 GenCast 也表现出了更强的预测能力。
DeepMind 团队测试了一款区域风电应用，使用全球发电厂数据库中的 5344 个风电场位置和装机容量信息，通过插值获得各风电场位置的 10 米风速预报，并通过功率曲线转换为风电功率。
在 120 公里、240 公里、480 公里三个空间聚合尺度上，GenCast 的风电功率预报 CRPS 和 REV 在 7 天内都显著优于 ENS。
不仅精准性强，GenCast 的预测速度也很快，完成一次 15 天的预测仅需约 8 分钟，而 ENS 需要几个小时。
用扩散模型预测天气
不同于 DeepMind 去年在 Science 上发表的 GraphCast（基于图神经网络 GNN），GenCast 基于扩散模型实现。
它以最近的 X (t) 和前一步天气状态 X (t-1) 的残差 Z (t) 为采样条件，经过去噪后得到预测结果，然后利用预测结果计算新的残差作为新的输入依据，将预测向更长时间延伸。
而具体的去噪过程，DeepMind 又选择了交给 Transformer 来完成。
Transformer 编码器首先将物理状态场从经纬度网格表征映射到一个六次细化的二十面体网格上。
然后，在 Transformer 的自注意力机制中，网格上的每个节点都会关注其周围 32 跳邻域内的所有节点，从而有效捕捉局部和中等尺度的天气特征。
最后，解码器将结果映射回原始分辨率，得到去噪后的结果。
GenCast 从公开的 ERA5 再分析数据集中，选取了 1979 至 2018 这 40 年的数据（间隔 12 小时，分辨率 0.25°）对 GenCast 进行了训练。
为了提高预训练效率，数据首先被降采样到 1° 分辨率，使用 5 次细化的二十面体网格进行学习。这个阶段需要 200 万步，在 32 个 TPUv5 实例上运行约 3.5 天。
完成预训练后，再用原始的 0.25 度分辨率数据和 6 次细化的二十面体网格，对模型进行高精度微调，共计 64000 步，需要约 1.5 天完成。
目前，像去年发布的确定性预测模型 GraphCast 一样，GenCast 也已经开源，代码和模型权重均已发布。
DeepMind 还表示，将会很快发布 GenCast（和以前的模型）生成的实时和历史预报结果，为其他研究者提供更多的研究资源。
论文地址：
https://www.nature.com/articles/s41586-024-08252-9
参考链接：
[1]https://deepmind.google/discover/blog/gencast-predicts-weather-and-the-risks-of-extreme-conditions-with-sota-accuracy/
[2]https://www.nature.com/articles/d41586-024-03957-3
本文来自微信公众号：量子位（ID：QbitAI），作者：克雷西，原标题《DeepMind 大模型再登 Nature：8 分钟预测 15 日天气，准确度超顶尖物理模型，已开源》