华为鉴于AI「盘古景象」登Nature!比全球最好的数值气象预告零碎IFS快10000倍以上

编辑 | 子罗气象预告早已融入人们的生活,但气象预告的数据从何而来,如何提高其正确性,AI 如何发挥其作用?气象预告是科学计算的重要应用,旨在展望未来的气象变化,特别是极其气象事件。目前,最正确的预告零碎是数值气象预告(NWP)办法,它将大气状态表示为离散网格,并数值求解描述这些状态之间转变的偏微分方程。然而,这个过程的计算成本很高。最近,鉴于 AI 的办法已将气象预告速度提高几个数量级,但预告精度仍然明显低于数值气象预告办法。今年 4 月份,上海人工智能实验室发布「风乌」大模型,全球景象有效预告时候首破 10天。

华为鉴于AI「盘古景象」登Nature!比全球最好的数值气象预告零碎IFS快10000倍以上

编辑 | 子罗

气象预告早已融入人们的生活,但气象预告的数据从何而来,如何提高其正确性,AI 如何发挥其作用?

气象预告是科学计算的重要应用,旨在展望未来的气象变化,特别是极其气象事件。

目前,最正确的预告零碎是数值气象预告(NWP)办法,它将大气状态表示为离散网格,并数值求解描述这些状态之间转变的偏微分方程。然而,这个过程的计算成本很高。

最近,鉴于 AI 的办法已将气象预告速度提高几个数量级,但预告精度仍然明显低于数值气象预告办法。

今年 4 月份,上海人工智能实验室发布「风乌」大模型,全球景象有效预告时候首破 10天。

现在,由华为云 AI 首席科学家田奇领导的钻研团队提出了一个鉴于 AI 的正确、中期全球气象预告零碎——盘古景象(Pangu-Weather),其主要技术贡献包括设计 3DEST 架构并应用分层时候聚拢策略进行中期预告。

钻研证明,配备地球特定先验的三维深度搜集可以有效处理气象数据中的复杂模式,并且分层时候聚拢策略可以减少中期展望中的累积误差。

钻研职员表示:「我们的盘古景象零碎经过 39 年的全球数据训练,与世界上好的数值气象预告零碎 IFS 相比,在所有测试变量上都获得了更强的确定性预告结果,同时速度比 IFS 快 10000 倍以上。我们的办法也适用于极其气象预告和集合预告。当用再阐明数据初始化时,跟踪热带气旋的精度也高于 ECMWF-HRES。」

该钻研以「Accurate medium-range global weather forecasting with 3D neural networks」为题,于 2023 年 7 月 5 日发布在《Nature》上。

华为鉴于AI「盘古景象」登Nature!比全球最好的数值气象预告零碎IFS快10000倍以上

「盘古景象」是一个强大的鉴于 AI 的气象预告零碎,它可以根据再阐明数据对所有测试的气象变量产生比操作 IFS 更强的确定性预告结果。

该技术创新体现在两个方面。

首先,钻研职员将高度信息整合到一个新的维度中,以便深度神经搜集的输出和输出可以在三个维度上概念化。然后进一步设计了一个三维(3D)地球特定Transformer(Earth-specific transformer ,3DEST)架构,将地球特定先验注入深层搜集。实验表明,与 FourCastNet2 等二维模型相比,3D 模型通过将高度表达为单独的维度,能够捕获不同压力水平下大气状态之间的关系,从而显着提高精度。

其次,应用了分层时候聚拢算法(hierarchical temporal aggregation algorithm),该算法涉及训练一系列具有增加的展望提前期的模型。因此,在测试阶段,中期气象预告所需的迭代次数大大减少,累积预告误差也得到缓解。第五代 ECMWF 再阐明(ERA5)数据的实验验证了「盘古景象」在确定性预告和极其气象预告方面的优势,同时速度比 IFS 快 10000 倍以上。

利用 3D 搜集进行全球气象预告

钻研职员通过深度学习建立了气象预告零碎。该办法涉及训练深度神经搜集,将给定时候点的再阐明气象数据作为输出,然后生成未来时候点的再阐明气象数据作为输出。使用单个时候点进行输出和输出。ERA5 数据的时候分辨率为 1 小时;在训练子集中(1979-2017),有多达 341,880 个时候点,即一个时期的训练数据量。

为了减轻过度拟合的风险,在每个时期开始时随机排列训练数据中的样本顺序。钻研职员训练了四个深度搜集,前置时候(输出和输出之间的时候差)分别为 1 小时、3 小时、6 小时和 24 小时。四个深度搜集均经过 100 个 epoch 的训练,每个训练在由 192 个 NVIDIA Tesla-V100 GPU 组成的集群上大约需要 16 天。

华为鉴于AI「盘古景象」登Nature!比全球最好的数值气象预告零碎IFS快10000倍以上

图示:搜集训练和推理策略。(来源:论文)

中期气象预告的提前期为 7 天或更长。这促使钻研职员迭代调用基础深度搜集,将每个展望结果作为下一步的输出。为了减少累积的展望误差,引入了分层时候聚拢,总是调用具有最大可负担的提前期的深度搜集。在数学上,这大大减少了迭代的次数。与使用固定 6 小时预告模型的 FourCastNet2 相比,此办法更快、更正确。

钻研职员还用「盘古景象」来追踪热带气旋。将其与 ECMWF-HRES 进行了比较。钻研显示,「盘古景象」对这些气旋的跟踪结果统计上比 ECMWF-RES 更正确。

华为鉴于AI「盘古景象」登Nature!比全球最好的数值气象预告零碎IFS快10000倍以上

图示:「盘古景象」在早期气旋跟踪方面比 ECMWF-HRES 更正确。(来源:论文)

局限性

尽管该算法对再阐明数据的展望精度很高,但也存在一定的局限性。

首先,在本文中,「盘古景象」是根据再阐明数据进行训练和测试的,但现实世界的预告零碎是在观测数据上工作的。这些数据来源之间存在差异;因此,「盘古景象」在各个应用程序中的表现需要进一步钻研。

其次,本文没有钻研降水等一些气象变量。忽略这些因素可能会导致当前模型缺乏某些些能力,例如利用降水数据正确展望小规模极其气象事件,例如龙卷风爆发。

第三,鉴于 AI 的办法产生更平滑的展望结果,增加了低估极其气象事件严重程度的风险。

第四,使用不同提前期的模型可能会引入时候不一致。这是一个具有挑战性的话题,值得进一步钻研。

未来展望

展望未来,鉴于 AI 的办法和数值气象预告办法都有改进的空间。在 AI 方面,可以通过合并更多垂直层面和/或大气变量、整合时候维度并训练四维深度搜集、使用更深、更宽的搜集,或简单地增加训练时代的数量来获得进一步的收益。

所有这些方向都需要更强大的 GPU 集群,具有更大的内存和更高的 FLOPS(每秒浮点运算次数),这是当前 AI 社区的趋势。在数值气象预告方面,可以开发后处理办法来减轻数值气象预告模型的可展望偏差。预计未来鉴于 AI 和数值气象预告的办法将相结合,带来更强大的性能。

给TA打赏
共{{data.count}}人
人已打赏
AI

上交大&上海AI lab研发胸部X-ray疾病诊疗根基模型,成果入选Nature子刊

2023-7-6 17:27:00

AI

刚刚,国内的自决智能体OmBot发布了

2023-7-7 18:50:00

0 条回复 A文章作者 M管理员
    暂无讨论,说说你的看法吧
个人中心
今日签到
搜索