Auto Byte

专注未来出行及智能汽车科技

微信扫一扫获取更多资讯

Science AI

关注人工智能与其他前沿技术、基础学科的交叉研究与融合发展

微信扫一扫获取更多资讯

全球顶尖天气预报系统被AI击败,DeepMind新模型登Nature,8分钟搞定未来15天预测

图片

编辑 | 萝卜皮

天气预报从根本上来说具有不确定性,因此预测可能发生的天气情景范围对于重要决策至关重要,从警告公众注意危险天气到规划可再生能源的使用。

传统上,天气预报基于数值天气预报 (NWP),它依赖于基于物理学的大气模拟。基于机器学习 (ML) 的天气预报 (MLWP) 的最新进展产生了基于 ML 的天气模型,其预测误差比单一 NWP 模拟要小。

但是,这些进展主要集中在单一的确定性预测上,这些预测无法反映不确定性和估计风险。总体而言,MLWP 的准确性和可靠性仍然低于最先进的 NWP 集合预报。

Google DeepMind 的研究人员提出了 GenCast,这是一种概率天气模型,其技巧和速度比世界上顶级的中期天气预报、ENS(欧洲中期天气预报中心的集合预报)更高。

GenCast 是一种机器学习天气预报方法,基于数十年的再分析数据进行训练。GenCast 可在 8 分钟内生成一组随机的 15 天全球预报,步长为 12 小时,经纬度分辨率为 0.25°,涵盖 80 多个地表和大气变量。

在团队评估的 1,320 个目标中,有 97.2% 的目标显示出比 ENS 更稳健的预测,并且能更好地预测极端天气、热带气旋轨迹和风力发电。

这项工作有助于开启实用天气预报的下一篇章,其中关键的天气相关决策将更加准确和高效。

该研究以「Probabilistic weather forecasting with machine learning」为题,于 2024 年 12 月 4 日发布在《Nature》。

图片

天气预报在日常生活中发挥着重要作用,协助人们在生产生活中做出关键决策。但是,由于当前天气部门只能部分观测气候,且气象模型存在不完美性,预报总是带有不确定性。

传统的数值天气预报(NWP)方法通过求解大气动力学方程来预测天气,而集合预报(ENS)则通过生成多个预报情景来描述未来可能的天气情况。尽管集合预报能够提供更为精准的概率分布,但它仍存在误差大、计算慢且执行工程复杂等问题。

最近,基于机器学习的天气预报(MLWP)方法,在非概率性预报方面已经表现出比 NWP 更为精准和高效的性能。但是已有的方法通常侧重于预测概率轨迹的均值而非不确定性,并且在长时间预报中效果较差。某些混合 NWP-MLWP 方法如 NeuralGCM 在性能上与传统集合预报相当,但空间分辨率较低。

在最新的研究中,Google DeepMind 的研究人员提出了 GenCast,这是一种全新的 MLWP 方法,其性能明显优于顶级集成 NWP 模型 ENS。它可以生成逼真的单个天气轨迹集成,提供比 ENS 更好的边际预报分布和联合预报分布。

GenCast模型

GenCast 是一种概率天气模型,可生成分辨率为 0.25° 的全球 15 天集合预报,其准确度高于顶级业务集合系统 ECMWF 的 ENS。在 Cloud TPUv5 设备上生成单个 15 天 GenCast 预报大约需要 8 分钟,并且可以并行生成一组预报。

GenCast 根据当前和之前的天气状态对未来天气状态 Xt+1 的条件概率分布 P(Xt+1|Xt, Xt−1) 进行建模。长度为 T 的预测轨迹 X1:T 以初始状态和之前的状态 (X0, X−1) 为条件,并分解连续状态图片的联合分布,每个状态都以自回归方式采样。

全球天气状况 X 的表示由等角 0.25° 纬度-经度网格上的 13 个垂直气压水平上的六个地表变量和六个大气变量组成。预报期为 15 天,连续步骤 t 和 t + 1 之间间隔 12 小时,因此 T = 30。

研究人员使用 X 的分析来训练 GenCast,它代表了从观测中推断出的天气状况的最佳估计值。

GenCast 是一种条件扩散模型,它是一种生成式 ML 方法,可以对复杂数据的概率分布进行建模并生成新样本。扩散模型是生成式 AI 领域中许多最新自然图像、声音和视频建模进展的基础。扩散模型通过迭代细化过程进行工作。未来的大气状态 Xt+1 是通过迭代细化候选状态(初始化为纯噪声图片)而产生的,该候选状态以之前的两个大气状态(Xt、Xt-1)为条件。

图 1 中的蓝色框显示了如何从初始条件生成第一个预测步骤以及如何自回归生成完整轨迹 X1:T。由于预测中的每个时间步骤都用噪声初始化,因此可以使用不同的噪声样本重复该过程以生成轨迹集合。

图片

图 1:GenCast 如何产生预测的示意图。(来源:论文)

在迭代细化过程的每个阶段,GenCast 都会使用降噪神经网络,该网络经过训练,可使用论文中描述的损失函数消除人为添加到大气状态中的噪声。降噪器的架构包括编码器、处理器和解码器。

GenCast 是基于 1979 年至 2018 年 40 年的最佳估计分析进行训练的,这些分析取自公开可用的 ERA5(第五代 ECMWF 再分析)再分析数据集。

再分析通过计算历史日期和时间的分析来重建过去的天气。在评估 GenCast 时,研究人员使用 ERA5 分析对其进行初始化。

图片

图 2:预报和热带气旋路径的可视化。(来源:论文)

作为一个说明性示例,图 2 b-d、h-j 展示了 GenCast 预测样本,图 2 n-q 提供了一个示例,说明如何将它们用于重要的下游应用,例如预测热带气旋的路径。台风哈吉比斯(2019 年最昂贵的热带气旋)是一个代表性案例研究。

在台风哈吉比斯登陆前 7 天初始化时,GenCast 预测的轨迹表现出较高的不确定性,涵盖了多种可能情景。在较短的预测时间内,GenCast 对气旋路径的不确定性较低,反映出对登陆时间和地点的信心更高。

评估结果

研究人员进行了一系列评估,结果表明,基于 MLWP 的概率天气预报比顶级的基于 NWP 的集合预报 ECMWF 的 ENS 更熟练、生成速度更快。GenCast 在概率天气模型的三个关键要求方面取得了成功:

首先,GenCast 会生成具有真实功率谱的清晰单个天气轨迹集合,而不是条件均值等汇总统计数据集。

图片

图 3 :GenCast 的边际预测分布非常巧妙且经过良好校准。(来源:论文)

其次,GenCast 的边际预报分布(即针对给定地点和时间的预报)经过精心校准,可提供比 ENS 更精准的预报,包括对极端事件的更准确预报。

第三,GenCast 在几项需要捕捉联合分布中的空间和时间依赖性的评估中表现优于 ENS:汇集评估、区域风电预测和热带气旋路径预测。

图片

图 4:GenCast 在区域风力和热带气旋路径预测方面优于 ENS。(来源:论文)

展望未来

展望未来,GenCast 可以通过多种方式进一步改进其运行设置。GenCast 的分辨率为 0.25°,这是目前全球再分析数据的最大分辨率。但是,将其扩展到更高的分辨率以支持更多应用并匹配升级后的 ENS 分辨率(截至 2023 年中)0.1° 可能会很有用。

作为一种扩散模型,GenCast 在计算上比等效的确定性 MLWP 架构更昂贵,因为它需要多个函数评估来对每个预测时间步进行采样。

为了有效地扩展到更高的分辨率或朝着与 GenCast-Perturbed 和类似模型的计算平价迈进,应该探索提炼和其他效率技术。

此外,先前的研究表明,通过使用操作数据(例如 HRES 分析输入和目标)进行微调,可以进一步提高在再分析上训练的 MLWP 模型的性能。这强调了传统基于 NWP 的数据同化对于 GenCast 提供训练和初始化数据的重要性。

结语

总之,这项研究结果开辟了天气预报的新领域,有望在各种环境下提高准确性、效率和可访问性。

更广泛地说,该工作证明,尖端的生成式人工智能方法可以捕捉丰富的时间动态中非常高维和复杂的分布,具有足够的准确性和可靠性,从而支持关键应用中的有效决策。

论文链接:https://www.nature.com/articles/s41586-024-08252-9

产业AIDeepMind机器学习Google
相关数据
DeepMind机构

DeepMind是一家英国的人工智能公司。公司创建于2010年,最初名称是DeepMind科技(DeepMind Technologies Limited),在2014年被谷歌收购。在2010年由杰米斯·哈萨比斯,谢恩·列格和穆斯塔法·苏莱曼成立创业公司。继AlphaGo之后,Google DeepMind首席执行官杰米斯·哈萨比斯表示将研究用人工智能与人类玩其他游戏,例如即时战略游戏《星际争霸II》(StarCraft II)。深度AI如果能直接使用在其他各种不同领域,除了未来能玩不同的游戏外,例如自动驾驶、投资顾问、音乐评论、甚至司法判决等等目前需要人脑才能处理的工作,基本上也可以直接使用相同的神经网上去学而习得与人类相同的思考力。

https://deepmind.com/
机器学习技术

机器学习是人工智能的一个分支,是一门多领域交叉学科,涉及概率论、统计学、逼近论、凸分析、计算复杂性理论等多门学科。机器学习理论主要是设计和分析一些让计算机可以自动“学习”的算法。因为学习算法中涉及了大量的统计学理论,机器学习与推断统计学联系尤为密切,也被称为统计学习理论。算法设计方面,机器学习理论关注可以实现的,行之有效的学习算法。

人工智能技术

在学术研究领域,人工智能通常指能够感知周围环境并采取行动以实现最优的可能结果的智能体(intelligent agent)

概率分布技术

概率分布(probability distribution)或简称分布,是概率论的一个概念。广义地,它指称随机变量的概率性质--当我们说概率空间中的两个随机变量具有同样的分布(或同分布)时,我们是无法用概率来区别它们的。

规划技术

人工智能领域的「规划」通常是指智能体执行的任务/动作的自动规划和调度,其目的是进行资源的优化。常见的规划方法包括经典规划(Classical Planning)、分层任务网络(HTN)和 logistics 规划。

损失函数技术

在数学优化,统计学,计量经济学,决策理论,机器学习和计算神经科学等领域,损失函数或成本函数是将一或多个变量的一个事件或值映射为可以直观地表示某种与之相关“成本”的实数的函数。

神经网络技术

(人工)神经网络是一种起源于 20 世纪 50 年代的监督式机器学习模型,那时候研究者构想了「感知器(perceptron)」的想法。这一领域的研究者通常被称为「联结主义者(Connectionist)」,因为这种模型模拟了人脑的功能。神经网络模型通常是通过反向传播算法应用梯度下降训练的。目前神经网络有两大主要类型,它们都是前馈神经网络:卷积神经网络(CNN)和循环神经网络(RNN),其中 RNN 又包含长短期记忆(LSTM)、门控循环单元(GRU)等等。深度学习是一种主要应用于神经网络帮助其取得更好结果的技术。尽管神经网络主要用于监督学习,但也有一些为无监督学习设计的变体,比如自动编码器和生成对抗网络(GAN)。

条件概率分布技术

条件概率分布(Conditional Probability Distribution,或者条件分布,Conditional Distribution )是现代概率论中的概念。 已知两个相关的随机变量X 和Y,随机变量Y 在条件{X =x}下的条件概率分布是指当已知X 的取值为某个特定值x之时,Y 的概率分布。

推荐文章
暂无评论
暂无评论~