编辑 | ScienceAI
2023 年 11 月，风暴「夏兰」（Ciarán）袭击欧洲西北部，造成严重破坏。与风暴 Ciarán 相关的低压系统为英格兰创下了新纪录，这是一次极为罕见的气象事件。
那场风暴的强度让许多人措手不及，暴露了当前天气预报模型的局限性，并突显出面对气候变化需要更准确的预测。当大家努力应对后果时，一个紧迫的问题出现了：我们如何才能更好地预测和准备应对这种极端天气事件？
最近的一项研究表明，即使是最先进的 AI 天气预测模型在捕捉风暴 Ciarán 的快速增强和峰值风速方面也面临的挑战。
为了帮助应对这些挑战，微软研究团队开发了首个大气 AI 基础模型 Aurora，基于超过一百万小时的各种天气和气候数据进行训练。
Aurora 提出了一种新的天气预报方法，它可以改变我们预测和减轻极端事件影响的能力，包括能够预测像 Ciarán 风暴这样的事件的急剧升级。
在不到一分钟的时间内，Aurora 就可以生成 5 天的全球空气污染预测和 10 天的高分辨率天气预报，其表现优于最先进的传统模拟工具和最好的专业深度学习模型。这些结果表明基础模型可以改变环境预测。
灵活的大气 3D 基础模型
Aurora 的有效性在于它对超过一百万小时的各种天气和气候模拟进行了训练，这使其能够全面了解大气动力学。这使得该模型能够在广泛的预测任务中表现出色，即使在数据稀疏的地区或极端天气场景中也是如此。
Aurora 以 0.1°（赤道处约 11 公里）的高空间分辨率运行，可以捕捉大气过程的复杂细节，提供比以往更准确的运行预报，而且计算成本仅为传统数值天气预报系统的一小部分。据估计，与最先进的数值预报系统综合预报系统 (IFS) 相比，Aurora 的计算速度可提高约 5,000 倍。
除了令人印象深刻的准确性和效率之外，Aurora 还因其多功能性而脱颖而出。该模型可以预测各种大气变量，从温度和风速到空气污染水平和温室气体浓度。Aurora 的架构旨在处理异构的黄金标准输入，并以不同的分辨率和保真度生成预测。
该模型由一个灵活的 3D Swin Transformer 和基于感知器的编码器和解码器组成，使其能够处理和预测一系列跨空间和压力水平的大气变量。通过在大量不同数据上进行预训练并针对特定任务进行微调，Aurora 学会了捕捉大气中复杂的模式和结构，即使在针对特定任务进行微调时训练数据有限，它也能够表现出色。
大气化学和空气污染的快速预测
Aurora 多功能性的一个典型例子是它能够使用哥白尼大气监测服务 (CAMS) 的数据预测空气污染水平，这是一项众所周知的艰巨任务，因为大气化学、天气模式和人类活动之间相互作用复杂，而且 CAMS 数据具有高度异构性。
通过利用其灵活的编码器-解码器架构和注意机制，Aurora 可以有效地处理和学习这些具有挑战性的数据，捕捉空气污染物的独特特征及其与气象变量的关系。这使 Aurora 能够以 0.4° 的空间分辨率生成准确的五天全球空气污染预报，在 74% 的所有目标上的表现优于最先进的大气化学模拟，展示了其非凡的适应性和解决各种环境预测问题的潜力，即使在数据稀疏或高度复杂的场景中也是如此。
数据多样性和模型缩放优化大气预测
这项研究的一项重要发现是，与在单个数据集上进行训练相比，在不同的数据集上进行预训练可以显著提高 Aurora 的性能。通过整合来自气候模拟、再分析产品和运营预报的数据，Aurora 可以学习更稳健、更通用的大气动力学表示。正是由于其规模和多样化的预训练数据语料库，Aurora 能够在广泛的任务和分辨率中超越最先进的数值天气预报模型和专门的深度学习方法。
图 3：对不同数据进行预训练并增加模型大小可提高性能。(a) 在不同数据集配置（即无微调）上预训练的模型（标记为 C1-C4）在 6 小时提前时间与 ERA5 2021 相比的性能。均方根误差 (RMSE) 由 ERA5 预训练模型的性能归一化 (C1)。添加来自 CMIP6（即 CMCC 和 IFS-HR）的低保真模拟数据几乎可以均匀地提高性能 (C2)。添加更多模拟数据可以进一步提高大多数表面变量和此新添加数据中存在的大气水平的性能 (C3)。最后，配置 C4 可以很好地覆盖整个大气层，还包含来自 GFS 的分析数据，从而实现最佳整体性能，全面提升。(b) 对许多不同的数据源进行预训练可以提高 IFS-HRES 2022 所有表面变量在 6 小时提前期内对极值的预测。此外，结果也适用于风速，它是 10U 和 10V 的非线性函数。(c) 更大的模型在相同数量的 GPU 小时数下获得更低的验证损失。我们拟合了一个幂律，大致相当于模型大小每增加一倍，训练损失就会减少 5%。
Aurora 的规模（无论是在架构设计和训练数据语料库方面，还是在预训练和微调协议方面）的直接结果是，它的性能优于当下最好的专业深度学习模型。
为了进一步验证对在许多数据集上预训练的大型模型进行微调的优势，研究人员将 Aurora 与 GraphCast 进行了比较——仅在 ERA5 上进行预训练，目前被认为是分辨率为 0.25 度、交付周期长达五天的最熟练的 AI 模型。
此外，该团队在本次比较中加入了 IFS HRES，这是数值天气预报的黄金标准。结果表明，Aurora 在与分析、气象站观测和极值进行衡量时均表现优异。
地球系统建模的范式转变
Aurora 的意义远远超出了大气预测。通过展示基础模型在地球科学中的威力，这项研究为开发涵盖整个地球系统的综合模型铺平了道路。
基础模型在数据稀缺的下游任务中表现出色，可以使发展中国家和极地等数据稀缺地区能够民主化地获取准确的天气和气候信息。这可能会对农业、交通、能源收集和灾害防备等领域产生深远影响，使社区能够更好地适应气候变化带来的挑战。
随着基于人工智能的环境预测领域的发展，研究人员希望 Aurora 能成为未来研究和开发的蓝图。这项研究强调了多样化的预训练数据、模型扩展和灵活的架构在构建强大的地球科学基础模型方面的重要性。
随着计算资源和数据可用性的不断进步，科学家可以预见未来，像 Aurora 这样的基础模型将成为运营天气和气候预测系统的支柱，为全球决策者和公众提供及时、准确和可操作的见解。
参考内容：https://www.microsoft.com/en-us/research/blog/introducing-aurora-the-first-large-scale-foundation-model-of-the-atmosphere/
