编辑 | 子罗
天气预报早已融入人们的生活,但天气预报的数据从何而来,如何提高其准确性,AI 如何发挥其作用?
天气预报是科学计算的重要应用,旨在预测未来的天气变化,特别是极端天气事件。
目前,最准确的预报系统是数值天气预报(NWP)方法,它将大气状态表示为离散网格,并数值求解描述这些状态之间转变的偏微分方程。然而,这个过程的计算成本很高。
最近,基于 AI 的方法已将天气预报速度提高几个数量级,但预报精度仍然明显低于数值天气预报方法。
今年 4 月份,上海人工智能实验室发布「风乌」大模型,全球气象有效预报时间首破 10天。
现在,由华为云 AI 首席科学家田奇领导的研究团队提出了一个基于 AI 的准确、中期全球天气预报系统——盘古气象(Pangu-Weather),其主要技术贡献包括设计 3DEST 架构并应用分层时间聚合策略进行中期预报。
研究证明,配备地球特定先验的三维深度网络可以有效处理天气数据中的复杂模式,并且分层时间聚合策略可以减少中期预测中的累积误差。
研究人员表示:「我们的盘古气象系统经过 39 年的全球数据训练,与世界上好的数值天气预报系统 IFS 相比,在所有测试变量上都获得了更强的确定性预报结果,同时速度比 IFS 快 10000 倍以上。我们的方法也适用于极端天气预报和集合预报。当用再分析数据初始化时,跟踪热带气旋的精度也高于 ECMWF-HRES。」
该研究以「Accurate medium-range global weather forecasting with 3D neural networks」为题,于 2023 年 7 月 5 日发布在《Nature》上。
「盘古气象」是一个强大的基于 AI 的天气预报系统,它可以根据再分析数据对所有测试的天气变量产生比操作 IFS 更强的确定性预报结果。
该技术创新体现在两个方面。
首先,研究人员将高度信息整合到一个新的维度中,以便深度神经网络的输入和输出可以在三个维度上概念化。然后进一步设计了一个三维(3D)地球特定Transformer(Earth-specific transformer ,3DEST)架构,将地球特定先验注入深层网络。实验表明,与 FourCastNet2 等二维模型相比,3D 模型通过将高度表达为单独的维度,能够捕获不同压力水平下大气状态之间的关系,从而显着提高精度。
其次,应用了分层时间聚合算法(hierarchical temporal aggregation algorithm),该算法涉及训练一系列具有增加的预测提前期的模型。因此,在测试阶段,中期天气预报所需的迭代次数大大减少,累积预报误差也得到缓解。第五代 ECMWF 再分析(ERA5)数据的实验验证了「盘古气象」在确定性预报和极端天气预报方面的优势,同时速度比 IFS 快 10000 倍以上。
利用 3D 网络进行全球天气预报
研究人员通过深度学习建立了天气预报系统。该方法涉及训练深度神经网络,将给定时间点的再分析天气数据作为输入,然后生成未来时间点的再分析天气数据作为输出。使用单个时间点进行输入和输出。ERA5 数据的时间分辨率为 1 小时;在训练子集中(1979-2017),有多达 341,880 个时间点,即一个时期的训练数据量。
为了减轻过度拟合的风险,在每个时期开始时随机排列训练数据中的样本顺序。研究人员训练了四个深度网络,前置时间(输入和输出之间的时间差)分别为 1 小时、3 小时、6 小时和 24 小时。四个深度网络均经过 100 个 epoch 的训练,每个训练在由 192 个 NVIDIA Tesla-V100 GPU 组成的集群上大约需要 16 天。
中期天气预报的提前期为 7 天或更长。这促使研究人员迭代调用基础深度网络,将每个预测结果作为下一步的输入。为了减少累积的预测误差,引入了分层时间聚合,总是调用具有最大可负担的提前期的深度网络。在数学上,这大大减少了迭代的次数。与使用固定 6 小时预报模型的 FourCastNet2 相比,此方法更快、更准确。
研究人员还用「盘古气象」来追踪热带气旋。将其与 ECMWF-HRES 进行了比较。研究显示,「盘古气象」对这些气旋的跟踪结果统计上比 ECMWF-RES 更准确。
局限性
尽管该算法对再分析数据的预测精度很高,但也存在一定的局限性。
首先,在本文中,「盘古气象」是根据再分析数据进行训练和测试的,但现实世界的预报系统是在观测数据上工作的。这些数据来源之间存在差异;因此,「盘古气象」在各个应用程序中的表现需要进一步研究。
其次,本文没有研究降水等一些天气变量。忽略这些因素可能会导致当前模型缺乏某些些能力,例如利用降水数据准确预测小规模极端天气事件,例如龙卷风爆发。
第三,基于 AI 的方法产生更平滑的预测结果,增加了低估极端天气事件严重程度的风险。
第四,使用不同提前期的模型可能会引入时间不一致。这是一个具有挑战性的话题,值得进一步研究。
未来展望
展望未来,基于 AI 的方法和数值天气预报方法都有改进的空间。在 AI 方面,可以通过合并更多垂直层面和/或大气变量、整合时间维度并训练四维深度网络、使用更深、更宽的网络,或简单地增加训练时代的数量来获得进一步的收益。
所有这些方向都需要更强大的 GPU 集群,具有更大的内存和更高的 FLOPS(每秒浮点运算次数),这是当前 AI 社区的趋势。在数值天气预报方面,可以开发后处理方法来减轻数值天气预报模型的可预测偏差。预计未来基于 AI 和数值天气预报的方法将相结合,带来更强大的性能。