2020/01/22 14:45

10倍分辨率，5分钟预测：谷歌深度学习短时降水预报超越传统方法

谷歌研究员提出使用机器学习方法预测未来短时间内的天气。此方法虽然处于早期发展阶段，但效果已经优于传统模型。

天气总是会或轻或重地影响人们的日常生活，而天气预报的准确性会极大影响人们应对天气的方式。天气预报可以告知人们是否应当选取一条不同的上班路线、是否应该重新安排周末野餐的计划、是否因为一场风暴的来袭而撤离住所。但对于局部风暴或是雷暴等以每小时为时间尺度演化的天气事件，做出准确的预测是极具挑战性的。

在论文《Machine Learning for Precipitation Nowcasting from Radar Images》中，研究人员在降水短时预测问题上提出了基于机器学习模型的新研究，该模型主要是对未来短时间内的天气进行高度局部化的「非物理」预测。

机器学习一个很显著的优势在于如果提供已经训练好的模型，那么推断过程的计算成本会很小。这使得在输入数据后的预测几乎是实时的，并且结果具有原始高分辨率。这种聚焦于 0-6 小时短时降水预测方法可以在总延迟仅为 5-10 分钟的情况下生成 1km 分辨率的预测结果，这其中还包括了数据采集的延迟。

该方法虽然还处于早期发展阶段，但已经优于传统模型。

超越传统天气预报方法

世界各地的气象机构都有大量的监控设施，例如，多普勒雷达可以实时测量降水量；气象卫星可以提供多光谱成像；地面气象站可以直接测量风速、风向和降水量等。下图比较了美国大陆表示降水的假彩色雷达成像以及地球同步卫星所提供的云层成像，以阐释多来源天气信息的重要性。降水的存在和云的存在相关，但又不完全相关，所以单纯从卫星遥感图像中推断降水情况是很有挑战性的。

上图：图像显示了地球同步卫星观测到的云的位置。下图：图像显示了多普勒雷达观测站观测到的降水位置。

不幸的是，这些测量手段并非在全球范围内都适用。例如，雷达数据大多来源于地面观测站，而这在海洋上通常不可行。此外，测量的覆盖范围因地理位置而异，有些地方即使具有良好的卫星覆盖率，雷达覆盖率也可能很小。

即便如此，有如此海量的观测数据，同时数据还有繁多的种类，以至于天气预测系统很难将它们全部纳入其中。在美国，由美国海洋与大气管理局 (https://www.noaa.gov/)（NOAA）收集的遥感数据规模增长速度已经达到了每天 100TB。NOAA 将这些数据提供给运行在超级计算机上的天气预测引擎，以提供未来 1-10 天的全球气象预测。这些引擎在过去的半个世纪中不断发展，它们基于数值方法，可以直接模拟物理过程，包括大气动力学和大量效应，如热辐射，植被、湖泊、海洋效应等等。

然而，计算资源的可用性在多个层面限制了基于数值的天气预报方法的能力。例如，计算力的需求将空间分辨率限制在约 5km 的范围内，这不足以用来分析市区和农田内的天气模式。数值方法还需要数个小时来运行。如果 6 小时才能完成一次预测的计算，那么每天只能进行 3-4 次预测，导致每次预测基于的是 6 小时前的旧数据，这会限制对于当前正在发生情况的了解。相比之下，短时预测对于交通路线选择和疏散计划等即时决策场景来说比较适用。

雷达到雷达的预测

作为系统可以生成预测类型的一个典型事例，研究者考虑一个雷达到雷达的预测问题：给定过去一小时的雷达图序列，预测从现在开始 N 小时内的雷达图，其中 N 一般为 0-6 小时之间。由于雷达数据已经被转换成了图像，可以将这种预测视为一个计算机视觉问题，从输入图像序列去推测气象的演变。在这样短的时间尺度下，演变主要由两种物理过程控制：平流导致云的运动，对流导致云的形成，两者都受局部地形和地理条件的影响。

上排（从左到右）：前三张图展示了当前时间之前 60 分钟、30 分钟以及 0 分钟（即需要进行预测的时间点）的雷达图。最右图展示了当前时间之后 60 分钟的雷达图，也就是短时预测的真实值。下左图：对上排前三张图应用光流（OF）算法得到的矢量场（作为比较）。光流法是在 20 世纪 40 年代发展起来的一种计算机视觉方法，常用于预测短期天气变化。下右图：由光流方法进行预测的结果示例。可以注意到，它很好地追踪了图中左下角降水的运动，但没能考虑风暴强度的衰减。

研究者使用的是一种数据驱动的无物理方法，这意味着神经网络仅仅从训练样本中学习如何拟合大气的物理变化，而没有引入任何关于大气如何工作的先验知识。将天气预测问题视为一个图像到图像的转换问题，并且利用目前图像分析中最先进的卷积神经网络（CNNs）技术来解决。

CNNs 通常由线性的层序列构成，其中每层都是将某些输入图像转换成新的输出图像的一组操作。通常，卷积神经网络层除了会使用一组卷积核对图像进行卷积操作外，还会改变图像的通道数和整体分辨率。这些卷积核本身是小图像（对于我们来说的小图像，通常 3x3 或 5x5）。卷积核给 CNN 提供了大部分的威力，并且带来了边缘检测、识别有意义的图案等操作。

U-Net 是一种特别有效的 CNN。U-Net 首先是一组被排列成编码阶段的层序列，其中逐层降低输入图像的分辨率；接着是解码阶段，在该阶段，编码器生成的图像的低维表示被扩展回更高的分辨率。下图展示了特定的 U-Net 结构中的所有层。

（A）U-Net 的整体结构。蓝色方框对应着基础 CNN 层；粉色方框对应下采样层；绿色方框对应上采样层。实线表示层间输入连接关系；虚线表示跨越了编码和解码阶段的长跳跃连接；点线表示各个层中的短跳跃连接。（B）基础层中的操作。（C）上采样层中的操作。

U-Net 的输入是一张图像，过去一小时的观测序列中每张多光谱卫星图像都占据其中一个通道。例如，如果过去一小时采集了 10 张卫星图像，每张多光谱图像都成像于 10 个不同的波长，那么模型的输入将是一张由 100 个通道组成的图像。对于雷达图到雷达图的预测，输入是由过去一小时内 30 张雷达观测组成的序列，相隔 2 分钟一张；输出包含从现在开始 N 小时后的预测结果。对于美国的初步工作中，研究者使用美国大陆 2017-2019 年的历史观测数据进行网络的训练。数据以四周为周期进行分割，每个周期的前三周作为训练数据，第四周用于效果评估。

结果

研究者将结果与三个广泛使用的模型进行了比较。首先，是 NOAA 的高分辨率快速刷新（HRRR）数值预测方法。HRRR 包含了对于许多不同气候量的预测，这里研究者将结果与 1 小时地面累积总降水量预测进行比较，因为这是质量最高的 1 小时降水量预测指标。第二个是基于光流（OF）的算法，该方法试图通过一系列图像追踪移动的物体。这是一个常被用于天气预测的方法，即使它作出了一个显然不成立的假设——一个较大区域内的总降水量在预测时间段内是恒定不变的。第三个，所谓的持续性模型，这是一个平凡的模型，它假设某个地点未来也会像当前时刻一样在以同样的程度降水，即降水的模式并不会改变。这可能看上去是一种过度简化的模型，但鉴于天气预测的困难程度，这也是一种常见的做法。

对大约一天时间内所做预测的可视化。左图：1 小时 HRRR 在每小时开始时所作的预测，该方法局限在于 HRRR 提供预测的间隔。中图：真实情况，即想要预测的情况。右图：研究者模型所做出的预测。可以每两分钟进行一次预测（这里展示了每 15 分钟的结果），预测区域的分辨率约为 HRRR 方法的 10 倍。可以注意到此方法捕捉到了风暴整体的运动和形态。

研究者使用准确率-召回率（PR）图像来进行模型的比较。由于可以直接获取到模型分类器的结果，因此提供了完整的 PR 曲线（下图中的蓝线）。然而，研究者不能直接获取 HRRR 的模型，并且持续性模型和基于光流的模型都没有在准确率和召回率间进行折中权衡的能力，因此这些模型只能由单点来表示。可以看到，研究者神经网络预测方法的质量高于其他三个模型（因为蓝线在其他模型表示的点之上）。值得注意的是，当预测范围达到 5-6 小时的时候，HRRR 模型的结果开始超过当下的结果。

准确率-召回率（PR）曲线 (https://en.wikipedia.org/wiki/Precision_and_recall) 将方法的结果（蓝线）和以下三个方法进行比较：基于光流（OF）的方法、持续性模型、HRRR 的 1 小时预测。因为无法直接获取到它们的分类器，因此无法提供完整的 PR 曲线。左图：对于小雨的预测结果。右图：对于中雨的预测结果。

基于机器学习方法的一大优势在于预测结果是实时有效的，这意味着预测可以基于实时的新数据，而 HRRR 会受到 1-3 小时计算延迟的影响。这使得基于计算机视觉的方法可以为超短时预测提供更好的结果。相比之下 HRRR 使用的数值模型可以提供更长期的预测，这一部分是因为它使用了完整的 3D 物理模型——云的形成很难从 2D 图像中观察到，所以基于机器学习的方法更难学习到对流的过程。将两个系统相结合——使用机器学习模型用于快速的预测，使用 HRRR 进行长期预测——可以在整体上产生更好的结果，这是一个未来工作可以关注的重点。研究者也在考虑将机器学习直接用于 3D 观测数据。无论如何，即时预测都是实时规划、辅助决策和改善生活的关键工具。

原文链接：https://ai.googleblog.com/2020/01/using-machine-learning-to-nowcast.html

理论谷歌天气预报

相关数据

机器学习技术

机器学习是人工智能的一个分支，是一门多领域交叉学科，涉及概率论、统计学、逼近论、凸分析、计算复杂性理论等多门学科。机器学习理论主要是设计和分析一些让计算机可以自动“学习”的算法。因为学习算法中涉及了大量的统计学理论，机器学习与推断统计学联系尤为密切，也被称为统计学习理论。算法设计方面，机器学习理论关注可以实现的，行之有效的学习算法。

来源：Mitchell, T. (1997). Machine Learning. McGraw Hill.

规划技术

人工智能领域的「规划」通常是指智能体执行的任务/动作的自动规划和调度，其目的是进行资源的优化。常见的规划方法包括经典规划（Classical Planning）、分层任务网络（HTN）和 logistics 规划。

来源：机器之心

图像转换技术

图像到图像的转换是从一个域获取图像并对其进行转换以使它们具有来自另一个域的图像的样式（或特征）的任务。

来源：paperswithcode

计算机视觉技术

计算机视觉（CV）是指机器感知环境的能力。这一技术类别中的经典任务有图像形成、图像处理、图像提取和图像的三维推理。目标识别和面部识别也是很重要的研究领域。

来源：机器之心

神经网络技术

（人工）神经网络是一种起源于 20 世纪 50 年代的监督式机器学习模型，那时候研究者构想了「感知器（perceptron）」的想法。这一领域的研究者通常被称为「联结主义者（Connectionist）」，因为这种模型模拟了人脑的功能。神经网络模型通常是通过反向传播算法应用梯度下降训练的。目前神经网络有两大主要类型，它们都是前馈神经网络：卷积神经网络（CNN）和循环神经网络（RNN），其中 RNN 又包含长短期记忆（LSTM）、门控循环单元（GRU）等等。深度学习是一种主要应用于神经网络帮助其取得更好结果的技术。尽管神经网络主要用于监督学习，但也有一些为无监督学习设计的变体，比如自动编码器和生成对抗网络（GAN）。

来源：机器之心

卷积神经网络技术

卷积神经网路（Convolutional Neural Network, CNN）是一种前馈神经网络，它的人工神经元可以响应一部分覆盖范围内的周围单元，对于大型图像处理有出色表现。卷积神经网路由一个或多个卷积层和顶端的全连通层（对应经典的神经网路）组成，同时也包括关联权重和池化层（pooling layer）。这一结构使得卷积神经网路能够利用输入数据的二维结构。与其他深度学习结构相比，卷积神经网路在图像和语音识别方面能够给出更好的结果。这一模型也可以使用反向传播算法进行训练。相比较其他深度、前馈神经网路，卷积神经网路需要考量的参数更少，使之成为一种颇具吸引力的深度学习结构。卷积网络是一种专门用于处理具有已知的、网格状拓扑的数据的神经网络。例如时间序列数据，它可以被认为是以一定时间间隔采样的一维网格，又如图像数据，其可以被认为是二维像素网格。

来源：Goodfellow, I.; Bengio Y.; Courville A. (2016). Deep Learning. MIT Press.维基百科

准确率技术

分类模型的正确预测所占的比例。在多类别分类中，准确率的定义为：正确的预测数/样本总数。在二元分类中，准确率的定义为：(真正例数+真负例数)/样本总数

来源：Google ML Glossary

先验知识技术

先验（apriori ；也译作先天）在拉丁文中指“来自先前的东西”，或稍稍引申指“在经验之前”。近代西方传统中，认为先验指无需经验或先于经验获得的知识。先验知识不依赖于经验，比如，数学式子2+2=4；恒真命题“所有的单身汉一定没有结婚”；以及来自纯粹理性的推断“本体论证明”

来源：维基百科

遥感技术

遥感（remote sensing）是指非接触的、远距离的探测技术。一般指运用传感器/遥感器探测物体的电磁波辐射、反射特性。遥感通过遥感器这类对电磁波敏感的仪器，在远离目标和非接触目标物体条件下探测目标。

边缘检测技术

边缘检测是图像处理和计算机视觉中的基本问题，边缘检测的目的是标识数字图像中亮度变化明显的点。图像属性中的显著变化通常反映了属性的重要事件和变化。这些包括（i）深度上的不连续、（ii）表面方向不连续、（iii）物质属性变化和（iv）场景照明变化。边缘检测是图像处理和计算机视觉中，尤其是特征检测中的一个研究领域。

来源：维基百科

上采样技术

在数字信号处理中，上采样、扩展和内插是与多速率数字信号处理系统中的重采样过程相关的术语。上采样可以与扩展同义，也可以描述整个扩展和过滤（插值）过程。

来源：维基百科