神经过程（NP）通过学习将观察到的输入输出对的上下文集合映射到回归函数上的分布来接近回归。每个函数根据上下文，对给定输入的输出分布进行建模。NP 的优势是可以有效地拟合观测数据，在上下文输入输出对的数量上具有线性复杂性，并且可以学习一系列广泛的条件分布；它们学习以任意大小的上下文集合为条件的预测分布。尽管如此，来自 DeepMind 和牛津大学的研究者认为，NP 存在着一个根本的不足——欠拟合，对其所依据的观测数据的输入给出了不准确的预测。他们通过将注意力纳入 NP 来解决这个问题，允许每个输入位置关注预测的相关上下文点。研究表明，这大大提高了预测的准确性，显著加快了训练速度，并扩大了可以建模的函数范围。