DeepMind 提出元梯度强化学习算法，显著提高大规模深度强化学习应用的性能

强化学习（RL）的核心目标是优化智能体的回报（累积奖励）。一般通过预测和控制相结合的方法来实现这一目标。预测的子任务是估计价值函数，即在任何给定状态下的预期回报。理想情况下，这可以通过朝着真值函数（true value function）的方向不断更新近似价值函数来实现。控制的子任务是优化智能体选择动作的策略，以最大化价值函数。理想情况下，策略只会在使真值函数增加的方向上更新。然而，真值函数是未知的，因此，对于预测和控制，我们需要将采样回报作为代理（proxy）。强化学习算法家族 [Sutton，1988；Rummery 和 Niranjan，1994；van Seijen 等，2009；Sutton 和 Barto，2018] 包括多种最先进的深度强化学习算法 [Mnih 等，2015；van Hasselt 等，2016；Harutyunyan 等，2016；Hessel 等，2018；Espeholt 等，2018]，它们的区别在于对回报的不同设定。

折扣因子 γ 决定了回报的时间尺度。接近 1 的折现因子更关注长期的累计回报，而接近 0 的折现因子优先考虑短期奖励，更关注短期目标。即使在明显需要关注长期回报的问题中，我们也经常观察到使用小于 1 的折扣因子可以获得更好的效果 [Prokhorov 和 Wunsch，1997]，这一现象在学习的早期体现得尤为明显。众所周知，许多算法在折扣因子较小时收敛速度较快 [Bertsekas 和 Tsitsiklis，1996]，但过小的折扣因子可能会导致过度短视的高度次优策略。在实践中，我们可以首先对短期目标进行优化，例如首先用 γ= 0 进行优化，然后在学习取得一定效果后再不断增加折扣 [Prokhorov and Wunsch，1997]。

我们同样可以在不同的时间段设定不同的回报。一个 n 步的回报需要考虑 n 步中奖励的累积，然后添加第 n 个时间步时的价值函数。λ- 回报 [Sutton，1988；Sutton 和 Barto，2018] 是 n 步回报的几何加权组合。在任何一种情况下，元参数 n 或 λ 对算法的性能都很重要，因为他们影响到偏差和方差之间的权衡。许多研究人员对如何自动选择这些参数进行了探索 [Kearns 和 Singh，2000，Downey 和 Sanner，2010，Konidaris 等，2011，White and White，2016]。

还有很多其他的设计可以在回报中体现出来，包括离策略修正 [Espeholt 等，2018，Munos 等，2016]、目标网络 [Mnih 等，2015]、对特定状态的强调 [Sutton 等，2016]、奖励剪裁 [Mnih 等，2013]，甚至奖励本身 [Randløv 和 Alstrøm，1998；Singh 等，2005；Zheng 等，2018]。

本论文主要关注强化学习的一个基本问题：便于智能体最大化回报的最佳回报形式是什么？具体而言，本论文作者提出通过将回报函数当作包含可调整元参数 η 的参数函数来学习，例如折扣因子 γ 或 bootstrapping 参数 λ [Sutton，1988]。在智能体与环境的交互中，元参数 η 可以在线进行调整，使得回报既能适应具体问题，又能随着时间动态调整以适应不断变化的学习环境。研究者推导出一种实用的、基于梯度的元学习算法，实验表明它可以显著提高大规模深度强化学习应用的性能。

图 1：在各自的马尔可夫奖励过程（顶部）中，状态依赖可调整参数（a）bootstrapping 参数 λ 或（b）折扣因子 γ 的元梯度学习结果图示。在底部显示的每个子图中，第一幅图展示了元参数 γ 或 λ 在训练过程中的变化情况（10 个种子下的平均值 - 阴影区域覆盖了 20％-80％）。第二幅图显示了每种状态下 γ 或 λ 的最终值，分别指奇 / 偶状态的高 / 低值（小提琴图显示不同种子的分布情况）。

表 1：与不使用元学习的基线 IMPALA 算法相比，元学习折扣参数 γ、时序差分学习参数 λ，或学习二者的结果。研究者使用的是 [Espeholt et al，2018] 最初报告的折扣因子 γ= 0.99 以及调整后的折扣因子 γ= 0.995（见附录 C）; 为了公平比较，研究者将元目标中的交叉验证折扣因子 γ’设置为相同的值。

论文：Meta-Gradient Reinforcement Learning（元梯度强化学习）

论文链接：https://arxiv.org/abs/1805.09801

摘要：强化学习算法的目标是估计和 / 或优化价值函数。然而与监督学习不同，强化学习中没有可以提供真值函数的教师或权威。相反，大多数强化学习算法估计和 / 或优化价值函数的代理。该代理通常基于对真值函数的采样和 bootstrapped 逼近，即回报。对回报的不同选择是决定算法本质的主要因素，包括未来奖励的折扣因子、何时以及如何设定奖励，甚至奖励本身的性质。众所周知，这些决策对强化学习算法的整体成功至关重要。我们讨论了一种基于梯度的元学习算法，它能够在线适应回报的本质，同时进行与环境的互动和学习。我们将该算法应用于超过 2 亿帧 Atari 2600 环境中的 57 场比赛，结果表明我们的算法取得了目前最好的性能。

理论DeepmindDavid Silver梯度强化学习

相关数据

深度强化学习技术

强化学习（Reinforcement Learning）是主体（agent）通过与周围环境的交互来进行学习。强化学习主体（RL agent）每采取一次动作（action）就会得到一个相应的数值奖励（numerical reward），这个奖励表示此次动作的好坏。通过与环境的交互，综合考虑过去的经验（exploitation）和未知的探索（exploration），强化学习主体通过试错的方式（trial and error）学会如何采取下一步的动作，而无需人类显性地告诉它该采取哪个动作。强化学习主体的目标是学习通过执行一系列的动作来最大化累积的奖励（accumulated reward）。一般来说，真实世界中的强化学习问题包括巨大的状态空间（state spaces）和动作空间（action spaces），传统的强化学习方法会受限于维数灾难（curse of dimensionality）。借助于深度学习中的神经网络，强化学习主体可以直接从原始输入数据（如游戏图像）中提取和学习特征知识，然后根据提取出的特征信息再利用传统的强化学习算法（如TD Learning，SARSA，Q-Learnin）学习控制策略（如游戏策略），而无需人工提取或启发式学习特征。这种结合了深度学习的强化学习方法称为深度强化学习。

来源：Scholarpedia

参数技术

在数学和统计学裡，参数（英语：parameter）是使用通用变量来建立函数和变量之间关系（当这种关系很难用方程来阐述时）的一个数量。

来源：维基百科

收敛技术

在数学，计算机科学和逻辑学中，收敛指的是不同的变换序列在有限的时间内达到一个结论（变换终止），并且得出的结论是独立于达到它的路径（他们是融合的）。通俗来说，收敛通常是指在训练期间达到的一种状态，即经过一定次数的迭代之后，训练损失和验证损失在每次迭代中的变化都非常小或根本没有变化。也就是说，如果采用当前数据进行额外的训练将无法改进模型，模型即达到收敛状态。在深度学习中，损失值有时会在最终下降之前的多次迭代中保持不变或几乎保持不变，暂时形成收敛的假象。

来源：Wikipedia Google ML glossary

元学习技术

元学习是机器学习的一个子领域，是将自动学习算法应用于机器学习实验的元数据上。现在的 AI 系统可以通过大量时间和经验从头学习一项复杂技能。但是，我们如果想使智能体掌握多种技能、适应多种环境，则不应该从头开始在每一个环境中训练每一项技能，而是需要智能体通过对以往经验的再利用来学习如何学习多项新任务，因此我们不应该独立地训练每一个新任务。这种学习如何学习的方法，又叫元学习（meta-learning），是通往可持续学习多项新任务的多面智能体的必经之路。

来源：机器之心

时序差分学习技术

时间差（TD）学习是一种基于预测的机器学习方法。它主要用于强化学习问题，被称为是“蒙特卡罗思想和动态规划（DP）思想的结合”。 TD类似于蒙特卡洛方法，因为它通过对环境进行取样来学习一些策略；其与动态规划技术相关，因为它基于先前学习的预估（自助法的过程）对当前状态进行近似估计。 TD学习算法也与动物学习的时间差模型有关

监督学习技术

监督式学习（Supervised learning），是机器学习中的一个方法，可以由标记好的训练集中学到或建立一个模式（函数 / learning model），并依此模式推测新的实例。训练集是由一系列的训练范例组成，每个训练范例则由输入对象（通常是向量）和预期输出所组成。函数的输出可以是一个连续的值（称为回归分析），或是预测一个分类标签（称作分类）。

来源：Wikipedia

交叉验证技术

交叉验证，有时亦称循环估计，是一种统计学上将数据样本切割成较小子集的实用方法。于是可以先在一个子集上做分析，而其它子集则用来做后续对此分析的确认及验证。一开始的子集被称为训练集。而其它的子集则被称为验证集或测试集。交叉验证的目标是定义一个数据集到“测试”的模型在训练阶段，以便减少像过拟合的问题，得到该模型将如何衍生到一个独立的数据集的提示。

来源：维基百科

强化学习技术

强化学习是一种试错方法，其目标是让软件智能体在特定环境中能够采取回报最大化的行为。强化学习在马尔可夫决策过程环境中主要使用的技术是动态规划（Dynamic Programming）。流行的强化学习方法包括自适应动态规划（ADP）、时间差分（TD）学习、状态-动作-回报-状态-动作（SARSA）算法、Q 学习、深度强化学习（DQN）；其应用包括下棋类游戏、机器人控制和工作调度等。

来源：机器之心