传统的反馈方法可以通过用显式模型捕捉结构（如刚体运动方程）非常有效地解决各种机器人控制问题。但是，现代机器人制造的很多问题都涉及接触和摩擦，这些问题很难用一阶物理建模来捕捉。因此，在这些问题上应用控制设计方法通常会导致脆弱和不准确的控制，进而需要手动调整才能部署。强化学习已被证明能够根据与环境的互动来学习连续的机器人控制问题，即使是包含摩擦和接触的问题。在本文《Residual Reinforcement Learning for Robot Control》中，研究者探索将现实中难度大的机器人控制问题分解出一部分，然后用传统的反馈控制方法来有效解决，再用强化学习解决剩余的部分。最终的控制策略是两个控制信号的叠加。