摘要:
针对运动型任务,我们研究了一种新型的架构和训练过程。这是一种具有本体感应的高频传感器和低级「脊椎(spinal)」结构的网络,它通过对简单任务的训练来学习感觉运动的原理(primitives)。它有固定的预训练模块,并连接到一个低频、高级的「大脑皮层」网络,这个网络连接了所有的传感器,通过调控传输到「脊柱」网络的信息来控制行为。在单个端到端的架构完全失败的场景下,我们使用预先训练的「脊柱」模块能在多个高级任务中取得成功,并且使得在稀疏奖励空间(sparse reward)中能够进行有效探索。我们在 3 个模拟物体上进行了测试:游泳的 16 维的蛇,20 维的四脚生物,以及 54 维的人。最后,我们将结果展示成视频显示在此网址 https://youtu.be/sboPYvhpraQ 中。
论文地址:Learning and Transfer of Modulated Locomotor Controllers