李飞飞等人CVPR 2019论文提出神经任务图
论文《Neural Task Graphs: Generalizing to Unseen Tasks from a Single Video Demonstration》旨在让机器人基于任务的单个视频演示执行以前未见过的任务。该论文中所采用方法取得成功的关键在于,将关于已见过任务的知识迁移至具有相似语义的未见过任务上。更重要的是,文中假设,为了根据单个视频演示成功执行复杂任务,有必要将组合性明确融入至模型中。为了验证该假设,李飞飞等人提出了神经任务图(NTG)网络,它使用任务图作为中间表示来模块化视频演示和导出策略的表征。结果表明,该公式在两个复杂任务(BulletPhysics中的块堆叠和AI2-THOR中的目标收集)上实现了很强的任务间泛化能力。进一步研究表明,同样的原则可以应用到真实世界视频中。结果显示,NTG可以提高Breakfast数据集中少镜头活动理解的数据效率。