字节提出 MOMA-Force 方法,助力移动操作机器人完成复杂操作任务。
![图片](https://image.jiqizhixin.com/uploads/editor/0eaf6076-24ad-47ab-b1fa-8d3aedc3eb08/640.gif)
![图片](https://image.jiqizhixin.com/uploads/editor/ac423859-efd6-4d54-91e1-9a155f80e53b/640.gif)
![图片](https://image.jiqizhixin.com/uploads/editor/caf3b6d7-2abd-4183-a342-d0dcb9b772d7/640.gif)
![图片](https://image.jiqizhixin.com/uploads/editor/e3051acb-810f-4c62-aaaa-9eedc5e86911/640.gif)
![图片](https://image.jiqizhixin.com/uploads/editor/f2868b1e-2b54-407c-a669-3c29a809e34c/640.png)
项目主页:https://visual-force-imitation.github.io/ 论文地址:https://arxiv.org/abs/2308.03624
![图片](https://image.jiqizhixin.com/uploads/editor/ba6f9a88-12a4-4133-9779-fbaefaed303a/640.gif)
![图片](https://image.jiqizhixin.com/uploads/editor/982a662a-e53d-480b-8e06-8a180caa3cd1/640.gif)
专家示教数据中的 RGB 观测图像通过视觉编码器(visual encoder)转换为表示向量 Ze。当机器人在实时运行过程中,末端操作器的 RGB 观测图像通过相同的视觉编码器转换为表示向量 Zt。 通过从专家数据 Ze 中检索匹配出与当前实际观测表示 Zt 最相似的表示索引 i,并抽取出索引 i 对应的专家运动行为(机器人末端位置姿态)、夹爪开闭行为、力和力矩来作为当前时刻机器人的局部行为目标。 通过感知末端操作器当前所受到的接触力的大小、目标力的大小以及目标末端位姿,通过导纳全身控制(Admittance Whole Body Control)生成机械臂关节和底盘轮速控制信号驱动机器人平稳、安全地跟踪目标轨迹点完成任务。
![图片](https://image.jiqizhixin.com/uploads/editor/3da9bc38-cb9c-4c61-8604-ec75b89efd14/640.png)
在离线阶段,MOMA-Force 利用预训练的视觉编码器(ibot)将专家轨迹中每帧的 RGB 观测图像投影到深度嵌入中。该嵌入即 RGB 视觉观测的紧凑表示。 在在线阶段,MOMA-Force 利用同样的视觉编码器将每个时间点 t 所捕获的 RGB 观测图像也进行了编码,并通过计算与专家数据编码的相似度找出最相似的那一帧观测,这帧观测所对应的机器人在三维空间中末端位姿、夹爪的状态、六维力传感数据、任务完成状态等被匹配成为机器人当前的目标行为。
![图片](https://image.jiqizhixin.com/uploads/editor/2f646b15-41ef-4888-a06f-329725513b7b/640.png)
![图片](https://image.jiqizhixin.com/uploads/editor/50ef5c96-9d3d-4843-9feb-da80acee572f/640.png)
![图片](https://image.jiqizhixin.com/uploads/editor/8ec19289-de6d-414c-b6bb-5203c5a57602/640.gif)
![图片](https://image.jiqizhixin.com/uploads/editor/7423fd60-74f1-4a49-9d81-d559ef333883/640.gif)
![图片](https://image.jiqizhixin.com/uploads/editor/97355f8a-be6a-4426-bd29-8986dedff76e/640.gif)
![图片](https://image.jiqizhixin.com/uploads/editor/bf0f9e64-198b-4b69-852f-3db570ca2a71/640.gif)
![图片](https://image.jiqizhixin.com/uploads/editor/9a04c4dd-5755-49f8-b2f6-764096758d4e/640.gif)
![图片](https://image.jiqizhixin.com/uploads/editor/d99faf0a-3475-4d65-830d-2b051fe30479/640.gif)
![图片](https://image.jiqizhixin.com/uploads/editor/f9fbed73-e3b3-463a-a430-723987f9f5e2/640.gif)
![图片](https://image.jiqizhixin.com/uploads/editor/c8687e26-a041-4ac1-a392-8ce892aa244d/640.gif)
![图片](https://image.jiqizhixin.com/uploads/editor/3ccd1beb-5d4d-4dab-a06f-84dcc3dc58f0/640.gif)
![图片](https://image.jiqizhixin.com/uploads/editor/0ea555de-aac1-4a9e-8021-610d84205d3f/640.png)
![图片](https://image.jiqizhixin.com/uploads/editor/50dcc8b1-47f6-4bca-9c7a-27c4044fa584/640.png)