2024/08/16 14:24

想搞懂李飞飞的创业方向？这里有一份机器人+3D的论文清单

80 多篇论文搞懂「机器人+3D」研究进展。

前段时间，多家媒体报道称，著名 AI 学者、斯坦福大学教授李飞飞的创业公司 World Labs 在短短三个月内已经完成了两轮融资，其中最新一轮融资中筹到了约 1 亿美元，公司估值已超过 10 亿美元，成为新晋独角兽。

World Labs 的发展方向聚焦于「空间智能」，即开发能够理解三维物理世界的模型，模拟物体的物理特性、空间位置和功能。李飞飞认为「空间智能」是 AI 发展的关键一环，她的团队正在斯坦福大学实验室里训练计算机和机器人在三维世界中采取行动，例如使用大型语言模型让一个机械臂根据口头指令执行开门、做三明治等任务。（详情请参见《李飞飞解读创业方向「空间智能」，让 AI 真正理解世界》）

^{为了解释「空间智能」这一概念，李飞飞展示了一张猫伸出爪子将玻璃杯推向桌子边缘的图片。她表示，在一瞬间，人类大脑可以评估「这个玻璃杯的几何形状，它在三维空间中的位置，它与桌子、猫和所有其他东西的关系」，然后预测会发生什么，并采取行动加以阻止。}

其实，除了李飞飞，现在有很多研究团队都在关注 3D 视觉 + 机器人这一方向。这些团队认为，当前 AI 存在的很多局限都是因为模型缺乏对于 3D 世界的深刻理解。如果要补全这一拼图，势必要在 3D 视觉方向投入更多的研究精力。此外，3D 视觉提供了对环境的深度感知和空间理解能力，这对于机器人在复杂三维世界中的导航、操作和决策至关重要。

那么，有没有一份系统的研究资料可以供这一方向的研究者参考呢？机器之心最近就找到了一份：

项目链接：https://github.com/zubair-irshad/Awesome-Robotics-3D

这个名叫「Awesome-Robotics-3D」的 GitHub 存储库总共收集了 80 多篇「3D 视觉 + 机器人」方向的论文，大部分论文都给出了相应的论文、项目、代码链接。

这些论文可以分为以下几个主题：

策略学习
预训练
VLM 和 LLM
表示
模拟、数据集和基准

这些论文既有 arXiv 预印本，也有 RSS、ICRA、IROS、CORL 等机器人学顶会以及 CVPR、ICLR、ICML 等计算机视觉、机器学习领域的顶会论文，含金量非常高。

每部分的论文列表如下：

1、策略学习

2、预训练

3、VLM 和 LLM

4、表示

5、模拟，数据集和基准

此外，作者还给出了两篇可以参考的综述论文：

论文 1：When LLMs step into the 3D World: A Survey and Meta-Analysis of 3D Tasks via Multi-modal Large Language Models
论文链接：https://arxiv.org/pdf/2405.10255

论文介绍：这篇论文全面概述了使 LLM 能够处理、理解和生成 3D 数据的方法论，并强调了 LLM 的独特优势，例如 in-context learning、step-by-step 推理、开放词汇能力和广泛的世界知识，这些优势有望显著推进具身人工智能系统中的空间理解和交互。研究涵盖了从点云到神经辐射场（NeRF）的各种 3D 数据表示方法，并考察了它们与 LLM 的集成，用于 3D 场景理解、描述生成、问答和对话，以及基于 LLM 的代理进行空间推理、规划和导航等任务。此外，论文还简要回顾了其他将 3D 和语言进行整合的方法。通过对这些研究的元分析，论文揭示了取得的显著进展，并强调了开发新方法以充分利用 3D-LLM 潜力的必要性。

为了支持这项调查，作者建立了一个项目页面，整理和列出了与主题相关的论文：https://github.com/ActiveVisionLab/Awesome-LLM-3D

论文 2：A Comprehensive Study of 3-D Vision-Based Robot Manipulation
论文链接：https://ieeexplore.ieee.org/document/9541299

论文介绍：这篇文章全面分析了 3D 视觉在机器人操控领域的最新进展，特别是在模仿人类智能和赋予机器人更灵活工作能力方面。文章讨论了传统机器人操控通常依赖的 2D 视觉系统及其局限性，指出了 3D 视觉系统在开放世界中面临的挑战，如在杂乱背景下的一般物体识别、遮挡估计以及类似人类的灵活操控。文章涵盖了 3D 数据获取与表示、机器人视觉校准、3D 物体检测 / 识别、6 自由度姿态估计、抓取估计和运动规划等关键技术。此外，还介绍了一些公开数据集、评估标准、比较分析以及当前面临的挑战。最后，文章探讨了机器人操控的相关应用领域，并对未来的研究方向和开放问题进行了讨论。

感兴趣的读者可以点击项目链接开始学习。

产业Awesome-Robotics-3D李飞飞空间智能World Labs

相关数据

李飞飞人物

李飞飞，斯坦福大学计算机科学系教授，斯坦福视觉实验室负责人，斯坦福大学人工智能实验室（SAIL）前负责人。专业领域是计算机视觉和认知神经科学。2016年11月李飞飞加入谷歌，担任谷歌云AI/ML首席科学家。2018年9月，返回斯坦福任教，现为谷歌云AI/ML顾问。10月20日斯坦福大学「以人为中心的AI计划」开启，李飞飞担任联合负责人。11月20日李飞飞不再担任SAIL负责人，Christopher Manning接任该职位。

来源：个人主页维基百科

机器学习技术

机器学习是人工智能的一个分支，是一门多领域交叉学科，涉及概率论、统计学、逼近论、凸分析、计算复杂性理论等多门学科。机器学习理论主要是设计和分析一些让计算机可以自动“学习”的算法。因为学习算法中涉及了大量的统计学理论，机器学习与推断统计学联系尤为密切，也被称为统计学习理论。算法设计方面，机器学习理论关注可以实现的，行之有效的学习算法。

来源：Mitchell, T. (1997). Machine Learning. McGraw Hill.

感知技术

知觉或感知是外界刺激作用于感官时，脑对外界的整体的看法和理解，为我们对外界的感官信息进行组织和解释。在认知科学中，也可看作一组程序，包括获取信息、理解信息、筛选信息、组织信息。与感觉不同，知觉反映的是由对象的各样属性及关系构成的整体。

来源：维基百科

运动规划技术

运动规划(也被称为导航问题或钢琴搬运工的问题)是机器人的一个术语，用于将期望的运动任务分解成离散的运动，以满足运动的限制，并可能优化运动的某些方面。

来源：Wikipedia

人工智能技术

在学术研究领域，人工智能通常指能够感知周围环境并采取行动以实现最优的可能结果的智能体（intelligent agent）

来源：Russell, S., & Norvig, P. (2003). Artificial Intelligence: A Modern Approach.

基准技术

一种简单的模型或启发法，用作比较模型效果时的参考点。基准有助于模型开发者针对特定问题量化最低预期效果。