2024/07/17 16:48

全网祝贺！Andrej Karpathy官宣创业：是自己热爱的AI+教育

Karpathy：以前在特斯拉、OpenAI都是「副业」，现在做的才是「正职」。

刚刚，Andrej Karpathy在X平台宣布了自己的下一站去向：创办一家名为 Eureka Labs 的人工智能+教育公司。

很高兴与大家分享，我正在创办一家名为 Eureka Labs 的人工智能+教育公司。公告如下：
我们是 Eureka Labs，我们正在打造一所AI原生的新型学校。我们如何才能获得学习新知识的理想体验？例如，在物理学方面，我们可以想象与费曼（Feynman）一起学习高质量的课程材料，费曼会在每一步都为你提供指导。遗憾的是，那些充满热情、善于教学、有无限耐心、精通世界上所有语言的学科专家也非常稀缺，他们无法按需亲自辅导我们 80 亿人。不过，随着最近在生成式人工智能方面取得的进展，这种学习体验让人感觉是可以实现的。

教师仍然负责设计课程材料，但这些材料会得到人工智能助教的支持、利用和扩展，而人工智能助教会进行优化，以帮助指导学生完成这些材料。这种「教师+人工智能」的共生模式可以在一个通用平台上运行整个课程。如果我们取得成功，任何人都可以轻松学习任何知识，从而扩大教育的覆盖范围（大量人学习某些知识）和程度（任何一个人都可以学习大量科目，这超出了目前在没有辅助的情况下可能实现的范围）。我们的第一个产品将是世界上最好的人工智能课程 LLM101n。

这是一门指导学生训练自己的人工智能的本科课程，非常类似于缩小版的人工智能助教课程。课程材料将在网上提供，但我们也计划同时开设数字班和实体班。今天，我们正在全力打造 LLM101n，但我们期待着人工智能成为提升人类潜能的关键技术的未来。

Eureka Labs 是我二十多年来对人工智能和教育的热情的结晶。从 YouTube 上的魔方教程到斯坦福大学的 CS231n，再到最近的「Zero-to-Hero AI」系列，我对教育的兴趣一直伴随着我。而我在人工智能领域的工作则从斯坦福大学的学术研究到特斯拉公司的实际产品，再到 OpenAI 的 AGI 研究。迄今为止，我在这两个领域的所有工作都是兼职的，是我「正职」工作的副业。因此我很高兴能投入其中，以专业和全职的方式创造一些伟大的东西。虽然还为时尚早，但我想宣布公司的成立，这样我就可以公开创建公司，而不是保守一个不为人知的秘密。

Andrej Karpathy的身份有很多个：李飞飞高徒、OpenAI创始成员及研究科学家、特斯拉前AI高级总监、YouTube「学习区」知名博主。

今年2月，Karpathy宣布从OpenAI离开，并表示「中间没有什么戏剧性冲突，只是想去尝试一下自己的个人项目」。此后，他的下一步去向就成为了大众关注的焦点。

这让我们想到了另一位知名AI学者吴恩达，作为谷歌大脑项目创建者、原百度首席科学家，吴恩达与同为斯坦福教授的Daphne Koller共同创办了在线教育平台Coursera。或许，从事理论研究的大佬内心都有一个教育梦想。

新公司专注于AI+教育

Eureka Labs 的第一个产品是本科水平课程LLM101n，旨在帮助学生训练自己的AI模型。

6月， Andrej Karpathy在GitHub上仅仅上传了LLM101n课程目录，就迅速刷屏。

具体来说，LLM101n从语言建模、机器学习的基础知识开始教学，然后到多模态、RLHF、模型部署，旨在构建一个 Storyteller AI 大模型 (LLM)，使用 AI 创建、完善和说明小故事，涵盖从基础到类似于 ChatGPT 的可运行 Web 应用程序，并使用 Python、C 和 CUDA 从头开始构建项目，并且只需要最少的计算机科学前提条件。这门课程将使学生对 AI、LLM 和深度学习有相对深入的了解。

目前，上传三周，LLM101n项目已收获17k Star。

在Karpathy官宣新公司的帖子下，谷歌首席科学家Jeff Dean发来了真诚的祝福。

在评论区，Karpathy也解释了 Eureka Labs名字的来源：Eureka（源自古希腊语）是一种理解了某件事之后的美好感觉，好像脑子里有个东西咔哒一声。他们的目标是激发人们心中的那些瞬间。而名字里加个Labs是因为：Eureka作为单个单词已经被别人用了（Netflix开发的服务发现框架），而他一直想要个实验室……

目前，该公司已经开通了官方推特和GitHub库。

GitHub地址：https://github.com/EurekaLabsAI

AI领域的活跃人物

个人主页：https://karpathy.ai/

2005-2009 年，Andrej Karpathy 本科就读于加拿大多伦多大学，主修计算机科学与物理，辅修数学。在这里，他第一次接触到深度学习，聆听 Hinton 的课程。

2009 -2011 年，Karpathy 硕士就读于加拿大不列颠哥伦比亚大学，其导师为计算机科学系教授 Michiel van de Panne，主要研究物理模拟中用于敏捷机器人的机器学习。

2011-2016 年，Karpathy 博士就读于斯坦福大学，师从著名 AI 学者李飞飞，专注于研究卷积 / 循环神经网络以及它们在计算机视觉、自然语言处理和交叉领域的应用。期间，他设计并担任斯坦福首个深度学习课程《CS231n：卷积神经网络与视觉识别》的主要讲师。

与此同时，Karpathy 还有三段实习经历。2011 年，他进入发展初期的谷歌大脑实习，致力于视频领域的大规模无监督学习。之后的 2013 年，他再次在谷歌研究院实习，从事 YouTube 视频的大规模监督学习。2015 年，他在 DeepMind 实习，参与深度强化学习团队的工作。

目前，在 Google Scholar 上，Karpathy 的论文引用数达到了 66426。其中，引用第二多、他作为一作的论文《Large-scale Video Classification with Convolutional Neural Networks》被收录为 CVPR 2014 Oral。

Karpathy 是 OpenAI 的创始成员和研究科学家。在 OpenAI 创立仅一年多后，2017 年，Karpathy 接受马斯克的邀请加入特斯拉，接替了当时的特斯拉 Autopilot 负责人、苹果 Swift 语言、LLVM 编译器之父 Chris Lattner。

五年里，Karpathy 一手促成了 Autopilot 的开发。随着特斯拉从最开始的自动驾驶慢慢扩展到更广泛的人工智能领域，Karpathy 也被提为特斯拉的 AI 高级总监，直接向马斯克汇报工作。

对教育事业的热爱

事实上，在此前的职业生涯变动间隙，Karpathy就已经表现出了对「投身教育事业」的兴趣。

Karpathy 于 2022 年 7 月离开特斯拉。在后续的访谈中，他说这是一个艰难的决定。虽然特斯拉还未完全实现自动化驾驶，但研发团队已经可以自行发展。这次离职也给他一个机会，去重新审视自己对于人工智能、开源和教育的热爱。

离职八个月后，2023 年 2 月，Karpathy 宣布自己再次加入 OpenAI。在此期间，Karpathy 除了完成 OpenAI 的研究工作，还做了一些个人项目，包括录制教育视频、开发关于 Llama 2 的开源项目 ——llama2.c 等。

在今年2月份，OpenAI内部斗争事件之后，Karpathy再次从OpenAI离职，并一直致力于一些开源课程。

如今，算是正式投身于自己热爱的教育事业。我们可以期待，Karpathy将为AI领域带来更多优秀的课程资源。

关于Karpathy的更多课程项目，可见扩展阅读。

扩展阅读：

《五年后的今天，训练 GPT-2 只需不到 700 刀、24 小时，Karpathy 又整新活》

《墙裂推荐！Karpathy 大模型培训课 LLM101n 上线了，非常基础》

《Karpathy最新四小时视频教程：从零复现GPT-2，通宵运行即搞定》

《离开 OpenAI 待业的 Karpathy 做了个大模型新项目，Star 量一日破千》

《闲下来的 Andrej Karpathy 录了个课程：保证学会，你听不懂我吃鞋》

《特斯拉前 AI 总监教你手搓 GPT 大模型，教学视频已出》

《OpenAI 联创 Karpathy 爱上羊驼：纯 C 代码实现婴儿 Llama2，MacBook 可运行，已揽 1.6k 星》

《OpenAI 内斗时，Karpathy 在录视频：《大型语言模型入门》上线》

产业人工智能+教育Eureka LabsAndrej Karpathy

相关技术

机器人操作系统

所属机构

百度研究院

来源：个人网站 Ng, A. Y.Twitter

李飞飞人物

李飞飞，斯坦福大学计算机科学系教授，斯坦福视觉实验室负责人，斯坦福大学人工智能实验室（SAIL）前负责人。专业领域是计算机视觉和认知神经科学。2016年11月李飞飞加入谷歌，担任谷歌云AI/ML首席科学家。2018年9月，返回斯坦福任教，现为谷歌云AI/ML顾问。10月20日斯坦福大学「以人为中心的AI计划」开启，李飞飞担任联合负责人。11月20日李飞飞不再担任SAIL负责人，Christopher Manning接任该职位。

来源：个人主页维基百科

深度学习技术

深度学习（deep learning）是机器学习的分支，是一种试图使用包含复杂结构或由多重非线性变换构成的多个处理层对数据进行高层抽象的算法。深度学习是机器学习中一种基于对数据进行表征学习的算法，至今已有数种深度学习框架，如卷积神经网络和深度置信网络和递归神经网络等已被应用在计算机视觉、语音识别、自然语言处理、音频识别与生物信息学等领域并获取了极好的效果。

来源：LeCun, Y., Bengio, Y., & Hinton, G. (2015). Deep learning. nature, 521(7553), 436.

深度强化学习技术

强化学习（Reinforcement Learning）是主体（agent）通过与周围环境的交互来进行学习。强化学习主体（RL agent）每采取一次动作（action）就会得到一个相应的数值奖励（numerical reward），这个奖励表示此次动作的好坏。通过与环境的交互，综合考虑过去的经验（exploitation）和未知的探索（exploration），强化学习主体通过试错的方式（trial and error）学会如何采取下一步的动作，而无需人类显性地告诉它该采取哪个动作。强化学习主体的目标是学习通过执行一系列的动作来最大化累积的奖励（accumulated reward）。一般来说，真实世界中的强化学习问题包括巨大的状态空间（state spaces）和动作空间（action spaces），传统的强化学习方法会受限于维数灾难（curse of dimensionality）。借助于深度学习中的神经网络，强化学习主体可以直接从原始输入数据（如游戏图像）中提取和学习特征知识，然后根据提取出的特征信息再利用传统的强化学习算法（如TD Learning，SARSA，Q-Learnin）学习控制策略（如游戏策略），而无需人工提取或启发式学习特征。这种结合了深度学习的强化学习方法称为深度强化学习。

来源：Scholarpedia

机器学习技术

机器学习是人工智能的一个分支，是一门多领域交叉学科，涉及概率论、统计学、逼近论、凸分析、计算复杂性理论等多门学科。机器学习理论主要是设计和分析一些让计算机可以自动“学习”的算法。因为学习算法中涉及了大量的统计学理论，机器学习与推断统计学联系尤为密切，也被称为统计学习理论。算法设计方面，机器学习理论关注可以实现的，行之有效的学习算法。

来源：Mitchell, T. (1997). Machine Learning. McGraw Hill.

人工智能技术

在学术研究领域，人工智能通常指能够感知周围环境并采取行动以实现最优的可能结果的智能体（intelligent agent）

来源：Russell, S., & Norvig, P. (2003). Artificial Intelligence: A Modern Approach.

计算机视觉技术

计算机视觉（CV）是指机器感知环境的能力。这一技术类别中的经典任务有图像形成、图像处理、图像提取和图像的三维推理。目标识别和面部识别也是很重要的研究领域。

来源：机器之心

卷积神经网络技术

卷积神经网路（Convolutional Neural Network, CNN）是一种前馈神经网络，它的人工神经元可以响应一部分覆盖范围内的周围单元，对于大型图像处理有出色表现。卷积神经网路由一个或多个卷积层和顶端的全连通层（对应经典的神经网路）组成，同时也包括关联权重和池化层（pooling layer）。这一结构使得卷积神经网路能够利用输入数据的二维结构。与其他深度学习结构相比，卷积神经网路在图像和语音识别方面能够给出更好的结果。这一模型也可以使用反向传播算法进行训练。相比较其他深度、前馈神经网路，卷积神经网路需要考量的参数更少，使之成为一种颇具吸引力的深度学习结构。卷积网络是一种专门用于处理具有已知的、网格状拓扑的数据的神经网络。例如时间序列数据，它可以被认为是以一定时间间隔采样的一维网格，又如图像数据，其可以被认为是二维像素网格。

来源：Goodfellow, I.; Bengio Y.; Courville A. (2016). Deep Learning. MIT Press.维基百科

监督学习技术

监督式学习（Supervised learning），是机器学习中的一个方法，可以由标记好的训练集中学到或建立一个模式（函数 / learning model），并依此模式推测新的实例。训练集是由一系列的训练范例组成，每个训练范例则由输入对象（通常是向量）和预期输出所组成。函数的输出可以是一个连续的值（称为回归分析），或是预测一个分类标签（称作分类）。

来源：Wikipedia

自然语言处理技术

自然语言处理（英语：natural language processing，缩写作 NLP）是人工智能和语言学领域的分支学科。此领域探讨如何处理及运用自然语言；自然语言认知则是指让电脑“懂”人类的语言。自然语言生成系统把计算机数据转化为自然语言。自然语言理解系统把自然语言转化为计算机程序更易于处理的形式。

来源：维基百科

语言模型技术

语言模型经常使用在许多自然语言处理方面的应用，如语音识别，机器翻译，词性标注，句法分析和资讯检索。由于字词与句子都是任意组合的长度，因此在训练过的语言模型中会出现未曾出现的字串(资料稀疏的问题)，也使得在语料库中估算字串的机率变得很困难，这也是要使用近似的平滑n元语法(N-gram)模型之原因。

来源：维基百科

GPT-2技术

GPT-2是OpenAI于2019年2月发布的基于 transformer 的大型语言模型，包含 15 亿参数、在一个 800 万网页数据集上训练而成。据介绍，该模型是对 GPT 模型的直接扩展，在超出 10 倍的数据量上进行训练，参数量也多出了 10 倍。在性能方面，该模型能够生产连贯的文本段落，在许多语言建模基准上取得了 SOTA 表现。而且该模型在没有任务特定训练的情况下，能够做到初步的阅读理解、机器翻译、问答和自动摘要。

来源：OpenAI博客