Auto Byte

专注未来出行及智能汽车科技

微信扫一扫获取更多资讯

Science AI

关注人工智能与其他前沿技术、基础学科的交叉研究与融合发展

微信扫一扫获取更多资讯

小舟、陈萍报道

Meta被曝因抢夺计算资源内斗激烈,Llama多位作者离职

今年 2 月,Meta「开源」了一个新的大模型系列 —— Llama(Large Language Model Meta AI),参数量从 70 亿到 650 亿不等。几个月后,Llama 2 的发布更是开启了大模型的可商用化先河,很多人将 Llama 2 的开源形容为大模型的「安卓时刻」。

由于 Llama 和 Llama 2 系列模型出色的性能,很多人将其视为 ChatGPT 等大模型的免费开源替代品。人人都在夸赞 Meta 为开源社区带来的贡献,但对于参与 Llama 项目的一些科学家和工程师来说,这种赞扬太少,也太迟了。

据 TheInformation 报道,了解内部情况的人员表示,参与 Llama 项目的很多人都辞职了,原因是 Meta 的另外一个研究团队与 Llama 团队就计算资源展开了一场内部斗争,而爆料中所指的另一个团队正在研究竞品模型,但不知什么原因最终放弃了这个模型。

虽然这只是内部人员的爆料,但他们的离开提醒人们,大大小小的科技公司在开发生成式人工智能模型时,都在努力解决计算资源短缺带来的紧张氛围,而生成式人工智能需要专用芯片,而这些芯片并不是免费提供的。大型科技公司比大多数公司拥有更多的计算资源,Meta 等一些公司在招聘 AI 研究员时也强调了这一事实。

我们看到即使是大公司,他们能提供的资源也是有限的。随着 AI 人才需求的激增,人员外流也凸显了大型科技公司在留住 AI 人才方面面临的挑战。 

 Llama 这篇论文《 LLaMA: Open and Efficient Foundation Language Models 》发表在今年 2 月,作者共有 14 位,现在已经有几位离职了,他们有的去了新的初创公司,有的开始创业。

图片

论文地址:https://arxiv.org/pdf/2302.13971.pdf

下面我们看看离职的都有哪些。

Gautier Izacard 

图片

Gautier Izacard 2020 年开始在 Meta 工作,2023 年 4 月离开 Meta,加入 2022 年成立的初创公司 Inflection AI。

Inflection AI 来头不小,它的三位联合创始人分别是原 DeepMind 联合创始人 Mustafa Suleyman、Linkedln 联合创始人 Reid Hoffman,还有前 DeepMind 首席科学家 Karen Simonyan。今年 6 月,Inflection AI 还宣布该公司在新一轮融资中筹集 13 亿美元,由微软、英伟达以及 Reid Hoffman、比尔・盖茨、谷歌前 CEO 埃里克・施密特领投。
图片Inflection AI 的三位联合创始人。

Timothee Lacroix 

图片

Timothee Lacroix2015 年加入 Facebook AI Research Lab,任研究工程师。2023 年 6 月离开 Meta(Facebook),加入法国初创公司 Mistral AI,任首席技术官(CTO)。

Armand Joulin

图片

Armand Joulin 2012 年从 INRIA 和巴黎高等师范学院(ENS)获得博士学位。2014 年,Armand Joulin 加入 Meta,先后任研究科学家、高级研究经理、研究总监。在加入 Meta 之前,Armand 是斯坦福大学的博士后研究员,与 Daphne Koller 和李飞飞一起工作。2023 年 5 月 Armand Joulin 从 Meta 离职。

Guillaume Lample

图片

Guillaume Lample 现在是 Mistral AI 的联合创始人兼首席科学家。他于今年 3 月离开 Meta,在这里工作了 6 年多,此前在 Meta 的职位是研究科学家。

Guillaume Lample 硕士毕业于卡内基梅隆大学、博士毕业于巴黎第六大学。

最后我们在介绍一下初创公司 Mistral AI,于今年 5 月成立。该机构主要专注于生成式 AI 模型的研发,与 OpenAI 展开竞争。联合创始人包括 Arthur MENSCH(兼 CEO)、Guillaume Lample(兼首席科学家),Timothee Lacroix 为首席技术官。

图片

据 Techcrunch 报道,他们计划于 2024 年发布第一个基于文本的生成式人工智能模型。今年 6 月,成立仅 4 周的 Mistral AI 已获得 1.13 亿美元的种子轮融资。

Guillaume Lample 和 Timothee Lacroix 前面我们已经介绍了。作为 CEO 的 Arthur MENSCH,此前在 DeepMind(现在合并为 Google DeepMind)工作了 2 年多,参与过视觉语言模型 Flamingo 的研究。

图片

参考文献:
https://www.theinformation.com/articles/inside-metas-ai-drama-internal-feuds-over-compute-power?rc=bw8enl
理论LLaMA
相关数据
DeepMind机构

DeepMind是一家英国的人工智能公司。公司创建于2010年,最初名称是DeepMind科技(DeepMind Technologies Limited),在2014年被谷歌收购。在2010年由杰米斯·哈萨比斯,谢恩·列格和穆斯塔法·苏莱曼成立创业公司。继AlphaGo之后,Google DeepMind首席执行官杰米斯·哈萨比斯表示将研究用人工智能与人类玩其他游戏,例如即时战略游戏《星际争霸II》(StarCraft II)。深度AI如果能直接使用在其他各种不同领域,除了未来能玩不同的游戏外,例如自动驾驶、投资顾问、音乐评论、甚至司法判决等等目前需要人脑才能处理的工作,基本上也可以直接使用相同的神经网上去学而习得与人类相同的思考力。

https://deepmind.com/
李飞飞人物

李飞飞,斯坦福大学计算机科学系教授,斯坦福视觉实验室负责人,斯坦福大学人工智能实验室(SAIL)前负责人。专业领域是计算机视觉和认知神经科学。2016年11月李飞飞加入谷歌,担任谷歌云AI/ML首席科学家。2018年9月,返回斯坦福任教,现为谷歌云AI/ML顾问。10月20日斯坦福大学「以人为中心的AI计划」开启,李飞飞担任联合负责人。11月20日李飞飞不再担任SAIL负责人,Christopher Manning接任该职位。

Mustafa Suleyman人物

DeepMind 联合创始人,应用 AI 部门负责人

人工智能技术

在学术研究领域,人工智能通常指能够感知周围环境并采取行动以实现最优的可能结果的智能体(intelligent agent)

Infor机构

Infor是一家跨国企业软件公司,总部设在美国纽约市。Infor专注于通过云计算作为服务交付给组织的业务应用。最初专注于从财务系统和企业资源规划(ERP)到供应链和客户关系管理的软件, Infor在2010年开始专注于工业利基市场的软件,以及用户友好的软件设计。Infor通过Amazon Web Services和各种开源软件平台部署云应用。

www.infor.com
相关技术
推荐文章
暂无评论
暂无评论~