Auto Byte

专注未来出行及智能汽车科技

微信扫一扫获取更多资讯

Science AI

关注人工智能与其他前沿技术、基础学科的交叉研究与融合发展

微信扫一扫获取更多资讯

机器之心编辑部报道

斯坦福2023 AI Index回顾十年进展:大模型作者一半来自美国机构、中国期刊论文领先

AI Index 表明 AI 世界正在进入一个新的发展阶段。

人工智能领域,由斯坦福大学发起的人工智能指数(AI Index)是一个追踪 AI 动态和进展的非营利性项目,旨在全面研究 AI 行业状况,促进基于数据的 AI 广泛交流和有效对话。

现在,2023 AI Index 年度报告新鲜出炉。

图片

报告地址:https://aiindex.stanford.edu/wp-content/uploads/2023/04/HAI_AI-Index_Report_2023.pdf

AI Index 表明 AI 世界正在进入一个新的发展阶段。在过去的一年里,大量 AI 工具已经成为主流,从 ChatGPT 等聊天机器人到 Midjourney 等图像生成软件。但是关于如何部署这项技术以及如何平衡风险和机会的决定权牢牢掌握在企业参与者手中。AI Index 还指出,多年来,学术界在开发最先进的 AI 系统方面处于领先地位,但现在工业界已经牢牢接管。

AI Index 共分为八章,下面我们看看报告的主要内容。

图片

1. 研究与开发

本章主要介绍 AI 研发趋势。分为 AI 出版物,包括期刊文章、会议论文和存储库,然后介绍大型语言模型和多模态模型等。

图 1.1.1 展示了全球 AI 出版物的数量:从 2010 年到 2021 年,总数量翻了一番多,数据显示从 2010 年的 20 万增长到 2021 年的近 50 万。

图片

按照专业方向来分,图 1.1.3 表明模式识别机器学习方面的出版物在过去五年中增长最快。自 2015 年以来,模式识别方面的论文数量大约翻了一番,而机器学习论文的数量大约翻了两番。

图片

跨国合作:图 1.1.6 和 1.1.7 描述了 2010 年至 2021 年最大规模的跨国 AI 合作。结果表明,过去 12 年中中美合作次数最多,自 2010 年以来增长了大约四倍。然而,从 2020 年到 2021 年,中美合作总数仅增长了 2.1%。2021 年,美国和中国之间的合作数量是英国和中国的 2.5 倍。

图片

图片

AI 期刊论文的发表数量,中国始终保持领先地位,2021 年为 39.8%,其次是欧盟和英国(15.1%),然后是美国(10.0%)。

图片

被引次数:自 2010 年以来,中国在 AI 期刊出版物中的引用份额逐渐增加,而欧盟和英国以及美国的引用份额则有所下降 (图 1.1.12)。

图片

AI 会议出版物:AI 出版物数量在 2019 年达到峰值 (图 1.1.13)。2021 年 AI 会议的出版物总数为 85094 篇,略高于 2010 年的 75592 篇。

图片

2021 年,中国在全球 AI 会议出版物中所占份额最大,为 26.2%,2017 年开始超过欧盟和英国,美国以 17.2% 排在第三位 (图 1.1.15)。

图片

模型参数趋势( 按照学术、工业等划分 ):参数是模型在训练过程中学习到的数值。随着时间的推移,参数的数量一直在稳步增加,自 2010 年以来,这一增长变得尤为明显。

图片

过去五年里,重要的人工智能机器学习系统使用的计算量呈指数级增长(图 1.2.11):

图片

自 2010 年以来,在所有机器学习系统中,语言模型需要最多的计算资源:

图片

下图是对大型语言模型和多模态模型作者的国家从属关系进行了分析,这些研究人员主要来自美国机构 (54.2%)(图 1.2.13)。

图片

图 1.2.14 提供了自 GPT-2 以来发布的大型语言模型和多模态模型的时间线视图,以及发布这些模型的研究人员的国家隶属关系。

图片

随着时间的推移,新发布的大语言和多模态模型的参数数量大幅增加。例如,2019 年发布的第一个大型语言和多模态模型 GPT-2 只有 15 亿参数。谷歌在 2022 年发布的 PaLM 有 5400 亿,是 GPT-2 的近 360 倍。在大语言和多模态模型中,参数的中位数随时间呈指数增长 (图 1.2.15)。

图片

此外,大型语言和多模态模型的训练计算量也在稳步增加(图 1.2.16):

图片

AI Index 研究团队对训练成本进行了估算 (图 1.2.17)。这些估计是基于模型作者披露的硬件和训练时间完成的。例如 GPT-2 于 2019 年发布,被认为是第一个大型语言模型,拥有 15 亿个参数,估计需要 50,000 美元的训练费用。仅仅三年后,PaLM 推出了 5400 亿个参数,估计耗资 800 万美元。不仅仅是 PaLM:从整体上看,大型语言和多模态模型正变得越来越大、越来越昂贵。

图片

2. 技术性能

本章总结了计算机视觉、语言、语音、强化学习和硬件方面的进展。

图像分类:截至 2022 年,ImageNet 数据集上的 top-1 准确率已经达到 91.0%:

图片

人脸检测与识别:许多模型在面部识别系统准确率接近 100%,即使是在具有挑战性的数据集上:

图片

语言:在  SuperGLUE 基准上,模型拿到 91.3 ,比人类基线高出 1.5 个百分点:

图片

模型在文本摘要上的表现:

图片

此外,达到基准饱和的速度正在增加。然而,新的、更全面的基准测试套件,如 BIG-bench 和 HELM 正在发布。

图片

在提交给 MLPerf 的硬件系统使用的加速器数量的数据表明,更强的硬件正在为减少训练时间提供动力 (图 2.7.2):

图片

图 2.7.7 展示了从 2003 年到 2022 年发布的不同 GPU 的 FP32 性能。FLOP/s 越高,硬件越好。图 2.7.8 显示了按发布日期划分的新 GPU 单项性能中值,该值逐年上升。

图片

3. 关于伦理方面的研究

机器学习中的公平、偏见和道德仍然是研究人员和从业者感兴趣的话题。随着创建和部署生成式人工智能系统的技术门槛大幅降低,围绕人工智能的道德问题也变得更加明显。

根据追踪人工智能道德滥用相关事件的 AIAAIC 数据库,从 2012 年开始,人工智能事件和争议的数量增加了 26 倍。这种增长既证明了对人工智能技术的更多使用,也证明了对滥用可能性的认识。

图片

对这部分内容感兴趣的读者可以参考原报告。

4. 经济

AI 系统技术能力的提高使得企业、政府和其他组织的人工智能部署率更高。人工智能与经济的高度融合既令人兴奋又令人担忧。本章使用来自 Lightcast、LinkedIn、McKinsey、Deloitte 和 NetBase Quid 以及国际机器人联合会 (IFR) 的数据来研究与 AI 相关的经济趋势。 

图 4.1.1 显示了在一些职位中,需要某种 AI 技能的百分比。在 2022 年,按照这一指标排名前三的国家是美国 (2.1%)、加拿大 (1.5%) 和西班牙 (1.3%)。

图片

图 4.1.2 展示了自 2010 年以来美国劳动力市场最受欢迎的 AI 技能集群。最受欢迎的技能集群是机器学习 (1.0%),其次是人工智能 (0.6%) 和自然语言处理 (0.2%)。

图片

图 4.1.3 和 4.1.4 展示了与 2010-20122 年相比,2022 年 AI 职位发布所需的十大专业技能。就绝对水平而言,与十年前相比,现在对几乎所有专业技能的需求都更大。对 Python 的需求增长尤为显着,这证明它作为一种 AI 编码语言越来越受欢迎。

图片

图片

5. 教育

人工智能专业越来越多。美国大学计算机科学类博士毕业生中 AI 专业的比例从 2010 年的 10.2% 到 2020 年的 14.9% 跃升至 2021 年的 19.1%。

图片

AI 博士毕业生越来越多地前往业界工作。2011 年,AI 博士毕业生在学界 (41.6%) 与业界 (40.9%) 的就业比例大致相同。之后,大多数 AI 博士毕业生都进入业界工作。2021 年,65.4% 的 AI 博士在业界就业,是在学界就业的 28.2% 的两倍还多。

图片

北美 CS、CE 和信息系新聘用教职员工的比例基本持平。

图片

具体来说,过去十年,北美计算机科学 (CS)、计算机工程 (CE) 和信息系新聘用的教职员工总数目有所下降:2021 年的聘用总数为 710 人,而 2012 年为 733 人。同样, tenure-track 招聘人数在 2019 年达到顶峰,为 422 人,然后在 2021 年降至 324 人。

图片

美国私立和公立教育机构计算机科学系在外部研究资金方面的差距继续扩大。2011 年,美国私立和公立 CS 系用于计算研究的外部资源总支出的中位数大致相同。从那以后,差距越来越大,私立计算机科学系获得的额外资金比公立大学多出数百万美元。2021 年,私立大学的支出中位数为 970 万美元,而公立大学的支出中位数为 570 万美元。

美国和世界其他地区对 K-12 人工智能和计算机科学教育的兴趣都在增长。2021 年,美国学生共参加了 181040 次 AP 计算机科学考试,比上年增长 1.0%。2021 年 AP 计算机科学考试的数量增加至 2007 年的九倍。

图片

截至 2021 年,包括比利时、中国和韩国在内的 11 个国家 / 地区已正式认可并实施 K-12 AI 课程。

图片

6. 政策与治理

政策制定者对人工智能的兴趣正在上升。AI Index 对 127 个国家 / 地区的立法记录进行了分析统计,通过并成为法律的人工智能相关法案数量从 2016 年的 1 项增加到 2022 年的 37 项。

图片

对 81 个国家 / 地区关于 AI 的议会记录的分析同样显示,自 2016 年以来,全球立法程序中提及 AI 的次数增加至原来的 6.5 倍。

图片

美国通过了比以往更多的人工智能法案。2021 年,美国所有联邦 AI 法案中只有 2% 通过成为法律。这一数字在 2022 年跃升至 10%。类似地,2022 年所有州级 AI 法案中有 35% 获得通过成为法律。

此外,自 2017 年以来,美国政府与人工智能相关的合同(Contract)支出增长至原来的 2.5 倍。

图片

法律界审理了更多人工智能相关案件。2022 年,美国各州和联邦法院审理了 110 起与人工智能相关的法律案件,大约是 2016 年的 7 倍。

图片

这些案件大部分发生在加利福尼亚州、伊利诺伊州和纽约州,涉及民事法、知识产权法、合同法。

图片

7. 多样性

北美计算机科学专业的学士、硕士和博士生的种族越来越多样化。尽管白人学生仍然占多数,但其他种族的学生也越来越多,包括亚裔、西班牙裔、黑人或非裔美国人。例如 2011 年,71.9% 的 CS 学士毕业生是白人。到 2021 年,这一数字下降到 46.7%。

图片

在性别比例方面,AI 博士仍然绝大多数是男性。2021 年,78.7% 的 AI 博士毕业生是男性。只有 21.3% 是女性,比 2011 年增加了 3.2 个百分点。人工智能高等教育仍然存在性别失衡。

图片

女性在 CS、CE 和信息系教职员工中所占比例越来越大。自 2017 年以来,新招聘的 CS、CE 和信息系女教师的比例从 24.9% 增加到 30.2%。尽管如此,北美大学中的大多数 CS、CE 和信息系教师都是男性 (75.9%)。

图片

值得一提的是,美国 K-12 计算机科学教育在性别和种族方面变得更加多样化。女性学生参加 AP 计算机科学考试的比例从 2007 年的 16.8% 增加到 2021 年的 30.6%。

图片

与上一年同期相比,亚裔、西班牙裔、拉丁裔等种族的学生参加 AP 计算机科学考试的比例也有所增加。

图片

8. 舆论

AI Index 借用 2022 IPSOS 的调查数据,分析了人们对人工智能产品和服务的看法。

图片

中国人是对人工智能产品和服务看法最积极的人群之一。在 2022 年的 IPSOS 调查中,78% 的中国受访者(在接受调查的国家/地区中比例最高)同意使用人工智能产品和服务利大于弊的观点。其次,来自沙特阿拉伯(76%)和印度(71%)的受访者对人工智能产品的看法比较积极。而美国受访者中只有 35% (在接受调查的国家/地区中比例最低)的人同意使用 AI 产品和服务利大于弊的观点。

图片

另外,男性往往比女性对人工智能产品和服务的看法更积极。

图片

值得注意的是,近期有几个大模型爆火的自然语言处理处理领(NLP)域,大多数研究者都认为 NLP 领域存在一些普遍问题。

图片

感兴趣的读者可以参考 2023 AI Index 原文,了解更多报告细节。
入门2023 AI Index
相关数据
机器学习技术

机器学习是人工智能的一个分支,是一门多领域交叉学科,涉及概率论、统计学、逼近论、凸分析、计算复杂性理论等多门学科。机器学习理论主要是设计和分析一些让计算机可以自动“学习”的算法。因为学习算法中涉及了大量的统计学理论,机器学习与推断统计学联系尤为密切,也被称为统计学习理论。算法设计方面,机器学习理论关注可以实现的,行之有效的学习算法。

人工智能技术

在学术研究领域,人工智能通常指能够感知周围环境并采取行动以实现最优的可能结果的智能体(intelligent agent)

基准技术

一种简单的模型或启发法,用作比较模型效果时的参考点。基准有助于模型开发者针对特定问题量化最低预期效果。

参数技术

在数学和统计学裡,参数(英语:parameter)是使用通用变量来建立函数和变量之间关系(当这种关系很难用方程来阐述时)的一个数量。

模式识别技术

模式识别(英语:Pattern recognition),就是通过计算机用数学技术方法来研究模式的自动处理和判读。 我们把环境与客体统称为“模式”。 随着计算机技术的发展,人类有可能研究复杂的信息处理过程。 信息处理过程的一个重要形式是生命体对环境及客体的识别。其概念与数据挖掘、机器学习类似。

计算机视觉技术

计算机视觉(CV)是指机器感知环境的能力。这一技术类别中的经典任务有图像形成、图像处理、图像提取和图像的三维推理。目标识别和面部识别也是很重要的研究领域。

数据库技术

数据库,简而言之可视为电子化的文件柜——存储电子文件的处所,用户可以对文件中的数据运行新增、截取、更新、删除等操作。 所谓“数据库”系以一定方式储存在一起、能予多个用户共享、具有尽可能小的冗余度、与应用程序彼此独立的数据集合。

准确率技术

分类模型的正确预测所占的比例。在多类别分类中,准确率的定义为:正确的预测数/样本总数。 在二元分类中,准确率的定义为:(真正例数+真负例数)/样本总数

聊天机器人技术

聊天机器人是经由对话或文字进行交谈的计算机程序。能够模拟人类对话,通过图灵测试。 聊天机器人可用于实用的目的,如客户服务或资讯获取。有些聊天机器人会搭载自然语言处理系统,但大多简单的系统只会撷取输入的关键字,再从数据库中找寻最合适的应答句。

图像生成技术

图像生成(合成)是从现有数据集生成新图像的任务。

自然语言处理技术

自然语言处理(英语:natural language processing,缩写作 NLP)是人工智能和语言学领域的分支学科。此领域探讨如何处理及运用自然语言;自然语言认知则是指让电脑“懂”人类的语言。自然语言生成系统把计算机数据转化为自然语言。自然语言理解系统把自然语言转化为计算机程序更易于处理的形式。

图像分类技术

图像分类,根据各自在图像信息中所反映的不同特征,把不同类别的目标区分开来的图像处理方法。它利用计算机对图像进行定量分析,把图像或图像中的每个像元或区域划归为若干个类别中的某一种,以代替人的视觉判读。

强化学习技术

强化学习是一种试错方法,其目标是让软件智能体在特定环境中能够采取回报最大化的行为。强化学习在马尔可夫决策过程环境中主要使用的技术是动态规划(Dynamic Programming)。流行的强化学习方法包括自适应动态规划(ADP)、时间差分(TD)学习、状态-动作-回报-状态-动作(SARSA)算法、Q 学习、深度强化学习(DQN);其应用包括下棋类游戏、机器人控制和工作调度等。

GPT-2技术

GPT-2是OpenAI于2019年2月发布的基于 transformer 的大型语言模型,包含 15 亿参数、在一个 800 万网页数据集上训练而成。据介绍,该模型是对 GPT 模型的直接扩展,在超出 10 倍的数据量上进行训练,参数量也多出了 10 倍。在性能方面,该模型能够生产连贯的文本段落,在许多语言建模基准上取得了 SOTA 表现。而且该模型在没有任务特定训练的情况下,能够做到初步的阅读理解、机器翻译、问答和自动摘要。

人脸检测技术

人脸检测(face detection)是一种在任意数字图像中找到人脸的位置和大小的计算机技术。它可以检测出面部特征,并忽略诸如建筑物、树木和身体等其他任何东西。有时候,人脸检测也负责找到面部的细微特征,如眼睛、鼻子、嘴巴等的精细位置。

语言模型技术

统计式的语言模型是借由一个几率分布,而指派几率给字词所组成的字串。语言模型经常使用在许多自然语言处理方面的应用,如语音识别,机器翻译,词性标注,句法分析和资讯检索。

推荐文章
暂无评论
暂无评论~