Auto Byte

专注未来出行及智能汽车科技

微信扫一扫获取更多资讯

Science AI

关注人工智能与其他前沿技术、基础学科的交叉研究与融合发展

微信扫一扫获取更多资讯

ChatGPT is not all you need,一文综述6大公司9类生成式AI模型

生成模型领域里,ChatGPT 并不是一切。

过去两年,AI 领域里已经出现大量大型生成模型,如 ChatGPT 或 Stable Diffusion。具体而言,这些模型能够执行像通用问答系统或自动创建艺术图像等任务,这些任务正在彻底改变很多领域。

从目前的发展来看,这些生成模型对行业和社会的影响是巨大的,因为一些工作岗位可能会发生改变。例如,Generative AI 能够有效且创造性地将文本转换为图像,如 DALLE-2 模型;把文本转成 3D 图像,如 Dreamfusion 模型;把图像转成文本,如 Flamingo 模型;把文本转成视频,如 Phenaki 模型;把文本转成音频,如 AudioLM 模型;把文本转成代码,如 Codex 模型;把文本转成科学论文,如 Galactica 模型;甚至创建算法的模型,如 AlphaTensor。 

在近日由西班牙 Comillas Pontifical University 研究人员提交的综述论文中,作者试图以简洁的方式描述生成式 AI 对当前很多模型的影响,并对最近发布的主要生成式 AI 模型进行分类。

论文《ChatGPT is not all you need. A State of the Art Review of large Generative AI models》:

图片

链接:https://arxiv.org/abs/2301.04655

为向可能因使用这些模型而受益的专业人士提供有效信息,作者按如下结构组织文章。首先,作者提供行业中出现的主要生成式模型的分类。接着对每个类别进行分析。最后,本文会给出相关结论和未来要做的工作。文章中作者没有详细介绍每个模型的技术细节,如 Transformer,因为文章的目的是研究模型的应用,而不是研究它们的工作原理。  

生成式 AI 模型的分类

在详细分析每个模型之前,首先将当前的生成式 AI 进行分类,类别代表输入数据和输出数据类型之间的映射。如图 1 所示。作者总共总结 9 个类别,其中每个出现在图 1 中的模型将在之后详细描述。由于文章主要关注点是描述生成式 AI 模型的最新进展,为让读者能有整体认识,在图 2 中给出了所有已发布的模型。

图片

图片

有趣的是,所有这些模型仅由 6 个公司发布,如图 3 所示。背后的主要原因是为能够估计这些模型的参数,必须拥有巨大的计算能力以及在数据科学和数据工程方面技术精湛、经验丰富的团队。因此,只有图 3 所示的公司,在收购的初创公司的努力下以及与学术界的合作,才能够成功发布生成式 AI 模型。

图片

到此已经介绍了最新的生成式 AI 模型,接下来的部分将详细介绍图 1 中所示每个类别。

随着技术的进步,我们已经在文本到图像或文本到音频等任务中看到了大量的创造力和个性化。它们在文本到科学或文本到代码的任务中也很准确。这可以在很大程度上提升我们的自动化水平,因为它可以帮助优化创造性和非创造性任务。

然而,由于目前构建它们的方式,这些模型面临着许多限制。在数据集方面,找到一些模型的数据,如文本到科学或文本到音频非常困难,使得训练模型非常耗时。特别需要提到的是,数据集和参数必须非常庞大,这使得训练变得更加困难。模型最大的问题之一是从数据集中的问题中尝试获得解决方案,而模型在解决这些问题时遇到了更多麻烦。同样,在计算方面,运行它们需要大量的时间和算力。

我们应该意识到这些模型的局限性,以便在接下来的几年中尝试和改进它们。

更多细节请参见原论文。

理论ChatGPT
相关数据
参数技术

在数学和统计学裡,参数(英语:parameter)是使用通用变量来建立函数和变量之间关系(当这种关系很难用方程来阐述时)的一个数量。

数据科学技术

数据科学,又称资料科学,是一门利用数据学习知识的学科,其目标是通过从数据中提取出有价值的部分来生产数据产品。它结合了诸多领域中的理论和技术,包括应用数学、统计、模式识别、机器学习、数据可视化、数据仓库以及高性能计算。数据科学通过运用各种相关的数据来帮助非专业人士理解问题。

映射技术

映射指的是具有某种特殊结构的函数,或泛指类函数思想的范畴论中的态射。 逻辑和图论中也有一些不太常规的用法。其数学定义为:两个非空集合A与B间存在着对应关系f,而且对于A中的每一个元素x,B中总有有唯一的一个元素y与它对应,就这种对应为从A到B的映射,记作f:A→B。其中,y称为元素x在映射f下的象,记作:y=f(x)。x称为y关于映射f的原象*。*集合A中所有元素的象的集合称为映射f的值域,记作f(A)。同样的,在机器学习中,映射就是输入与输出之间的对应关系。

生成模型技术

在概率统计理论中, 生成模型是指能够随机生成观测数据的模型,尤其是在给定某些隐含参数的条件下。 它给观测值和标注数据序列指定一个联合概率分布。 在机器学习中,生成模型可以用来直接对数据建模(例如根据某个变量的概率密度函数进行数据采样),也可以用来建立变量间的条件概率分布。

Audi机构

奥迪是一间德国跨国豪华汽车制造商,主要从事豪华和高性能汽车制造业。总部位于德国巴伐利亚州的英戈尔施塔特。是大众集团的成员。奥迪与德国品牌宝马和梅赛德斯-奔驰一起,是世界上最畅销的豪华汽车品牌之一。

http://www.audi.com/
暂无评论
暂无评论~