2024/01/22 14:10

零一万物Yi-VL多模态大模型开源，MMMU、CMMMU两大权威榜单领先

1 月 22 日，零一万物 Yi 系列模型家族迎来新成员：Yi Vision Language（Yi-VL）多模态语言大模型正式面向全球开源。据悉，Yi-VL 模型基于 Yi 语言模型开发，包括 Yi-VL-34B 和 Yi-VL-6B 两个版本。

Yi-VL 模型开源地址：

https://huggingface.co/01-ai
https://www.modelscope.cn/organization/01ai

凭借卓越的图文理解和对话生成能力，Yi-VL 模型在英文数据集 MMMU 和中文数据集 CMMMU 上取得了领先成绩，展示了在复杂跨学科任务上的强大实力。

MMMU（全名 Massive Multi-discipline Multi-modal Understanding & Reasoning 大规模多学科多模态理解和推理）数据集包含了 11500 个来自六大核心学科（艺术与设计、商业、科学、健康与医学、人文与社会科学以及技术与工程）的问题，涉及高度异构图像类型和交织文本图像信息，对模型的高级知觉和推理能力提出了极高要求。在该测试集上，Yi-VL-34B 以 41.6% 的准确率表现超越了一系列多模态大模型，仅次于 GPT-4V（55.7%），展现出强大的跨学科知识理解和应用能力。

^{来源：https://mmmu-benchmark.github.io}

在针对中文场景打造的 CMMMU 数据集上，Yi-VL 模型展现了「更懂中国人」的独特优势。CMMMU 包含了约 12000 道源自大学考试、测验和教科书的中文多模态问题。其中，GPT-4V 在该测试集上的准确率为 43.7%， Yi-VL-34B 以 36.5% 的准确率紧随其后，在现有的开源多模态模型中处于领先位置。

^{来源：https://cmmmu-benchmark.github.io/}

那么，Yi-VL 模型在图文对话等多元场景中的表现如何？

我们先看两个示例：

可以看到，基于 Yi 语言模型的强大文本理解能力，只需对图片进行对齐，就可以得到不错的多模态视觉语言模型 —— 这也是 Yi-VL 模型的核心亮点之一。

^{Yi-VL 模型架构设计和训练方法流程一览。}

在架构设计上，Yi-VL 模型基于开源 LLaVA 架构，包含三个主要模块：

Vision Transformer（简称 ViT）用于图像编码，使用开源的 OpenClip ViT-H/14 模型初始化可训练参数，通过学习从大规模「图像 - 文本」对中提取特征，使模型具备处理和理解图像的能力。
Projection 模块为模型带来了图像特征与文本特征空间对齐的能力。该模块由一个包含层归一化（layer normalizations）的多层感知机（Multilayer Perceptron，简称 MLP）构成。这一设计使得模型可以更有效地融合和处理视觉和文本信息，提高了多模态理解和生成的准确度。
Yi-34B-Chat 和 Yi-6B-Chat 大规模语言模型的引入为 Yi-VL 提供了强大的语言理解和生成能力。该部分模型借助先进的自然语言处理技术，能够帮助 Yi-VL 深入理解复杂的语言结构，并生成连贯、相关的文本输出。

在训练方法上，Yi-VL 模型的训练过程分为三个精心设计的阶段，旨在全面提升模型的视觉和语言处理能力。

第一阶段：零一万物使用 1 亿张的「图像 - 文本」配对数据集训练 ViT 和 Projection 模块。在这一阶段，图像分辨率被设定为 224x224，以增强 ViT 在特定架构中的知识获取能力，同时实现与大型语言模型的高效对齐。
第二阶段：零一万物将 ViT 的图像分辨率提升至 448x448，这一提升让模型更加擅长识别复杂的视觉细节。此阶段使用了约 2500 万「图像 - 文本」对。
第三阶段：零一万物开放整个模型的参数进行训练，目标是提高模型在多模态聊天互动中的表现。训练数据涵盖了多样化的数据源，共约 100 万「图像 - 文本」对，确保了数据的广泛性和平衡性。

零一万物技术团队同时也验证了可以基于 Yi 语言模型强大的语言理解和生成能力，用其他多模态训练方法比如 BLIP、Flamingo、EVA 等快速训练出能够进行高效图像理解和流畅图文对话的多模态图文模型。Yi 系列模型可以作为多模态模型的基座语言模型，给开源社区提供一个新的选项。

目前，Yi-VL 模型已在 Hugging Face、ModelScope 等平台上向公众开放，用户可通过以下链接亲身体验这款模型在图文对话等多元场景中的优异表现。欢迎探索 Yi-VL 多模态语言模型的强大功能，体验前沿的 AI 技术成果。

产业Yi Vision Language零一万物

相关数据

多层感知机技术

感知机（Perceptron）一般只有一个输入层与一个输出层，导致了学习能力有限而只能解决线性可分问题。多层感知机（Multilayer Perceptron）是一类前馈（人工）神经网络及感知机的延伸，它至少由三层功能神经元（functional neuron）组成（输入层，隐层，输出层），每层神经元与下一层神经元全互连，神经元之间不存在同层连接或跨层连接，其中隐层或隐含层（hidden layer）介于输入层与输出层之间的，主要通过非线性的函数复合对信号进行逐步加工，特征提取以及表示学习。多层感知机的强大学习能力在于，虽然训练数据没有指明每层的功能，但网络的层数、每层的神经元的个数、神经元的激活函数均为可调且由模型选择预先决定，学习算法只需通过模型训练决定网络参数（连接权重与阈值），即可最好地实现对于目标函数的近似，故也被称为函数的泛逼近器（universal function approximator）。

来源：Deep Learning Book

参数技术

在数学和统计学裡，参数（英语：parameter）是使用通用变量来建立函数和变量之间关系（当这种关系很难用方程来阐述时）的一个数量。

来源：维基百科

准确率技术

分类模型的正确预测所占的比例。在多类别分类中，准确率的定义为：正确的预测数/样本总数。在二元分类中，准确率的定义为：(真正例数+真负例数)/样本总数

来源：Google ML Glossary

自然语言处理技术

自然语言处理（英语：natural language processing，缩写作 NLP）是人工智能和语言学领域的分支学科。此领域探讨如何处理及运用自然语言；自然语言认知则是指让电脑“懂”人类的语言。自然语言生成系统把计算机数据转化为自然语言。自然语言理解系统把自然语言转化为计算机程序更易于处理的形式。

来源：维基百科

层归一化技术

深度神经网络的训练是具有高度的计算复杂性的。减少训练的时间成本的一种方法是对神经元的输入进行规范化处理进而加快网络的收敛速度。层规范化是在训练时和测试时对数据同时进行处理，通过对输入同一层的数据进行汇总，计算平均值和方差，来对每一层的输入数据做规范化处理。层规范化是基于批规范化进行优化得到的。相比较而言，批规范化是对一个神经元输入的数据以mini-batch为单位来进行汇总，计算平均值和方法，再用这个数据对每个训练样例的输入进行规整。层规范化在面对RNN等问题的时候效果更加优越，也不会受到mini-batch选值的影响。

来源：Ba J L, Kiros J R, Hinton G E. Layer Normalization

语言模型技术

统计式的语言模型是借由一个几率分布，而指派几率给字词所组成的字串。语言模型经常使用在许多自然语言处理方面的应用，如语音识别，机器翻译，词性标注，句法分析和资讯检索。

来源：维基百科

对话生成技术

对话生成是能经由对话或文字进行交谈的计算机程序任务。能够模拟人类对话，通常以通过图灵测试为评估标准。

来源：百度百科