2024/04/11 15:10

Meta宣布全新训推一体加速器：完全集成PyTorch 2，性能3倍提升

Meta 疯狂砸入数十亿美元，一部分招揽人才，一部分造芯片。

Meta 正在不遗余力地想要在生成式 AI 领域赶上竞争对手，目标是投入数十亿美元用于 AI 研究。这些巨资一部分用于招募 AI 研究员。但更大的一部分用于开发硬件，特别是用于运行和训练 Meta AI 模型的芯片。

在英特尔宣布其最新人工智能加速器硬件的第二天，Meta 便迅速公布了关于芯片研发的最新成果：下一代 MTIA（Meta Training and Inference Accelerator），其中 MTIA 是专为 Meta AI 工作负载而设计的定制芯片系列。分析认为，Meta 此举意在减少对英伟达及其他外部公司芯片的依赖。

其实，Meta 在去年就推出了第一代 MTIA，与前代相比，最新版本显著改进了性能，并有助于强化内容排名和推荐广告模型。从 Meta 官方介绍中我们可以看出，MTIA v2 目前已在其 16 个数据中心投入使用，与 MTIA v1 相比，整体性能提高了 3 倍。不过最早的 MTIA v1 预计要到 2025 年才会发布，MTIA v2 只能再等等了，但 Meta 表示这两款 MTIA 芯片现已投入生产。

从下图可以看到，下一代 MTIA 采用了台积电 5nm 制程工艺。

虽然 MTIA 主要用于训练排名和推荐算法，但 Meta 表示，他们的最终目标是扩展芯片的功能，用来训练如 Llama 等语言模型的生成式 AI 。

新的 MTIA 芯片从根本上专注于提供计算、内存带宽和内存容量的适当平衡。该芯片将拥有 256MB 片上内存，频率为 1.3GHz，而 v1 的片上内存为 128MB 和 800GHz。有消息称，Meta 致力于 MTIA v2 研究已有一段时间了，该项目内部代号为 Artemis。

新一代芯片的最新加速器由 8x8 个处理元件 (PE) 组成。这些 PE 显着提高了密集计算性能（比 MTIA v1 提高了 3.5 倍）和稀疏计算性能（提高了 7 倍）。这些提高一部分归功于架构的改进，另一部分归功于 PE 网格供电方式：Meta 将本地 PE 存储的大小增加了两倍，将片上 SRAM 增加了一倍，将其带宽增加了 3.5 倍，并将 LPDDR5 的容量增加了一倍。

最新版本的 MTIA 设计方式还采用改进的片上网络 (NoC) 架构，使带宽加倍，并允许以低延迟的方式在不同 PE 之间进行协调。

硬件系统

高效地为工作负载提供服务不单单是芯片的挑战，共同设计硬件系统和软件堆栈对于整体推理解决方案的成功同样至关重要。

为了支持下一代 MTIA 芯片，Meta 开发了一个大型机架式系统，最多可容纳 72 个加速器。该系统由三个机箱组成，每个机箱包含 12 个板，每个板上有两个加速器。

为此，Meta 专门设计了该系统，以便将芯片的时钟频率设置为 1.35GHz（从 800MHz 开始提高），并以 90 瓦的功率运行，而第一代的设计功耗为 25 瓦。Meta 的设计确保提供更密集的功能以及更高的计算、内存带宽和内存容量。这种密集性使得可以更轻松地适应各种复杂性和尺寸的模型。

此外，Meta 还将加速器之间、主机与加速器之间的结构升级到 PCIe Gen5，以提高系统的带宽和可扩展性。如果选择横向扩展至机架之外，还能添加一个 RDMA NIC。

软件堆栈

从投资 MTIA 之初起，软件就一直是 Meta 重点关注的领域之一。作为 PyTorch 的最初开发者，Meta 非常重视可编程性和开发效率。

在设计时，MTIA 堆栈旨在与 PyTorch 2.0 以及 TorchDynamo 、TorchInductor 等功能完全集成。同时，前端图形级捕获、分析、转换和提取机制（比如 TorchDynamo、torch.export 等）与 MTIA 无关，并正在被重新使用。

此外， MTIA 的较低级别编译器从前端获取输出并生成高效且设备特定的代码。该编译器本身由几个组件组成，分别负责为模型和内核生成可执行代码。

下图为负责与驱动程序 / 固件连接的运行时堆栈。MTIA Streaming 接口抽象提供了推理和（未来）训练软件管理设备内存以及在设备上运行算子、执行编译图所需要的基本和必要操作。

最后，运行时与用户空间中的驱动程序进行交互，Meta 做出这一决定是为了能够在生产堆栈中更快地迭代驱动程序和固件。

在许多方面，这一全新芯片系统运行软件堆栈的方式与 MTIA v1 类似，使得团队的部署速度更快，其中 Meta 已经完成了在该架构上运行应用程序所需的大部分必要的集成和开发工作。

下一代 MTIA 旨在兼容为 MTIA v1 开发的代码。由于 Meta 已经将完整的软件堆栈集成到芯片中，因此在几天内就可以使用这款新芯片启动并运行流量。这使得 Meta 能够快速落地下一代 MTIA 芯片，在不到 9 个月的时间内从推出首个芯片到在 16 个数据中心运行生产模型。

Triton-MTIA 编译器后端

Meta 通过创建 Triton-MTIA 编译器后端来为 MTIA 硬件生成高性能代码，从而进一步优化了软件堆栈。作为一种开源语言和编译器，Triton 用于编写高效的机器学习计算内核，可以提高开发人员编写 GPU 代码的效率。Meta 发现 Triton 语言与硬件无关，足以适用于 MTIA 等非 GPU 硬件架构。

此外，Triton-MTIA 后端执行优化后，可以最大限度地提高硬件利用率并支持高性能内核。

Meta 实现了对 Triton 语言功能的支持并集成到 PyTorch 2 中，为 PyTorch 算子提供了广泛的覆盖。例如，借助 TorchInductor，开发人员可以在提前 (AOT) 和即时 (JIT) 工作流程中利用 Triton-MTIA。

Meta 还观察到，Triton-MTIA 显著提高了开发人员的效率，能够扩展计算内核的编写范围，并大大扩展对 PyTorch 算子的支持。

性能结果

目前的结果表明，下一代 MTIA 芯片可以处理 Meta 产品组件中的低复杂性 (LC) 和高复杂性 (HC) 排序和推荐模型。在这些模型中，模型大小和每个输入样本的计算量可能存在 10 倍到 100 倍的差异。

由于 Meta 控制整个堆栈，因此相较于商用 GPU 可以实现更高的效率。实现这些收益需要持续的努力，随着在系统中构建和部署 MTIA 芯片，Meta 将继续提高每瓦性能。

早期结果表明，在 Meta 评估的四个关键模型中，下一代 MTIA 的性能比第一代芯片提高了 3 倍。在平台层面，与第一代 MTIA 系统相比，凭借 2 倍的设备数量和强大的 2-socket CPU，Meta 能够实现 6 倍的模型服务吞吐量和 1.5 倍的每瓦性能提升。

为了实现这些目标，Meta 在优化内核、编译器、运行时和主机服务堆栈方面取得了重大进展。随着开发者生态系统的成熟，优化模型的时间正在缩短，但未来提高效率的空间更大。

^{博客链接：}

^{https://ai.meta.com/blog/next-generation-meta-training-inference-accelerator-AI-MTIA/}

产业MTIAMeTA

相关技术

推理网络 OpenCV

机器学习技术

机器学习是人工智能的一个分支，是一门多领域交叉学科，涉及概率论、统计学、逼近论、凸分析、计算复杂性理论等多门学科。机器学习理论主要是设计和分析一些让计算机可以自动“学习”的算法。因为学习算法中涉及了大量的统计学理论，机器学习与推断统计学联系尤为密切，也被称为统计学习理论。算法设计方面，机器学习理论关注可以实现的，行之有效的学习算法。

来源：Mitchell, T. (1997). Machine Learning. McGraw Hill.

人工智能技术

在学术研究领域，人工智能通常指能够感知周围环境并采取行动以实现最优的可能结果的智能体（intelligent agent）

来源：Russell, S., & Norvig, P. (2003). Artificial Intelligence: A Modern Approach.

语言模型技术

语言模型经常使用在许多自然语言处理方面的应用，如语音识别，机器翻译，词性标注，句法分析和资讯检索。由于字词与句子都是任意组合的长度，因此在训练过的语言模型中会出现未曾出现的字串(资料稀疏的问题)，也使得在语料库中估算字串的机率变得很困难，这也是要使用近似的平滑n元语法(N-gram)模型之原因。

来源：维基百科

台积电机构

台积电（中国）有限公司成立于台湾新竹科学园区，并开创了专业集成电路制造服务商业模式。台积公司专注生产由客户所设计的芯片，本身并不设计、生产或销售自有品牌产品，确保不与客户直接竞争。公司为客户生产的晶片被广泛地运用在电脑产品、通讯产品、消费性、工业用及标准类半导体等多样电子产品应用领域。

https://www.tsmc.com/schinese/default.ht…

5G技术

第五代移动通信系统（5th generation mobile networks），简称5G，是4G系统后的延伸。美国时间2018年6月13日，圣地牙哥3GPP会议订下第一个国际5G标准。由于物理波段的限制，5G 的网络也将会与其他通信技术并用，包含长距离的其他传统电信波段。