机器之心原创

2024/11/19 12:48

大模型承重墙，去掉了就开始摆烂！苹果给出了「超级权重」

去掉一个「超权重」的影响，比去掉其他 7000 个离群值权重加起来还要严重。

大模型的参数量越来越大，越来越聪明，但它们也越来越奇怪了。

两年前，有研究者发现了一些古怪之处：在大模型中，有一小部分特别重要的特征（称之为「超权重」），它们虽然数量不多，但对模型的表现非常重要。

如果去掉这些「超权重」，模型就完全摆烂了，开始胡言乱语，文本都不会生成了。但是如果去掉其他一些不那么重要的特征，模型的表现只会受到一点点影响。

有趣的是，不同的大模型的「超权重」却出奇地相似，比如：

它们总是出现在

层中。

它们会放大输入 token 激活的离群值，这种现象研究者们称之为「超激活」（super activation）。无论输入什么提示词，「超激活」在整个模型中都以完全相同的幅度和位置持续存在。而这源于神经网络中的「跨层连接」。

它们还能减少模型对常用但不重要的词汇，比如「的」、「这」、「了」的注意力。

得到了这些发现，圣母大学和苹果的研究团队进一步对「超权重」进行了探索。

他们改进了 round-to-nearest quantization（RNQ）技术，提出了一种对算力特别友好的方法。

论文链接：https://arxiv.org/pdf/2411.07191
论文标题：The Super Weight in Large Language Models

这种新方法与 SmoothQuant 效果相当，在处理模型的权重时，可以用这种技术处理更大的数据块，让模型在变小的同时，还能保持很好的效果。

看来，苹果是真的把宝押在小模型身上了！

什么是「超权重」？

为了量化「超权重」对模型的影响有多大，研究团队修剪了所有的离群值权重，结果发现，去掉一个「超权重」的影响，比去掉其他 7000 个离群值权重加起来还要严重。

如何识别「超权重」？

虽然之前的研究者发现了「超权重」可以激活异常大的神经网络。该团队又把「超权重」和「超激活」之间的联系向前推进了一步。他们发现在降维投影之前，门控和上投影的 Hadamard 乘积产生了一个相对较大的激活，而「超权重」进一步放大了这个激活并创造了「超激活」。

而通过激活的峰值可以进一步定位「超权重」。基于此，研究团队提出了一种高效的方法：通过检测层间降维投影输入和输出分布中的峰值来定位「超权重」。

这种方法只需要输入一个提示词，非常简单方便，不再需要一组验证数据或具体示例了。

具体来说，假设存在降维投影权重矩阵

，其中 D 表示激活特征的维度，H 是中间隐藏层的维度。设

为输入矩阵，其中 L 表示序列长度。定义输出矩阵为

；「超激活」为

。如果 X_ik 和 W_jk 都是远大于其他值的异常值，那么 Y_ij 的值将主要由这两个异常值的乘积决定。

在这种情况下，j 和 k 是由 X_ik 和 Y_ij 的值决定的。因此，可以首先绘制出 mlp.down proj 层的输入和输出激活中的极端异常值。接着，如图 3 所示，确定超权重所在的层和坐标。

一旦检测到一个超权重，将其从模型中移除并重复上述过程，直到抑制住较大的最大激活值。

「超权重」的机制

「超权重」的影响

研究团队发现超级权重有两种主要影响：

引发「超激活」；
抑制了停用词（stopword）的生成概率。

为了探究「超权重」是完全通过「超激活」，还是也通过其他 token 来影响模型质量，研究团队设计了一个控制变量实验：

原始模型；
移除「超权重」，将其权重设置为 0；
移除「超权重」，但恢复神经网络层中的「超激活」。

实验结果如表 1 所示。恢复「超激活」后，模型的平均准确率从 35.14 恢复到 49.94，恢复「超激活」挽回了约 42% 的质量损失。

这表明，「超权重」对模型整体质量的影响并不完全由「超激活」所导致。

「超权重」对输出 token 概率分布的影响

「超权重」会影响输出 token 的概率分布。为此，该团队研究了「超权重」对 Lambaba 测试集的 500 个 prompt 的输出 token 概率分布有何影响。

实验表明，移除「超权重」后，停用词的生成概率显著放大。例如，对于 Llama-7B 模型，「the」的生成概率增加约 2 倍，「.」增加约 5 倍，「,」增加约 10 倍

为了更加深入地剖析，研究团队进行了案例研究：

输入 prompt 为：「Summer is hot. Winter is 」
下一个 token 应为「cold」，这是一个具有强语义的词。

含有「超权重」的原始模型能够以 81.4% 的高概率正确预测。然而，移除「超权重」后，模型预测的最多的词变成了停用词「the」，并且「the」的概率仅为 9.0%，大多数情况是在胡言乱语。

这表明，「超权重」对于模型正确且有信心地预测具有语义的词汇至关重要。

「超权重」的重要性

研究团队还分析了超级权重幅值变化对模型质量的影响，通过将超级权重按 0.0 到 3.0 的缩放因子放大。结果表明，适度放大幅值可以提升模型准确率，详见下图。

超离群值感知量化

量化是一种压缩模型和减少内存需求的强大技术。然而，无论是权重量化还是激活量化，异常值的存在都会大大降低量化质量。如前所述，研究者将这些有问题的异常值（包括超权值和超激活值）称为超异常值。

如上所示，这些超离群值对模型质量的重要性是不成比例的，因此在量化过程中保留它们至关重要。

量化一般是将连续值映射到一个有限的值集；这里考虑的是其中一种最简单的形式，即非对称轮至最近量化：

其中

是量化步长，N 是比特数。请注意，计算 ∆ 时使用的是最大值，因此 X 中的超离群值会大大增加步长。步长越大，离群值平均会被舍入到更远的值，从而增加量化误差。随着超离群值的增加，离群值被舍入到更少的离散值中，更多的量化 bin 未被使用。这样，超离群值就会导致量化保真度降低。

研究者特别考虑了硬件以半精度执行运算的情况，这意味着张量 X 在使用前会进行量化和去量化；在这种情况下，我们可以通过两种方法利用超离群值的先验知识。

首先，保留超离群值，防止对离群值量化产生不利影响。其次，在去量化后恢复超离群值，以确保超离群值的效果得以保留。

接下来将以两种形式对权重和激活采用这一观点。

激活量化

研究者使用值舍入量化技术进行实验，并做了一个小修改：用中值替换超激活（REPLACE），量化（Q）和去量化（Q-1）激活，然后在 FP16 中恢复超激活（RESTORE）。具体操作如下：

由于超激活是单个标量，因此对比特率和内核复杂度的影响不大。

权重量化

小规模分组会带来计算和比特率开销，需要其他技术来处理大量的半精度刻度和偏差。为了应对这一挑战，本文提出了一种简单的方法来改进 INT4 的大块量化。首先，识别超权重；其次，为了改善离群值拟合，对离群值权重进行剪切（CLIP），在这一步超权重也会被剪切，对剪切后的权重进行量化（Q）和去量化（Q-1）；然后，为了确保保留超权重的效果，在去量化后恢复半精度超权重（RESTORE）。

如上公式，使用 z-score 对剪切进行参数化。假定所有权重都符合高斯分布，研究者认为所有 z 值超过某一阈值 z 的值都是离群值。为了调整超参数 z，研究者使用 Wikitext-2 训练集中的 500 个示例找到了最小重构误差 z-score。

实验

为了全面展示超权重的效果，研究者在 LLaMA 7B-30B、Mistral 7B 和 OLMo 上进行了实验。为了评估 LLM 的实际应用能力，他们评估了这些模型在 PIQA、ARC、HellaSwag、Lambada 和 Winogrande 等零样本基准上的精度。细节如下所示。

激活量化

表 3 比较了本文方法和 SmoothQuant。对于两个数据集上的三个 Llama 模型，本文方法比 SmoothQuant 的 naive 量化方法提高了 70%。在使用 Llama7B 的 C4 数据集和使用 Llama-30B 的 Wikitext 数据集上，本文改进幅度超过 SmoothQuant 的 80%。这意味着，与更复杂的方法相比，经过大幅简化的量化方法可以获得具有竞争力的结果。

随后，研究者扩大了评估范围，纳入了更多的 LLM：OLMo（1B 和 7B）、Mistral-7B 和 Llama-2-7B，结果如表 4 和附录表 7 所示。这些模型代表了不同的架构和训练范式，能够评估量化方法的通用性。由于 SmoothQuant 没有报告这组模型，因此研究者将他们的结果与 naive W8A8 量化进行了比较。在所有模型和数据集上，本文方法始终优于 naive W8A8 量化，且在 OLMo 模型上表现特别突出。

值得注意的是，OLMo 模型使用非参数化 LayerNorm，因此与 SmoothQuant 方法不兼容，后者依靠 LayerNorm 权重来应用每个通道的比例。在 Mistral-7B 上，改进幅度较小。研究者假设这是因为这些模型的 LayerNorm 所学习的权重可能会积极抑制超激活，从而使激活幅度的分布更加均匀。

这些结果凸显了超激活在量化过程中保持模型性能的重要性。通过以最小的计算开销解决这一单一激活，本文方法捕捉到了更复杂的量化方案所实现的大部分优势。这一发现表明，在量化过程中，超激活在保持模型质量方面发挥着不成比例的巨大作用。

权重量化

为了评估所提出的超权重感知量化方法的有效性，研究者将其与传统的 round-to-near 量化方法进行了比较，在一套零样本下游任务中对模型进行了评估，结果如图 7 所示。

在传统的 round-to-near 量化方法中，可以观察到一个明显的趋势：随着块大小的增加，模型质量明显下降。这种下降可能是由于当较大的权重块一起量化时，量化误差会增加，从而使异常值影响到更多的权重。相比之下，本文的「超权重」感知量化方法对更大的块大小具有更强的鲁棒性。随着块大小的增大，模型质量的下降明显小于 round-to-near 方法。

这种鲁棒性源于本文方法能够保留最关键的权重（超权重），同时将离群值权重对整个量化过程的影响降至最低。通过剪除离群值并关注离群值权重，本文的方法在表示模型参数时保持了更高的保真度。

还有一个关键优势是，它能够支持更大的数据块尺寸，同时减少模型质量的损失。这种能力使平均比特率更低，文件尺寸更小，这对于在资源有限的环境（如移动设备或边缘计算场景）中部署模型至关重要。

更多研究细节，可参考原论文。

工程超权重苹果公司

相关数据

权重技术

线性模型中特征的系数，或深度网络中的边。训练线性模型的目标是确定每个特征的理想权重。如果权重为 0，则相应的特征对模型来说没有任何贡献。

来源：Google AI Glossary

感知技术

知觉或感知是外界刺激作用于感官时，脑对外界的整体的看法和理解，为我们对外界的感官信息进行组织和解释。在认知科学中，也可看作一组程序，包括获取信息、理解信息、筛选信息、组织信息。与感觉不同，知觉反映的是由对象的各样属性及关系构成的整体。

来源：维基百科

高斯分布技术

正态分布是一个非常常见的连续概率分布。由于中心极限定理(Central Limit Theorem)的广泛应用，正态分布在统计学上非常重要。中心极限定理表明，由一组独立同分布，并且具有有限的数学期望和方差的随机变量X1,X2,X3,...Xn构成的平均随机变量Y近似的服从正态分布当n趋近于无穷。另外众多物理计量是由许多独立随机过程的和构成，因而往往也具有正态分布。

来源：Wikipedia

重构技术

代码重构（英语：Code refactoring）指对软件代码做任何更动以增加可读性或者简化结构而不影响输出结果。软件重构需要借助工具完成，重构工具能够修改代码同时修改所有引用该代码的地方。在极限编程的方法学中，重构需要单元测试来支持。

来源：维基百科

基准技术

一种简单的模型或启发法，用作比较模型效果时的参考点。基准有助于模型开发者针对特定问题量化最低预期效果。

来源：Google ML Glossary

参数技术

在数学和统计学裡，参数（英语：parameter）是使用通用变量来建立函数和变量之间关系（当这种关系很难用方程来阐述时）的一个数量。

来源：维基百科

概率分布技术

概率分布（probability distribution）或简称分布，是概率论的一个概念。广义地，它指称随机变量的概率性质－－当我们说概率空间中的两个随机变量具有同样的分布（或同分布）时，我们是无法用概率来区别它们的。

来源：维基百科

边缘计算技术

边缘运算（英语：Edge computing），又译为边缘计算，是一种分散式运算的架构，将应用程序、数据资料与服务的运算，由网络中心节点，移往网络逻辑上的边缘节点来处理。边缘运算将原本完全由中心节点处理大型服务加以分解，切割成更小与更容易管理的部分，分散到边缘节点去处理。边缘节点更接近于用户终端装置，可以加快资料的处理与传送速度，减少延迟。在这种架构下，资料的分析与知识的产生，更接近于数据资料的来源，因此更适合处理大数据。

来源：Edge Computing: Vision and Challenges

超参数技术

在机器学习中，超参数是在学习过程开始之前设置其值的参数。相反，其他参数的值是通过训练得出的。不同的模型训练算法需要不同的超参数，一些简单的算法（如普通最小二乘回归）不需要。给定这些超参数，训练算法从数据中学习参数。相同种类的机器学习模型可能需要不同的超参数来适应不同的数据模式，并且必须对其进行调整以便模型能够最优地解决机器学习问题。在实际应用中一般需要对超参数进行优化，以找到一个超参数元组（tuple），由这些超参数元组形成一个最优化模型，该模型可以将在给定的独立数据上预定义的损失函数最小化。

来源：Wikipedia

张量技术

张量是一个可用来表示在一些矢量、标量和其他张量之间的线性关系的多线性函数，这些线性关系的基本例子有内积、外积、线性映射以及笛卡儿积。其坐标在维空间内，有个分量的一种量，其中每个分量都是坐标的函数，而在坐标变换时，这些分量也依照某些规则作线性变换。称为该张量的秩或阶（与矩阵的秩和阶均无关系）。在数学里，张量是一种几何实体，或者说广义上的“数量”。张量概念包括标量、矢量和线性算子。张量可以用坐标系统来表达，记作标量的数组，但它是定义为“不依赖于参照系的选择的”。张量在物理和工程学中很重要。例如在扩散张量成像中，表达器官对于水的在各个方向的微分透性的张量可以用来产生大脑的扫描图。工程上最重要的例子可能就是应力张量和应变张量了，它们都是二阶张量，对于一般线性材料他们之间的关系由一个四阶弹性张量来决定。

来源：维基百科

神经网络技术

（人工）神经网络是一种起源于 20 世纪 50 年代的监督式机器学习模型，那时候研究者构想了「感知器（perceptron）」的想法。这一领域的研究者通常被称为「联结主义者（Connectionist）」，因为这种模型模拟了人脑的功能。神经网络模型通常是通过反向传播算法应用梯度下降训练的。目前神经网络有两大主要类型，它们都是前馈神经网络：卷积神经网络（CNN）和循环神经网络（RNN），其中 RNN 又包含长短期记忆（LSTM）、门控循环单元（GRU）等等。深度学习是一种主要应用于神经网络帮助其取得更好结果的技术。尽管神经网络主要用于监督学习，但也有一些为无监督学习设计的变体，比如自动编码器和生成对抗网络（GAN）。

来源：机器之心

准确率技术

分类模型的正确预测所占的比例。在多类别分类中，准确率的定义为：正确的预测数/样本总数。在二元分类中，准确率的定义为：(真正例数+真负例数)/样本总数

来源：Google ML Glossary

映射技术

映射指的是具有某种特殊结构的函数，或泛指类函数思想的范畴论中的态射。逻辑和图论中也有一些不太常规的用法。其数学定义为：两个非空集合A与B间存在着对应关系f，而且对于A中的每一个元素x，B中总有有唯一的一个元素y与它对应，就这种对应为从A到B的映射，记作f：A→B。其中，y称为元素x在映射f下的象，记作：y=f(x)。x称为y关于映射f的原象*。*集合A中所有元素的象的集合称为映射f的值域，记作f(A)。同样的，在机器学习中，映射就是输入与输出之间的对应关系。

来源：Wikipedia

先验知识技术

先验（apriori ；也译作先天）在拉丁文中指“来自先前的东西”，或稍稍引申指“在经验之前”。近代西方传统中，认为先验指无需经验或先于经验获得的知识。先验知识不依赖于经验，比如，数学式子2+2=4；恒真命题“所有的单身汉一定没有结婚”；以及来自纯粹理性的推断“本体论证明”

来源：维基百科

降维技术

降维算法是将 p+1 个系数的问题简化为 M+1 个系数的问题，其中 M<p。算法执行包括计算变量的 M 个不同线性组合或投射（projection）。然后这 M 个投射作为预测器通过最小二乘法拟合一个线性回归模型。两个主要的方法是主成分回归（principal component regression）和偏最小二乘法（partial least squares）。

来源：机器之心

量化技术

深度学习中的量化是指，用低位宽数字的神经网络近似使用了浮点数的神经网络的过程。

来源：Medium