![图片](https://image.jiqizhixin.com/uploads/editor/4d184dc1-2a4f-420e-8105-9ac81fe6169b/640.png)
AIxiv专栏是机器之心发布学术、技术内容的栏目。过去数年,机器之心AIxiv专栏接收报道了2000多篇内容,覆盖全球各大高校与企业的顶级实验室,有效促进了学术交流与传播。如果您有优秀的工作想要分享,欢迎投稿或者联系报道。投稿邮箱:liyazhou@jiqizhixin.com;zhaoyunfeng@jiqizhixin.com
团队:中科大认知智能全国重点实验室陈恩红团队,华为诺亚方舟实验室 论文链接: https://arxiv.org/pdf/2407.06645 代码链接: https://github.com/USTC-StarTeam/ZIP
数据压缩率 R:直觉上,压缩率越低的数据集表明信息密度越高。 训练损失 L:表示数据对模型来说是否难以记忆。在相同的基础模型下,高训练损失通常是由于数据集中存在噪声或不一致的信息。 数据一致性 C:数据的一致性通过给定前文情况下下一个 token 的概率的熵来反映。更高的数据一致性通常会带来更低的训练损失。 平均数据质量 Q:反映了数据的平均样本级质量,可以通过各种客观和主观方面来衡量。
![图片](https://image.jiqizhixin.com/uploads/editor/d39f8054-fc59-4ccf-a8fa-761cf4d4a18f/640.png)
如果将 C 视为常数,训练损失直接受压缩率影响。因此,模型性能由压缩率控制:如果数据压缩率 R 较高,那么 Z 通常较差,这将在我们的实验中得到验证。 在相同的压缩率下,较高训练损失意味着较低的数据一致性。因此,模型学到的有效知识可能更有限。这可以用来预测 LLM 在具有相似压缩率和样本质量的不同数据上的性能。我们将在后续展示这一推论在实践中的应用。
![图片](https://image.jiqizhixin.com/uploads/editor/0401e853-66fe-4aae-ac1d-23d0511f4fb2/640.png)
![图片](https://image.jiqizhixin.com/uploads/editor/6fe7426f-60e1-4648-b2d9-4bad90517477/640.png)
![图片](https://image.jiqizhixin.com/uploads/editor/400b6072-161c-4966-bd88-0baa772428fd/640.png)
![图片](https://image.jiqizhixin.com/uploads/editor/30220539-3700-4062-bdc1-d4b040860dbc/640.png)
![图片](https://image.jiqizhixin.com/uploads/editor/512b167a-6f02-4ca1-9066-b8eb8f2ace50/640.png)