![图片](https://image.jiqizhixin.com/uploads/editor/10bca054-11ec-441b-9a68-0b9609d1d959/640.png)
![图片](https://image.jiqizhixin.com/uploads/editor/1185d4be-64aa-4638-99d5-928d77734b69/640.png)
最新的系列模型将上下文长度扩展到了 128K、增加了对八种语言的支持,并包括顶级开源模型 Llama 3.1 405B; Llama 3.1 405B 独树一帜,Meta 官方称其可与最好的闭源模型相媲美; 此次发布还提供了更多与模型配合使用的组件(包括参考系统)来将 Llama 打造为一个系统; 用户通过 WhatsApp 和 meta.ai 就可以体验 Llama 3.1 405B 了。
![图片](https://image.jiqizhixin.com/uploads/editor/1488eefa-d42a-4055-b331-e79fb6d9a04d/640.png)
![图片](https://image.jiqizhixin.com/uploads/editor/5b5715af-2786-4af8-9862-4fda7335e53b/640.png)
https://huggingface.co/meta-llama https://llama.meta.com/
![图片](https://image.jiqizhixin.com/uploads/editor/56b0ce0c-b283-4953-965b-59f1d10784ae/640.png)
![图片](https://image.jiqizhixin.com/uploads/editor/d160364c-1c44-4f68-a94a-7b881541e825/640.png)
![图片](https://image.jiqizhixin.com/uploads/editor/4215daae-ae1c-4641-b08c-423d84544bda/640.png)
![图片](https://image.jiqizhixin.com/uploads/editor/7f346527-41cc-4c75-bb0d-41e3f7f09432/640.png)
选择了仅进行少量调整的标准解码器 Transformer 模型架构,而不是混合专家模型,以最大限度地提高训练稳定性。 采用迭代后训练程序,每轮都使用监督微调和直接偏好优化。这使 Meta 能够为每轮创建最高质量的合成数据,并提高每项功能的性能。
![](https://image.jiqizhixin.com/uploads/editor/6c99d53e-68d3-476a-94bb-02df67598547/1721801850401.png)
实时和批量推理 监督式微调 测试和评估模型在特定应用中的性能 持续预训练 检索增强生成(RAG) 函数调用 合成数据生成