人工智能已经进入大模型时代，这将彻底改变 AI 在各行各业落地的模式，也对各行业的研发及技术从业者提出了新的 AI 技能要求。
致力于助力大模型技术升级的“Llama 2 大模型算法与应用实践”——机器之心 AI 技术论坛日前圆满收官。活动当日，北京望京浦项中心 B 座二层多功能厅座无虚席，全国十余个城市的 200 名参会者来到现场，在 4 位大模型技术大咖的带领下，系统拆解学习了 Llama 2 底层大模型技术，并动手搭建了自己的专属大模型，一起高效完成了大模型技术升级。
内容高质量、内容超过预期、讲解精彩深入、现场问答交流具有启发性、服务全面周到……参会者给予活动广泛好评，并表达了对更多层次丰富、内容深入的技术活动的期待。
此外，因城市距离、行程档期等原因，许多对活动感兴趣的朋友遗憾未能来到现场。为了回应大家的学习实践需求，机器之心官网知识站（https://vtizr.xet.tech/s/1GOWfs）现上线本场论坛现场视频。全套视频售价 699 元（购买成功后请添加机器之心小助手 ID：13661489516，索取配套会前会后学习资料包）。立即购课学习，开启你的大模型技术升级之旅吧！
系统讲解：最新技术进展与前沿应用案例
上海交通大学清源研究院长聘教轨副教授、生成式人工智能研究组（GAIR）负责人刘鹏飞
“把模型训练得足够透彻，在一个比较小的模型里也可以达到一个非常好的性能。”第一位主讲人刘鹏飞专注于自然语言的预训练、生成和评估等研究方向。
Llama 2 作为大模型市场上原创程度最高、训练技术细节最透明、口碑最好的预训练语言模型，极富研究价值。本次，刘鹏飞以《Llama 2 大模型技术解读》为主题，从 LLaMA 的诞生背景、重要概念、Llama 2 与训练技术、Llama 2 对齐技术出发，深入解读了 Llama 2 及其 Chat 版本所涉及的技术栈细节，分享了他的优化实践经验，包括“数据源配比权重、上采样”等技术细节，并探讨了大模型发展突破难点。
老刘说 NLP 技术公众号作者、开源爱好者刘焕勇
基础模型对算力、算法要求很高，更多的行业应用选择基于基础模型做行业大模型，并进一步做细分领域。“基于行业大模型，基础模型中包括的垂类领域数据比较少，容易出现幻觉，效果不如人意。”主讲人刘焕勇介绍，Llama 虽不是中文市场最佳选择，但因为率先开源可商用而积累的丰富行业落地案例非常珍贵。
他以《基于 Llama 系列开源模型进行行业落地的实践范式与案例解读》为题，分享了 Llama 系列模型与其他开源模型的对比及其汉化机制，解读了基于 Llama 系列模型的领域微调模型案例、“基于LLama 系列模型+知识库增强”的落地应用案例。总结了做行业领域模型微调的算力条件、数据数量和质量要求、ROI 和场景等行业微调模型的必备条件，强调了大模型落地行业的形态可能是多源异构数据、文档智能分析、知识库规范。
LinkSoul.AI CEO、Chinese Llama 2 7B 项目发起人史业民
随着大模型技术的发展，多模态大模型越来越成为驱动具身智能和更好用户体验的关键，必将成为下一代人工智能技术的关键组成部分。基于 LLM 的改造是目前效果最好的多模态模型方案之一，具有极大的研究和实践价值。
主讲人史业民以《基于 Llama 2 的多模态大模型技术与实践》为题，整理分享了多模态模型的模式和原理，深入分享了视觉多模态大模型和语音多模态大模型的改造实践，包括旧模型支持新模态、新能力需要考虑的重点，多模态改造的几种方案及需要注意的训练细节。他认为做多模态模型最大门槛是数据，分享了基于模型生成图片或者图文数据的方法路径。
Chinese Llama 2 7B Contributor、大模型布道师苏洋
“量化与微调”是本次活动调研中参会者最为关注的行业应用内容。苏洋本次带来了《Llama 2 开源模型量化及低成本微调实战》专题分享，介绍了开源模型生态与 Llama 生态的现状、量化与微调的主流方案以及“这两个事情有多简单”。
“微调建议使用开源业界分享出来的 Sota 方案，而不是盲目追求原创。”他强调量化和微调在遵循各种原理的基础上，具有相对较强的实践性。实际的模型量化过程不是简单的一刀切，有非常多的维度、参数，在每一层、每一列都要进行最合理的量化或者转化，而微调也需要考虑具体的训练环境、硬件环境和基础系统环境，苏洋对此展开了深入讲解。
在进行了详细的技术解读和案例解析之后，史业民和苏洋一起带领现场参会者，上手进行了大模型训练、量化和微调实践。
史业民重点讲解了基础模型选取、训练技巧和经验，包括基于一个 base model 从头训练和基于开源模型做词表扩充训练两条路径，以及对应的架构、模型大小、是否可商用、是否扩词表等筛选条件，并回答了 SFT 数据集等相关问题。
苏洋则带着现场参会者从部署镜像、载入模型、加载数据集、配置 Lora 和 QLora 两种方案的 SFT 参数、使用 Transformers 等工具，进行了快速的微调，跑通了私属大模型微调训练流程，帮助参会者更好地吸收了本次活动的内容干货。
未来，机器之心将保持对行业前沿和开发者需求的关注与追踪，不断打造高质量的大模型技术系列活动，助力广大开发者快速提升工程实践、创新应用能力，为大模型时代做好准备，欢迎持续关注机器之心 AI 技术论坛活动。
