Hugging Face·· 2024-04-18精选AI 评分96
Meta 正式发布开源大语言模型 Llama 3，Hugging Face 全面集成上线
Welcome Llama 3 - Meta's new open LLM
AI 导读
Meta 正式发布开源大语言模型 Llama 3，提供 8B 和 70B 两个尺寸的基础版与指令微调版，并同步推出安全模型 Llama Guard 2。模型在超过 15 万亿模型 token 上训练，词表扩展至 128,256，上下文窗口为 8k context，8B 版本增加了分组查询注意力（GQA）。
推荐理由
原文梳理了模型架构参数与词表变化，并给出了在开源框架下进行推理部署和单卡微调的完整代码。
来源：Hugging Face · huggingface.co