跳到正文
原文
Hugging Face·· 2024-06-27精选AI 评分83

Google 发布开源大模型 Gemma 2,Hugging Face 全面集成

Welcome Gemma 2 - Google’s new open LLM

AI 导读

Google 正式发布新一代开源大语言模型 Gemma 2,包含 9B 与 27B 两种尺寸的基础和指令微调版本,Hugging Face 生态同步提供支持。架构上引入了交替滑动窗口注意力、Logit 软截断以及在策略知识蒸馏技术,上下文窗口为 8K tokens。

推荐理由

文章系统梳理了 Gemma 2 的架构改进与蒸馏机制,并提供了在消费级硬件上的完整微调与部署方案。

来源:Hugging Face · huggingface.co