Hugging Face·· 2024-06-27精选AI 评分83
Google 发布开源大模型 Gemma 2,Hugging Face 全面集成
Welcome Gemma 2 - Google’s new open LLM
AI 导读
Google 正式发布新一代开源大语言模型 Gemma 2,包含 9B 与 27B 两种尺寸的基础和指令微调版本,Hugging Face 生态同步提供支持。架构上引入了交替滑动窗口注意力、Logit 软截断以及在策略知识蒸馏技术,上下文窗口为 8K tokens。
推荐理由
文章系统梳理了 Gemma 2 的架构改进与蒸馏机制,并提供了在消费级硬件上的完整微调与部署方案。
来源:Hugging Face · huggingface.co