跳到正文
原文
Hugging Face·· 2025-07-08精选AI 评分76

Hugging Face 开源 3B 推理模型 SmolLM3 并公布完整训练配方

SmolLM3: smol, multilingual, long-context reasoner

AI 导读

Hugging Face 正式发布完全开源的 3B 规模模型 SmolLM3,包含基础模型与支持双模式推理的指令微调版本,并同步公开了完整训练配方。该模型在 11.2T token 上训练完成,支持英法德意西葡 6 种语言,并利用 NoPE 和 YaRN 将推理上下文扩展至最高 128k。

推荐理由

原文完整公开了小模型三阶段预训练与双模式推理的工程配方,为轻量端侧模型的复现与训练优化提供了可迁移参考。

来源:Hugging Face · huggingface.co