Hugging Face·· 2025-09-11精选AI 评分73
Transformers 升级集成 OpenAI GPT-OSS 技术:支持 MXFP4 量化与免编译内核
Tricks from OpenAI gpt-oss YOU 🫵 can use with transformers
AI 导读
Hugging Face 全面升级 transformers 库,原生支持 OpenAI GPT-OSS 系列模型的 MXFP4 量化、Hub 免编译内核以及张量并行与专家并行。新版本引入了针对滑动窗口混合注意力的动态 KV 缓存机制,可显著减半缓存内存增长,并通过显存预分配加速超大模型的权重加载。相关内核支持从 Hub 自动拉取已构建的二进制文件,且多数推理与并行优化可通用至库内其他主流模型。
推荐理由
文章梳理了量化与分布式并行等底层优化技巧,开发者可以据此降低大模型在本地与单机多卡环境下的显存占用与加载延迟。
来源:Hugging Face · huggingface.co