Hugging Face·· 2024-12-18精选AI 评分61
IBM 联合普林斯顿等发布混合架构模型 Bamba-9B
Bamba: Inference-Efficient Hybrid Mamba2 Model
AI 导读
IBM、普林斯顿大学、CMU 与 UIUC 联合推出混合 Mamba2 架构大语言模型 Bamba-9B，基于 2.2T 完全公开的数据集训练，旨在缓解推理阶段的 KV 缓存瓶颈。
推荐理由
原文通过将 Mamba2 与极少注意力层混合打破 KV 缓存瓶颈，展示了在保持模型能力的同时降低推理延迟与显存开销的工程路径。
来源：Hugging Face · huggingface.co