Hugging Face·· 2 小时前精选AI 评分67
Granite Switch 4.1 发布:单端点集成对话、决策与语音转录
Granite Switch 4.1: Chat, Decisions, and Speech from One Endpoint
AI 导读
IBM 推出 Granite Switch 4.1 系列模型(包括 8B 和 30B 版本),在单一托管端点上集成了自然语言对话、决策适配器与语音转文本能力。该架构通过 Activated LoRA 共享基础模型的 KV 缓存,使显存占用与基础模型相当,并结合 vLLM 优化实现对话、决策和语音任务之间的毫秒级切换。
推荐理由
原文展示了通过共享基础模型缓存将决策适配器与语音转录融合在单端点的工程方案,为多任务服务部署提供了参考。
来源:Hugging Face · huggingface.co