量子位· 一水·· 5 小时前AI 评分67
港科大、CMU与岩山科技开源EdgeRock-4B模型:固定KV Cache显存且单卡吞吐提升6倍
KV Cache砍掉99%,单卡吞吐飙6倍,港科CMU联手岩山科技开源新模型
AI 导读
岩山科技旗下岩芯矩阵联合港科大、CMU发布并开源EdgeRock-4B模型,通过记忆岩锚机制将长上下文推理下的历史状态占用固定在极低水平。在单张80GB GPU运行32K输入与32K输出测试中,该模型支持512路并发并达到12124 tokens/s吞吐,KV Cache相比源模型Qwen3.5-4B降低99.1%。
来源:量子位 · qbitai.com