跳到正文
原文
LINUX DO 最新· 𝓵𝓮𝔃𝓲𝓼𝓱𝓮𝓷·· 4 小时前AI 评分29

英伟达优化 Kimi K3 模型推理速度,提升 1.68 倍

AI 导读

英伟达完成对 Kimi K3 模型的推理速度优化,使其推理性能提升 1.68 倍。社区相关讨论提及该优化下的推理速度可能达到 400tps。

来源:LINUX DO 最新 · linux.do