跳到正文
原文
LINUX DO 最新· 前原圭一·· 4 小时前AI 评分67

DeepSeek 开源高性能推理框架 DeepInfer

deepseek开源DeepInfer

AI 导读

DeepSeek 开源了专门面向自家模型优化的高性能推理框架 DeepInfer。该框架主要针对私有化部署场景优化推理效率,社区讨论指出其 KV 缓存系统当前尚未随项目一同开源,官方计划在后续版本中提供。

来源:LINUX DO 最新 · linux.do