跳到正文
原文
LINUX DO 最新· l·· 3 小时前AI 评分67

DeepSeek 开源 DeepInfer 推理框架

源神:AI一定要普惠!

AI 导读

DeepSeek 开源推理框架 DeepInfer,旨在降低 DeepSeek-V4.1-Flash 的部署成本并推展 AI 普惠。披露信息显示,基于该框架,DeepSeek-V4.1-Flash 单集群吞吐量可达每天 155 万亿 token,缓存最多可保留 72 小时。

来源:LINUX DO 最新 · linux.do