DeepSeek开源推理框架DeepInfer并公开运营数据

DeepSeek 开源推理框架 DeepInfer，旨在降低 DeepSeek-V4.1-Flash 的部署成本并推展 AI 普惠。披露信息显示，基于该框架，DeepSeek-V4.1-Flash 单集群吞吐量可达每天 155 万亿 token，缓存最多可保留 72 小时。

DeepSeek 正式开源大规模云服务推理框架 DeepInfer。官方基于该框架实现了 DeepSeek V4.1 Flash 的高吞吐与低延迟推理服务，披露目前单一集群服务吞吐为 155 万亿 Tokens/天，整体收入为每卡每小时 38 美元。

DeepSeek 开源自研推理框架，并公开了大规模推理部署实践中的日均吞吐与毛利数据。相关内容包含 DeepSeek V4.1Flash 的推理部署方案与单卡硬件成本，展现了实际运行中的工程与商业指标。

DeepSeek 宣布将其内部推理框架 DeepInfer 全面开源，旨在降低超大规模模型服务的算力与电力成本。该框架负责统筹调度算力集群以优化推理性能，DeepSeek 此前已开源一系列模型、TileLang 编译工具及推理算子库。

DeepSeek 内部推理框架 DeepInfer 以及 deepseek-recipe 编解码组件已全面开源。相关内容由社区讨论整理，当前未提供更详细的技术说明与仓库链接。

DeepSeek 开源了专门面向自家模型优化的高性能推理框架 DeepInfer。该框架主要针对私有化部署场景优化推理效率，社区讨论指出其 KV 缓存系统当前尚未随项目一同开源，官方计划在后续版本中提供。