跳到正文
原文
LINUX DO 最新· 四月真好呢·· 13 小时前AI 评分16

关于 DeepSeek 本地模型部署

关于deepseek本地模型部署

AI 导读

用户在双 RTX 4090 服务器上通过 Maya 部署 DeepSeek V4.1 Flash 1017 IQ4(破限版)辅助逆向分析,面临 Prefix 处理仅约 300 tokens/s 的瓶颈。由于临时新增工具会导致整段上下文重新计算,其发帖求助如何保持缓存命中,并寻求推理后端、量化版本及软硬件调优的提速建议。

来源:LINUX DO 最新 · linux.do