LINUX DO 最新· 比卡丘·· 3 小时前AI 评分48
strata 部署 Qwen3.8-next-flash 与 DeepSeek 真能用还是流量噱头?
strata 部署qwen3.8-next-flash 和 deepseek 真能用还是流量噱头?
AI 导读
实测表明利用 strata 将专家和 KV cache 卸载至内存或 SSD 部署 Qwen3.8-flash-next 无法稳定长期使用,频繁数据交换受限于带宽且发热严重。在 32G 显存下运行 125B 模型的 iq3-s 量化版本表现不佳,实际稳定性反不如运行 Qwen3.8-27B(采用 q4 搭配 q8 KV cache,与 FP16 差距不足 1%)。
来源:LINUX DO 最新 · linux.do