LINUX DO 最新· Ruby·· 5 小时前AI 评分37
单卡5070ti本地部署 qwen3.8 27b:160K上下文 prefill 1000t/s
【本地部署】单卡5070ti实测 160K上下文prefill 1000t/s decode100t/s,qwen3.8 27b gsq-rco+ninfer 16g版推理引擎
AI 导读
实测在单卡5070ti(16G版)上用gsq-rco+ninfer推理引擎本地部署qwen3.8 27b,WSL2+Ubuntu2404环境下开启MTP3,160K上下文prefill达1000t/s、decode达100t/s;172K后开MTP接近显存极限,不开MTP decode约55。显卡同时承担视频输出,实际可用显存约14.8G。有评论称该部署速度快但智力水平偏低,鹈鹕测试表现不佳。
来源:LINUX DO 最新 · linux.do