LINUX DO 最新· 司马老贼·· 9 小时前AI 评分17
双卡 NVIDIA A6000 部署 Qwen 3.8f:借助 astra 编写负载均衡系统实测
strata确实夸张
AI 导读
用户在无 NVLink 的双卡 NVIDIA A6000 48G 环境下,为每张显卡分别部署了一套 Qwen 3.8f Q4 模型,并让 astra 自行编写了负载均衡管理系统。该配置实测运行速度表现良好,后续有望进一步跟进支持更多模型。
来源:LINUX DO 最新 · linux.do
strata确实夸张
用户在无 NVLink 的双卡 NVIDIA A6000 48G 环境下,为每张显卡分别部署了一套 Qwen 3.8f Q4 模型,并让 astra 自行编写了负载均衡管理系统。该配置实测运行速度表现良好,后续有望进一步跟进支持更多模型。
来源:LINUX DO 最新 · linux.do