关于本地部署 Qwen 推理速度是否正常的讨论

社区用户在 4060ti 16g 设备上部署 Qwen3.8-Flash-Next-GSQ-RCO-IQ2_XS 时遭遇预填充速度缓慢，引发针对本地推理性能优化的讨论。讨论指出 64K 上下文下仅几十 TPS 并不正常，预填充需达到 1000+ TPS 才合理，建议按上下文、视觉、精度的优先级调优，或直接采用针对 Qwen 做了算子优化的 Strata 进行部署。