LINUX DO 最新· AZhong·· 3 小时前AI 评分25
本地部署 Qwen3.8-flash-next-iq2_xs 体验与性能讨论
本地部署qwen3.8-flash-next-iq2_xs,感觉也还行
AI 导读
社区用户分享了本地部署 Qwen3.8-flash-next-iq2_xs 等量化模型的实测体验。在搭载 5080 显卡的硬件配置下,该模型推理速度可达 100 至 140 tok/s,而在 7800X3D 搭配 3080Ti 配置下运行较为吃力。此外,讨论还涉及将模型接入 API 用于文档翻译,或部署 iq3_s 接入 Hermes 进行逆向分析等场景。
来源:LINUX DO 最新 · linux.do