LINUX DO 最新· cao·· 12 小时前AI 评分25
笔记本 8G 显存能部署什么大模型
笔记本8G显存能部署什么大模型
AI 导读
针对 4070 笔记本 8G 显存与 16G 内存的本地大模型部署配置,社区讨论指出运行 7B 级别模型较为稳妥,可借助 whichllm 或 llmfit 辅助选型。对于稠密模型,虽然 Qwen3.8 的 27B bonsai 版本勉强可运行,但可用 KV cache 严重受限;若想运行 Qwen 35b-a3b 等 MoE 架构,现有内存容量也不足以支撑 Q4 量化。
来源:LINUX DO 最新 · linux.do