本地大模型部署速算指南：通过 Hugging Face 文件名与显存带宽评估速度与规格

通过大模型文件名与硬件参数可以快速评估本地部署的表现与选型。模型体积需控制在显存容量减 2GB 以内以避免内存回退降速，MoE 模型的推理速度由激活参数决定，生成速度可按显卡显存带宽除以激活权重体积直接心算。量化选择上优先考虑 Q4_K_M 或 IQ4_XS，显存不足时全进显存的高阶模型低比特版本优于降级小模型。