本地部署的模型都能干啥呢

用户在 128GB 内存服务器上部署本地模型，最高推理速度可达 40 tokens/s。但在对接智能体时出现响应断断续续、无法正常使用的问题，因而发帖咨询并探讨本地部署大模型的实际应用场景与价值。