跳到正文
原文
LINUX DO 最新· yokanki·· 14 小时前AI 评分25

公司部署本地大模型讨论

公司部署本地模型

AI 导读

针对电商企业因平台 token 成本过高欲部署本地大模型的诉求,社区讨论普遍指出本地部署可用模型的成本远大于 token 成本,绝非省钱途径。同行指出本地硬件投入动辄数十万甚至上百万(如 910B*8 月成本 2W、8*pro6000D 约 90 万元),且后续伴随高昂的人力维护、效果微调及硬件升级负担。

来源:LINUX DO 最新 · linux.do