LINUX DO 最新· Zih·· 4 小时前AI 评分16
大模型中转站搭建用什么服务器
想问下佬们搭建中转站用的是什么机
AI 导读
关于大模型中转站搭建与跨国延迟问题,讨论指出即使服务器设在美国,调用国内模型的延迟也不会太慢。在实际部署方案中,有站长采用搬瓦工服务器,未接入国内模型,仅接入了 GPT 和 Grok。
来源:LINUX DO 最新 · linux.do
想问下佬们搭建中转站用的是什么机
关于大模型中转站搭建与跨国延迟问题,讨论指出即使服务器设在美国,调用国内模型的延迟也不会太慢。在实际部署方案中,有站长采用搬瓦工服务器,未接入国内模型,仅接入了 GPT 和 Grok。
来源:LINUX DO 最新 · linux.do