LINUX DO 最新· N70·· 3 小时前AI 评分22
Astra 现在不开 fast 还能用吗
Astra现在不开fast还能用吗
AI 导读
社区用户反馈 Astra 接入的 OpenAI ultra 模型在未开启 fast 时 tps 仅有十几,且容易提示“Selected model is at capacity”。即使开启 fast 模式带来 2.5 倍消耗,推理速度也仅偶尔达到 30 tps 或仅多出个位数。
来源:LINUX DO 最新 · linux.do
Astra现在不开fast还能用吗
社区用户反馈 Astra 接入的 OpenAI ultra 模型在未开启 fast 时 tps 仅有十几,且容易提示“Selected model is at capacity”。即使开启 fast 模式带来 2.5 倍消耗,推理速度也仅偶尔达到 30 tps 或仅多出个位数。
来源:LINUX DO 最新 · linux.do