LINUX DO 最新· Yezi·· 3 小时前AI 评分40
关于 AI 中转站 GPT 缓存命中率与掉缓存问题的讨论
[讨论]中转站
AI 导读
测试显示多家 AI 中转站调用 gpt6.1sol 时普遍存在掉缓存问题,测试的十几家中转站中仅 3 家缓存命中率超 90%,大部分低于 87%。因缓存命中差异,96% 高缓存与 83% 低缓存中转站的实际使用价格相差达 2.43 倍,个别站点命中率甚至仅有 40%。
来源:LINUX DO 最新 · linux.do
[讨论]中转站
测试显示多家 AI 中转站调用 gpt6.1sol 时普遍存在掉缓存问题,测试的十几家中转站中仅 3 家缓存命中率超 90%,大部分低于 87%。因缓存命中差异,96% 高缓存与 83% 低缓存中转站的实际使用价格相差达 2.43 倍,个别站点命中率甚至仅有 40%。
来源:LINUX DO 最新 · linux.do