有没有可能大模型服务商提供存储给用户？

社区讨论了大模型服务商为用户提供上下文存储以降低 token 消耗并实现长期记忆的可行性。讨论指出，当前 Cache 计费已包含云端缓存上下文的计算，且大语言模型对话为全量对话而非增量对话。此外，现有 LLM 架构不支持上下文长度无限扩张，长期记忆更多需从工程化角度解决。