跳到正文
原文
LINUX DO 最新· wo_qq111·· 2 小时前AI 评分14

大模型上传内容能否只传新增而不传缓存命中部分

大模型上传内容只传新加的不传缓存命中的内容

AI 导读

社区用户探讨大模型上下文缓存机制,询问在上下文包含大量图片等已命中内容时,能否仅上传未命中的新增部分以缩短传输耗时。有回复建议直接向模型咨询缓存命中机制并进行相应配置,以此减少上下文中的图片开销。

来源:LINUX DO 最新 · linux.do