大模型记忆系统评测路线与真实需求脱节引讨论

大模型记忆系统的评测体系与实际用户需求之间的偏差引发关注。报道指出，当前大模型记忆系统的评测普遍以 DynamicMem 等测试集的 direct qa 作为核心指标，但论文 MemUse 的研究显示，该指标的得分提升与实际用户体验并无显著关联。结合 hermes mnemosyne plugin 的实际使用体验，现有记忆系统缺乏默会能力，仍高度依赖用户给出明确提示才能唤醒记忆，不仅背离了真实需求，还将记忆成本重新转嫁给了用户。

AI 根据报道生成 · 1 小时前更新

还没有足够的连续观测数据，暂不绘制趋势。