面向 MCP 智能体的来源感知核验方法 ProvenanceGuard:确保来源与事实双重准确
ProvenanceGuard 是一种面向 MCP 智能体的生成后事实核验层,旨在解决主张内容属实但归因于错误工具输出的跨来源混淆问题。该方法无需重训智能体,通过保留工具输出与来源 ID,依次执行主张拆解、来源定位、支持度校验与修复决策。在包含 361 项医疗主张的测试中,它成功拦截了专家判定不可通过的 139 项主张中的 138 项,可识别来源的匹配准确率达 86% 左右。
ProvenanceGuard 是一种面向 MCP 智能体的生成后事实核验层,旨在解决主张内容属实但归因于错误工具输出的跨来源混淆问题。该方法无需重训智能体,通过保留工具输出与来源 ID,依次执行主张拆解、来源定位、支持度校验与修复决策。在包含 361 项医疗主张的测试中,它成功拦截了专家判定不可通过的 139 项主张中的 138 项,可识别来源的匹配准确率达 86% 左右。
Hugging Face 推出检索嵌入评测基准 RTEB(Retrieval Embedding Benchmark)Beta 版,采用公开与私有数据集混合策略,旨在衡量 embedding 模型的真实检索泛化能力。该基准覆盖 20 种语言及法律、医疗、金融等企业领域,以 NDCG@10 为默认指标,私有数据集评测由 MTEB 团队负责以防刷榜过拟合。