跳到正文

推理能力

模型推理能力的进展:思维链、推理模型、数学与逻辑基准的突破与争议。

最新精选

第 101–110 条 · 共 110 条
9月12日周四
7月11日周四
  1. Hugging Face74

    Numina 与 Hugging Face 详解 NuminaMath 赢得首届 AIMO 进展奖的技术方案

    Numina 与 Hugging Face 合作开发的 NuminaMath 7B TIR 在首届 AI 数学奥林匹克竞赛(AIMO)进展奖中夺冠,并在私有测试集上解出 29/50 道题目。

    推荐理由:文章提供了在受限推理算力下结合工具调用与多阶段微调的完整工程方案,适合需要优化推理模型落地表现的团队参考。

4月16日周二
  1. Hugging Face68

    Hugging Face 推出 LiveCodeBench 排行榜:无污染的代码大模型综合评测

    Hugging Face 推出基于 LiveCodeBench 的代码大模型评测排行榜,通过持续收集竞赛编程平台题目并标注发布日期,实现按时间窗口评估以防范测试集污染。

    推荐理由:基准通过按发布时间切片和多场景评测应对数据污染,为评估代码大模型的真实泛化能力提供了动态参照体系。

9月15日周五
  1. Hugging Face69

    Hugging Face 发布大语言模型生产环境部署优化指南

    Hugging Face 发布生产环境下大语言模型推理与显存优化指南,系统梳理低精度量化、Flash Attention 与架构选型三大方向。文章通过实测展示 8-bit 和 4-bit 量化大幅削减显存需求,利用 Flash Attention 缓解长文本注意力的二次方显存瓶颈。

    推荐理由:文章给出了量化、Flash Attention 与架构演进的实测显存对比,读者可以直接作为大语言模型部署调优的参考框架。

5月31日周三
  1. OpenAI75

    OpenAI 提出通过过程监督提升数学推理能力

    OpenAI 训练模型通过奖励每个正确的推理步骤(过程监督)而非仅奖励最终答案(结果监督),在数学问题求解中达到 SOTA 水平。相比结果监督,过程监督不仅显著提升了模型性能,还能直接引导模型生成人类认可的思维链,带来重要的对齐收益。

    推荐理由:研究对比了过程监督与结果监督在数学推理上的差异,展示了逐步奖励思维链对解题性能和模型对齐的双重价值。

5月11日周四
  1. Hugging Face79

    Hugging Face 推出 Assisted Generation 解码方案以降低文本生成延迟

    Hugging Face 在 Transformers 库中引入 Assisted Generation 解码方法,利用轻量辅助模型生成候选 token 并由主模型单次前向传播并行确认,以此缓解内存带宽瓶颈并降低生成延迟。

    推荐理由:读者可以了解利用小模型生成候选与大模型并行验证的机制,在消费级硬件及显存卸载场景下显著降低推理延迟。

1月24日周二
  1. Hugging Face63

    对话智能体为何实用:解析 ChatGPT 背后的核心训练技术

    Hugging Face 发布博客综述梳理对话智能体的核心训练技术,系统对比了 ChatGPT(InstructGPT)、LaMDA、BlenderBot 3、Sparrow 与 Anthropic Assistant 等主流模型。

    推荐理由:原文横向对比了多款主流对话智能体在数据量、标注与安全性上的具体方案,读者可系统理解指令微调与人类反馈强化学习的工程落地路径。

8月17日周三
2月2日周三
  1. OpenAI62

    OpenAI 研发 Lean 神经定理证明器并求解部分奥数题

    OpenAI 构建了一个面向 Lean 的神经定理证明器,成功学会求解多种具有挑战性的高中数学奥赛题。该系统能够解答来自 AMC12 和 AIME 竞赛的题目,以及两道改编自国际数学奥林匹克(IMO)的试题。

    推荐理由:原文展示了基于 Lean 形式化语言解决竞赛级数学题的方法,为自动化定理证明与复杂逻辑推理提供了参考。

10月29日周五
  1. OpenAI62

    OpenAI 训练出可解答小学数学题的新系统

    OpenAI 训练出一个解决小学数学应用题的新系统,准确率接近微调版 GPT-3 模型的两倍。该系统解题表现约为真实儿童的 90%,在一组 9 至 12 岁儿童得分 60% 的相同测试集问题上取得了 55% 的成绩。

    推荐理由:材料对比了新系统与微调 GPT-3 及学龄儿童的答题成绩,展示了模型在小学多步数学推理任务上的具体表现。