跳到正文

#论文/研究

今日 2 条
11月20日周四
11月19日周三
11月13日周四
11月12日周三
11月11日周二
  1. Google DeepMind55

    Google DeepMind 提出视觉对齐新方法,让 AI 像人类一样理解视觉世界

    Google DeepMind 在 Nature 发表研究,提出一种通过重组内部视觉表征使 AI 模型与人类认知对齐的方法。研究团队先利用认知科学 THINGS 数据集在 SigLIP-SO400M 上训练适配器构建教师模型,再生成包含数百万决策的 AligNet 数据集以微调学生模型,解决了小数据集微调容易过拟合的问题。

11月6日周四
10月27日周一
9月17日周三
  1. OpenAI65

    OpenAI 与 Apollo Research 联合评估并减少 AI 模型的隐藏未对齐行为

    OpenAI 与 Apollo Research 联合开发了针对隐藏式未对齐(scheming)的评估体系,并在受控测试中发现前沿模型存在相应行为。团队提供了具体案例,并对一种用于减少此类行为的早期缓解方法进行了压力测试。

    推荐理由:文章披露了前沿模型中隐藏式未对齐行为的评测与缓解实验,便于读者了解前沿模型安全测试的具体探索。

9月15日周一
  1. OpenAI30

    人们如何使用 ChatGPT

    关于 ChatGPT 使用情况的最大规模研究表明,该工具正在通过个人和专业工作场景创造经济价值。其应用正从早期采用者扩展至更广泛人群,在缩小差距的同时让 AI 融入日常生活。

9月5日周五
8月7日周四
  1. OpenAI92

    OpenAI GPT-5 系统卡

    OpenAI 发布 GPT-5 系统卡(System Card),介绍了支撑快速与高智能响应的统一模型路由系统。该系统通过调度 gpt-5-main、gpt-5-thinking 以及轻量级的 gpt-5-thinking-nano 等不同模型版本,针对多样化任务需求与开发者场景进行了定向优化。

    推荐理由:该文档说明了多版本模型的统一路由机制,便于开发者了解其在不同任务负载下的分发策略与适配方案。

7月17日周四
  1. OpenAI78

    OpenAI 发布 ChatGPT agent 系统卡片

    OpenAI 发布 ChatGPT agent 系统卡片,详细介绍了其整合研究、浏览器自动化与代码工具的智能体模型。该模型在 OpenAI 的预备框架(Preparedness Framework)指导下部署了相应的安全保障措施。

    推荐理由:系统卡片展示了该智能体整合研究、浏览器自动化与代码工具的方式,读者可借此了解其在预备框架下的安全规范。

4月16日周三
  1. OpenAI85

    OpenAI 发布 o3 与 o4-mini 系统卡

    OpenAI 发布 o3 与 o4-mini 的系统卡,展示两款模型在前沿推理能力基础上结合完整工具链的实际表现。模型支持网页浏览、Python、图像与文件分析、图像生成、canvas、自动化、文件搜索以及记忆功能。

    推荐理由:系统卡展示了模型在深度推理与全套工具链结合下的能力边界,有助于读者评估复杂任务的工作流集成路径。

3月25日周二
  1. OpenAI78

    OpenAI 发布 GPT-4o 图像生成系统卡附录

    OpenAI 发布 GPT-4o 系统卡补充附录,介绍全新的 4o 图像生成能力。相比早期的 DALL·E 3 系列模型,4o 图像生成能力显著增强,支持生成逼真图像,并能够接收图像输入并进行转换。

    推荐理由:原文指出了 4o 图像生成相比 DALL·E 3 的能力跨越与图像变换特性,读者可据此了解其多模态生成的最新演进。

3月21日周五
12月20日周五
  1. OpenAI66

    OpenAI 推出审思对齐策略:利用推理能力提升语言模型安全性

    OpenAI 推出面向 o1 模型的新对齐策略“审思对齐”(Deliberative alignment)。该策略直接向模型传授安全规范,并训练其基于这些规范进行链式推理,从而构建更加安全的大语言模型。

    推荐理由:原文介绍了利用模型推理能力学习安全规范的新对齐策略,有助于读者理解思考型模型的安全防护机制。

12月5日周四
  1. OpenAI73

    OpenAI 发布 o1 系统卡

    OpenAI 发布 o1 与 o1-mini 的系统卡,系统梳理了两款模型上线前开展的安全工作。报告内容涵盖外部红队测试,以及依据其 Preparedness Framework 实施的前沿风险评估。

    推荐理由:报告记录了模型发布前的外部红队测试与风险评估流程,为评估前沿模型的安全治理提供了官方参考依据。

10月23日周三
8月8日周四
6月20日周四
6月6日周四
  1. OpenAI67

    OpenAI 从 GPT-4 中提取概念模式

    OpenAI 采用扩展稀疏自编码器(sparse autoencoders)的新技术,在 GPT-4 的计算过程中自动识别出了 1600 万个特征模式。该成果展示了如何通过自编码器技术解析大语言模型内部的计算表征。

    推荐理由:该研究利用扩展稀疏自编码器从前沿模型中自动提取出千万级模式,为大模型内部可解释性提供了具体技术路径。

1月11日周三
  1. OpenAI56

    OpenAI 等机构联合发布大语言模型虚假信息滥用风险预测与缓解报告

    OpenAI 与乔治城大学安全与新兴技术中心、斯坦福互联网观察站联合发布研究报告,探讨大语言模型可能被滥用于虚假信息宣传的风险及应对方案。该研究汇集了 30 位虚假信息研究员、机器学习专家和政策分析师的研讨成果,概述了大语言模型对信息环境构成的威胁,并提出了分析潜在缓解措施的框架。

6月23日周四
  1. OpenAI74

    OpenAI 通过视频预训练(VPT)让模型学会玩《我的世界》

    OpenAI 提出视频预训练(VPT)方法,通过海量无标注人类游戏视频与少量承包商标注数据训练神经网络玩《我的世界》。模型直接使用键盘与鼠标等人类原生接口,经微调后可完成通常需要熟练玩家操作 20 分钟以上(约 24,000 次动作)的合成钻石工具任务。该成果展示了从网络视频中学习行为模式并迈向通用计算机操作智能体的路径。

    推荐理由:该研究展示了利用海量未标注人类视频与少量操作数据预训练模型的方法,为构建通用的计算机操作智能体提供了可行路径。

6月13日周一
2月2日周三
  1. OpenAI62

    OpenAI 研发 Lean 神经定理证明器并求解部分奥数题

    OpenAI 构建了一个面向 Lean 的神经定理证明器,成功学会求解多种具有挑战性的高中数学奥赛题。该系统能够解答来自 AMC12 和 AIME 竞赛的题目,以及两道改编自国际数学奥林匹克(IMO)的试题。

    推荐理由:原文展示了基于 Lean 形式化语言解决竞赛级数学题的方法,为自动化定理证明与复杂逻辑推理提供了参考。

7月15日周四
  1. Hugging Face64

    基于互联网的深度学习:通过 DeDLOC 协作训练语言模型

    Hugging Face 联合多所机构提出跨互联网协作分布式训练方法 DeDLOC,并联合 40 名志愿者成功预训练出孟加拉语模型 sahajBERT。该方法通过在各节点累加大批次梯度并根据网络条件自适应分配聚合负载,解决了家用宽带带宽受限和节点易掉线的问题。

    推荐理由:原文展示了如何通过去中心化自适应聚合让普通设备协作预训练,为缺乏大算力集群的研究团队提供了低成本替代方案。

6月10日周四
4月16日周四
  1. OpenAI41

    OpenAI:提升 AI 开发的可验证性

    OpenAI 联合 30 家机构的 58 位作者共同发布报告,提出了 10 项提升 AI 系统相关声明可验证性的机制。开发者可借助这些工具提供系统在安全、公平或隐私保护等维度的证据。用户、政策制定者及民间社会也能运用这些工具评估 AI 的开发流程。

12月5日周四
  1. OpenAI72

    OpenAI 研究发现深度神经网络中的“深度双重下降”现象

    OpenAI 研究表明深度双重下降现象在 CNN、ResNet 和 Transformer 架构中广泛存在,模型性能随着模型规模、数据量或训练时间增加会呈现先提升、后恶化、再提升的变化趋势。该效应通常可通过精细的正则化手段避免。尽管这种表现具有普适性,其底层原因仍未被完全理解,是持续探索的重要研究方向。

    推荐理由:文章指出深度神经网络在参数、数据或训练时间增加时普遍存在性能先升后降再升的双重下降现象,为理解模型泛化提供了新视角。

10月15日周二
  1. OpenAI74

    OpenAI 展示利用仿人机械手解魔方

    OpenAI 训练神经网络控制仿人机械手成功还原魔方,整个训练过程完全在仿真环境中进行。该方案复用了 OpenAI Five 的强化学习代码,并结合了自动域随机化(ADR)技术,使机械手在物理世界中能够承受未曾见过的外部扰动。这表明强化学习可以用于解决现实环境中需要高灵巧度的物理任务。

    推荐理由:研究展示了借助自动域随机化技术在纯模拟环境中训练强化学习策略并成功迁移至真实物理硬件的方法。

4月15日周一
  1. OpenAI89

    OpenAI Five 战胜 Dota 2 世界冠军战队 OG

    OpenAI Five 在比赛中连赢两局战胜 Dota 2 世界冠军战队 OG,成为首个在电竞比赛中击败世界冠军的 AI。此前 OpenAI Five 与 DeepMind 的 AlphaStar 虽曾在私下击败过顶尖职业选手,但在现场比赛中失利;本次比赛也是 AI 首次在网络直播中击败电竞职业选手。

    推荐理由:原文记录了强化学习系统在公开直播对局中击败人类冠军的里程碑,展现了复杂连续决策环境下的实战表现。

3月21日周四
3月6日周三
11月7日周三
  1. OpenAI36

    OpenAI:用能量函数学习概念

    OpenAI 开发了一种基于能量的模型,能快速识别并生成以 2d 点集表示的概念实例(如 near、above、between、closest 和 furthest)。该模型仅需 5 次演示即可学会这些概念。此外,研究还展示了跨域迁移能力,成功将 2d 粒子环境中学习到的概念用于解决 3 维物理机器人的任务。

10月31日周三
  1. OpenAI70

    OpenAI 提出基于预测奖励的强化学习方法 RND

    OpenAI 研发了随机网络蒸馏(Random Network Distillation,RND),这是一种基于预测奖励驱动强化学习智能体通过好奇心探索环境的方法。该方法在经典强化学习测试游戏 Montezuma's Revenge 上的表现首次超过了人类平均水平。

    推荐理由:原文提出了基于好奇心驱动强化学习智能体探索的方法,为解决稀疏奖励环境下的探索难题提供了具体思路。

7月30日周一
6月11日周一
  1. OpenAI78

    OpenAI 通过无监督学习提升语言理解能力

    OpenAI 宣布推出一套可扩展且与任务无关的语言理解系统并予以发布,在多样化的语言任务上取得了 SOTA 成绩。该方法将 Transformer 架构与无监督预训练相结合,展示了监督学习与无监督预训练结合的潜力,并期望推动在更大规模和更多样化数据集上的深入研究。

    推荐理由:原文展示了将无监督预训练与 Transformer 架构结合的可行性,读者可以了解通过无监督预训练辅助监督任务的实现思路。

7月20日周四
  1. OpenAI74

    OpenAI 发布强化学习算法 PPO

    OpenAI 发布了近端策略优化(Proximal Policy Optimization,PPO)强化学习算法。该算法在表现上达到或超越现有 SOTA 方法,同时在实现与调优上更加简单。由于易用性和良好性能,PPO 已成为 OpenAI 内部默认的强化学习算法。

    推荐理由:OpenAI 介绍了 PPO 算法相比既有 SOTA 方法在实现与调优上的简化,展现了其作为默认强化学习算法的性能平衡。

7月17日周一