OpenAI 通过无监督学习提升语言理解能力
OpenAI 宣布推出一套可扩展且与任务无关的语言理解系统并予以发布，在多样化的语言任务上取得了 SOTA 成绩。该方法将 Transformer 架构与无监督预训练相结合，展示了监督学习与无监督预训练结合的潜力，并期望推动在更大规模和更多样化数据集上的深入研究。
推荐理由：原文展示了将无监督预训练与 Transformer 架构结合的可行性，读者可以了解通过无监督预训练辅助监督任务的实现思路。
数据与训练
全部主题训练侧的门道：数据集构建、合成数据、预训练与后训练方法、算力与训练成本。
最新精选
第 81–84 条 · 共 84 条OpenAI精选AI 评分7878
OpenAI精选AI 评分7777 OpenAI 分析最大 AI 训练算力趋势：2012 年以来每 3.4 个月翻倍
OpenAI 发布分析显示，自 2012 年以来最大 AI 训练任务消耗的算力呈指数级增长，翻倍周期约为 3.4 个月。该指标在此期间已累计增长超过 300,000 倍，增速远超摩尔定律 2 年翻倍的幅度。算力提升是推动 AI 进步的关键动力，随着趋势延续需要提前准备应对远超当前能力的系统影响。
推荐理由：给出 2012 年以来 AI 训练算力每 3.4 个月翻倍的具体测算，为理解模型能力演进提供了量化基准。
OpenAI精选AI 评分7070 OpenAI 解析 Dota 2 项目与自博弈机制
OpenAI 表示 Dota 2 的研发进展表明，在充足算力支持下，自博弈机制能推动机器学习系统从远低于人类水平迅速提升至超人类水平。该系统在单月内从勉强匹配高分玩家跨越到击败顶尖职业选手；与受限于既有数据的监督学习相比，自博弈系统的可用训练数据会随着智能体能力的提升而自动改善。
推荐理由：OpenAI 对比了监督学习与自博弈机制的差异，说明了在算力充足时数据质量随模型迭代自进化的路径。
OpenAI精选AI 评分7474 OpenAI 发布强化学习算法 PPO
OpenAI 发布了近端策略优化（Proximal Policy Optimization，PPO）强化学习算法。该算法在表现上达到或超越现有 SOTA 方法，同时在实现与调优上更加简单。由于易用性和良好性能，PPO 已成为 OpenAI 内部默认的强化学习算法。
推荐理由：OpenAI 介绍了 PPO 算法相比既有 SOTA 方法在实现与调优上的简化，展现了其作为默认强化学习算法的性能平衡。