OpenAI 探讨更优质语言模型的能力与潜在影响
OpenAI 训练了一个大规模无监督语言模型,能在无需特定任务训练的情况下生成连贯段落,并在多个语言建模基准上取得 SOTA 表现。该模型同时具备执行初步阅读理解、机器翻译、问答和摘要的能力。
推荐理由:该成果展示了大规模无监督预训练在无需微调下直接泛化到多种下游任务的潜力。
新模型的发布、开源与迭代:大模型厂商的旗舰更新、开源权重放出、性能与价格变化的第一时间记录。
OpenAI 训练了一个大规模无监督语言模型,能在无需特定任务训练的情况下生成连贯段落,并在多个语言建模基准上取得 SOTA 表现。该模型同时具备执行初步阅读理解、机器翻译、问答和摘要的能力。
推荐理由:该成果展示了大规模无监督预训练在无需微调下直接泛化到多种下游任务的潜力。
OpenAI 推出可逆生成模型 Glow,采用可逆 1x1 卷积简化了此前可逆生成模型的架构。该模型能够生成逼真的高分辨率图像,支持高效采样,并能提取可用于操控数据属性的特征。OpenAI 同步开源了模型代码并提供在线可视化工具。
推荐理由:原文介绍了基于可逆卷积的生成模型 Glow 及其架构简化,读者可以了解基于流的生成模型与属性操纵方法。
OpenAI 宣布其由五个神经网络组成的团队 OpenAI Five 已经开始在 Dota 2 游戏中击败业余人类玩家战队。