OpenAI 基于人类偏好微调 GPT-2 语言模型

OpenAI 基于人类反馈对 774M 参数的 GPT-2 语言模型进行了微调，成功匹配了外部人类标注者的偏好。在摘要任务中，标注者倾向于选择直接从输入整句复制的句子，导致模型也学会了复制，该任务共使用了 60k 条人类标注，而简单风格续写任务仅需 5k 条。此项研究旨在让安全技术更贴近人机交流场景，以探索人类价值观的对齐方法。