OpenAI 从 GPT-4 中提取概念模式

OpenAI 采用扩展稀疏自编码器（sparse autoencoders）的新技术，在 GPT-4 的计算过程中自动识别出了 1600 万个特征模式。该成果展示了如何通过自编码器技术解析大语言模型内部的计算表征。