使用 Hugging Face Evaluate 评估语言模型偏见

Hugging Face 在 Evaluate 库中引入了用于评估因果语言模型偏见的度量工具，涵盖毒性、语言极性与刻板印象测试。文章以 GPT-2 模型为例，演示了结合 WinoBias 和 BOLD 等数据集提示词，调用 toxicity、regard 和 honest 指标对模型生成文本进行量化打分的具体代码流程。作者指出当前评测集覆盖的偏见范围有限，建议组合使用多种指标进行综合评估。