Ai2推出大模型公平性评测基准FairStress并开源

2026年10月21日，Ai2推出大语言模型决策公平性评测基准FairStress。该基准用于评估模型在面临说服性反驳时，是否会因人口身份而产生不对称的动摇。评测结果显示，主流模型在招聘和医疗等场景中，普遍存在偏向少数群体的反刻板印象过度纠正问题，且常规去偏方法难以兼顾决策对称性与准确率。FairStress包含1300万测试用例以及5万条精简子集。目前，相关数据集与代码已正式开源，并已接入Olmo-eval。

AI 根据报道生成 · 1 小时前更新

还没有足够的连续观测数据，暂不绘制趋势。