Ai2 推出大语言模型公平性评测基准 FairStress

Ai2 推出大语言模型决策公平性评测基准 FairStress，用于评估模型在面临说服性反驳时是否因人口身份而产生不对称的动摇。评测显示主流模型在招聘和医疗等场景中普遍存在偏向少数群体的反刻板印象过度纠正，且常规去偏方法难以兼顾决策对称性与准确率。该基准包含 1300 万测试用例及 5 万条精简子集，目前已开源数据集与代码并接入 Olmo-eval。