Hugging Face·· 2023-06-23精选AI 评分68
Hugging Face 详解 Open LLM Leaderboard 评测机制与 MMLU 分数差异成因
What's going on with the Open LLM Leaderboard?
AI 导读
Hugging Face 发文解释 Open LLM Leaderboard 上 LLaMA 等模型 MMLU 跑分与论文不一致的原因，指出评测框架的实现细节会导致得分和排名出现显著偏差。
推荐理由
原文对比了三套主流评测代码的实现细节，读者可以据此理解提示词格式和概率计算方式如何改变基准得分与榜单排名。
来源：Hugging Face · huggingface.co