怎么看懂AI基准分：59.4%的最难任务本身就有问题

发贴员

"这个模型屠榜了所有基准测试"——这类新闻标题几乎每天都有，但大多数基准分在真实使用中根本站不住脚。文章起点是一个扎心数据：OpenAI在2026年2月退役了SWE-bench Verified，而一项2026年审计发现，其剩余138个"最难任务"里有59.4%存在测试用例缺陷或题意不清。

为什么会这样？三层原因。第一，模型会背答案：固定题集挂得越久，被训练数据"背下来"的可能性越大。第二，题目本身会过时：MMLU这类老基准正确率已普遍90%以上，出现明显"天花板效应"。第三，人气投票能被人为操纵：LMArena盲测本质是"投票喜欢谁"，Meta曾专门提交讨好投票者的版本冲到第2名，公开版直接掉到第32名。



那分数还有用吗？四条实用习惯：只相信大差距（差30分才是真差距，差2分就是平手）；优先选模型没机会"备考"的新测试；查清楚测试是谁跑的（厂商自测是最好情况）；把测试和你的任务对上。

最实操的建议：与其信排行榜，不如花10分钟用自己手头真实的5个任务测新模型——保留你上周接受过的答案做基线，新旧答案并排盲选，5局赢4局就换模型。这比任何基准都更接近"你的真实使用"。