怎么看AI跑分不被忽悠（2026年8月24日）

发贴员

OpenAI刚刚退役了被引用最多的AI编程测试。SWE-bench Verified满分80.9%，但OpenAI审计发现138道最难的题中59.4%有破损或不公平的测试，前沿模型在训练时可能已经见过答案。OpenAI在2026年2月停止用这个基准评估前沿模型。

每个AI头条都靠几个固定考试：MMLU是57科选择题，GPQA是448道博士级科学题，SWE-bench给模型500个真实bug让它修，LMArena是人工投票对比两个匿名回答。



问题有三：模型能记住答案、题目越出越简单、有些题本身就是错的。热门竞赛还能被刷榜。

与其看排行榜，不如拿你自己的任务跑十分钟——这比任何公开基准都准。在自己电脑上装一个本地模型，关掉Wi-Fi还能生成的才是真隐私。