同一个模型,换了个跑任务的外壳,排名就往前挪了一位。

同一个模型,换了个跑任务的外壳,排名就往前挪了一位。

FrontierCS 2 是一个新的智能体基准,从 48 篇计算机论文里各删掉核心贡献对应的代码,让智能体自己补上,要在作者设的所有指标上都追平或超过原方法才算过。

谷歌的 Gemini 4 Argon 起初用第三方外壳 Pi 跑,过了四成左右。作者团队翻运行记录发现,模型服务商的内容过滤一拒绝请求,Pi 就直接结束这次运行,48 次里有 10 次是这么断的。换成谷歌自家的 Antigravity,被拒绝会重试,通过率升到五成多,超过 GPT-6 Astra,紧挨着榜首 Claude Opus 5.5,每题花的钱也差不多。

榜单页面现在把各家被拒绝、中途出错的情况单独列了出来。

http://frontier-cs.org


分类