查看: 17|回复: 0

同一个模型,换了个跑任务的外壳,排名就往前挪了一位。

[复制链接]

19

主题

1

回帖

59

积分

注册会员

积分
59
发表于 昨天 18:29 | 显示全部楼层 |阅读模式
同一个模型,换了个跑任务的外壳,排名就往前挪了一位。

FrontierCS 2 是一个新的智能体基准,从 48 篇计算机论文里各删掉核心贡献对应的代码,让智能体自己补上,要在作者设的所有指标上都追平或超过原方法才算过。

谷歌的 Gemini 4 Argon 起初用第三方外壳 Pi 跑,过了四成左右。作者团队翻运行记录发现,模型服务商的内容过滤一拒绝请求,Pi 就直接结束这次运行,48 次里有 10 次是这么断的。换成谷歌自家的 Antigravity,被拒绝会重试,通过率升到五成多,超过 GPT-6 Astra,紧挨着榜首 Claude Opus 5.5,每题花的钱也差不多。

榜单页面现在把各家被拒绝、中途出错的情况单独列了出来。

http://frontier-cs.org


本帖子中包含更多资源

您需要 登录 才可以下载或查看,没有账号?立即注册

×
您需要登录后才可以回帖 登录 | 立即注册

本版积分规则

关注公众号

相关侵权、举报、投诉及建议等,请发 E-mail:2776601884@qq.com

Powered by Discuz! X5.0 Licensed © 2001-2026 Discuz! Team.|青ICP备2025004122号-1

在本版发帖
关注公众号
返回顶部