万万没想到,有篇论文发现,550B 的大模型只拿 bash 一个工具修代码,反而修得更好,还省了一半钱!😳

万万没想到,有篇论文发现,550B 的大模型只拿 bash 一个工具修代码,反而修得更好,还省了一半钱!😳

论文里的 Nemotron 550B 只留 bash,修 GitHub issue 的成功率从 65.8% 涨到 69.4%,每题成本从 2.33 降到 1.11 美元。

不过换成 Mistral Medium 3.5,修 issue 的成功率掉了 23 个点,跑命令行任务时倒是涨了 6.7 个点。

有趣的是,为了省上下文,旧的工具输出会换成占位符,Agent 想看还能调工具翻回来。可 64 组设置里,有 36 组一次都没翻过…… 🤣


分类