感觉大模型召回都已经不用测了?

失控半睡者

感觉大模型召回都已经不用测了?


Fiction.LiveBench 作者刚在X上更新了最新的测试结果, 目前来看过年前后这一波大模型长上下文召回都很不错.

120K 长度来看, 最好的是 claude-opus-4.6, 达到了93.8%, 然后是 GLM-5 的85.7%, 以及 Kimi-K2.5 的78.1%, Qwen3.5-plus 的76.2. 不过 MiniMax-M2.5 则是40.6, 而且 MiniMax-M2.5 在8K就下降到60%以下了. 暂时不确定是什么问题.

我自己做的那个霍格沃茨测试新榜单几乎都毫无参考价值, 各个大模型训练语料都混入了非常多的哈利波特小说原文, 而且单次插桩目前来看召回效果都很好, 只有像 Fiction.LiveBench 这样的复杂召回测试能体现模型能力了.


#