他们没搞那些早就被刷烂的公开刷分榜,直接把自家真实的内部任务(画科研图表、写研究规划)丢给 Claude Fable 5.1 和 GPT-6 Astra,按招人的考核表打分——结果这俩最强的模型平均只拿了 65%。
当然也不是全废,像基础画图这种死板活儿 Fable 基本能一把过(所以人家直接把这题从考卷里删了);但只要一碰到开放判断和实验规划,立马拉胯。比如 Astra 自己把 token 预算设低了,导致 22% 的测试没返回结果,它居然完全没意识到是自己配错了,直接把这当成实验结论写了上去……
说白了,65 分的 AI 在老板眼里叫“已经完成了大半”,但在我们干活的人眼里叫“又交上来一坨必须从头核对的半成品”。隔壁 OpenAI 今天还在吹 Terra 操控电脑比人手快,讲真,不能直接交差的活儿,它点鼠标越快,我返工擦屁股的速度就越赶不上它造孽的速度。