Karpathy 开炮了。

Karpathy 开炮了。


这位前 OpenAI 联合创始人、前特斯拉 AI 负责人,在一段 16 分钟的对谈里,把当下 Agent 热潮的底裤扒了个干净。

他说得很直接:Agent 的本质就是大规模蒸馏。你花大价钱跑的那个大模型,99.99% 的容量都浪费在了它压根用不上的数据上。听起来刺耳,但你仔细想想,事实就是这样。

然后他给出了一条真正能跑通的技术路线:先用大模型把能力蒸馏到小模型里,再给小模型配上正确的工具,最后用一个闭环把整个系统串起来。小模型、正确的工具、一个闭环,三件事,够了。

这里面最关键的一环,是闭环。

小模型本身并不可怕,可怕的是它一旦接入闭环,就能自我校正、自我改进,越跑越强。模型的参数量可以小,但只要反馈回路搭对了,它就能长出远超参数规模的实战能力。

所以别再为更大的模型交税了。真正让一个 Agent 变得危险的,从来都不是参数量,是闭环。

这 16 分钟的信息密度,比今年市面上任何一门 500 美元的 AI 课都高。看完之后,再去读那篇 Harness, Loops, Graphs,你就会明白:闭环就是那副马具,套上了,小模型才能真正跑起来。
# http://t.cn/AXjgvwqG
分类