查看: 2|回复: 0

[技术树洞] Karpathy 开炮了。

[复制链接]

20

主题

1

回帖

82

积分

注册会员

积分
82
发表于 1 小时前 | 显示全部楼层 |阅读模式
Karpathy 开炮了。


这位前 OpenAI 联合创始人、前特斯拉 AI 负责人,在一段 16 分钟的对谈里,把当下 Agent 热潮的底裤扒了个干净。

他说得很直接:Agent 的本质就是大规模蒸馏。你花大价钱跑的那个大模型,99.99% 的容量都浪费在了它压根用不上的数据上。听起来刺耳,但你仔细想想,事实就是这样。

然后他给出了一条真正能跑通的技术路线:先用大模型把能力蒸馏到小模型里,再给小模型配上正确的工具,最后用一个闭环把整个系统串起来。小模型、正确的工具、一个闭环,三件事,够了。

这里面最关键的一环,是闭环。

小模型本身并不可怕,可怕的是它一旦接入闭环,就能自我校正、自我改进,越跑越强。模型的参数量可以小,但只要反馈回路搭对了,它就能长出远超参数规模的实战能力。

所以别再为更大的模型交税了。真正让一个 Agent 变得危险的,从来都不是参数量,是闭环。

这 16 分钟的信息密度,比今年市面上任何一门 500 美元的 AI 课都高。看完之后,再去读那篇 Harness, Loops, Graphs,你就会明白:闭环就是那副马具,套上了,小模型才能真正跑起来。
# http://t.cn/AXjgvwqG
您需要登录后才可以回帖 登录 | 立即注册

本版积分规则

关注公众号

相关侵权、举报、投诉及建议等,请发 E-mail:2776601884@qq.com

Powered by Discuz! X5.0 Licensed © 2001-2026 Discuz! Team.|青ICP备2025004122号-1

在本版发帖
关注公众号
返回顶部