按权重文件里每个张量的大小算,Inkling 2 Mini 单路每出一个 token 要从内存读约 5.5 GB。中间 12 层跑 3 遍就占了 3.4 GB,BF16 的输出头还有 0.93 GB。
dxl0812 2026-11-22 01:43:29
卧槽,OpenAI 联合创始人 Andrej Karpathy 刚刚直接把屏幕分享出来,毫无保留地演示了自己每天是怎么跟大模型打交道的。
无亟 2026-11-22 00:43:44
我听到最多的抱怨就是,大家根本不知道拿 AI 智能体干什么。
张海明 2026-11-22 00:42:42
Chrome 里其实藏着一个能白嫖的 AI,只是大多数人都没注意到吧?
谭志刚 2026-11-20 23:15:05
浅尝gpu,GPU是如何跑代码的
帽儿果 2026-11-20 23:07:14