这是 Thinking Machines 昨天开源的 26.4B MoE,整包 20GB 左右,笔记本就能跑。我把官方博客、config 和权重文件头都过了一遍,记一下它怎么做的、代价在哪。
1. 存 24 层,算 48 层
24 层分成 4 块,每块 6 层。第一块和最后一块各跑一遍,中间两块(第 7 到 18 层)每个 token 跑 3 遍,用的是同一份权重。
第二、三遍除了读第一块的输出,还会读上一遍中间块的输出,官方叫 message。message 前面有一个学出来的门,训练刚开始时全关,相当于普通模型,之后慢慢打开,循环就能稳定地加进训练里。
循环放在中间也是测出来的。28 项评测里有 27 项,循环中间 12 层比循环最后 12 层涨得多。
2. 权重共享,读取不共享
本地 decode 卡在内存带宽上,每算一层就要把这层用到的权重读一遍。同一份权重跑 3 遍,就要读 3 遍。每一遍的输入不同,路由选中的 8 个专家也可以不同。
官方的口径是每 token 3.4B 激活参数、5.4B 次权重激活,多出的 2.0B 就是中间 12 层多跑的两遍。
我按权重文件里每个张量的大小,算了单路 decode 每个 token 要读多少:
1. 中间只跑一遍,约 3.27 GB
2. 跑三遍,约 5.55 GB,多 70%
3. 中间 12 层每遍约 1.14 GB,选中的 8 个 NVFP4 专家只占不到四成,剩下是 BF16 的注意力这些
3. 换来的是更短的推理
多算的这部分用在想上。官方另外放了一个能调循环次数的研究版,在 GPQA Diamond 上挑 5 种循环次数都答对的题,平均推理长度从 1 遍的 3,703 token 降到 5 遍的 1,661 token。句子长度和可读性没变,主要是少走回头路。
按 Inkling 2 Mini 的尺寸套算,5 遍每 token 约 7.83 GB,是 1 遍的 2.4 倍。乘上 45% 的 token 数,总读取量只多 7% 左右。
训练这头也有一组数。不循环的版本训练算力省 7.5%,但在 512K token 的 agent 轨迹上要做到同样的 loss,推理算力要多 140%。
4. 知识量不涨
循环加的是推理深度,记不住更多事实。AA-Omniscience、SimpleQA 这类闭卷知识题,循环次数加上去分数基本不动,知识量主要看总参数。
官方的办法是让它多用搜索和工具,BrowseComp、MCP Atlas 在同尺寸开源模型里领先。
5. 20GB 是怎么来的
训练时每层 384 个专家选 8 个,中期一次剪掉三分之二,每层留下最常用的 128 个,再用更大的模型蒸馏 1T token 把能力补回来。
权重按训练时的精度直接发布,20 层 NVFP4,最后 4 层 MXFP8,没有再量化一次的损失。主权重 19.5 GB,另带一个 0.64 GB 的 MTP 文件。
24 层里有 20 层是 1,024 token 的滑动窗口注意力,只有 4 层看全文,长上下文时大部分层只存最近 1,024 个 token 的 KV。
6. 速度要两头算
估循环模型的速度,要用每 token 读多少字节,拿激活参数直接套会估高。官方速度图的注释里也写了,算进了循环的重复读取。
另一头是同一件事要写多少 token。agent 写代码这种长任务,比的是整件事做完花多久。
几处要打折看:
1. token 变短的数据来自能调循环次数的研究版,Inkling 2 Mini 固定 3 遍,官方没给 1 遍对 3 遍的同口径数字
2. 字节数是我按权重文件算的,没算 KV cache,实际要读的更多
这类模型我会先看两个数:每个 token 读多少字节,同一道题要写多少 token。