Inkling 2 Mini 的循环结构省下的是存储,每个 token 要读的字节反而多了七成。

[复制链接]
发表于 2 小时前 | 显示全部楼层 |阅读模式
Inkling 2 Mini 的循环结构省下的是存储,每个 token 要读的字节反而多了七成。

这是 Thinking Machines 昨天开源的 26.4B MoE,整包 20GB 左右,笔记本就能跑。我把官方博客、config 和权重文件头都过了一遍,记一下它怎么做的、代价在哪。

1. 存 24 层,算 48 层

24 层分成 4 块,每块 6 层。第一块和最后一块各跑一遍,中间两块(第 7 到 18 层)每个 token 跑 3 遍,用的是同一份权重。

第二、三遍除了读第一块的输出,还会读上一遍中间块的输出,官方叫 message。message 前面有一个学出来的门,训练刚开始时全关,相当于普通模型,之后慢慢打开,循环就能稳定地加进训练里。

循环放在中间也是测出来的。28 项评测里有 27 项,循环中间 12 层比循环最后 12 层涨得多。

2. 权重共享,读取不共享

本地 decode 卡在内存带宽上,每算一层就要把这层用到的权重读一遍。同一份权重跑 3 遍,就要读 3 遍。每一遍的输入不同,路由选中的 8 个专家也可以不同。

官方的口径是每 token 3.4B 激活参数、5.4B 次权重激活,多出的 2.0B 就是中间 12 层多跑的两遍。

我按权重文件里每个张量的大小,算了单路 decode 每个 token 要读多少:
1. 中间只跑一遍,约 3.27 GB
2. 跑三遍,约 5.55 GB,多 70%
3. 中间 12 层每遍约 1.14 GB,选中的 8 个 NVFP4 专家只占不到四成,剩下是 BF16 的注意力这些

3. 换来的是更短的推理

多算的这部分用在想上。官方另外放了一个能调循环次数的研究版,在 GPQA Diamond 上挑 5 种循环次数都答对的题,平均推理长度从 1 遍的 3,703 token 降到 5 遍的 1,661 token。句子长度和可读性没变,主要是少走回头路。

按 Inkling 2 Mini 的尺寸套算,5 遍每 token 约 7.83 GB,是 1 遍的 2.4 倍。乘上 45% 的 token 数,总读取量只多 7% 左右。

训练这头也有一组数。不循环的版本训练算力省 7.5%,但在 512K token 的 agent 轨迹上要做到同样的 loss,推理算力要多 140%。

4. 知识量不涨

循环加的是推理深度,记不住更多事实。AA-Omniscience、SimpleQA 这类闭卷知识题,循环次数加上去分数基本不动,知识量主要看总参数。

官方的办法是让它多用搜索和工具,BrowseComp、MCP Atlas 在同尺寸开源模型里领先。

5. 20GB 是怎么来的

训练时每层 384 个专家选 8 个,中期一次剪掉三分之二,每层留下最常用的 128 个,再用更大的模型蒸馏 1T token 把能力补回来。

权重按训练时的精度直接发布,20 层 NVFP4,最后 4 层 MXFP8,没有再量化一次的损失。主权重 19.5 GB,另带一个 0.64 GB 的 MTP 文件。

24 层里有 20 层是 1,024 token 的滑动窗口注意力,只有 4 层看全文,长上下文时大部分层只存最近 1,024 个 token 的 KV。

6. 速度要两头算

估循环模型的速度,要用每 token 读多少字节,拿激活参数直接套会估高。官方速度图的注释里也写了,算进了循环的重复读取。

另一头是同一件事要写多少 token。agent 写代码这种长任务,比的是整件事做完花多久。

几处要打折看:
1. token 变短的数据来自能调循环次数的研究版,Inkling 2 Mini 固定 3 遍,官方没给 1 遍对 3 遍的同口径数字
2. 字节数是我按权重文件算的,没算 KV cache,实际要读的更多

这类模型我会先看两个数:每个 token 读多少字节,同一道题要写多少 token。



本帖子中包含更多资源

您需要 登录 才可以下载或查看,没有账号?立即注册

×
您需要登录后才可以回帖 登录 | 立即注册

本版积分规则

关注公众号

相关侵权、举报、投诉及建议等,请发 E-mail:2776601884@qq.com

Powered by Discuz! X5.0 Licensed © 2001-2026 Discuz! Team.|青ICP备2025004122号-1

在本版发帖
关注公众号
返回顶部