按权重文件里每个张量的大小算,Inkling 2 Mini 单路每出一个 token 要从内存读约 5.5 GB。中间 12 层跑 3 遍就占了 3.4 GB,BF16 的输出头还有 0.93 GB。

按权重文件里每个张量的大小算,Inkling 2 Mini 单路每出一个 token 要从内存读约 5.5 GB。中间 12 层跑 3 遍就占了 3.4 GB,BF16 的输出头还有 0.93 GB。

DGX Spark 带宽 273 GB/s,不靠投机解码,单路上限在 49 tok/s 左右。能跑到 75,我猜是用上了包里自带的 MTP。

分类