按权重文件里每个张量的大小算,Inkling 2 Mini 单路每出一个 token 要从内存读约 5.5 GB。中间 12 层跑 3 遍就占了 3.4 GB,BF16 的输出头还有 0.93 GB。

[复制链接]
发表于 2 小时前 | 显示全部楼层 |阅读模式
按权重文件里每个张量的大小算,Inkling 2 Mini 单路每出一个 token 要从内存读约 5.5 GB。中间 12 层跑 3 遍就占了 3.4 GB,BF16 的输出头还有 0.93 GB。

DGX Spark 带宽 273 GB/s,不靠投机解码,单路上限在 49 tok/s 左右。能跑到 75,我猜是用上了包里自带的 MTP。

您需要登录后才可以回帖 登录 | 立即注册

本版积分规则

关注公众号

相关侵权、举报、投诉及建议等,请发 E-mail:2776601884@qq.com

Powered by Discuz! X5.0 Licensed © 2001-2026 Discuz! Team.|青ICP备2025004122号-1

在本版发帖
关注公众号
返回顶部