以防有人不知道 > 12GB 显存的游戏电脑，已经能跑 125B 参数的大模型，最快每秒写 94 个 token 🫢

密斯特真行

以防有人不知道 > 12GB 显存的游戏电脑，已经能跑 125B 参数的大模型，最快每秒写 94 个 token 🫢

这个模型叫 Qwen3.8-Flash-Next，由一堆「专家」组成，每个 token 只用 6B 参数。开源推理引擎 Strata 把常用专家放显卡，全部专家放内存，显卡没有的让 CPU 同时算。

所以真正卡人的是内存。作者推荐 32GB 跑 Coder 版，48GB 跑 IQ2_XS 压缩版，64GB 随便挑。

但 Coder 版砍掉了一半专家，有网友拿同一个中文问题问了 10 次，不是把「通义千问」写成「通千」，就是「通通通」复读 🤣

如果用中文，我建议宁可加条内存上 IQ2_XS，也别用 Coder 版。