以防有人不知道 > 12GB 显存的游戏电脑,已经能跑 125B 参数的大模型,最快每秒写 94 个 token 🫢

以防有人不知道 > 12GB 显存的游戏电脑,已经能跑 125B 参数的大模型,最快每秒写 94 个 token 🫢

这个模型叫 Qwen3.8-Flash-Next,由一堆「专家」组成,每个 token 只用 6B 参数。开源推理引擎 Strata 把常用专家放显卡,全部专家放内存,显卡没有的让 CPU 同时算。

所以真正卡人的是内存。作者推荐 32GB 跑 Coder 版,48GB 跑 IQ2_XS 压缩版,64GB 随便挑。

但 Coder 版砍掉了一半专家,有网友拿同一个中文问题问了 10 次,不是把「通义千问」写成「通千」,就是「通通通」复读 🤣

如果用中文,我建议宁可加条内存上 IQ2_XS,也别用 Coder 版。


分类