125B 大模型塞进 24GB（甚至 12gb）显存？现在的本地 AI 已经开始不讲武德了。

艺洋的蜜蜂 · 发表于昨天 23:22

125B 大模型塞进 24GB（甚至 12gb）显存？现在的本地 AI 已经开始不讲武德了。
Strata + Qwen 3.8 Flash Next，居然让我这张老 4090 跑出了 140 Token/s，还能开 256K 上下文。
我才刚把 27B 折腾明白，开源社区能不能稍微等我一下啊！😂

东方看客 · 发表于昨天 23:23

照这速度，ollama如果不升级引擎，越来越没用了

寒江钓雪十三郎 · 发表于昨天 23:23

我的电脑配置和博主几乎一样，只是CPU为7900X，我试着跑了UD-Q4_K_XL（就是一部分expert在SSD上），结果chat decode 18t/s, agent decode 25t/s, prefill 16k下只有700t/s，所以博主的参数选择是这个配置下的非常实用的了，点个赞！

娜姐说说 · 发表于昨天 23:23

我也有跑125b,我的配置是amd3950+64G,但我顯存真的很糟，是5060 只有8g,但真的能跑，實測看起來有38t/s,還算堪用

125B 大模型塞进 24GB（甚至 12gb） 显存？现在的本地 AI 已经开始不讲武德了。