125B 大模型塞进 24GB（甚至 12gb） 显存？现在的本地 AI 已经开始不讲武德了。

125B 大模型塞进 24GB（甚至 12gb） 显存？现在的本地 AI 已经开始不讲武德了。
Strata + Qwen 3.8 Flash Next，居然让我这张老 4090 跑出了 140 Token/s，还能开 256K 上下文。
我才刚把 27B 折腾明白，开源社区能不能稍微等我一下啊！😂