一张 12GB 的 RTX 3060 居然能把 125B 大模型跑到 36 tok/s，这个只有 94 星的冷门项目有点东西。

萱萱玥玥

一张 12GB 的 RTX 3060 居然能把 125B 大模型跑到 36 tok/s，这个只有 94 星的冷门项目有点东西。

有人用 Rust 从零重写了本地推理引擎 RustingStrata，彻底抛弃 ggml，CUDA 内核全靠运行时现编译，顺带还支持 Vulkan。

在 Ryzen 7600X + 32GB 内存 + RTX 3060 12GB 这套平民配置下，作者实测数据相当猛：

Qwen3.8-Flash-Next (125B)：64GB 的模型文件，显存只能塞下 18% 的专家。解码照样跑到约 36 tok/s（原版 Strata 只有 19–22），读提示词约 370 tok/s（原版 140–146），直接翻倍。

Qwen3.6-35B-A3B：解码飙到 118.2 tok/s，而调优过的 llama.cpp 只有 68.4；如果开启 MTP 草稿，最高能冲到 160 tok/s。

Qwen3-Next-80B：同样配置下稳跑 92 tok/s。

核心榨干性能的机制很直接：塞不进显存的专家丢给 CPU 并行算，同时把高频调用的热门专家动态搬进显存，把混合推理的带宽瓶颈压到了极致。手里只有甜品卡又想本地跑巨型 MoE 的可以去试试。

指路：http://github.com/RustingStudio/RustingStrata

📎 新闻来源：https://x.com/mapte_fireball/status/2118313862625894585

#