地址：github.com/drumih/turbo-fieldfare
8 GB内存的 M2 MacBook Air也能跑，速度大概5.10–6.30 token/s
24 GB M5 Pro上就可以提速到80 token/s了。
原理也还是把大部分 MoE 专家权重放在 SSD 上，用到哪个专家，就临时读取哪个专家。
在小内存的mac机器上跑Gemma 4 26B-A4B模型的项目
在小内存的mac机器上跑Gemma 4 26B-A4B模型的项目
地址：github.com/drumih/turbo-fieldfare
8 GB内存的 M2 MacBook Air也能跑，速度大概5.10–6.30 token/s
24 GB M5 Pro上就可以提速到80 token/s了。
原理也还是把大部分 MoE 专家权重放在 SSD 上，用到哪个专家，就临时读取哪个专家。
地址：github.com/drumih/turbo-fieldfare
8 GB内存的 M2 MacBook Air也能跑，速度大概5.10–6.30 token/s
24 GB M5 Pro上就可以提速到80 token/s了。
原理也还是把大部分 MoE 专家权重放在 SSD 上，用到哪个专家，就临时读取哪个专家。