绝不放手 发表于 2026-8-3 12:36:04

在小内存的mac机器上跑Gemma 4 26B-A4B模型的项目

在小内存的mac机器上跑Gemma 4 26B-A4B模型的项目
地址：github.com/drumih/turbo-fieldfare
8 GB内存的 M2 MacBook Air也能跑，速度大概5.10–6.30 token/s
24 GB M5 Pro上就可以提速到80 token/s了。
原理也还是把大部分 MoE 专家权重放在 SSD 上，用到哪个专家，就临时读取哪个专家。 ​​​



页: [1]
查看完整版本: 在小内存的mac机器上跑Gemma 4 26B-A4B模型的项目