手上只有一台 8 GB 内存的 MacBook Air，想跑个本地大模型，结果模型文件就有 14 GB 多，内存根本塞不下。

手上只有一台 8 GB 内存的 MacBook Air，想跑个本地大模型，结果模型文件就有 14 GB 多，内存根本塞不下。

TurboFieldfare 能让 Gemma 4 26B-A4B 在苹果芯片 Mac 上跑起来，模型权重和缓存只占大约 2 GB 内存，还带一个原生的 Mac 聊天应用。

它只把 1.35 GB 的共享部分和缓存留在内存里，每生成一个词，再从 SSD 临时读出用得上的那几个专家。

GitHub：http://github.com/drumih/turbo-fieldfare

作者在 8 GB 的 M2 MacBook Air 上实测，每秒能出 5.1 到 6.3 个 token，换成 24 GB 的 M5 Pro 能到每秒 31 到 35 个。

运行时是用 Swift 和 Metal 专门为这个模型写的，没用 MLX 或 llama.cpp，作者还整理了 103 组实验记录。8 GB 的 Mac 能跑 26B，我是没想到。

聊天记录存在本地，装上图像扩展包还能看图，另外有命令行和兼容 OpenAI 接口的本地服务。第一次下载模型大约 15 GB。

14GB模型塞进2GB内存，M2 Air每秒5个token，聊聊天还行，干活就得等了