手上只有一台 8 GB 内存的 MacBook Air,想跑个本地大模型,结果模型文件就有 14 GB 多,内存根本塞不下。

手上只有一台 8 GB 内存的 MacBook Air,想跑个本地大模型,结果模型文件就有 14 GB 多,内存根本塞不下。

TurboFieldfare 能让 Gemma 4 26B-A4B 在苹果芯片 Mac 上跑起来,模型权重和缓存只占大约 2 GB 内存,还带一个原生的 Mac 聊天应用。

它只把 1.35 GB 的共享部分和缓存留在内存里,每生成一个词,再从 SSD 临时读出用得上的那几个专家。

GitHub:http://github.com/drumih/turbo-fieldfare

作者在 8 GB 的 M2 MacBook Air 上实测,每秒能出 5.1 到 6.3 个 token,换成 24 GB 的 M5 Pro 能到每秒 31 到 35 个。

运行时是用 Swift 和 Metal 专门为这个模型写的,没用 MLX 或 llama.cpp,作者还整理了 103 组实验记录。8 GB 的 Mac 能跑 26B,我是没想到。

聊天记录存在本地,装上图像扩展包还能看图,另外有命令行和兼容 OpenAI 接口的本地服务。第一次下载模型大约 15 GB。


分类