最终我还是“妥协”了,在这台设备上部署了本地 AI。
既然我为此耗费了无数个夜晚,干脆分享出来吧,哈哈。
我的硬件配置
16 英寸 MacBook Pro,配备 ProLED XDR 显示屏
M5 Max 芯片:18 核 CPU,40 核 GPU
64GB 统一内存,614GB/s 带宽
2TB SSD
我的软件配置
使用 oMLX 作为服务端(通过 Homebrew 安装)。它基于 MLX 框架,能将提示词(prompts)缓存到 SSD 中——这一点至关重要。
前端采用 DeepSeek Harness 桌面应用,并将其指向 oMLX(作为自定义提供方),因为 oMLX 自带的聊天界面实在太难用了。
运行 Qwen3.8-27B 模型(4-bit 量化版)。我准备了官方版本以及几个经过“去偏见/去限制”(abliterated)处理的变体,每个模型大约占用 15GB 空间。
支持 128K 上下文,配置了 20GB SSD 缓存;还写了个简单的 zsh 脚本,输入 `ai` 即可一键启动,输入 `ai-stop` 即可关闭。
实际运行表现
速度约为 20–27 token/s,完全可用。
在长时间的智能体(agent)会话中,缓存命中率高达 88%–95%。有一次会话处理了 700 万个 token,但实际需要计算的仅占 5% 左右——这确实非常惊人。
我最长的一次运行是 46 分钟的“深度探索”(开启了推理功能)。总的来说,本地运行非常适合需要高度专注的任务,但面对庞大且复杂的任务时,体验就比较痛苦了。
总结:
对于 27B 参数规模的模型,M5 Max 上的 64GB 内存堪称“黄金配置”。
我会在处理私密或需要专注的任务时使用本地 AI;但如果遇到“去阅读我整个代码库”这类大型任务,云端方案的速度依然要快上 4 到 7 倍,实话实说。
接下来呢?
这套配置已经足以应付一些比较正式的任务了。
我会继续利用这套环境尝试各种 AI 项目,同时静候明年推出的 Mac Studio M7 Ultra——届时性能应该能再上一个台阶。