搭载 M5 Max 芯片的 16 英寸 MacBook Pro(64GB 内存):本地大语言模型(LLM)体验评测

11413




最终我还是“妥协”了,在这台设备上部署了本地 AI。
既然我为此耗费了无数个夜晚,干脆分享出来吧,哈哈。

我的硬件配置

16 英寸 MacBook Pro,配备 ProLED XDR 显示屏

M5 Max 芯片:18 核 CPU,40 核 GPU

64GB 统一内存,614GB/s 带宽

2TB SSD

我的软件配置

使用 oMLX 作为服务端(通过 Homebrew 安装)。它基于 MLX 框架,能将提示词(prompts)缓存到 SSD 中——这一点至关重要。

前端采用 DeepSeek Harness 桌面应用,并将其指向 oMLX(作为自定义提供方),因为 oMLX 自带的聊天界面实在太难用了。

运行 Qwen3.8-27B 模型(4-bit 量化版)。我准备了官方版本以及几个经过“去偏见/去限制”(abliterated)处理的变体,每个模型大约占用 15GB 空间。

支持 128K 上下文,配置了 20GB SSD 缓存;还写了个简单的 zsh 脚本,输入 `ai` 即可一键启动,输入 `ai-stop` 即可关闭。

实际运行表现

速度约为 20–27 token/s,完全可用。

在长时间的智能体(agent)会话中,缓存命中率高达 88%–95%。有一次会话处理了 700 万个 token,但实际需要计算的仅占 5% 左右——这确实非常惊人。

我最长的一次运行是 46 分钟的“深度探索”(开启了推理功能)。总的来说,本地运行非常适合需要高度专注的任务,但面对庞大且复杂的任务时,体验就比较痛苦了。

总结:

对于 27B 参数规模的模型,M5 Max 上的 64GB 内存堪称“黄金配置”。
我会在处理私密或需要专注的任务时使用本地 AI;但如果遇到“去阅读我整个代码库”这类大型任务,云端方案的速度依然要快上 4 到 7 倍,实话实说。

接下来呢?

这套配置已经足以应付一些比较正式的任务了。

我会继续利用这套环境尝试各种 AI 项目,同时静候明年推出的 Mac Studio M7 Ultra——届时性能应该能再上一个台阶。

分类